JP2014529214A - 多視点ビデオデータの深度マップ符号化方法及びその装置、復号化方法及びその装置 - Google Patents
多視点ビデオデータの深度マップ符号化方法及びその装置、復号化方法及びその装置 Download PDFInfo
- Publication number
- JP2014529214A JP2014529214A JP2014524940A JP2014524940A JP2014529214A JP 2014529214 A JP2014529214 A JP 2014529214A JP 2014524940 A JP2014524940 A JP 2014524940A JP 2014524940 A JP2014524940 A JP 2014524940A JP 2014529214 A JP2014529214 A JP 2014529214A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- block
- color video
- video frame
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
多視点ビデオデータの深度マップの符号化、復号化方法及びその装置に係り、該多視点ビデオデータの深度マップ符号化方法は、予測符号化して復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、復元された多視点カラービデオフレームのブロックをパーティションに分割し、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、相関関係を示すパラメータを獲得し、獲得されたパラメータを利用して、復元された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。
Description
本発明は、深度映像を含む多視点ビデオデータの符号化及び復号化に関する。
最近、デジタル映像処理とコンピュータ・グラフィック技術とが発展するにつれ、現実世界を再現し、それを臨場感あふれて体験させる三次元(3D)ビデオ技術及び多視点(multi-view video)ビデオ技術に係わる研究が活発に進められている。多視点映像を利用した三次元テレビは、現実世界を再構成したコンテンツでもって、現実感覚が感じられるようにユーザに提供することができるので、次世代放送技術として多大な関心を集めている。三次元ビデオ符号化システムは、ユーザが自由に視聴視点を変更したり、あるいは多種の三次元再生装置で再現可能になるように、多視点の映像を支援する機能を有する。しかし、多視点ビデオの場合、データ量が増加するので、多視点ビデオのデータ量を減少させるための効率的な符号化方法が要求される。
本発明が解決しようとする技術的課題は、多視点ビデオデータで、三次元ビデオを提供するための深度マップ映像を効率的に符号化する方法及びその装置、深度マップを効率的に復号化する方法及びその装置を提供することである。
本発明は、カラー映像の周辺ピクセルと、深度映像の周辺ピクセルとから相関関係を獲得し、対応するカラー映像のブロックを利用したイントラ予測を介して、現在深度映像のブロックを符号化する。
本発明によれば、多視点カラービデオフレームから、対応する深度マップフレームを予測することにより、膨大なデータ量を有する多視点ビデオデータを効率的に圧縮することができる。また、本発明によれば、以前に符号化された周辺ピクセル値から、相関関係を示すパラメータを決定することにより、別途のパラメータを伝送する必要がない。
本発明の一実施形態による多視点(multi-view)ビデオデータの深度マップ(depth map)符号化方法は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する段階と、前記獲得された多視点カラービデオフレームを予測符号化して復元する段階と、前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する段階と、前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する段階と、前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階と、を含むことを特徴とする。
本発明の一実施形態による多視点ビデオデータの深度マップ符号化装置は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する映像獲得部;前記獲得された多視点カラービデオフレームを予測符号化するカラービデオフレーム符号化部;前記符号化されたカラービデオフレームを復元する復元部;前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する分割部;前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する相関関係パラメータ獲得部;及び前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する深度マップフレーム予測部;を含むことを特徴とする。
本発明の一実施形態による多視点ビデオデータの深度マップ復号化方法は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する段階と、前記多視点カラービデオフレームを復号化する段階と、前記復号化された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復号化された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する段階と、前記復号化された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する段階と、前記獲得されたパラメータを利用して、前記復号化された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階と、を含むことを特徴とする。
本発明の一実施形態による多視点ビデオデータの深度マップ復号化装置は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する受信部;前記ビットストリームから獲得された前記符号化された多視点カラービデオフレームを復号化するカラービデオフレーム復号化部;前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する分割部;前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する相関関係パラメータ獲得部;及び前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する深度マップフレーム復号化部;を含むことを特徴とする。
以下、添付された図面を参照し、本発明の望ましい実施形態について具体的に説明する。
図1は、本発明の一実施形態による多視点ビデオシステムを示している。多視点ビデオシステム100は、2台以上の多視点カメラ130を介して獲得された多視点ビデオフレームと、深度カメラ140を介して獲得された多視点映像フレームの深度マップフレームとを符号化し、ビットストリームを生成する多視点ビデオデータ符号化装置110、及びビットストリームを復号化し、復号化された多視点ビデオフレームを、視聴者の要求によって多様な形態で提供する多視点ビデオデータ復号化装置120を含む。
多視点カメラ130は、互いに異なる視点を有する複数台のカメラを結合して構成されながら、フレームごとに多視点ビデオ映像を提供する。深度カメラ140は、場面の深度情報を256階調の8ビット映像などで表現した深度マップフレームを提供する。深度カメラ140は、赤外線などを利用して、カメラから被写体及び背景までの距離を測定し、距離に比例または反比例する値を有する深度マップフレームを提供する。
多視点ビデオデータ符号化装置110から、多視点ビデオデータと対応する深度マップフレームを符号化して伝送すれば、多視点ビデオデータ復号化装置120は、ビットストリームに具備された多視点ビデオフレームと深度マップフレームとを利用して、既存のステレオ映像や三次元(3D)映像を介して、立体感を提供するだけではなく、視聴者が所望する所定視点の三次元映像を合成して提供することができる。
多視点ビデオデータは、視点の個数に比例して符号化されるデータ量が増加し、また立体感を具現するための深度マップ映像も符号化されなければならないので、図1に図示されたような多視点ビデオシステムを具現するためには、膨大な量の多視点ビデオデータを効率的に圧縮する必要がある。
図2は、図1の多視点カメラ130を介して獲得された多視点ビデオフレームと、深度カメラ140を介して獲得された深度マップフレームと、を例示した図面である。図2では、第1視点(View 0)のカラービデオフレーム211に対応する第1視点(View 0)の深度マップフレーム221、第2視点(View 1)のカラービデオフレーム212に対応する第2視点(View 1)の深度マップフレーム222、第3視点(View 2)のカラービデオフレーム213に対応する第3視点(View 2)の深度マップフレーム223を図示している。図2において、3個の視点(View 0,View 1,View 2)での多視点カラービデオフレーム210と、対応深度マップフレーム220とを図示したが、視点の個数は変更される。また、図2において、多視点カラービデオフレーム210は、輝度成分ビデオフレーム(Y)または色差成分ビデオフレーム(Cb,Cr)のうち一つでもある。
図2を参照すれば、同一視点のカラービデオフレームと、深度マップフレームとの間には、同じ時間、同じ視点での映像をそれぞれカラーと深度とで表現したものであるので、両者間には相関関係が存在する。すなわち、多視点カラービデオフレーム210と、対応深度マップフレーム220とを比較すれば、被写体の輪郭線などが識別されるような一定の相関関係が存在する。従って、本発明の一実施形態による多視点ビデオデータ符号化装置110、及び多視点ビデオデータ復号化装置120は、多視点カラービデオフレーム210と、対応深度マップフレーム220との間に存在する相関関係を考慮し、多視点カラービデオフレーム210から、対応深度マップフレーム220をイントラ予測符号化することにより、多視点ビデオデータの圧縮効率を向上させる。特に、本発明の一実施形態による多視点ビデオデータ符号化装置110、及び多視点ビデオデータ復号化装置120は、ピクセル値に基づいて、多視点カラービデオフレーム210のブロックをパーティションに分割し、多視点カラービデオフレーム210のブロックと同一に、対応深度マップフレーム220のブロックをパーティションに分割した後、多視点カラービデオフレーム210のブロック・パーティションの周辺ピクセル値と、深度マップフレームのブロック・パーティションの周辺ピクセル値とを利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得し、獲得されたパラメータを利用して決定された相関関係を利用して、多視点カラービデオフレーム210のブロックのパーティションから、対応深度マップフレームのブロック・パーティションを予測する。
図3は、本発明の一実施例による多視点ビデオデータの符号化装置の構成を示したブロック図である。図3を参照すれば、多視点ビデオデータの符号化装置300は、映像獲得部310、カラービデオフレーム符号化部320及び深度マップ符号化部330を含む。
映像獲得部310は、図1の多視点カメラ130のような多視点ビデオ獲得手段を利用して、多視点カラービデオフレームを獲得し、深度カメラ140のような深度マップフレーム獲得手段を利用して、多視点カラービデオフレームに対応する深度マップフレームを獲得する。
カラービデオフレーム符号化部320は、獲得された多視点カラービデオフレームを予測符号化する。図13ないし図25を参照して説明するように、特に、本発明の一実施形態によるカラービデオフレーム符号化部320は、従来マクロブロックの代りに、階層的構造の符号化単位に基づいて、多視点カラービデオフレームを符号化することができる。カラービデオフレーム符号化部320は、多視点カラービデオフレームを最大サイズの符号化単位に分割し、最大符号化単位ごとに、最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定し、階層的構造の変換単位を基に変換を行い、ツリー構造による変換単位を決定することができる。
深度マップフレーム符号化部330は、予測符号化された後で復元された多視点カラービデオフレームを利用して、対応する深度マップフレームをイントラ予測符号化する。前述のように、特に、本発明の一実施形態による深度マップフレーム符号化部330は、深度マップフレームの符号化時、対応する多視点カラービデオフレームとの相関関係を考慮し、相関関係を決定するために、以前に符号化された後で復元された多視点カラービデオフレームのブロックを、ピクセル値に基づいてパーティションに分割し、隣接した周辺ピクセル間の相関関係を考慮し、パーティションごとに、カラー映像と、深度マップ映像との相関関係を定義するパラメータを決定し、決定されたパラメータを利用して、以前に符号化された後で復元された多視点カラービデオフレームブロック・パーティションから、対応する深度マップフレームブロック・パーティションを予測する。
図4は、図3の深度マップフレーム符号化部330の具体的な構成を示したブロック図である。図4を参照すれば、深度マップフレーム符号化部400は、スケーリング部410、分割部420、相関関係パラメータ獲得部430、深度マップフレーム予測部440及び減算部450を含む。
スケーリング部410は、深度マップフレームのブロックと、多視点カラービデオフレームのブロックとの大きさが異なる場合、多視点カラービデオフレームのブロックサイズを、深度マップフレームのブロックサイズと同一になるように、多視点カラービデオフレームのブロックをサンプリングする。例えば、多視点カラービデオフレームのブロックサイズが、2Nx2N(Nは整数)、対応する深度マップフレームのブロックサイズが、NxNであるならば、スケーリング部410は、多視点カラービデオフレームのブロックを1:2の比率でダウンサンプリングし、NxNサイズの多視点カラービデオフレームのブロックを生成することができる。
分割部420は、符号化された後で復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、復元された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する。そして、分割部420は、多視点カラービデオフレームのブロック・パーティションと同一に、深度マップフレームのブロックをパーティションに分割する。
図5A及び図5Bは、図4の分割部420において、多視点カラービデオフレームのブロックをパーティションに分割する方法について説明するための参照図である。
分割部420は、多視点カラービデオフレームのブロックのピクセル値の分布に基づいて、所定値を中心に、類似したピクセル値を有するピクセルを、同一のパーティションに含まれるように、多視点カラービデオフレームのブロックを、パーティションに分割することができる。分割部420は、多視点カラービデオフレームのブロックのピクセル値の分布を分析し、パーティション分割の基準になる所定ピクセル値を決定した後、所定ピクセル値から±x(xは整数)範囲内のピクセルを、1つのパーティションとして分類することができる。例えば、図5Aを参照すれば、分割部420は、125のピクセル値を基準にして、±10範囲内のピクセル値を有するピクセルを、第1パーティション510に分類し、70のピクセル値を基準にして、±10の範囲内のピクセル値のピクセルを、第2パーティション520に分類することができる。ピクセル値の分布に基づいて、ブロックをパーティションに分割する方式は、それに限定されるものではなく、分割部420は、多様なデータクラスタリング(clustering)方式を適用し、ピクセル値の分布に基づいて、ブロックを複数個のパーティションに分割することができる。
図5Bを参照すれば、分割部420は、ソーベル(Sobel)アルゴリズムなどの多様なエッジ検出方式を適用し、多視点カラービデオフレームのブロック内に存在するエッジを検出し、検出されたエッジに基づい、て多視点カラービデオフレームのブロックを、第1パーティション530と、第2パーティション540とに分割することができる。
分割部420によって、多視点カラービデオフレームのブロックを、複数個のパーティションに分割すれば、相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティションそれぞれに対して、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する。
深度マップフレーム予測部440は、獲得されたパラメータを利用して、復元された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。
図6は、図4の相関関係パラメータ獲得部430によるパラメータ獲得過程、及び深度マップフレーム予測部440によるイントラ予測過程について説明するための参照図である。
図6を参照すれば、分割部420によって、多視点カラービデオフレームのブロック610が、2個のパーティションP1,P2に分割されたと仮定する。分割部420は、多視点カラービデオフレームのブロック610のパーティションP1,P2と、同一の大きさと形態とを有するように、深度マップフレームのブロック640を、2個のパーティションP1’,P2’に分割する。
相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティションP1,P2それぞれについて、相関関係を示すパラメータを獲得する。具体的には、相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティションP1の周辺ピクセル値620、及び対応する深度マップフレームのブロック・パーティションP1’の周辺ピクセル値650を利用して、多視点カラービデオフレームのブロック・パーティションP1と、深度マップフレームのブロック・パーティションP1’との相関関係を示す第1パラメータを獲得する。また、相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティションP2の周辺ピクセル値630、及び対応する深度マップフレームのブロック・パーティションP2’の周辺ピクセル値660を利用して、多視点カラービデオフレームのブロック・パーティションP2と、深度マップフレームのブロック・パーティションP2’との相関関係を示す第2パラメータを獲得する。
多視点カラービデオフレームのピクセルをR、該Rと同一位置の深度マップフレームの対応ピクセルの予測値をDとするとき、予測値Dは、次の数式:D=f(R)のような多視点カラービデオフレームと、深度マップフレームとの相関関係を示す関数式:f()を介して獲得される。相関関係を示す関数が、次の数式:f(x)=aX+b(a,bは実数)のような線形関数であると仮定すれば、線形関係は、加重値a及びオフセットbを利用して定義される。本発明の一実施形態による相関関係パラメータ獲得部430は、線形関係を示す加重値a及びオフセットbを、別途にシグナリングせずとも、受信側で獲得することができるように、以前に符号化された後で復元された多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値620,630、及び深度マップフレームのブロック・パーティションの周辺ピクセル値650,660を利用して、パーティション別に、加重値a及びオフセットbを獲得する。
相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティション及び深度フレームのブロック・パーティションをそれぞれ独立的に処理し、各ブロック・パーティションの周辺ピクセルのみを利用して、相関関係を示すパラメータを獲得する。図6を参照すれば、相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティションP1の周辺ピクセル値620を利用して、対応する深度マップフレームのブロック・パーティションP1’の周辺ピクセル値650を予測する。例えば、多視点カラービデオフレームのブロック・パーティションP1の周辺ピクセル値R(x,y)621を利用して、同一位置の対応する深度マップフレームのブロック・パーティションP1’の周辺ピクセル値D(x,y)651の予測値D’(x,y)は、次の数式:D’(x,y)=a*R(x,y)+bを介して獲得される。相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティションP1の周辺ピクセル値620それぞれを利用して、対応する深度マップフレームのブロック・パーティションP1’の周辺ピクセル値650を予測し、予測された深度マップフレームのブロック・パーティションP1’の周辺ピクセル値650と、本来の深度マップフレームのブロック・パーティションP1’の周辺ピクセル値650との差(D(x,y)−D’(x,y))を最小にする加重値a及びオフセットbを決定する。このとき、相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティションP1の周辺ピクセル値620それぞれについて、対応する深度マップフレームのブロック・パーティションP1’の周辺ピクセル値650を予測し、(D(x,y)−D’(x,y))の自乗が最小になる加重値a及びオフセットbを決定することができる(least square solution)。
同様に、相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティションP2の周辺ピクセル値630を利用して、対応する深度マップフレームのブロック・パーティションP2’の周辺ピクセル値660を予測する。相関関係パラメータ獲得部430は、多視点カラービデオフレームのブロック・パーティションP2の周辺ピクセル値630それぞれを利用して、対応する深度マップフレームのブロック・パーティションP2’の周辺ピクセル値660を予測し、予測された深度マップフレームのブロック・パーティションP2’の周辺ピクセル値660と、本来の深度マップフレームのブロック・パーティションP2’の周辺ピクセル値660との差を最小にする加重値a及びオフセットbを決定する。
このように、相関関係パラメータ獲得部430は、パーティション別に独立して周辺ピクセルを利用して、相関関係を示すパラメータを獲得する。多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値を、Rec_Y’、深度マップフレームのブロック・パーティションの対応する周辺ピクセル値の予測値を、Pred_Dとするならば、相関関係パラメータ獲得部430は、次の数式:Pred_D=a*Rec_Y’+bを介して、深度マップフレームの周辺ピクセルを予測し、本来の周辺ピクセルと、予測された周辺ピクセルとの差を最小にするパラメータa及びbを決定する。前述の説明では、一次線形関係を仮定してパラメータを決定する過程について説明したが、本発明による思想は、それに限定されるものではなく、n次線形関係式や、他の非線形関係式を定義するためのパラメータを獲得するときにも、周辺ピクセルを利用して、最適のパラメータの獲得に適用される。
相関関係パラメータ獲得部430で、各パーティション別に相関関係を示すパラメータが獲得されれば、深度マップフレーム予測部440は、獲得されたパラメータを利用して、復元された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。さらに図6を参照すれば、以前に符号化された後で復元された多視点カラービデオフレームのブロック・パーティションP1について決定された加重値及びオフセットを、それぞれa1及びb1と仮定する。深度マップフレーム予測部440は、次の数式:D1’=a1*R1+b1のような線形関係式を利用して、多視点カラービデオフレームのブロック・パーティションP1のピクセルR1 611から、深度マップフレームのブロック・パーティションP1’の対応ピクセルD1’641の予測値を生成する。同様に、以前に符号化された後で復元された多視点カラービデオフレームのブロック・パーティションP2について決定された加重値及びオフセットを、それぞれa2及びb2と仮定すれば、深度マップフレーム予測部440は、次の数式:D2’=a2*R2+b2のような線形関係式を利用して、多視点カラービデオフレームのブロック・パーティションP2のピクセルR2 612から、深度マップフレームのブロック・パーティションP2’の対応ピクセルD2’642の予測値を生成する。このように、深度マップフレーム予測部440は、パーティション単位で決定された相関関係を示すパラメータを利用して、多視点カラービデオフレームブロックのパーティションから、対応する深度マップフレームブロックのパーティションを予測する。
再び図4を参照すれば、減算部450は、原深度マップフレームのピクセル値と、予測された深度マップフレームのピクセル値との差値を計算し、深度マップレジデュー(residue)を生成する。深度マップレジデューは、一般的なレジデューと同様に、変換、量子化及びエントロピー符号化の過程を介して符号化される。
図7は、本発明の一実施形態による、深度マップフレームブロックの予測に利用される多視点カラービデオフレームブロックを示した図面である。図7を参照すれば、現在符号化される深度マップフレームブロック740と、同一視点及び同一位置(co-located)のカラービデオフレームブロック710を利用して、深度マップフレームブロック740を予測することができる。もし同一視点及び同一位置のカラービデオフレームブロック710の大きさが、深度マップフレームブロック740の大きさと異なる場合、前述のように、大きさが同じになるようにスケーリングされたブロックを利用することができる。また、深度マップフレームブロック740と、同一視点及び同一位置のカラービデオフレームブロック710の周辺ブロック711,712を利用して、深度マップフレームブロック740を予測することができる。また、周辺ブロック711,712の大きさが、深度マップフレームブロック740の大きさと異なる場合、大きさが同じになるようにスケーリングされた周辺ブロックを利用することができる。深度マップフレームブロックと、同一視点及び同一位置のカラービデオフレームブロック710を、多視点ビデオの視点間差を示す変移(disparity)ベクトルに基づいて移動させることにより、決定された異なる視点のカラービデオフレームブロック730、及びその周辺ブロック731,732も、深度マップフレームブロック740の予測に利用される。カラービデオフレームブロック730、及びその周辺ブロック731,732の大きさが、深度マップフレームブロック740の大きさと異なる場合、カラービデオフレームブロック730、及びその周辺ブロック731,732をスケーリングし、深度マップフレームブロック740の大きさと同一にし、スケーリングされた異なる視点のカラービデオフレームブロック及びその周辺ブロックを深度マップフレームブロックの予測に利用することができる。
図8は、本発明の一実施形態による、多視点ビデオデータの深度マップ符号化方法を示したフローチャートである。図8を参照すれば、段階810で、映像獲得部310は、多視点カラービデオフレームと、多視点カラービデオフレームに対応する深度マップフレームとを獲得する。
段階820で、カラービデオフレーム符号化部320は、獲得された多視点カラービデオフレームを予測符号化して復元する。
段階830で、深度マップフレーム符号化部330は、復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、復元された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する。
段階840で、深度マップフレーム符号化部330は、復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する。
段階850で、深度マップフレーム符号化部330は、獲得されたパラメータを利用して、復元された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。そして、深度マップフレーム符号化部330は、予測値と、本来の深度マップフレームのブロック・パーティションとの差値であるレジデューを変換、量子化及びエントロピー符号化することにより、深度マップフレームを符号化する。
図9は、本発明の一実施形態による多視点ビデオデータの復号化装置を示したブロック図である。図9を参照すれば、多視点ビデオデータの復号化装置900は、受信部910、カラービデオフレーム復号化部920及び深度マップフレーム復号化部930を含む。
受信部910は、多視点カラービデオフレームと、多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する。
カラービデオフレーム復号化部920は、ビットストリームから獲得された符号化された多視点カラービデオフレームを復号化する。図13ないし図25を参照して説明するように、特に、本発明の一実施形態によるカラービデオフレーム復号化部920は、階層的構造の符号化単位に基づいて、多視点カラービデオフレームを復号化することができる。カラービデオフレーム復号化部920は、ビットストリームから、多視点カラービデオフレームが分割された最大符号化単位の大きさ、最大符号化単位の空間的分割回数を示す深度、深度によって階層的に構成される符号化単位の予測符号化時に利用されたパーティション及び階層的構造の変換単位の構造を示す情報を獲得する。そして、カラービデオフレーム復号化部920は、獲得された情報に基づいて、多視点カラービデオフレームを、最大サイズの符号化単位に分割した少なくとも1つの最大符号化単位ごとに、最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、符号化深度の符号化単位ごとに予測復号化のためのパーティションを決定し、ツリー構造による変換単位を決定する。
深度マップフレーム復号化部930は、復号化された多視点カラービデオフレームの復号化結果を利用して、対応する深度マップフレームを予測復号化する。具体的には、深度マップフレーム復号化部930は、復号化された多視点カラービデオフレームを利用して、対応する深度マップフレームをイントラ予測復号化する。特に、本発明の一実施形態による深度マップフレーム復号化部930は、深度マップフレームの符号化時、対応する多視点カラービデオフレームとの相関関係を考慮し、該相関関係を決定するために、復号化された多視点カラービデオフレームのブロックをピクセル値に基づいてパーティションに分割し、隣接した周辺ピクセル間の相関関係を考慮し、パーティションごとに、カラー映像と、深度マップ映像との相関関係を定義するパラメータを決定し、決定されたパラメータを利用して、復号化された多視点カラービデオフレームブロック・パーティションから、対応する深度マップフレームブロック・パーティションを予測する。
図10は、図9の深度マップフレーム復号化部930の具体的な構成を示したブロック図である。図10を参照すれば、深度マップフレーム復号化部1000は、スケーリング部1010、分割部1020、相関関係パラメータ獲得部1030、深度マップフレーム予測部1040及び加算部1050を含む。
スケーリング部1010は、深度マップフレームのブロックと、多視点カラービデオフレームのブロックとのサイズが異なる場合、多視点カラービデオフレームのブロックサイズと、深度マップフレームのブロックサイズとが同一になるように、多視点カラービデオフレームのブロックをサンプリングする。分割部1020は、復号化された多視点カラービデオフレームのブロックのピクセル値に基づいて、多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する。そして、分割部1020は、多視点カラービデオフレームのブロック・パーティションと同一に、深度マップフレームのブロックをパーティションに分割する。
分割部1020によって、多視点カラービデオフレームのブロックを複、数個のパーティションに分割すれば、相関関係パラメータ獲得部1030は、多視点カラービデオフレームのブロック・パーティションそれぞれについて、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する以前に復号化された深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する。
深度マップフレーム予測部1040は、獲得されたパラメータを利用して、復号化された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。前述の図4の深度マップフレーム予測部440の予測値獲得過程と同様に、深度マップフレーム予測部1040は、復号化された多視点カラービデオフレームのブロック・パーティション別に決定された加重値及びオフセットを利用して、多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームのブロック・パーティションを予測する。
加算部1050は、ビットストリームから、原深度マップフレームのピクセル値と、予測された深度マップフレームのピクセル値との差値である深度マップレジデューを獲得し、深度マップフレーム予測部1040で獲得された予測値と深度マップレジデューとを加算し、深度マップフレームのブロック・パーティションを復元する。深度マップレジデューは一、般的なレジデューと同様に、エントロピー復号化、逆量子化及び逆変換を介して復元される。
図11は、本発明の一実施形態による、多視点ビデオデータの深度マップ復号化方法を示したフローチャートである。図11を参照すれば、段階1110で、受信部910は、多視点カラービデオフレームと、多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信してパージングする。
段階1120で、カラービデオフレーム復号化部920は、多視点カラービデオフレームを復号化する。後述するように、カラービデオフレーム復号化部920は、階層的構造の符号化単位に基づいて、多視点カラービデオフレームを復号化することができる。
段階1130で、深度マップフレーム復号化部930は、復号化された多視点カラービデオフレームのブロックのピクセル値に基づいて、復号化された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する。
段階1140で、深度マップフレーム復号化部930は、復号化された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する。
段階1150で、深度マップフレーム復号化部930は、獲得されたパラメータを利用して、復号化された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。そして、深度マップフレーム復号化部930は、獲得された予測値と深度マップレジデューとを加算し、深度マップフレームのブロック・パーティションを復元する。
図12は、本発明の一実施形態による多視点ビデオ符号化方法、及び多視点ビデオ復号化方法によって符号化及び復号化される多視点カラービデオフレームを示した図面である。
カラービデオフレーム符号化部320は、多視点映像を、時間的相関関係(temporal correlation)、及びカメラ間(inter-view)の空間的相関関係(spatial correlation)を利用して圧縮符号化する。
図12を参照すれば、x軸は、時間軸であり、y軸は、視点軸ある。x軸のT0ないしT8は、それぞれ映像のサンプリング時間を示し、y軸のS0ないしS8は、それぞれ互いに異なる視点を示したものである。図12で、それぞれの行は、同一の視点から入力された映像ピクチャグループを示し、それぞれの列は、同一の時間での多視点映像を示す。
カラービデオフレーム符号化部320は、基本視点の映像に対して、周期的にイントラピクチャを生成し、生成されたイントラピクチャを基に、時間的予測または視点間予測を行い、他のピクチャを予測符号化する。
時間的予測とは、同一の視点、すなわち、図12で、同一行にある映像間で、時間的な相関関係を利用する予測である。時間的予測のために、階層的Bピクチャ(bi-directional picture)を利用した予測構造が利用される。視点間予測は、同じ時間、すなわち、同一の列にある映像間で、空間的な相関関係を利用する予測である。
階層的Bピクチャを利用した多視点映像ピクチャの予測構造は、同一の視点、すなわち、同一の行にある映像間に存在する時間的な相関関係を利用した予測を行うとき、同一視点の映像ピクチャグループを、アンカ(anchor)ピクチャを利用して、双方向ピクチャ(Bピクチャ(bi-directional picture))で予測符号化するのである。ここで、アンカピクチャは、図12に図示された列のうち、イントラピクチャを含んでいる最初の時間T0と最後の時間T8とでの列110及び120に含まれているピクチャを意味する。アンカピクチャ110及び120は、イントラピクチャ(intra picture;以下、「Iピクチャ」とする)を除き、視点間予測のみを利用して、予測符号化される。イントラピクチャを含んでいる列110及び120を除いた残りの列130に含まれているピクチャは、非アンカピクチャ(non-anchor picture)という。
一例として、最初の視点S0で、所定の時間の間入力された映像ピクチャを、階層的Bピクチャを利用して符号化する場合について説明する。最初の視点S0から入力された映像ピクチャのうち、最初の時間T0から入力されたピクチャ111、及び最後の時間T8から入力されたピクチャ121は、Iピクチャとして符号化される。次に、T4時間に入力されたピクチャ131は、アンカピクチャであるIピクチャ111,121を参照して双方向予測符号化され、Bピクチャとして符号化される。T2時間に入力されたピクチャ132は、Iピクチャ111及びBピクチャ131を利用して双方向予測符号化され、Bピクチャとして符号化される。同様に、T1時間に入力されたピクチャ133は、Iピクチャ111及びBピクチャ132を利用して双方向予測符号化され、T3時間に入力されたピクチャ134は、Bピクチャ132及びBピクチャ131を利用して双方向予測符号化される。このように、同一視点の映像シーケンスは、アンカピクチャを利用して、階層的に双方向予測符号化されるので、かような予測符号化方式を、階層的Bピクチャと呼ぶ。一方、図12に図示されたBn(n=1,2,3,4)でnは、n番目の双方向予測されたBピクチャを示し、例えば、B1は、IピクチャまたはPピクチャであるアンカピクチャを利用して、最初に双方向予測されたピクチャであるということを示すものであり、B2は、B1ピクチャ以後に双方向予測されたピクチャであるということを示すものであり、B3は、B2ピクチャ以後に双方向予測されたピクチャであるということを示すものであり、B4は、B3ピクチャ以後に双方向予測されたピクチャであるということを示す。
多視点ビデオフレームの符号化時には、まず基本視点である最初の視点S0の映像ピクチャグループを、前述の階層的Bピクチャを利用して符号化する。残りの視点の映像シーケンスを符号化するために、まず最初の視点S0のIピクチャ111,121を利用した視点間予測を介して、アンカピクチャ110,120に具備された奇数番目の視点S2,S4,S6、及び最後の視点S7の映像ピクチャをPピクチャとして予測符号化する。アンカピクチャ110,120に具備された偶数番目の視点S1,S3,S5の映像ピクチャは、視点間予測を介して、隣接した視点の映像ピクチャを利用して双方向予測され、Bピクチャとして符号化される。例えば、T0時間で、2番目の視点S1から入力されたBピクチャ113は、隣接した視点S0,S2のIピクチャ111及びPピクチャ112を利用して双方向予測される。
多視点ビデオフレームの符号化時には、まず基本視点である最初の視点S0の映像ピクチャグループを、前述の階層的Bピクチャを利用して符号化する。残りの視点の映像シーケンスを符号化するために、まず最初の視点S0のIピクチャ111,121を利用した視点間予測を介して、アンカピクチャ110,120に具備された奇数番目の視点S2,S4,S6、及び最後の視点S7の映像ピクチャをPピクチャとして予測符号化する。アンカピクチャ110,120に具備された偶数番目の視点S1,S3,S5の映像ピクチャは、視点間予測を介して、隣接した視点の映像ピクチャを利用して双方向予測され、Bピクチャとして符号化される。例えば、T0時間で、2番目の視点S1から入力されたBピクチャ113は、隣接した視点S0,S2のIピクチャ111及びPピクチャ112を利用して双方向予測される。
アンカピクチャ110,120に具備されたあらゆる視点の映像ピクチャが、IBPのうち、いずれか1つのピクチャとして符号化されれば、非アンカピクチャ130は、前述のように、階層的Bピクチャを利用した時間的予測及び視点間予測を介して、双方向予測符号化される。
非アンカピクチャ130のうち、奇数番目の視点S2,S4,S6及び最後の視点S7の映像ピクチャは、階層的Bピクチャを利用した時間的予測を介して、同一視点のアンカピクチャを利用して、双方向予測符号化される。非アンカピクチャ130のうち、偶数番目の視点S1,S3,S5S7のピクチャは、階層的Bピクチャを利用した時間的予測だけではなく、隣接した視点のピクチャを利用した視点間予測を介して双方向予測される。例えば、T4時間で、2番目の視点S2から入力されたピクチャ136は、アンカピクチャ113,123、及び隣接した視点のピクチャ131,135を利用して予測される。
アンカピクチャ110,120に具備されたPピクチャは、前述のように、同一時間に入力された異なる視点のIピクチャ、または以前のPピクチャを利用して予測符号化される。例えば、T8時間で、3番目の視点S2から入力されたPピクチャ122は、同一時間の最初の視点S0から入力されたIピクチャ121を参照ピクチャとして利用して予測符号化される。
以下、図13ないし図25を参照し、ツリー構造による符号化単位を基に、予測単位及びパーティションに対して予測符号化を行うビデオ符号化方法及びその装置、そして予測復号化を行うビデオ復号化方法及びその装置について述べる。以下で説明するビデオ符号化方法及びその装置は、前述の図3のカラービデオフレーム符号化部320に適用され、ビデオ復号化方法及びその装置は、前述の図9のカラービデオフレーム復号化部920に適用される。
図13は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置のブロック図を図示している。
一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、最大符号化単位分割部110、符号化単位決定部120及び出力部130を含む。以下説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、「ビデオ符号化装置100」と縮約することにする。
最大符号化単位分割部110は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも1つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256などのデータ単位に、縦横の大きさが2の累乗である正四角形のデータ単位でもある。映像データは、少なくとも1つの最大符号化単位別に、符号化単位決定部120に出力される。
一実施形態による符号化単位は、最大サイズ及び最大深度と特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が、最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは縮小される、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domain)の映像データが深度によって、階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。
符号化単位決定部120は、深度ごとに、最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部120は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で、映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部130に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも1つの符号化深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は、増加する。また、1つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、1つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
従って、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定する。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの全個数を示す。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度が1に設定され、2回分割された符号化単位の深度が2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、第1最大深度が4、第2最大深度が5に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が、深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成されるあらゆる深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも1つの最大符号化単位において、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、あらゆる段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
例えば、サイズ2Nx2N(ただし、Nは、正の整数)の符号化単位がそれ以上分割されない場合、サイズ2Nx2Nの予測単位になり、パーティションの大きさは、2Nx2N,2NxN,Nx2N,NxNなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、1:nまたはn:1のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、2Nx2N,2NxN,Nx2N,NxNサイズのパーティションについて遂行される。また、スキップモードは、2Nx2Nサイズのパーティションについてのみ遂行される。符号化単位以内の1つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同サイズの変換単位を基に変換が行われる。例え、ば変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によってツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが2Nx2Nであるならば、変換深度0に、変換単位の大きさがNxNであるならば、変換深度1に、変換単位の大きさがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位/パーティション、及び変換単位の決定方式については後述する。
符号化単位決定部120は、深度別符号化単位の符号化誤差をラグランジュ乗数(Lagrangian multiplier)基盤の率・歪曲最適化技法(rate-distortion optimization)を利用して測定することができる。
出力部130は、符号化単位決定部120で決定された少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報をビットストリーム形態に出力する。
符号化された映像データは、映像の残差データの符号化結果でもある。
深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。
符号化深度情報は、現在深度に符号化せずに、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的(recursive)符号化が行われる。
1つの最大符号化単位内でツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも1つの符号化モードに係わる情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。
従って、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
例えば、出力部130を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
ピクチャ、スライスまたはGOP(group of pictures)別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどを介して出力される。出力部130は、符号化単位のスケーラビリティに係わる情報などを符号化して出力することができる。
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが、2Nx2Nであるならば、下位深度の符号化単位の大きさは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を、最大4個含んでもよい。
従って、ビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が向上される。
図14は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、受信部210、映像データ及び符号化情報抽出部220、並びに映像データ復号化部230を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、「ビデオ復号化装置200」と縮約する。
一実施形態によるビデオ復号化装置200の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図13のビデオ符号化装置100を参照して前述のところと同一である。
受信部210は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャに係わるヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部230が、最大符号化単位ごとに映像データを復号化する。
最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されてもよい。
映像データ及び符号化情報抽出部220が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置100のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位において、所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部220は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位に類推される。
映像データ復号化部230は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。
映像データ復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号化部230は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部230は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位大きさ情報を利用して、復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部230によって、同一の符号化モードで復号化する1つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
ビデオ復号化装置200は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
図15は、本発明の一実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、サイズ32x32,16x16,8x8を含んでもよい。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32のパーティションに分割され、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16のパーティションに、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8のパーティションに、サイズ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4のパーティションに分割される。
ビデオデータ310については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が2に設定されている。ビデオデータ320については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が3に設定されている。ビデオデータ330については、解像度が352x288、符号化単位の最大サイズが16、最大深度が1に設定されている。図15に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べ、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。
ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32,16である符号化単位まで含んでもよい。一方、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含んでもよい。
ビデオデータ320の最大深度が3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32,16,8である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
図16は、本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図を図示している。
一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化単位決定部120で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部410は、現在フレーム405において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を利用して、インター推定及び動き補償を行う。
イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、変換部430及び量子化部440を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、逆変換部470を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループ・フィルタリング部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピー符号化部450を経て、ビットストリーム455として出力される。
一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素であるイントラ予測部410、動き推定部420、動き補償部425、変換部430、量子化部440、エントロピー符号化部450、逆量子化部460、逆変換部470、デブロッキング部480及びループ・フィルタリング部490が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。
特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部430は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。
図17は、本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図を図示している。
ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部520及び逆量子化部530を経て、逆量子化されたデータとして出力され、逆変換部540を経て、空間領域の映像データが復元される。
空間領域の映像データについて、イントラ予測部550は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部560は、参照フレーム585を共に利用して、インターモードの符号化単位に対して動き補償を行う。
イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループ・フィルタリング部580を経て後処理され、復元フレーム595としてに出力される。また、デブロッキング部570及びループ・フィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。
ビデオ復号化装置200の映像データ復号化部230で映像データを復号化するために、一実施形態による映像復号化部500のパージング部510後の段階別作業が行われる。
ビデオ復号化装置200の映像データ復号化部230で映像データを復号化するために、一実施形態による映像復号化部500のパージング部510後の段階別作業が行われる。
一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部500の構成要素であるパージング部510、エントロピー復号化部520、逆量子化部530、逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループ・フィルタリング部580が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。
特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部540は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
図18は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定される。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造600は、符号化単位の最大高さ及び最大幅が64であり、最大深度が4である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
すなわち、符号化単位610は、符号化単位の階層構造600において、最大符号化単位として深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640、サイズ4x4である深度4の符号化単位650が存在する。サイズ4x4である深度4の符号化単位650は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616に分割される。
同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624、サイズ16x16のパーティション626に分割される。
同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636に分割される。
同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。
最後に、深度4のサイズ4x4の符号化単位650は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ4x4のパーティション650だけに設定される。
一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度1の符号化単位一つ含むデータに対して、深度2の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、1つの深度1の符号化単位及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位610において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプとして選択される。
図19は、本発明の一実施形態による符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり、あるいは復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200で、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して変換が行われる。
また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位に対してそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図20は、本発明の一実施形態による深度別符号化情報を図示している。
一実施形態によるビデオ符号化装置100の出力部130は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を符号化して伝送することができる。
パーティションタイプに係わる情報800は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、サイズNxNのパーティション808のうちいずれか1つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806及びサイズNxNのパーティション808のうち一つを示すように設定される。
予測モードに係わる情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報810を介して、パーティションタイプに係わる情報800が示すパーティションが、イントラモード812、インターモード814及びスキップモード816のうち一つで予測符号化が行われるかということが設定される。
また、変換単位サイズに係わる情報820は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2インター変換単位サイズ828のうち一つでもある。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を抽出して復号化に利用することができる。
図21は、本発明の一実施形態による深度別符号化単位を図示している。
深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。
深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションタイプ912、2N_0xN_0サイズのパーティションタイプ914、N_0x2N_0サイズのパーティションタイプ916、N_0xN_0サイズのパーティションタイプ918を含んでもよい。予測単位が対称的な比率に分割されたパーティション912,914,916,918だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションタイプごとに、1つの2N_0x2N_0サイズのパーティション、2つの2N_0xN_0サイズのパーティション、2つのN_0x2N_0サイズのパーティション、4つのN_0xN_0サイズのパーティションごとに反復して予測符号化が行われる。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。
サイズ2N_0x2N_0,2N_0xN_0及びN_0x2N_0のパーティションタイプ912,914,916のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。
サイズN_0xN_0のパーティションタイプ918による符号化誤差が最小であれば、深度0を1に変更しながら分割し(920)、深度2及びサイズN_0xN_0のパーティションタイプの符号化単位930に対して反復して符号化を行い、最小符号化誤差を検索していく。
深度1及びサイズ2N_1x2N_1(=N_0xN_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションタイプ942、サイズ2N_1xN_1のパーティションタイプ944、サイズN_1x2N_1のパーティションタイプ946、サイズN_1xN_1のパーティションタイプ948を含んでもよい。
また、サイズN_1xN_1サイズのパーティションタイプ948による符号化誤差が最小であれば、深度1を深度2に変更しながら分割し(950)、深度2及びサイズN_2xN_2の符号化単位960に対して反復して符号化を行い、最小符号化誤差を検索していく。
最大深度がdである場合、深度別符号化単位は、深度d−1になるまで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割され(970)、深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)x2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)x2N_(d−1)のパーティションタイプ992、サイズ2N_(d−1)xN_(d−1)のパーティションタイプ994、サイズN_(d−1)x2N_(d−1)のパーティションタイプ996、サイズN_(d−1)xN_(d−1)のパーティションタイプ998を含んでもよい。
パーティションタイプのうち、1つのサイズ2N_(d−1)x2N_(d−1)のパーティション、2つのサイズ2N_(d−1)xN_(d−1)のパーティション、2つのサイズN_(d−1)x2N_(d−1)のパーティション、4つのサイズN_(d−1)xN_(d−1)のパーティションごとに反復して、予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズN_(d−1)xN_(d−1)のパーティションタイプ998による符号化誤差が最小であるとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に対する符号化深度が深度d−1として決定され、パーティションタイプは、N_(d−1)xN_(d−1)として決定される。また最大深度がdであるので、深度d−1の符号化単位952に対して、分割情報が設定されない。
データ単位999は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。
かように深度0,1,…,d−1,dのあらゆる深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度0から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「0」に設定され、符号化深度を除いた深度別分割情報は、「1」に設定されなければならない。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に対する符号化深度及び予測単位に係わる情報を抽出し、符号化単位912を復号化するのに利用することができる。一実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が「0」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
図22、図23及び図24は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位1010は、最大符号化単位について、一実施形態によるビデオ符号化装置100が決定した符号化深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位1010は、最大符号化単位の深度が0であるとするならば、符号化単位1012,1054は、深度が1、符号化単位1014,1016,1018,1028,1050,1052は、深度が2、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3、符号化単位1040,1042,1044,1046は、深度が4である。
予測単位1060において、一部パーティション1014,1016,1022,1032,1048,1050,1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションタイプであり、パーティション1016,1048,1052は、Nx2Nのパーティションタイプであり、パーティション1032は、NxNのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位1070において、一部変換単位1052の映像データについては、符号化単位に比べて、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、同一の符号化単位に係わるイントラ予測/動き推定/動き補償の作業、及び変換/逆変換の作業であるとしても、それぞれ別個のデータ単位を基に行われる。
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200で設定することができる一例を示す。
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度dの分割情報が0であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ2Nx2Nでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNと、非対称的な比率に分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2Nとを示すことができる。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。
変換単位サイズは、イントラモードで、二種の大きさ、インターモードで、二種の大きさに設定される。すなわち、変換単位分割情報が0であるならば、変換単位の大きさが、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、NxNに、非対称形パーティションタイプであるならば、N/2xN/2に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。
図25は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位1300は、符号化深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。そのうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326,NxN 1328,2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定される。
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が、対称形パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326及びNxN 1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。
パーティションタイプ情報が非対称形パーティションタイプ2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定された場合、変換単位分割情報(TU size flag)が0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。
図1ないし図25を参照して説明した多視点ビデオデータの符号化方法及び復号化方法のそれぞれの実施形態をそれぞれ具現するためのプログラムがコンピュータで読み取り可能な記録媒体に保存されることにより、独立したコンピュータ・システムが、前記記録媒体に保存された実施形態による動作を容易に具現することができる。
説明の便宜のために、先に図1ないし図25を参照して説明した多視点ビデオデータ符号化方法/復号化方法を、それぞれ「本発明のビデオ符号化方法」及び「本発明のビデオ復号化方法」とする。また、先に図1ないし図25を参照して説明した多視点ビデオデータ符号化装置/復号化装置を、それぞれ「本発明のビデオ符号化装置」及び「本発明のビデオ復号化装置」とする。
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体が、ディスク260である実施形態について以下で説明する。
図26Aは、一実施形態によるプログラムが保存されたディスク260の物理的構造を例示している。記録媒体として説明するディスク260は、ハードドライブ、CD(compact disc)−ROM(read only memory)ディスク、ブルーレイ(Blu-ray)ディスク、DVD(digital versatile disk)ディスクでもある。ディスク260は、多数の同心円のトラックTrで構成され、トラックTrは、円周方向に沿って、所定個数のセクタSeに分割される。前述の一実施形態によるプログラムを保存するディスク260のうち特定領域に、前述の多視点ビデオ予測方法、多視点ビデオ予測復元方法、多視点ビデオ符号化方法及び多視点ビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータ・システムについて、図26Bを参照して説明する。
図26Bは、ディスク260を利用して、プログラムを記録して判読するためのディスクドライブ263を図示している。コンピュータ・システム265は、ディスクドライブ263を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク260に保存することができる。ディスク260に保存されたプログラムを、コンピュータ・システム265上で実行するために、ディスクドライブ263によって、ディスク260からプログラムが読み取られ、プログラムがコンピュータ・システム265に伝送される。
図26A及び図26Bで例示されたディスク260だけではなく、メモリカード、ROMカセット、SSD(solid state drive)にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて、以下に述べる。
図27は、コンテンツ流通サービス(content distribution service)を提供するためのコンテンツ供給システム(content supply system)1100の全体的構造を図示している。通信システムのサービス領域、は所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局1170,1180,1190,1200が設置される。
コンテンツ供給システム1100は、多数の独立デバイスを含む。例えば、コンピュータ1210、PDA(personal digital assistant)1220、カメラ1230及び携帯電話1250のような独立デバイスが、インターネットサービス供給者1120、通信網1140、及び無線基地局1170,1180,1190,1200を経て、インターネット1110に連結される。
しかし、コンテンツ供給システム1100は、図27に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局1170,1180,1190,1200を経ずに、通信網1140に直接連結されもする。
ビデオカメラ1230は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話1250は、PDC(personal digital communications)、CDMA(code division multiple access)、W−CDMA(wideband code division multiple access)、GSM(global system for mobile communications)及びPHS(personal handyphone system)方式のような多様なプロトコルのうち、少なくとも1つの通信方式を採択することができる。
ビデオカメラ1230は、無線基地局1190及び通信網1140を経て、ストリーミング・サーバ1130に連結される。ストリーミング・サーバ1130は、ユーザが、ビデオカメラ1230を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送することができる。ビデオカメラ1230から受信されたコンテンツは、ビデオカメラ1230またはストリーミング・サーバ1130によって符号化される。ビデオカメラ1230で撮影されたビデオデータは、コンピュータ1210を経て、ストリーミング・サーバ1130に伝送されもする。
カメラ1260で撮影されたビデオデータも、コンピュータ1210を経て、ストリーミング・サーバ1130に伝送されもする。カメラ1260は、デジタルカメラのように、静止映像とビデオ映像とをいずれも撮影することができる撮像装置である。カメラ1260から受信されたビデオデータは、カメラ1260またはコンピュータ1210によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ1210がアクセスすることができるCD−ROMディスク、フロッピーディスク、ハードディスクドライブ、SSD、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
また携帯電話1250に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話1250から受信される。
ビデオデータは、ビデオカメラ1230、携帯電話1250またはカメラ1260に搭載されたLSI(large scale integrated circuit)システムによって符号化される。
一実施形態によるコンテンツ供給システム1100で、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ1230、カメラ1260、携帯電話1250または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミング・サーバ1130に伝送される。ストリーミング・サーバ1130は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ1210、PDA 1220、ビデオカメラ1230または携帯電話1250でもある。従って、コンテンツ供給システム1100は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム1100は、クライアントをして、符号化されたコンテンツデータを受信し、リアルタイムで復号化して再生するようにさせ、個人放送(personal broadcasting)を可能にする。
コンテンツ供給システム1100に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
図28及び図29を参照し、コンテンツ供給システム1100における携帯電話1250の一実施形態について詳細に説明する。図28は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話1250の外部構造を図示している。携帯電話1250は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり、あるいは拡張することができるスマートフォンでもある。
携帯電話1250は、無線基地局1200とRF(radio frequency)信号を交換するための内蔵アンテナ1251を含み、カメラ1253によって撮影された映像、またはアンテナ1251によって受信されて復号化された映像をディスプレイするためのLCD(liquid crystal display)画面、OLED(organic light emitting diode)画面のようなディスプレイ画面1252を含む。スマートフォン1251は、制御ボタン、タッチパネルを含む動作パネル1254を含む。ディスプレイ画面1252がタッチスクリーンである場合、動作パネル1254は、ディスプレイ画面1252のタッチ感知パネルをさらに含む。スマートフォン1251は、音声、音響を出力するためのスピーカ1258または他の形態の音響出力部;及び音声、音響が入力されるマイクロホン1255または他の形態の音響入力部;を含む。スマートフォン1251は、ビデオ及び静止映像を撮影するためのCCD(charge coupled device)カメラのようなカメラ1253をさらに含む。また、スマートフォン1251は、カメラ1253によって撮影されたり、あるいは電子メール(E−mail)に受信されたり、あるいは他の形態で獲得されたビデオや静止映像のように、符号化されたり、あるいは復号化されたデータを保存するための記録媒体1257;及び記録媒体1257を携帯電話1250に装着するためのスロット1256;を含んでもよい。記録媒体1257は、SDカードまたはプラスチックケースに内蔵されたEEPROM(electrically erasable and programmable read only memory)のような他の形態のフラッシュメモリでもある。
図29は、携帯電話1250の内部構造を図示している。ディスプレイ画面1252及び動作パネル1254で構成された携帯電話1250の各パートを組織的に制御するために、電力供給回路1270、動作入力制御部1264、映像符号化部1272、カメラ・インターフェース1263、LCD制御部1262、映像復号化部1269、マルチプレクサ/デマルチプレクサ(MUX:multiplexer/DEMUX:demultiplexer)1268、記録/判読部1267、変調/復調(modulation/demodulation)部1266及び音響処理部1265が、同期化バス1273を介して中央制御部127)に連結される。
ユーザが電源ボタンを動作し、「電源OFF」状態から「電源ON」状態に設定すれば、電力供給回路1270は、バッテリパックから、携帯電話1250の各パートに全力を供給することにより、携帯電話1250が動作モードにセッティングされる。
中央制御部1271は、CPU(central processing unit)、ROM及びRAM(random access memory)を含む。
携帯電話1250に外部で通信データを送信する過程では、中央制御部1271の制御によって、携帯電話1250でデジタル信号が生成される、例えば、音響処理部1265では、デジタル音響信号が生成され、映像符号化部1272では、デジタル映像信号が生成され、動作パネル1254及び動作入力制御部1264を介して、メッセージのテキストデータが生成される。中央制御部1271の制御によって、デジタル信号が変調/復調部1266に伝達されれば、変調/復調部1266は、デジタル信号の周波数帯域を変調し、通信回路1261は、帯域変調されたデジタル音響信号に対して、D/A変換(digital-analog conversion)処理及び周波数変換(frequency conversion)処理を行う。通信回路1261から出力された送信信号は、アンテナ1251を介して、音声通信基地局または無線基地局1200に送出される。
例えば、携帯電話1250が通話モードであるとき、マイクロホン1255によって獲得された音響信号は、中央制御部1271の制御によって、音響処理部1265で、デジタル音響信号に変換される。生成されたデジタル音響信号は、変調/復調部1266及び通信回路1261を経て、送信信号に変換され、アンテナ1251を介して送出される。
データ通信モードで、電子メールのようなテキスト・メッセージが伝送される場合、動作パネル1254を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部1264を介して、中央制御部1261に伝送される。中央制御部1261の制御により、テキストデータは、変調/復調部1266及び通信回路1261を介して送信信号に変換され、アンテナ1251を介して、無線基地局1200に送出される。
データ通信モードで、映像データを伝送するために、カメラ1253によって撮影された映像データが、カメラ・インターフェース1263を介して、映像符号化部1272に提供される。カメラ1253によって撮影された映像データは、カメラ・インターフェース1263及びLCD制御部1262を介して、ディスプレイ画面1252に直ちにディスプレイされる。
映像符号化部1272の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部1272は、カメラ1253から提供された映像データを、前述のビデオ符号化装置100または映像符号化部400のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化/逆多重化部1268に出力することができる。カメラ1253の録画中に、携帯電話1250のマイクロホン1255によって獲得された音響信号も、音響処理部1265を経て、デジタル音響データに変換され、デジタル音響データは、多重化/逆多重化部1268に伝達される。
多重化/逆多重化部1268は、音響処理部1265から提供された音響データと共に、映像符号化部1272から提供された符号化された映像データを多重化する。多重化されたデータは、変調/復調部1266及び通信回路1261を介して送信信号に変換され、アンテナ1251を介して送出される。
携帯電話1250が外部から通信データを受信する過程では、アンテナ1251を介して受信された信号を、周波数復元(frequency recovery)及びA/D変換(analog-digital conversion)処理を介して、デジタル信号を変換する。変調/復調部1266は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部1269、音響処理部1265またはLCD制御部1262に伝達される。
携帯電話1250は、通話モードであるとき、アンテナ1251を介して受信された信号を増幅し、周波数変換及びA/D変換処理を介し、てデジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部1271の制御によって、変調/復調部1266及び音響処理部1265を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ1258を介して出力される。
データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ1251を介して、無線基地局1200から受信された信号は、変調/復調部1266の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化/逆多重化部1268に伝達される。
アンテナ1251を介して受信した多重化されたデータを復号化するために、多重化/逆多重化部1268は、多重化されたデータを逆多重化して符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス1273によって、符号化されたビデオデータストリームは、ビデオ復号化部1269に提供され、符号化されたオーディオデータストリームは、音響処理部1265に提供される。
映像復号化部1269の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部1269は、前述のビデオ復号化装置200または映像復号化部500のビデオ復号化方式を利用して符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータを、LCD制御部1262を経てディスプレイ画面1252に提供することができる。
それにより、インターネットのウェブサイトから、アクセスされたビデオファイルのビデオデータがディスプレイ画面1252にディスプレイされる。それと同時に、音響処理部1265も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ1258に提供することができる。それにより、インターネットのウェブサイトから、アクセスされたビデオファイルに含まれたオーディオデータも、スピーカ1258で再生される。
携帯電話1250または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む伝送端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。
本発明の通信システムは、図27を参照して説明した構造に限定されるものではない。例えば、図30は本発明による通信システムが適用されたデジタル放送システムを図示している。図30の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星または地上波のネットワークを介して伝送されるデジタル放送を受信することができる。
具体的に述べれば、放送局1289は、電波を介して、ビデオデータストリームを、通信衛星または放送衛星1290に伝送する。放送衛星1290は、放送信号を伝送し、放送信号は、家庭にあるアンテナ1286によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、TV(television)受信機1281、セットトップボックス(set-top box)1287または他のデバイスによって復号化されて再生される。
再生装置1283で、本発明のビデオ復号化装置が具現されることにより、再生装置1283が、ディスク及びメモリカードのような記録媒体1282に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ1284で再生される。
衛星/地上波放送のためのアンテナ1286、またはケーブルTV受信のためのケーブルアンテナ1285に連結されたセットトップボックス1287にも、本発明のビデオ復号化装置が搭載される。セットトップボックス1287の出力データも、TVモニタ1288で再生される。
他の例として、セットトップボックス1287の代わりに、TV受信機1281自体に、本発明のビデオ復号化装置が搭載されもする。
適切なアンテナ1291を具備した自動車1292が、衛星1280または無線基地局1170から送出される信号を受信することもできる。自動車1292に搭載された自動車ナビゲーション・システム1293のディスプレイ画面に、復号化されたビデオが再生される。
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に述べれば、DVDレコーダによって、映像信号がDVDディスク1296に保存されたり、あるいはハードディスク・レコーダ1295によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号はSDカード1297に保存されもする。ハードディスク・レコーダ1295が、一実施形態による本発明のビデオ復号化装置を具備すれば、DVDディスク1296、SDカード1297または他の形態の記録媒体に記録されたビデオ信号が、モニタ1288で再生される。
自動車ナビゲーション・システム1293は、図29のカメラ1253、カメラ・インターフェース1263及び映像符号化部1272を含まないこともある。例えば、コンピュータ1210及びTV受信機1281も、図29のカメラ1253、カメラ・インターフェース1263及び映像符号化部1272を含まないこともある。
図31は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピュータ・システムのネットワーク構造を図示している。
本発明のクラウドコンピュータ・システムは、クラウドコンピュータ・サーバ1410、ユーザDB(database)1410、コンピュータ資源1420及びユーザ端末機を含んでなる。
クラウドコンピュータ・システムは、ユーザ端末機の要請により、インターネットのような情報通信網を介して、コンピュータ資源のオンデマンド・アウトソーシング・サービスを提供する。クラウドコンピュータ環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンタのコンピュータ資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション(application)、ストレージ(storage)、運用体制(OS)、保安(security)などのコンピュータ資源を、各ユーザ所有の端末に設置して使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを所望する時点で、所望するほど選んで使用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピュータ・サーバ1410に接続する。ユーザ端末機は、クラウドコンピュータ・サーバ1410から、クラウドコンピュータ・サービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップPC(personal computer)1430、スマートTV 1440、スマートフォン1450、ノート型パソコン1460、PMP(portable multimedia player)1470、タブレットPC 1480など、インターネット接続が可能なあらゆる電子機器にもなる。
クラウドコンピュータ・サーバ1410は、クラウド網に分散されている多数のコンピュータ資源1420を統合し、ユーザ端末機に提供することができる。多数のコンピュータ資源1420は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピュータ・サーバ1410は、さまざまなところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザDB 1410には、クラウドコンピュータ・サービスに加入しているユーザの情報が保存される。ここで、ユーザ情報は、ログイン情報と、住所、氏名など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス(index)を含んでもよい。ここで、インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の静止視点などを含んでもよい。
ユーザDB 1410に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン1460から再生要請され、ノート型パソコン1460に所定動画サービスを提供した場合、ユーザDB 1410に、所定動画サービスの再生ヒストリーが保存される。スマートフォン1450から同一の動画サービスの再生要請が受信される場合、クラウドコンピュータ・サーバ1410は、ユーザDB 1410を参照し、所定動画サービスを探して再生する。スマートフォン1450が、クラウドコンピュータ・サーバ1410を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先に図29を参照して説明した携帯電話1250の動作と類似している。
クラウドコンピュータ・サーバ1410は、ユーザDB 1410に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピュータ・サーバ1410は、ユーザ端末機から、ユーザDB 1410に保存された動画に対する再生要請を受信する。動画が、以前に再生中であったのであれば、クラウドコンピュータ・サーバ1410は、ユーザ端末機による選択によって、最初から再生するか、あるいは以前の停止時点から再生するかによって、ストリーミング方法が変わる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピュータ・サーバ1410は、ユーザ端末機に当該動画を最初のフレームからストリーミング伝送する。一方、端末機10が、以前の停止時点から、続けて再生するように要請した場合には、クラウドコンピュータ・サーバ1410は、ユーザ端末機に当該動画を、停止視点のフレームからストリーミング伝送する。
そのとき、ユーザ端末機は、図1ないし図25を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図1ないし図25を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図1ないし図25を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
図1ないし図25を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図26Aないし図31で説明した。しかし、図1ないし図25を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図26Aないし図31の実施形態に限定されるものではない。
本発明で開示されたブロック図は、本発明の原理を具現するための回路を概念的に表現した形態であると当業者に解釈されるであろう。同様に、任意のフローチャート、フロー図表、状態転移図、擬似コードなどは、コンピュータで読み取り可能な媒体で実質的に表現され、コンピュータまたはプロセッサが明示的に図示されていてもいなくとも、かようなコンピュータまたはプロセッサによって実行される多様なプロセスを示すということは、当業者に認識されるであろう。従って、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM、フロッピー(登録商標)ディスク、ハードディスクなど);光学的判読媒体(例えば、CD−ROM、DVDなど)のような記録媒体を含む。
図面に図示された多様な要素の機能は、適切なソフトウェアと関連し、該ソフトウェアを実行することができるハードウェアだけではなく、専用ハードウェアの利用を介して提供される。プロセッサによって提供されるとき、かような機能は単一専用プロセッサ、単一共有プロセッサ、または一部が共有される複数の個別プロセッサによって提供される。また、用語「プロセッサ」または「制御部」の明示的な利用は、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈されるものではなく、制限なしに、デジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを保存するためのROM、RAM、及び不揮発性保存装置を暗黙的に含んでもよい。
本明細書の特許請求の範囲、特定機能を遂行するための手段として表現された要素は、特定機能を遂行する任意の方式を包括し、かような要素は、特定機能を遂行する回路要素の組み合わせ、または特定機能を遂行するためのソフトウェアを遂行するために適する回路と結合された、ファームウェア、マイクロコードなどを含む任意の形態のソフトウェアを含んでもよい。
本明細書で、本発明の原理の「一実施形態」及び当該表現の多様な変形の指称は、その実施形態と係わって、特定の特徴、構造、特性などが、本発明の原理の少なくとも1つの実施形態に含まれるということを意味する。従って、表現「一実施形態」と、本明細書全体を介して開示された任意の他の変形例は、必ずしも同一の実施形態を指すものではない。
本明細書で、「A及びBのうち少なくとも一つ」とする場合、「のうち少なくとも一つ」というの表現は、最初のオプション(A)の選択だけ、または次に列挙されたオプション(B)の選択だけ、または両方オプション(A及びB)の選択を包括するために使用される。追加的な例として、「A、B、及びCのうち少なくとも一つ」の場合は、最初に列挙されたオプション(A)の選択だけ、または次に列挙されたオプション(B)の選択だけ、または3番目に列挙されたオプション(C)の選択だけ、または最初及び2番目に目列挙されたオプション(A及びB)の選択だけ、または2番目及び3番目に列挙されたオプション(B及びC)の選択だけ、またはあらゆる3個のオプションの選択(A、B及びC)が包括される。さらに多くの項目が列挙される場合にも、当業者に明白に拡張解釈されるであろう。
以上、本発明について、その望ましい実施形態を中心に説明した。
本明細書を介して開示されたあらゆる実施形態と条件付き例示は、本発明の技術分野で、当業者が、本発明の原理と概念とを理解することができるように一助とするための意図から記述されたものであり、当業者は、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならないであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異は、本発明に含まれるものであると解釈されなければならないのである。
Claims (15)
- 多視点ビデオデータの深度マップ符号化方法において、
多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する段階と、
前記獲得された多視点カラービデオフレームを予測符号化して復元する段階と、
前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する段階と、
前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する段階と、
前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階と、を含むことを特徴とする多視点ビデオデータの深度マップ符号化方法。 - 前記多視点カラービデオフレームを予測符号化する段階は、
前記多視点カラービデオフレームを、最大サイズの符号化単位に分割した少なくとも1つの最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、前記符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定し、階層的構造の変換単位を基に変換を行い、ツリー構造による変換単位を決定する段階をさらに含むことを特徴とする請求項1に記載の多視点ビデオデータの深度マップ符号化方法。 - 前記パラメータを獲得する段階は、
前記相関関係を利用して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値から獲得された前記深度マップフレームのブロック・パーティションの周辺ピクセル値と、本来の前記深度マップフレームのブロック・パーティションの周辺ピクセル値との差が最小になるパラメータを決定することを特徴とする請求項1に記載の多視点ビデオデータの深度マップ符号化方法。 - 前記相関関係は、線形関係であり、前記パラメータは、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値と、前記深度マップフレームのブロック・パーティションの対応する周辺ピクセル値との前記線形関係を定義する加重値及びオフセット値を含むことを特徴とする請求項3に記載の多視点ビデオデータの深度マップ符号化方法。
- 前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値を、Rec_Y’、前記深度マップフレームのブロック・パーティションの対応する周辺ピクセル値の予測値を、Pred_D、前記加重値をa、前記オフセット値をbとするとき、
前記相関関係は、次の数式:Pred_D=a*Rec_Y’+bのように定義されることを特徴とする請求項4に記載の多視点ビデオデータの深度マップ符号化方法。 - 前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階は、
互いに異なるカラー成分の復元された多視点カラービデオフレームのブロック・パーティションを利用して、前記深度マップフレームブロック・パーティションそれぞれに係わる予測値を獲得する段階と、
互いに異なるカラー成分の復元された多視点カラービデオフレームのブロック・パーティションから獲得された予測値のコストを比較し、前記深度マップフレームブロック・パーティションの予測に利用される多視点カラービデオフレームのブロック・パーティションを決定する段階と、をさらに含むことを特徴とする請求項1に記載の多視点ビデオデータの深度マップ符号化方法。 - 多視点ビデオデータの深度マップ符号化装置において、
多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する映像獲得部と、
前記獲得された多視点カラービデオフレームを予測符号化するカラービデオフレーム符号化部と、
前記符号化されたカラービデオフレームを復元する復元部と、
前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する分割部と、
前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する相関関係パラメータ獲得部と、
前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する深度マップフレーム予測部と、を含むことを特徴とする多視点ビデオデータの深度マップ符号化装置。 - 多視点ビデオデータの深度マップ復号化方法において、
多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する段階と、
前記多視点カラービデオフレームを復号化する段階と、
前記復号化された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復号化された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する段階と、
前記復号化された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する段階と、
前記獲得されたパラメータを利用して、前記復号化された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階と、を含むことを特徴とする多視点ビデオデータの深度マップ復号化方法。 - 前記多視点カラービデオフレームを復号化する段階は、
前記ビットストリームから、前記多視点カラービデオフレームが分割された最大符号化単位の大きさ、前記最大符号化単位の空間的分割回数を示す深度、前記深度によって階層的に構成される符号化単位の予測符号化時に利用されたパーティション、及び階層的構造の変換単位の構造を示す情報を獲得する段階と、
前記獲得された情報に基づいて、前記多視点カラービデオフレームを、最大サイズの符号化単位に分割した少なくとも1つの最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、前記符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定し、ツリー構造による変換単位を決定する段階をさらに含むことを特徴とする請求項8に記載の多視点ビデオデータの深度マップ復号化方法。 - 前記パラメータを獲得する段階は、
前記相関関係を利用して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値から獲得された前記深度マップフレームのブロック・パーティションの周辺ピクセル値と、本来の前記深度マップフレームのブロック・パーティションの周辺ピクセル値との差が最小になるパラメータを決定することを特徴とする請求項8に記載の多視点ビデオデータの深度マップ復号化方法。 - 前記相関関係は、線形関係であり、前記パラメータは、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値と、前記深度マップフレームのブロック・パーティションの対応する周辺ピクセル値との前記線形関係を定義する加重値及びオフセット値を含むことを特徴とする請求項10に記載の多視点ビデオデータの深度マップ復号化方法。
- 前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値をRec_Y’、前記深度マップフレームのブロック・パーティションの対応する周辺ピクセル値の予測値をPred_D、前記加重値をa、前記オフセット値をbとするとき、
前記相関関係は、次の数式:Pred_D=a*Rec_Y’+bのように定義されることを特徴とする請求項11に記載の多視点ビデオデータの深度マップ復号化方法。 - 前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階は、
互いに異なるカラー成分の復元された多視点カラービデオフレームのブロック・パーティションを利用して、前記深度マップフレームブロック・パーティションそれぞれに係わる予測値を獲得する段階と、
互いに異なるカラー成分の復元された多視点カラービデオフレームのブロック・パーティションから獲得された予測値のコストを比較し、前記深度マップフレームブロック・パーティションの予測に利用される多視点カラービデオフレームのブロック・パーティションを決定する段階と、をさらに含むことを特徴とする請求項8に記載の多視点ビデオデータの深度マップ復号化方法。 - 前記多視点カラービデオフレームのブロックは、
前記深度マップフレームブロックと同一視点のカラービデオフレームブロック、前記深度マップフレームブロックサイズと同一サイズを有するようにスケーリングされた同一視点のカラービデオフレームブロック、前記深度マップフレームブロックと同一視点のカラービデオフレームブロックの周辺ブロック、前記深度マップフレームブロックサイズと同一サイズを有するようにスケーリングされた同一視点のカラービデオフレームブロックの周辺ブロック、多視点ビデオの視点間差を示す変移ベクトルに基づいて決定された前記深度マップフレームブロックと異なる視点のカラービデオフレームブロック、前記深度マップフレームブロックサイズと同一サイズを有するようにスケーリングされ、前記変移ベクトルに基づいて決定された異なる視点のカラービデオフレームブロック、前記変移ベクトルに基づいて決定された前記深度マップフレームブロックと異なる視点のカラービデオフレームブロックの周辺ブロック、及び前記深度マップフレームブロックサイズと同一サイズを有するようにスケーリングされ、前記変移ベクトルに基づいて決定された異なる視点のカラービデオフレームブロックの周辺ブロックのうち1つであることを特徴とする請求項8に記載の多視点ビデオデータの深度マップ復号化方法。 - 多視点ビデオデータの深度マップ復号化装置において、
多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する受信部と、
前記ビットストリームから獲得された前記符号化された多視点カラービデオフレームを復号化するカラービデオフレーム復号化部と、
前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも1つのパーティションに分割する分割部と、
前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する相関関係パラメータ獲得部と、
前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する深度マップフレーム復号化部と、を含むことを特徴とする多視点ビデオデータの深度マップ復号化装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161521529P | 2011-08-09 | 2011-08-09 | |
US61/521,529 | 2011-08-09 | ||
PCT/KR2012/006357 WO2013022297A2 (ko) | 2011-08-09 | 2012-08-09 | 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014529214A true JP2014529214A (ja) | 2014-10-30 |
Family
ID=47669100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014524940A Pending JP2014529214A (ja) | 2011-08-09 | 2012-08-09 | 多視点ビデオデータの深度マップ符号化方法及びその装置、復号化方法及びその装置 |
Country Status (11)
Country | Link |
---|---|
US (1) | US9402066B2 (ja) |
EP (1) | EP2744201A4 (ja) |
JP (1) | JP2014529214A (ja) |
KR (1) | KR101927967B1 (ja) |
CN (1) | CN103918255B (ja) |
AU (1) | AU2012295044B2 (ja) |
BR (1) | BR112014003165A2 (ja) |
CA (1) | CA2844602A1 (ja) |
MX (1) | MX2014001614A (ja) |
TW (1) | TWI561066B (ja) |
WO (1) | WO2013022297A2 (ja) |
Families Citing this family (88)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009151903A2 (en) | 2008-05-20 | 2009-12-17 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with hetergeneous imagers |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
KR101479129B1 (ko) * | 2009-10-01 | 2015-01-06 | 에스케이텔레콤 주식회사 | 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치 |
US10198792B2 (en) | 2009-10-14 | 2019-02-05 | Dolby Laboratories Licensing Corporation | Method and devices for depth map processing |
EP2502115A4 (en) | 2009-11-20 | 2013-11-06 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER |
SG185500A1 (en) | 2010-05-12 | 2012-12-28 | Pelican Imaging Corp | Architectures for imager arrays and array cameras |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
EP2708019B1 (en) | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systems and methods for transmitting and receiving array camera image data |
CN103765474B (zh) | 2011-08-26 | 2017-10-24 | 汤姆逊许可公司 | 深度编码 |
US9191646B2 (en) * | 2011-08-29 | 2015-11-17 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
WO2013043751A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
CN104081414B (zh) | 2011-09-28 | 2017-08-01 | Fotonation开曼有限公司 | 用于编码和解码光场图像文件的系统及方法 |
US20140241434A1 (en) * | 2011-10-11 | 2014-08-28 | Mediatek Inc | Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc |
US9712819B2 (en) * | 2011-10-12 | 2017-07-18 | Lg Electronics Inc. | Image encoding method and image decoding method |
WO2013126578A1 (en) | 2012-02-21 | 2013-08-29 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
EP2838262A4 (en) * | 2012-04-16 | 2016-01-06 | Samsung Electronics Co Ltd | METHOD FOR MULTIPLE VIEW VIDEO CODING BASED ON A TREE STRUCTURE CODING UNIT AND DEVICE THEREFOR AND METHOD FOR MULTIPLE VIDEO VIDEO DECODING BASED ON A TREE STRUCTURE CODING UNIT AND DEVICE THEREFOR |
AU2013284038B2 (en) * | 2012-06-28 | 2015-11-05 | Hfi Innovation Inc. | Method and apparatus of disparity vector derivation in 3D video coding |
US9100635B2 (en) | 2012-06-28 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for detecting defective camera arrays and optic arrays |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
AU2013305770A1 (en) | 2012-08-21 | 2015-02-26 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
US20150229957A1 (en) * | 2012-09-24 | 2015-08-13 | Qualcomm Incorporated | Depth map coding |
WO2014053087A1 (en) * | 2012-10-03 | 2014-04-10 | Mediatek Inc. | Method and apparatus of motion data buffer reduction for three-dimensional video coding |
US20150245063A1 (en) * | 2012-10-09 | 2015-08-27 | Nokia Technologies Oy | Method and apparatus for video coding |
KR101421411B1 (ko) | 2012-11-14 | 2014-07-22 | 에스케이플래닛 주식회사 | 지도정보 제공 방법, 이를 위한 시스템, 이를 위한 단말기 및 이를 위한 서비스장치 |
WO2014106496A1 (en) * | 2013-01-07 | 2014-07-10 | Mediatek Inc. | Method and apparatus of depth to disparity vector conversion for three-dimensional video coding |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
KR102136913B1 (ko) | 2013-03-15 | 2020-07-22 | 퀄컴 인코포레이티드 | 심도 맵 인트라 코딩을 위한 예측자 |
US9633442B2 (en) * | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
WO2014145856A1 (en) | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US9900576B2 (en) * | 2013-03-18 | 2018-02-20 | Qualcomm Incorporated | Simplifications on disparity vector derivation and motion vector prediction in 3D video coding |
KR102049080B1 (ko) * | 2013-03-28 | 2020-01-08 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
CN105340273B (zh) * | 2013-04-05 | 2018-09-11 | 三星电子株式会社 | 用于预测用于层间视频解码的视差矢量的方法以及编码方法和设备 |
KR102300036B1 (ko) * | 2013-04-11 | 2021-09-08 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
KR101712109B1 (ko) | 2013-07-12 | 2017-03-03 | 삼성전자 주식회사 | 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 복호화 방법 및 그 장치, 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 부호화 방법 및 장치 |
WO2015007159A1 (en) * | 2013-07-15 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Method of disparity derived depth coding in 3d video coding |
KR101672008B1 (ko) * | 2013-07-18 | 2016-11-03 | 경희대학교 산학협력단 | 변이 벡터 예측 방법 및 장치 |
KR20150012206A (ko) | 2013-07-24 | 2015-02-03 | 한국전자통신연구원 | 3차원 콘텐츠의 부호화 방법 및 장치 |
US9294766B2 (en) * | 2013-09-09 | 2016-03-22 | Apple Inc. | Chroma quantization in video coding |
US9355468B2 (en) * | 2013-09-27 | 2016-05-31 | Nvidia Corporation | System, method, and computer program product for joint color and depth encoding |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US9426361B2 (en) | 2013-11-26 | 2016-08-23 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
WO2015093919A1 (ko) * | 2013-12-20 | 2015-06-25 | 삼성전자 주식회사 | 인터 뷰 예측을 이용한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
WO2015194781A1 (ko) * | 2014-06-18 | 2015-12-23 | 삼성전자 주식회사 | 깊이 블록을 이용하는 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법 |
KR20160001647A (ko) * | 2014-06-26 | 2016-01-06 | 주식회사 케이티 | 다시점 비디오 신호 처리 방법 및 장치 |
US20160050440A1 (en) * | 2014-08-15 | 2016-02-18 | Ying Liu | Low-complexity depth map encoder with quad-tree partitioned compressed sensing |
WO2016054089A1 (en) | 2014-09-29 | 2016-04-07 | Pelican Imaging Corporation | Systems and methods for dynamic calibration of array cameras |
KR102350235B1 (ko) * | 2014-11-25 | 2022-01-13 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
CN105812797B (zh) * | 2014-12-31 | 2019-03-26 | 浙江大华技术股份有限公司 | 一种编码单元选择方法及装置 |
US9948920B2 (en) | 2015-02-27 | 2018-04-17 | Qualcomm Incorporated | Systems and methods for error correction in structured light |
US10068338B2 (en) | 2015-03-12 | 2018-09-04 | Qualcomm Incorporated | Active sensing spatial resolution improvement through multiple receivers and code reuse |
KR20160147448A (ko) | 2015-06-15 | 2016-12-23 | 한국전자통신연구원 | 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법 |
US20180213201A1 (en) * | 2015-07-21 | 2018-07-26 | Heptagon Micro Optics Pte. Ltd. | Generating a disparity map based on stereo images of a scene |
US10713805B2 (en) * | 2015-07-31 | 2020-07-14 | Versitech Limited | Depth discontinuity-based method for efficient intra coding for depth videos |
US9635339B2 (en) * | 2015-08-14 | 2017-04-25 | Qualcomm Incorporated | Memory-efficient coded light error correction |
US9846943B2 (en) | 2015-08-31 | 2017-12-19 | Qualcomm Incorporated | Code domain power control for structured light |
KR101764531B1 (ko) * | 2016-02-29 | 2017-08-04 | 한경대학교 산학협력단 | 네트워크 기반 다중 카메라 영상 처리 및 데이터 전송 방법 및 그 시스템 |
KR102365937B1 (ko) * | 2016-04-29 | 2022-02-22 | 세종대학교산학협력단 | 영상 신호 부호화/복호화 방법 및 장치 |
CN116915999A (zh) | 2016-04-29 | 2023-10-20 | 世宗大学校产学协力团 | 视频信号编码/解码方法和设备 |
US10776992B2 (en) * | 2017-07-05 | 2020-09-15 | Qualcomm Incorporated | Asynchronous time warp with depth data |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
KR20200071302A (ko) * | 2018-12-11 | 2020-06-19 | 가온미디어 주식회사 | 움직임 예측을 사용하는 영상 복호화 및 부호화 방법 |
BR112022004811A2 (pt) | 2019-09-17 | 2022-06-21 | Boston Polarimetrics Inc | Sistemas e métodos para modelagem de superfície usando indicações de polarização |
BR112022006617A2 (pt) | 2019-10-07 | 2022-06-28 | Boston Polarimetrics Inc | Sistemas e métodos para detecção por sensor de normais à superfície com polarização |
CA3162710A1 (en) | 2019-11-30 | 2021-06-03 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
US11546592B2 (en) * | 2020-01-08 | 2023-01-03 | Tencent America LLC | Flexible block partitioning for chroma component |
US11195303B2 (en) | 2020-01-29 | 2021-12-07 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
WO2021178919A1 (en) * | 2020-03-05 | 2021-09-10 | Magic Leap, Inc. | Systems and methods for depth estimation by learning triangulation and densification of sparse points for multi-view stereo |
CN111476835B (zh) * | 2020-05-21 | 2021-08-10 | 中国科学院自动化研究所 | 多视角图像一致性的无监督深度预测方法、系统、装置 |
WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
EP4162440A1 (en) * | 2020-06-09 | 2023-04-12 | InterDigital VC Holdings France, SAS | Local light field flow as an alternative to plane-sweep volumes |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009534876A (ja) * | 2006-03-23 | 2009-09-24 | サムスン エレクトロニクス カンパニー リミテッド | 画像の符号化方法及び装置、復号化方法及び装置 |
US20110122225A1 (en) * | 2009-11-23 | 2011-05-26 | General Instrument Corporation | Depth Coding as an Additional Channel to Video Sequence |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2364843A (en) * | 2000-07-14 | 2002-02-06 | Sony Uk Ltd | Data encoding based on data quantity and data quality |
KR20060105408A (ko) * | 2005-04-01 | 2006-10-11 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
US20050047502A1 (en) * | 2003-08-12 | 2005-03-03 | Mcgowan James William | Method and apparatus for the efficient representation of interpolated video frames for motion-compensated coding |
BRPI0616745A2 (pt) * | 2005-10-19 | 2011-06-28 | Thomson Licensing | codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável |
EP1999966A2 (en) * | 2006-03-29 | 2008-12-10 | Thomson Licensing | Multi-view video coding method and device |
BRPI0809627B1 (pt) * | 2007-03-26 | 2019-04-16 | Pelco, Inc. | Método, aparelho e meio legível por computador para aperfeiçoar uma imagem de vídeo por remoção dos efeitos da vibração da câmera. |
US8023562B2 (en) | 2007-09-07 | 2011-09-20 | Vanguard Software Solutions, Inc. | Real-time video coding/decoding |
US8351685B2 (en) * | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
CN101472190B (zh) * | 2007-12-28 | 2013-01-23 | 华为终端有限公司 | 多视角摄像及图像处理装置、系统 |
CN101911700A (zh) * | 2008-01-11 | 2010-12-08 | 汤姆逊许可证公司 | 视频和深度编码 |
EP2245596B1 (en) | 2008-01-21 | 2017-07-12 | Telefonaktiebolaget LM Ericsson (publ) | Prediction-based image processing |
US8532410B2 (en) * | 2008-04-25 | 2013-09-10 | Thomson Licensing | Multi-view video coding with disparity estimation based on depth information |
JP2011519227A (ja) * | 2008-04-25 | 2011-06-30 | トムソン ライセンシング | 奥行き信号の符号化 |
KR101158491B1 (ko) * | 2008-12-08 | 2012-06-20 | 한국전자통신연구원 | 다시점 영상 부호화, 복호화 방법 및 그 장치. |
WO2010151279A1 (en) * | 2009-06-25 | 2010-12-29 | Thomson Licensing | Depth map coding |
KR101660312B1 (ko) | 2009-09-22 | 2016-09-27 | 삼성전자주식회사 | 3차원 비디오의 움직임 탐색 장치 및 방법 |
US8659592B2 (en) * | 2009-09-24 | 2014-02-25 | Shenzhen Tcl New Technology Ltd | 2D to 3D video conversion |
US10198792B2 (en) * | 2009-10-14 | 2019-02-05 | Dolby Laboratories Licensing Corporation | Method and devices for depth map processing |
US8537200B2 (en) * | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
KR20110088334A (ko) * | 2010-01-28 | 2011-08-03 | 삼성전자주식회사 | 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치 |
US20140192155A1 (en) * | 2011-08-09 | 2014-07-10 | Samsung Electronics Co., Ltd. | Multiview video data encoding method and device, and decoding method and device |
-
2012
- 2012-08-09 WO PCT/KR2012/006357 patent/WO2013022297A2/ko active Application Filing
- 2012-08-09 CN CN201280049632.6A patent/CN103918255B/zh not_active Expired - Fee Related
- 2012-08-09 KR KR1020120087359A patent/KR101927967B1/ko active IP Right Grant
- 2012-08-09 MX MX2014001614A patent/MX2014001614A/es active IP Right Grant
- 2012-08-09 EP EP12822820.2A patent/EP2744201A4/en not_active Withdrawn
- 2012-08-09 JP JP2014524940A patent/JP2014529214A/ja active Pending
- 2012-08-09 AU AU2012295044A patent/AU2012295044B2/en not_active Ceased
- 2012-08-09 TW TW101128831A patent/TWI561066B/zh not_active IP Right Cessation
- 2012-08-09 CA CA2844602A patent/CA2844602A1/en not_active Abandoned
- 2012-08-09 BR BR112014003165A patent/BR112014003165A2/pt not_active IP Right Cessation
- 2012-08-09 US US14/238,037 patent/US9402066B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009534876A (ja) * | 2006-03-23 | 2009-09-24 | サムスン エレクトロニクス カンパニー リミテッド | 画像の符号化方法及び装置、復号化方法及び装置 |
US20110122225A1 (en) * | 2009-11-23 | 2011-05-26 | General Instrument Corporation | Depth Coding as an Additional Channel to Video Sequence |
Also Published As
Publication number | Publication date |
---|---|
AU2012295044A1 (en) | 2014-02-27 |
TWI561066B (en) | 2016-12-01 |
CN103918255A (zh) | 2014-07-09 |
TW201313034A (zh) | 2013-03-16 |
US9402066B2 (en) | 2016-07-26 |
WO2013022297A3 (ko) | 2013-04-04 |
BR112014003165A2 (pt) | 2017-03-01 |
CN103918255B (zh) | 2016-06-22 |
KR20130018629A (ko) | 2013-02-25 |
WO2013022297A2 (ko) | 2013-02-14 |
KR101927967B1 (ko) | 2018-12-12 |
US20140192154A1 (en) | 2014-07-10 |
EP2744201A4 (en) | 2016-03-23 |
EP2744201A2 (en) | 2014-06-18 |
CA2844602A1 (en) | 2013-02-14 |
AU2012295044B2 (en) | 2016-06-16 |
MX2014001614A (es) | 2014-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101927967B1 (ko) | 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치 | |
JP6334622B2 (ja) | ビデオ復号化方法及びビデオ復号化装置 | |
KR102329126B1 (ko) | 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치 | |
JP2014527350A (ja) | 多視点ビデオデータの符号化方法及びその装置、該復号化方法及びその装置 | |
KR102106536B1 (ko) | 다시점 비디오 예측을 위한 참조픽처세트를 이용하는 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 예측을 위한 참조픽처세트를 이용하는 다시점 비디오 복호화 방법 및 그 장치 | |
JP2016526853A (ja) | 深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ復号化方法及びその装置、並びに深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ符号化方法及びその装置 | |
JP2017055434A (ja) | ビデオのイントラ予測方法及びその装置 | |
JP2015525547A (ja) | ビデオ符号化またはビデオ復号化のための動きベクトル予測方法及びその装置 | |
JP6742243B2 (ja) | 輝度補償を利用したインターレイヤビデオ符号化方法及びその装置、該ビデオ復号化方法及びその装置 | |
JP2017523682A (ja) | インターレイヤビデオ符号化/復号のためのデプス映像の予測モード伝送方法及びその装置 | |
JP2015526012A (ja) | ブロックサイズによってインター予測の参照ピクチャリストを決定するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置 | |
JP6367965B2 (ja) | デプス映像を符号化または復号する方法、及びその装置 | |
EP3203735A1 (en) | Per-sample prediction encoding apparatus and method | |
EP3119090A1 (en) | Method for performing filtering at partition boundary of block related to 3d image | |
EP2838264A1 (en) | Method for encoding multiview video using reference list for multiview video prediction and device therefor, and method for decoding multiview video using refernece list for multiview video prediction and device therefor | |
JP2016528792A (ja) | インターレイヤビデオ復号化装置及びインターレイヤビデオ符号化装置、並びにその方法のためのブロック基盤ディスパリティベクトル予測方法 | |
CA2844595A1 (en) | Method for multiview video prediction encoding and device for same, and method for multiview video prediction decoding and device for same | |
KR102399593B1 (ko) | 다 시점 영상 부호화/복호화 방법 및 장치 | |
JP6374605B2 (ja) | 映像を復号する方法、装置及び記録媒体 | |
JP2017505037A (ja) | デプス符号化方法及びその装置、デプス復号化方法及びその装置 | |
JP2017518706A (ja) | デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法 | |
JP2017513426A (ja) | 類型情報を利用した、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法 | |
KR102193620B1 (ko) | 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 디스패리티 벡터 예측 방법 | |
JP2017508420A (ja) | マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法、並びにその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170104 |