JP2009536793A - 多視点ビデオの処理 - Google Patents

多視点ビデオの処理 Download PDF

Info

Publication number
JP2009536793A
JP2009536793A JP2008550242A JP2008550242A JP2009536793A JP 2009536793 A JP2009536793 A JP 2009536793A JP 2008550242 A JP2008550242 A JP 2008550242A JP 2008550242 A JP2008550242 A JP 2008550242A JP 2009536793 A JP2009536793 A JP 2009536793A
Authority
JP
Japan
Prior art keywords
viewpoint
block
value
video signal
illumination compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008550242A
Other languages
English (en)
Other versions
JP2009536793A5 (ja
JP5199123B2 (ja
Inventor
ヒュ ヤン，ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060037773A external-priority patent/KR20070076356A/ko
Priority claimed from KR1020060110338A external-priority patent/KR20070076392A/ko
Priority claimed from KR1020060110337A external-priority patent/KR20070076391A/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2009536793A publication Critical patent/JP2009536793A/ja
Publication of JP2009536793A5 publication Critical patent/JP2009536793A5/ja
Application granted granted Critical
Publication of JP5199123B2 publication Critical patent/JP5199123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/455—Demodulation-circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】ビデオ信号デコーディング方法を提供する。
【解決手段】この方法は、第１プロファイルによってエンコーディングされたビデオ信号と、第１プロファイルを識別するプロファイル情報と、を含むビットストリームを受信する段階と、ビットストリームからプロファイル情報を抽出する段階と、プロファイル情報が多視点ビデオ信号に対応する場合、各視点内に在るピクチャの部分間における照明補償を用いて、プロファイル情報によってビデオ信号をデコーディングする段階と、を含み、第１プロファイルは少なくとも１つの多視点ビデオ信号に対するプロファイルを含む複数個のプロファイルから選択されたことを表し、多視点ビデオ信号は複数個の視点を含み、複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とする。
【選択図】図１

Description

本発明は、多視点ビデオの処理に関する。
多視点ビデオコーディング（ＭＶＣ）では、複数台のカメラから取得されたビデオ映像（例えば、一連のイメージまたはピクチャ）に対する圧縮標準を扱う。前記ビデオ映像または視点は、ＭＰＥＧのような標準によってコーディングされることができる。ビデオ映像内のピクチャは、完全なビデオフレームまたはビデオフレームのフィールドを表すことができる。スライスは、前記ピクチャ内の一部または全部のマクロブロックを含むピクチャの独立的にコーディングされた部分でありうる。そして、マクロブロックは、ピクチャ要素（またはピクセル）で構成されたブロックを含むことができる。
これらのビデオ映像は、Ｈ．２６４／ＡＶＣコーデック技術によって多視点ビデオ映像にコーディングされることができる。そして、多くの研究員らが多視点ビデオ映像を提供するために標準の追加技術への研究を行っている。
現在Ｈ．２６４には、特定の機能を支援する３個のプロファイルが定義されているが、プロファイルとは、ビデオ符号化/復号化過程でアルゴリズム上用いられる技術的構成要素を規格化したものを意味する。すなわち、圧縮された映像のビット列を復号するために必要な技術要素の集合で、一種のサブ規格といえる。前記３個のプロファイルは、ベースラインプロファイル、メインプロファイル、拡張プロファイルを指し示す。デコーダがそれぞれのプロファイルと互換されるように、エンコーダとデコーダに要求される多様な事項がＨ．２６４標準で定義されている。
Ｈ．２６４／ＡＶＣにおけるビット列の構成を見ると、動映像符号化処理そのものを扱うＶＣＬ（ビデオ符号化階層）と符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ（ネットワーク抽象階層）との分離された階層構造で定義されている。符号化過程の出力は、ＶＣＬデータであって、転送したり保存する前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（動映像圧縮の結果データ）を含む。
ＮＡＬ単位は、ＮＡＬヘッダとＲＢＳＰを含む。前記ＮＡＬヘッダは、フラグ情報（例えば、ｎａｌ＿ｒｅｆ＿ｉｄｃ）と識別（ＩＤ）情報（例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含むことができる。前記フラグ情報は、前記ＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示し、前記識別情報はＮＡＬ単位の種類を示す。ＲＢＳＰには圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの最後にＲＢＳＰ埋め込みビットを加える。
このようなＮＡＬ単位の種類には、ＩＤＲ（瞬間復号リフラッシュ）ピクチャ、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、ＳＥＩ（補充的付加情報）などがある。
また、規格では、対象製品を適当な費用で具現可能なように様々なプロファイル及びレベルで制約しているが、復号器は該当のプロファイルとレベルで定められた制約を満たさなければならない。
このように復号器がどんな圧縮映像の範囲にまで対応可能かを示すように、復号器の機能またはパラメータを表すためのプロファイルとレベルという２種類の概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別情報とは、ビットストリームに関連したプロファイルを示すフラグを意味する。Ｈ．２６４／ＡＶＣ標準は、３つのプロファイル識別情報を含むことができる。例えば、前記プロファイル識別情報が６６であれば前記ビットストリームはベースラインプロファイルに基づくことを意味し、７７であればメインプロファイルに基づくことを意味し、８８であれば拡張プロファイルに基づくことを意味する。前記プロファイル識別情報はシーケンスパラメータセットに含まれることができる。
本発明の目的は、ブロック間または視点間の相関関係を用いてビデオ映像の符号化／復号化効率を高めることにある。
本発明の目的は、ビデオ映像データに效率的に符号化及び復号化を行う方法及び装置を提供することにある。
本発明の目的は、多視点映像に関する情報を規格化された方式で追加することによって符号化／復号化効率を高めることにある。
本発明の目的は、多視点映像に符号化されたデータを效率的に復号化する方法／装置及びこれを用いたディスプレイ方法を提供することにある。
本発明の目的は、多視点映像の符号化時に、予測順序及び方向を構造化することにおいて、多視点間の階層的符号化を行う方法を提供することにある。
本発明の目的は、多視点映像の復号化時に、ディスプレイに適合した階層的復号化方法を提供することにある。
本発明の目的は、多視点映像において、視点間の照明差を效率的に補償することにある。
本発明の目的は、一定階層に照明補償を適用するか否かを示す識別子を使用することによって、効率的な照明補償を行うことにある。
本発明の目的は、現在ブロックの照明補償を行うか否かを示す識別子とブロック間の平均画素値差を示すオフセット値を用いて照明補償を行うことによって、ビデオ信号のコーディング効率を高めることにある。
本発明の目的は、動き推定を行う時にブロック間の平均画素値差を示すオフセット値を考慮することによって、ビデオ信号のコーディング効率を高めることにある。
本発明は、第１プロファイルによってエンコーディングされたビデオ信号と、前記第１プロファイルを識別するプロファイル情報とを、含むビットストリームを受信する段階と、前記ビットストリームから前記プロファイル情報を抽出する段階と、前記プロファイル情報が多視点ビデオ信号に対応する場合、各視点内にあるピクチャの部分間での照明補償を用いて前記プロファイル情報によって前記ビデオ信号をデコーディングする段階と、を含み、前記第１プロファイルは、少なくとも１つの多視点ビデオ信号に対するプロファイルを含む複数個のプロファイルから選択されたことを表し、前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分（例えば、単一ブロックまたはマクロブロックのようなイメージブロック部分、またはイメージのスライスのような部分で区分された複数個のピクチャを含むことを特徴とするビデオ信号デコーディング方法を提供する。
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
本発明は、プロファイル情報が多視点ビデオ信号に対応する場合、複数個の視点と関連した属性情報を前記ビットストリームから抽出する段階をさらに含み、前記属性情報は、各視点間の依存関係を示す視点間依存情報、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とするビデオ信号デコーディング方法を提供する。
本発明で、前記プロファイル情報は、前記ビットストリームのヘッダに位置することを特徴とする。
本発明で、前記視点レベル情報は、前記多視点ビデオ信号の視点間の階層的視点予測構造と関連した複数個のレベルのうち１つに対応することを特徴とする。
本発明で、前記視点間依存情報は、２次元データ構造の依存関係を示すことを特徴とする。
本発明で、前記２次元データ構造は、マトリクスからなることを特徴とする。
本発明で、前記部分は、イメージブロックからなることを特徴とする。
本発明で、第１部分に対する照明補償を用いる段階は、隣ブロックの照明補償のための予測値と差分値を加算することによって、前記隣ブロックの照明補償のためのオフセット値を獲得する段階を含むことを特徴とする。
本発明は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
本発明で、少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかどうかを決定する段階を含むことを特徴とする。
本発明で、１つ以上の条件が隣ブロックに対して満足するかどうかを決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償のためのオフセット値を使用するか、または各隣ブロックの照明補償のためのオフセット値を使用するかを決定する段階を含むことを特徴とする。
本発明は、複数個のオフセット値が用いられる場合、前記複数個のオフセット値を用いて前記第１部分の照明補償のための予測値を獲得する段階をさらに含むことを特徴とする。
本発明で、前記複数個のオフセット値を用いる段階は、前記複数個のオフセット値の平均値または中間値を取る段階を含むことを特徴とする。
また、本発明は、各視点間の依存関係によってエンコーディングされた多視点ビデオ信号と、前記依存関係を示す視点依存データとを含むビットストリームを受信する段階と、前記視点依存データを抽出し、前記抽出されたデータから依存関係を決定する段階と、各視点内にあるピクチャの部分間における照明補償を用いて、前記決定された依存関係によって前記多視点ビデオ信号をデコーディングする段階とを含み、前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
本発明は、下記のような特徴のうち１つ以上を含むことができる。
本発明で、前記視点依存データは、２次元データ構造における前記依存関係を示すことを特徴とする。
本発明で、前記視点依存データは、マトリクスからなることを特徴とする。
本発明は、前記ビットストリームから属性情報を抽出する段階をさらに含み、前記属性情報は、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報、及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とする。
本発明で、前記部分は、イメージブロックからなることを特徴とする。
本発明で、第１部分に対する照明補償を用いる段階は、隣ブロックの照明補償のための予測値と差分値を加算することによって、前記隣ブロックの照明補償のためのオフセット値を獲得する段階を含むことを特徴とする。
本発明は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
本発明で、少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかどうかを決定する段階を含むことを特徴とする。
本発明で、１つ以上の条件が隣ブロックに対して満足するかどうかを決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償のためのオフセット値を使用するか、または各隣ブロックの照明補償のためのオフセット値を使用するかを決定する段階を含むことを特徴とする。
本発明は、複数個のオフセット値が用いられる場合、前記複数個のオフセット値を用いて前記第１部分の照明補償のための予測値を獲得する段階をさらに含むことを特徴とする。
本発明で、前記複数個のオフセット値を用いる段階は、前記複数個のオフセット値の平均値または中間値を取る段階を含むことを特徴とする。
また、本発明は、それぞれのデコーディング方法に対して、前記それぞれのデコーディング方法によって前記ビデオ信号がデコーディングされることができるビットストリームを生成することを特徴とするビデオ信号エンコーディング方法を提供する。例えば、本発明は、第１プロファイルと、前記第１プロファイルを識別するプロファイル情報によってビットストリームを生成する段階と、前記プロファイル情報が多視点ビデオ信号に対応する場合、各視点内にあるピクチャの部分間における照明補償のための情報を提供する段階とを含み、前記第１プロファイルは、少なくとも１つの多視点ビデオ信号に対するプロファイルを含む複数個のプロファイルから選択されたことを表し、前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とするビデオ信号エンコーディング方法を提供する。
また、本発明は、各視点間の依存関係と、前記依存関係を示す視点依存データによってビットストリームを生成する段階と、プロファイル情報が多視点ビデオ信号に対応する場合、各視点内にあるピクチャの部分間における照明補償のための情報を提供する段階とを含み、前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とするビデオ信号エンコーディング方法を提供する。
また、それぞれのデコーディング方法に対して、コンピュータで読取り可能な媒体に保存されたコンピュータプログラムは、前記それぞれのデコーディング方法を行うようにコンピュータに指示することを特徴とする。
また、それぞれのデコーディング方法に対して、装置で読取り可能な情報運送体に含まれたイメージデータは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができる。
また、それぞれのデコーディング方法に対して、デコーダは、前記それぞれのデコーディング方法を行うための手段を含むことを特徴とする。
また、それぞれのデコーディング方法に対して、エンコーダは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができるようにビットストリームを生成する手段を含むことを特徴とする。
他の特徴と利点は、発明の詳細な説明と特許請求の範囲から明白にすることができる。
多視点映像を效率的に扱うために、入力ビットストリームは、入力ビットストリームが多視点プロファイルに関連しているか否かをデコーディング装置が判別できるようにする情報を含むことができる。前記入力ビットストリームが多視点プロファイルと関連していると判別されると、多視点映像に関する１つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、多視点プロファイル識別情報とは、Ｈ．２６４／ＡＶＣの追加技術で、多視点ビデオを扱うプロファイルモードを示すことができる。
ＭＶＣ技術はＨ．２６４／ＡＶＣ技術に対する追加技術であるから、無条件的なシンタックスよりは、ＭＶＣモードである場合に対する追加情報としてシンタックスを追加することがより効率的となりうる。例えば、ＡＶＣのプロファイル識別子が多視点プロファイルを示す時、多視点映像に関する情報を追加すると符号化効率を高めることができる。
シーケンスパラメータセットとは、プロファイル、レベルなど、シーケンス全体の符号化に亘る情報が含まれているヘッダ情報のことをいう。
圧縮された動映像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、該パラメータセットを参照するデータよりも先に復号器に到着すべきである。シーケンスパラメータセットＲＢＳＰ（図２のＳ１）は、動映像圧縮の結果データに関するヘッダ情報としての役割を果たす。ビットストリームが入力されると、まず、プロファイル識別子は、入力されたビットストリームが複数個のプロファイルのうちどのプロファイルに基づくかを識別することとなる。
したがって、入力されるビットストリームが多視点プロファイルに関するものかを判断する（例えば、“If（profile_idc==MULTI_VIEW_PROFILE）”）プロファイル識別情報をシンタックス上に含めることによって、入力されたビットストリームが多視点プロファイルに関するものか否かを判別し、多視点プロファイルに関するものと認められる場合に様々な属性情報を追加可能になる。
図１は、本発明が適用される実施例であり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置を示す概略ブロック図である。
この多視点ビデオシステムは、前記多視点ビデオ映像を提供するために、対応するエンコーディング装置（エンコーダ）を含むことができる。この時、前記多視点ビデオ映像は、装置で読取り可能な情報の搬送体（例えば、装置で読取り可能な保存媒体、または、送信機と受信機間で伝播される装置で読取り可能なエネルギー信号）に含まれたエンコーディングされたイメージデータを含むビットストリームとして提供されることができる。
図１を参照すると、前記デコーディング装置は、大きく、パーシング部１０、エントロピーデコーディング部１１、逆量子化／逆変換部１２、画面間予測部１３、画面内予測部１４、デブロッキングフィルタ部１５、復号ピクチャバッファ部１６などを含む。
画面間予測部１３は、動き補償部１７、照明補償部１８、照明補償オフセット予測部１９などを含む。
パーシング部１０では、受信したビデオ映像を復号するためにＮＡＬ単位にパーシングを行う。一般的に、１つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットとが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに転送される。この時、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には様々な属性情報を含ませることができる。例えば、時間的レベル情報、視点レベル情報、アンカーピクチャ識別情報、視点識別情報などを含ませることができる。
ここで、時間的レベル情報とは、ビデオ信号から時間的拡張性を提供するための階層的な構造に関する情報のことをいう。このような時間的レベル情報を通じて使用者に多様な時間帯の映像を提供できることになる。
視点レベル情報とは、ビデオ信号から視点拡張性を提供するための階層的な構造に関する情報のことをいう。多視点ビデオ映像では、使用者に多様な時間及び視点の映像を提供するようにするために時間及び視点に対するレベルを定義する必要がある。
このようにレベル情報を定義する場合、時間及び視点に対する拡張性を利用できるようになる。したがって、使用者は、所望の時間及び視点の映像のみを見ることもでき、他の制限条件による映像のみを見ることが可能になる。前記レベル情報は、その基準条件によって多様な方法でそれぞれ別に設定することができる。例えば、前記レベル情報は、カメラの位置によって別々に設定することができ、カメラの配列形態によって別々に設定することができる。なお、前記レベル情報は、特別な基準によらずに任意に設定しても良い。
アンカーピクチャとは、全てのスライスが同一時間帯のフレームに在るスライスのみを参照する符号化されたピクチャのことを意味する。例えば、他の視点に在るスライスのみを参照し、現在視点に在るスライスは参照しない符号化されたピクチャのことをいう。多視点映像の復号化過程において、視点間のランダムアクセスが必要な場合がありうる。
復号化努力を最小化しながら任意視点に対するアクセスを可能にすべきである。ここで効率的なランダムアクセスを実現するためにアンカーピクチャ識別情報が必要とされることがある。
また、視点識別情報とは、現在視点に在るピクチャと他の視点に在るピクチャを区別するための情報のことをいう。ビデオ映像信号がコーディングされる時、それぞれのピクチャを識別するためにピクチャオーダカウント（ＰＯＣ）とｆｒａｍｅ＿ｎｕｍを利用することができる。
多視点ビデオ映像である場合には、視点間の予測が行われることができる。したがって、現在視点に在るピクチャと他の視点に在るピクチャを区別するために識別子が利用される。
ピクチャの視点を示す視点識別子を定義することができる。前記視点識別子を用いて現在ピクチャと他の視点に在るピクチャの情報を獲得し、前記他の視点に在るピクチャの情報を用いて前記ビデオ信号をデコーディングすることができる。このような視点識別子は、ビデオ信号のエンコーディング／デコーディング過程全般にわたって適用されることができる。また、特定の視点識別子ではなく視点が考慮されたｆｒａｍｅ＿ｎｕｍを用いて多視点ビデオコーディングにそのまま適用しても良い。
一般的に多視点映像のデータ量は膨大であり、よって、これを解決するために各視点の階層的符号化（これは、ビュースケーラビリティとも呼ばれる。）機能が必要となることができる。ビュースケーラビリティ機能を行うために多視点映像の視点を考慮した予測構造を定義することができる。
前記予測構造は、複数の視点映像に対して予測順序及び方向などを構造化することによって定義することができる。例えば、符号化しようとする様々な視点の映像が与えられる時、全体配列の中央を基準視点と定め、次第に階層的に符号化しようとする視点の映像を選択することができる。または、全体配列の終わり部分やその他の部分を基準視点と定めても良い。
カメラ視点の個数が２の指数乗の場合には、これを基準にして各視点映像間の階層的な予測構造を形成しても良い。または、カメラ視点の個数が２の指数乗でない場合には、実際個数よりも大きいながら最も小さい２の指数乗の場合を基準にして仮想の視点を想定し、予測構造を形成しても良い。また、カメラ配列が２次元の場合には、水平、垂直方向に交互に予測順序を定めることができる。
パーシングされたビットストリームは、エントロピーデコーディング部１１を通じてエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部／逆変換部１２では、受信した量子化された値に一定の定数を乗算して変換された係数値を獲得し、該係数値を逆変換して画素値を復元することとなる。前記復元された画素値を用いて、画面内予測部１４では現在ピクチャ内のデコーディングされたサンプルから画面内予測を行う。
デブロッキングフィルタ部１５は、ブロック歪み現象を減少させるためにそれぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界強さと境界周囲のイメージサンプルの変化に左右される。フィルタリングを経たピクチャは出力されたり参照ピクチャとして用いるために復号ピクチャバッファ部１６に保存される。
復号ピクチャバッファ部１６では、画面間予測を行うべく、以前にコーディングされたピクチャを保存したり開放するなどの役割を果たす。この時、復号ピクチャバッファ部１６に保存したり開放するには、各ピクチャのｆｒａｍｅ＿ｎｕｍとＰＯＣが用いられることとなる。したがって、ＭＶＣにおいて前記以前にコーディングされたピクチャの中には現在ピクチャと異なる視点に在るピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、前記ｆｒａｍｅ＿ｎｕｍとＰＯＣだけでなく、ピクチャの視点を示す視点識別子も一緒に用いることができる。
画面間予測部１３では、復号ピクチャバッファ部１６に保存された参照ピクチャを用いて画面間予測を行う。インターコーディングされたマクロブロックは、マクロブロックパーティションに分けられることができ、各マクロブロックパーティションは１つまたは２つの参照ピクチャから予測されることができる。
動き補償部１７では、エントロピーデコーディング部１１から転送された情報を用いて現在ブロックの動きを補償する。ビデオ信号から現在ブロックに隣接するブロックの動きベクトルを抽出し、前記現在ブロックの動きベクトルプレディクタを獲得する。前記獲得された動きベクトルプレディクタとビデオ信号から抽出される差分ベクトルを用いて現在ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われても良く、複数のピクチャを用いて行われても良い。
したがって、前記参照ピクチャが現在視点と異なる視点に在るピクチャである場合には、その視点を示す視点識別子を用いて動き補償を行うことができる。
また、直接予測モードは、符号化の終わったブロックの動き情報から現在ブロックの動き情報を予測する符号化モードである。このような方法は、動き情報を符号化する時に必要なビット数が軽減され、圧縮効率が向上する。
例えば、時間直接予測モードは、時間方向の動き情報相関度を用いて現在ブロックの動き情報を予測する。この方法と略同様に、前記デコーダは視点方向の動き情報相関度を用いて現在ブロックの動き情報を予測できる。
また、入力されたビットストリームが多視点映像に該当する場合、各視点映像は、それぞれ異なるカメラから取得された映像であるので、カメラの内外的要因によって照明差が発生することになる。これを防止するために、照明補償部１８では照明補償を行う。
照明補償を行うことにおいて、ビデオ信号の一定階層に対する照明補償を行うか否かを示すフラグ情報を用いることができる。例えば、該当スライスまたは該当マクロブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行うことができる。また、前記フラグ情報を用いて照明補償を行うにおいて、様々なマクロブロックのタイプ（例えば、インター１６×１６モード、Ｂ−Ｓｋｉｐモードまたは直接予測モード等）に適用されることができる。
また、照明補償を行うにおいて、現在ブロックを復元するために周辺ブロックの情報または現在ブロックと異なる視点に在るブロックの情報を用いることができ、現在ブロックのオフセット値を用いることができる。ここで、現在ブロックのオフセット値とは、現在ブロックの平均画素値とそれに対応する参照ブロックの平均画素値間の差のことをいう。前記オフセット値を用いる一例として、前記現在ブロックの隣ブロックを用いて前記現在ブロックのオフセット値のプレディクタを獲得し、前記オフセット値と前記プレディクタとの差分値を用いることができる。したがって、デコーダでは、前記差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。
また、現在ブロックのプレディクタを獲得するにおいて、隣ブロックの情報を用いることができる。
例えば、隣ブロックのオフセット値を用いて現在ブロックのオフセット値を予測できるが、これに先立って前記現在ブロックの参照番号と前記隣ブロックの参照番号が同一であるか否かを確認することができる。前記確認結果によって、前記照明補償部１８はどんな隣ブロックを用いるのか、またはどんな値を用いるかを決定できる。
また、前記照明補償部１８は、現在ブロックのプレディクションタイプを用いて照明補償を行うことができ、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、現在ブロックのオフセット値を用いて各参照ブロックに対応するオフセット値を獲得しても良い。
このように照明補償、動き補償などを用いてインター予測されたピクチャとイントラ予測されたピクチャは予測モードによって選択され、現在ピクチャを復元することになる。
以下では、現在ピクチャを復元するために適用されるエンコーディング／デコーディング方法の具体的な実施例について説明する。
図２は、本発明を適用したシーケンスパラメータセットＲＢＳＰシンタックスを示す構造図である。
図２を参照すると、シーケンスパラメータセットとは、プロファイル、レベルなどシーケンス全体の符号化にわたる情報が含まれているヘッダ情報のことをいう。
圧縮された動映像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットはそのパラメータセットを参照するデータよりも先に復号器に到着すべきである。結局、シーケンスパラメータセットＲＢＳＰは、動映像圧縮の結果データに関するヘッダ情報の役割を果たす（Ｓ１）。ビットストリームが入力されると、まず、プロファイル識別子（ｐｒｏｆｉｌｅ＿ｉｄｃ）の入力されたビットストリームが複数個のプロファイルのうちどんなプロファイルに基づくかを識別する（Ｓ２）。例えば、前記プロファイル識別情報が６６であれば、前記ビットストリームはベースラインプロファイルに基づくことを意味し、７７であればメインプロファイルに基づくことを意味し、８８であれば拡張プロファイルに基づくことを意味する。そして、入力ビットストリームが多視点プロファイルに関するものかを決定するシンタックス（“If(profile_idc==MULTI_VIEW_PROFILE)”）が用いられることができる（Ｓ３）。
前記Ｓ３部分において前記入力ビットストリームが多視点プロファイルに関するものと認定される場合、前記入力ビットストリームに多視点映像に関する様々な情報を追加可能になる。様々な情報の一例は、下記の通りである。
“参照視点（ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ）”、すなわち、全体視点の基準となる参照視点を指定し、これに関する情報を追加できる。ＭＶＣで通常、１つの視点映像は、既存の符号化方式（例えば、Ｈ．２６４／ＡＶＣ ｃｏｄｅｃ）で符号化／復号化をする。このように定められた視点を参照視点と呼び、シンタックス内に前記参照視点を追加した場合、何番目の視点を参照視点に設定すべきかを知らせる。
また、多視点のうち符号化の基準となる視点である“基準視点”も参照視点としての役割を果たす。参照視点映像は、他の視点映像に対する参照無しで独立して符号化される（Ｓ４）。
“視点個数（ｎｕｍ＿ｖｉｅｗｓ）”、すなわち、複数台のカメラから取得された多重視点の個数に関する情報を追加できる。各シーケンスごとに視点の個数は様々となりうるので、前記情報を転送することによってエンコーダ、デコーダ側ではこれを有用に用いることができる。（Ｓ５）。
“カメラの配列形態（ｖｉｅｗ＿ａｒｒａｎｇｅｍｅｎｔ）”とは、映像取得時にカメラがどんな方式で配列されているかを知らせる情報で、これをシンタックス内に追加した場合、各配列形態にもっと適合するように符号化を行うことができる。そして、以降、カメラの各配列形態にもっと適合した符号化方法が考案される場合に有用に用いられることができる（Ｓ６）。
“フレーム数（ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ）”は、各視点内で連続して符号化／復号化されるフレーム数を示し、前記フレーム数に関する情報を追加することができる。すなわち、現在Ｎ番目の視点を符号化／復号化しており、次はＭ番目の視点を符号化／復号化する順番である時、Ｎ番目の視点でいくつのフレームをまず処理してからＭ番目の視点に進むかに関するものである。前記ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報とｎｕｍ＿ｖｉｅｗｓ情報を通じて全体シーケンスにおいて各フレームが何番目の視点に属するかを計算することができる。各視点シーケンスのＩスライスとＰスライス間の第１長さ、ＰスライスとＰスライス間の第２長さ、または、前記第１または第２長さの何倍かに該当する長さをｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報と設定すれば、その単位に１つの視点で処理してから、次の視点に進むことができる。ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報は、既存のＧＯＰの長さより小さいか等しく設定することができる。例えば、図４Ｂと図４Ｃは、本発明で適用されるｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅの概念を説明するためのＧＧＯＰの構造を示す図で、この場合、図４Ｂは、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝３、図４Ｃはｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１になりうる。
ＭＶＣでは、時間軸と視点軸にフレームが配列されるので、同じ時間帯で各視点ごとに１つのフレームを処理してから次の時間帯で再び各視点ごとに１つのフレームを処理することができる。この場合、例えばｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１となる。そして、１つの視点内で時間軸に沿ってＮ個のフレームをまず処理してから、次の視点でＮ個のフレームを処理することができる。この場合、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝Ｎとなる。したがって、少なくとも１個のフレームは処理されるので、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅの代わりにｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＿ｍｉｎｕｓ１としてシンタックス内に追加することも可能である。ただし、この場合、上記の各例は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＿ｍｉｎｕｓ1＝０、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＿ｍｉｎｕｓ1＝Ｎ−１となる（Ｓ７）。
既存符号化方式のプロファイルには共通するプロファイルがない。このため、プロファイル以外に、互換性を表示するためにフラグを使用する。ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ＊＿ｆｌａｇは、ビットストリームがどんなプロファイルの復号器で復号されるかを示す。ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ０＿ｆｌａｇは、ベースラインプロファイルの復号器で復号されることができるということを意味し（Ｓ８）、ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ１＿ｆｌａｇは、メインプロファイルの復号器（Ｓ９）、ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ２＿ｆｌａｇは拡張プロファイルの復号器で復号されることができるということを意味する（Ｓ１０）。したがって、ＭＵＬＴＩ＿ＶＩＥＷ＿ＰＲＯＦＩＬＥ復号器を定義する必要があり、これをｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ４＿ｆｌａｇで定義する（Ｓ１１）。
“ｌｅｖｅｌ＿ｉｄｃ”は、レベル識別子を意味する。レベルとは、復号器の能力とビットストリームの複雑度を定義する役割を果たし、各プロファイルで規定された技術要素をどの範囲まで支援するかについて定義している（Ｓ１２）。
“ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ”は、シーケンスを識別するためにＳＰＳ中に与えられたＳＰＳ識別情報を意味する（Ｓ１３）。
図３Ａは、本発明が適用されたビットストリームの構造であり、１つのビットストリーム内で１つのシーケンスのみを含む場合を示す。
図３Ａを参照すると、ＳＰＳ（シーケンスパラメータセット）は、プロファイル、レベルなどシーケンス全体の符号化にわたる情報が含まれているヘッダ情報であり、ＳＥＩ（補充的付加情報）は、動映像符号化階層の復号過程に必須でない付加情報を表す。ＰＰＳ（ピクチャパラメータセット）は、ピクチャ全体の符号化モードを示すヘッダ情報である。Ｉスライスは、画面内の符号化のみを行うスライスで、Ｐスライスは画面内の符号化あるいは画面間予測符号化を行うスライスのことをいう。ピクチャ区分記号は、ビデオピクチャ間の境界を区分する役割を果たす。本発明は、前記ＳＰＳ部分にＳＰＳ ＲＢＳＰ シンタックスが適用される。したがって、ビットストリーム生成時に前記シンタックスが適用され、様々な情報を追加可能になる。
図３Ｂは、本発明が適用されたビットストリームの構造で、１つのビットストリーム内で２個のシーケンスを含む場合を示す。
図３Ｂを参照すると、Ｈ．２６４／ＡＶＣは、１つのビットストリームがいくつかのシーケンスを扱うことができる。シーケンスを識別するためにＳＰＳ内にはＳＰＳ識別情報（ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）があり、ＰＰＳ内でＳＰＳ識別情報を指定し、どのシーケンスに属するかを識別できる。また、スライスヘッダ内でＰＰＳ識別情報（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を指定することによってどのＰＰＳを使用するかを識別できる。
その一実施例として、図３Ｂで、スライス＃１内のヘッダには参照するＰＰＳ識別情報（ＰＰＳ＝１）が含まれており（丸付数字の１）、ＰＰＳ＃１には、参照するＳＰＳ識別情報（ＳＰＳ＝１）が含まれている（丸付数字の２）。したがって、スライス＃１はシーケンス＃１に属することがわかる。同様に、スライス＃２はシーケンス＃２に属することがわかる（丸付数字の３と４）。実際に、ベースラインプロファイル映像とメインプロファイル映像を合わせて編集し、新しいビデオビットストリームを生成することができるが、この場合、２種類のビットストリームに異なるＳＰＳ識別情報を与え、そのいずれかは、多視点プロファイルにも変換が可能である。
図４Ａは、本発明を適用した実施例であり、ＧＧＯＰの構造を示し、図４Ｂ及び図４Ｃは、本発明で適用されるｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅの概念を説明するためのＧＧＯＰの構造を示す。ＧＯＰは、何枚の画面データを１つにまとめたグループのことを意味する。ＭＶＣではより効率的な符号化のために時間的、空間的予測が両方とも行われなければならず、ＧＧＯＰの概念が必要となる。
各視点シーケンスのＩスライスとＰスライス間の第１長さ、または、ＰスライスとＰスライス間の第２長さ、または前記第１または第２長さの何倍かに該当する第３長さをｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報と設定すると、その単位に１つの視点で処理し、次の視点に進むことができる。ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報は、既存のＧＯＰ長さよりも小さいか同一に設定されることができる。ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報の適用例であって、図４Ｂはｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝３の場合で、図４Ｃはｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１の場合である。特に、図４Ｂでｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＞１であり、１つまたはそれ以上の視点がＩで始まる場合は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＋１個のフレームが処理されることができる。また、前記ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報とｎｕｍ＿ｖｉｅｗｓ情報を通じて全体シーケンスで各フレームが何番目の視点に属するかを計算することができる。
図４Ａで、各フレームは、時間軸と視点軸に配列されており、Ｖ１〜Ｖ８はそれぞれ、ＧＯＰを表し、Ｖ４は基準ＧＯＰで、他のＧＯＰの参照ＧＯＰの役割を果たす。ＭＶＣでは、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１の場合、同じ時間帯で各視点のフレームを処理し、次の時間帯で再び各視点のフレームを処理できる。Ｔ１〜Ｔ４はそれぞれ同じ時間帯における各視点フレームを表す。すなわち、Ｔ１のフレームを処理し、続いてＴ４→Ｔ２→Ｔ３→…などの順に処理できる。また、ＭＶＣでは、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝Ｎの場合、１つの視点内で時間軸に沿ってＮ個のフレームをまず処理してから、次の視点内でＮ個のフレームを処理することができる。すなわち、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝４の場合、Ｖ４のＴ１〜Ｔ４に属するフレームを処理し、続いてＶ１→Ｖ２→Ｖ３→…などの順に処理できる。
したがって、図４Ａでは、ビットストリームを生成する時、視点個数は８で、参照視点はＶ４ ＧＯＰとなる。そして、フレーム数（ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ）は、各視点内で連続して符号化／復号化されるフレーム数を表すので、図４Ａで、同じ時間帯で各視点のフレームを処理する場合は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅは１になり、１つの視点内で時間軸に沿ってフレームを処理する場合は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅはＮとなる。上記の情報がビットストリーム生成時に追加されることができる。
図５は、本発明が適用されたビデオ映像の復号化方法を示すフローチャートである。
まず、受信したビットストリームから１つ以上のプロファイル情報を抽出することができる。ここで、抽出されるプロファイル情報は、ベースラインプロファイル、メインプロファイル、多視点プロファイル等、様々なプロファイルのうちいずれか１つ以上とすれば良く、これは入力されるビデオ映像によって可変する（Ｓ５１）。前記抽出されたプロファイル情報から前記プロファイルに含まれた１つ以上の属性情報を抽出することができる。例えば、抽出されたプロファイル情報が多視点プロファイルに関する情報であれば、多視点プロファイルに含まれた１つ以上の属性情報、すなわち、例えば、“参照視点（ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ）”、“視点個数（ｎｕｍ＿ｖｉｅｗｓ）”、“カメラの配列形態（ｖｉｅｗ＿ａｒｒａｎｇｅｍｅｎｔ）”、“フレーム数（ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ）”などに関する情報を抽出することができる（Ｓ５３）。このようにして抽出された情報は、多視点符号化されたビットストリームを復号化するのに活用される。
図６Ａ及び図６Ｂは、本発明が適用される実施例であり、多視点映像の予測構造を示す。
図６Ａ及び図６Ｂを参照すると、多視点の個数（ｍ）をｍ＝２nで表示すると、ｎ＝０なら視点個数は１になり、ｎ＝１なら視点個数は２になり、ｎ＝２なら視点個数は４になり、ｎ＝３なら視点個数は８になる。したがって、多視点の個数（ｍ）が２n-1＜ｍ＜＝２nの場合、１つの基準視点ビットストリームとＮ個の階層的補助視点ビットストリームを含むことができる。
ここで、“基準視点”とは、前記多視点のうち符号化の基準となる視点を意味する。すなわち、基準視点に該当する映像は、一般的な映像符号化方式（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ−２６４等）によって符号化され、独立したビットストリームに形成できるので、説明の便宜上、“基準視点ビットストリーム”と呼ばれる。
また、“補助視点”とは、前記多視点のうち基準視点でない視点を意味する。すなわち、“補助視点”に該当する映像は、前記基準視点映像から動き推定などを行ってビットストリームを形成することとなるので、これは“補助視点ビットストリーム”と呼ばれる。
また、多視点間の階層的符号化を行う場合、前記“補助視点ビットストリーム”は、“第１補助視点ビットストリーム”、“第２補助視点ビットストリーム”及び“第ｎ補助視点ビットストリーム”のように区別される。
また、“ビットストリーム”とい用語は、前記“基準視点ビットストリーム”と“補助視点ビットストリーム”を包括する意味として用いられることができる。
例えば、前記多視点の個数（ｍ）が８個（ｎ＝３）である場合、前記ビットストリームは１つの基準視点と３個の階層的補助視点を含む。上記のように、１つの基準視点とｎ個の階層的補助視点が存在する場合、多視点のうち、基準視点となる位置と、各階層的補助視点となる位置を一般的な規則により定義することが好ましい。参考として、図６Ａ及び図６Ｂで、四角形で表示された領域は各視点を意味し、四角形内の数字は、基準視点０、第１階層的補助視点１、第２階層的補助視点２及び第３階層的補助視点３を意味する。本例では最大８個の多視点を取り上げているが、それ以上の多視点の場合にも本発明の概念及び特徴が同様に適用可能である。
すなわち、図６Ａを参照すると、各基準視点と階層的補助視点は次の規則により決定される。まず、基準視点の位置は２n-1番目の視点とする。例えば、ｎ＝３の場合は、基準視点は４番目に位置する視点となる。図６Ａ及び図６Ｂは、開始視点が最右側である場合を示すもので、最右側視点６１から４番目に該当する視点が基準視点となる。一般的に基準視点の位置は多視のうち中央付近または真中央が好ましく、これは、基準視点が他の補助視点の予測符号化において基準となるためである。これについては後述する。
他の例として、常に最左側を開始視点とし、視点ナンバーをｍ＝１０，１，２，３，…の順に決定することも可能である。例えば、ｎ＝３の場合、２n-1番目の視点ナンバー（すなわち、ｍ＝４）を基準視点とすることも可能である。
また、第１階層的補助視点の位置は、前記基準視点の位置から２n-2番目の大きさだけ離れた左または右方向のうちいずれか１つの視点とする。例えば、図６Ａは、基準視点から左方向に２n-2番目（すなわち、ｎ＝３の場合、２個の視点）離れた視点を第１階層的補助視点とした場合を示す。一方、図６Ｂは、基準視点から右方向に２n-2番目だけ離れた視点を第１階層的補助視点とした場合を示す。本例によれば、第１階層的補助視点の個数は１となる。
また、第２階層的補助視点の位置は、前記基準視点及び第１階層的補助視点から２n-3大きさだけ離れた左及び右方向の視点とする。例えば、図６Ａでは、２個の第２階層的補助視点が発生することになる。一方、図６Ｂでは、第１階層的補助視点の右方向にそれ以上２n-2大きさだけ離れた視点が存在しないので、基準視点を基準にして左方向に２n-2大きさだけ離れた視点が第２階層的補助視点となる。
なお、第２階層的補助視点を基準にして左方向に２n-2大きさだけ離れた位置を第２階層的補助視点６３とすることも可能である。ただし、該当の視点が多視点の両端に該当する場合、後述する第３階層的補助視点とすることができる。すなわち、図６Ｂでは、１個または２個の第２階層的補助視点が発生する。
最後に、第３階層的補助視点の位置は、前記基準視点及び第１〜第２階層的補助視点とされた視点を除く残りの視点とする。図６Ａでは、４個の第３階層的補助視点が発生し、図６Ｂでは、４個または５個の第３階層的補助視点が発生することとなる。
図７Ａ及び図７Ｂは、本発明が適用される実施例であり、多視点映像の予測構造を示す概念図である。
本例は、前述した実施例（図６Ａ及び図６Ｂ）の場合と概念的内容が同一であり、ただし、基準視点を選択する開始視点の位置が最左側であるケースに該当する。すなわち、最左側視点６５から４番目に該当する視点を基準視点としたものである。これ以外の部分は図６Ａ及び図６Ｂの実施例と同一である。
図８は、本発明が適用される実施例であり、多視点映像の予測構造を示す概念図である。
本例は、多視点の個数（ｍ）が２n-1＜ｍ＜＝２nの場合を説明するためのものである。具体的には、ｍ＝５，６，７及び８の場合を挙げている。すなわち、ｍ＝５，６，７の場合は、多視点の個数（ｍ）がｍ＝２nを満足しないので、前述した第１実施例（図６Ａ及び図６Ｂ）及び第２実施例（図７Ａ及び図７Ｂ）をそのまま適用し難くなる。本例では、上記の問題点を仮想視点概念を導入して解決した。
例えば、多視点の個数（ｍ）が２n-1＜ｍ＜２nの場合、２n−ｍだけの仮想視点を生成する。ｍ＝奇数個の場合、多視点配列左側（または右側）に（２n−ｍ＋１）／２個、右側（または左側）に（２n−ｍ−１）／２個の仮想視点を生成し、ｍ＝偶数個の場合、多視点配列左右側にそれぞれ（２n−ｍ）／２個の仮想視点を生成した後、前述した方式で予測構造を同一に適用することが可能である。
例えば、前記多視点の個数（ｍ）が５個である場合、前記多視点の両端にそれぞれ１個または２個の仮想視点を追加し、多視点の個数を８個に仮想形成した後、基準視点位置及び３個の階層的補助視点位置をそれぞれ選択する。図８では、例えば、左側端に２個、右側端に１個の仮想視点をそれぞれ追加し、前述した図６Ａの実施例によって基準視点及び第１〜第３階層的補助視点を選択した場合を示した。
また、前記多視点の個数（ｍ）が６である場合、前記多視点の両端にそれぞれ１個の仮想視点を追加し、多視点の個数を８に仮想形成した後、基準視点位置及び３個の階層的補助視点位置をそれぞれ選択する。図８では、前述した図６Ａの実施例によって基準視点及び第１〜第３階層的補助視点を選択した場合を示した。
また、前記多視点の個数（ｍ）が７である場合、前記多視点の両端のいずれか一方に１個の仮想視点を追加し、多視点の個数を８に仮想形成した後、基準視点位置及び３個の階層的補助視点位置をそれぞれ選択する。図８では、例えば、左側端に１個の仮想視点を追加し、前述した図６Ａの実施例によって基準視点及び第１〜第３階層的補助視点を選択した場合を示した。
図９Ａ及び図９Ｂは、本発明が適用される実施例であり、多視点映像の視点間階層的予測構造を示す図である。例えば、図９Ａは、前述した図６Ａの場合を、図９Ｂは前述した図７Ａの場合をそれぞれ適用して示すものである。すなわち、多視点の個数が８である場合、基準視点及び３個の階層的補助視点を持つことになる。これは、多視点動映像符号化時に視点間階層的符号化（または、‘ビュースケーラビリティ'）を可能にする。
すなわち、前記階層的補助視点ビットストリームを構成する映像の各ピクチャは、前記基準視点映像の各ピクチャ及び／または上位階層的補助視点映像の各ピクチャから予測し、符号化を行うことになる。特に、前記予測は、動き推定（例えば、変移推定）方式が一般的に適用されることができる。
例えば、第１階層的補助視点９２は、基準視点９１を参照して視点間予測符号化を行い、第２階層的補助視点９３ａ，９３ｂは、基準視点９１及び／または第１階層的補助視点９２を参照して視点間予測符号化を行い、また、第３階層的補助視点９４ａ，９４ｂ，９４ｃ，９４ｄは、基準視点及び第１階層的補助視点９２及び／または第２階層的補助視点９３ａ，９３ｂを参照して視点間予測符号化を行う。なお、同図中の矢印は、視点間予測符号化の進行方向を表示したもので、同一階層に含まれる補助ストリーム間にも互いに参照する視点が異なることができるということがわかる。上記のように、階層的符号化が行われたビットストリームは、受信端でそれぞれのディスプレイ特性に合うように選択的に復号化が行われ、これについては図１２で詳細に後述される。
一般的にエンコーダで予測構造は可変するので、各視点の関係を表す情報を転送することによって、デコーダ側で容易に各視点映像間の予測構造関係を確認できるようにする。また、各視点が全体階層的構造でどのレベルに属するかに関する情報も同様にデコーダ側に転送することができる。
各映像（またはスライス）別に視点レベル（ｖｉｅｗ＿ｌｅｖｅｌ）が割り当てられ、各視点映像間の予測構造関係が与えられると、エンコーダで多様に予測構造を変更しても、容易にデコーダで把握が可能である。この時、各視点間の予測構造／方向の情報は、マトリクスの形態で転送されることができる。すなわち、視点の個数（ｎｕｍ＿ｖｉｅｗ）もまたデコーダに転送されなければならず、各視点間の予測関係を２次元マトリクスで表現できる。
視点間の予測関係が経時変化する場合、例えば、各ＧＯＰの最初フレームに対する予測関係と残りの時間帯におけるフレーム間の予測関係とが異なる場合、それぞれの場合に対する予測関係マトリクス情報を転送できる。
図１０Ａ及び図１０Ｂは、本発明が適用される実施例であり、２次元多視点映像の予測構造を示す図である。
前述した実施例はいずれも１次元配列の多視点の場合としたが、本例は２次元配列の多視点映像にも同じ方式で適用可能である。
参考として、図１０Ａ及び図１０Ｂの各四角形は、２次元配列された各視点を意味し、四角形内の数字は階層的視点関係を表す。
例えば、四角形内の数字が‘Ａ−Ｂ'形態の場合、Ａは、該当する階層的補助視点を意味し、Ｂは、同一階層的補助視点内での優先順位を表す。
したがって、四角形内の数字は、基準視点０、第１階層的補助視点１、第２階層的補助視点２−１，２−２、第３階層的補助視点３−１，３−２、第４階層的補助視点４−１，４−２，４−３、及び第５階層的補助視点５−１，５−２，５−３をそれぞれ意味する。
要するに、２次元配列された多視点から取得された映像を符号化してビットストリームを生成する場合、前記２次元多視点の個数（横軸＝ｍ、縦軸＝ｐ）が２n-1＜ｍ＜＝２n、２k-1＜ｐ＜＝２kの場合、前記ビットストリームは、１つの基準視点ビットストリームと（ｎ＋ｋ）個の階層的補助視点ビットストリームを含むことを特徴とする。
これを具体的に説明すると、前記（ｎ＋ｋ）個の階層的補助視点は、横軸と縦軸を交互にして形成される。例えば、図１０Ａは、前記（ｎ＋ｋ）個の階層的補助視点のうち、第１階層的補助視点は、基準視点の含まれた縦軸内で決定する場合を示す。一方、図１０Ｂは、前記（ｎ＋ｋ）個の階層的補助視点のうち、第１階層的補助視点は、基準視点の含まれた横軸内で決定する場合を示す。
例えば、図１０Ａに示すように、前記多視点の個数が横軸（ｍ）が８個（ｎ＝３）で、縦軸（ｐ）が４個（ｋ＝２）である場合、ビットストリームは１つの基準視点と５個の階層的補助視点を含む。これと関連し、図１０Ａは、‘縦軸→横軸→縦軸…’の順に階層的補助視点が選択される場合を示している。以下、基準視点及び各補助視点の位置を決定する方式について説明する。
まず、基準視点の位置を決定すべきであり、これは、前述した１次元配列の場合と同じ方式が適用される。したがって、前記基準視点の位置は、横軸に２n-1番目、及び縦軸に２k-1番目に該当する視点とする。
また、第１階層的補助視点の位置は、まず、縦軸に前記基準視点の位置から２k-2番目の大きさだけ離れた上または下方向のうちいずれか１つの視点とする（丸付数字の１）。続いて、第２階層的補助視点の位置は、前記基準視点及び第１階層的補助視点から横軸に２k-2の大きさだけ離れた左または右方向のうちいずれか１つの視点とする（丸付数字の２）。次に、第３階層的補助視点の位置は、前記基準視点、第１階層的補助視点及び第２階層的補助視点を含む縦軸内の残りの視点とする。続いて、第４階層的補助視点の位置は、前記基準視点及び第１〜第３階層的補助視点から横軸に２n-2大きさだけ離れた左及び右方向の視点とする。最後に、第５階層的補助視点の位置は、前記基準視点及び第１〜私４階層的補助視点を除外した残りの視点とする。
また、例えば、図１０Ｂに示すように、前記多視点の個数が横軸（ｍ）が８個（ｎ＝３）で、縦軸（ｐ）が４個（ｋ＝２）である場合、ビットストリームは１つの基準視点と５個の階層的補助視点を含むこととなる。これと関連して、図１０Ｂは、‘横軸→縦軸→横軸…’の順に階層的補助視点が選択される場合を示している。以下、基準視点及び各補助視点の位置を決定する方式について説明する。
まず、基準視点の位置を決定すべきであり、これは、前述した１次元配列の場合と同じ方式が適用される。したがって、前記基準視点の位置は横軸に２n-1番目及び縦軸に２k-1番目に該当する視点とする。
また、第１階層的補助視点の位置は、横軸に前記基準視点の位置から２n-2番目の大きさだけ離れた左または右方向のうちいずれか１つの視点とする（丸付数字の１）。次の、第２階層的補助視点の位置は、前記基準視点及び第１階層的補助視点から縦軸に２k-1の大きさだけ離れた上または下方向のうちいずれか１つの視点とする（丸付数字の２）。次に、第３階層的補助視点の位置は、前記基準視点及び第１〜第２階層的補助視点から横軸に２n-2の大きさだけ離れた左及び右方向の視点とする。続いて、第４階層的補助視点の位置は、前記基準視点、第１〜第３階層的補助視点を含む縦軸内の残りの視点とする。最後に、第５階層的補助視点の位置は、前記基準視点及び第１〜第４階層的補助視点を除外した残りの視点とする。
図１１Ａ〜図１１Ｃは、本発明が適用される実施例であり、多視点映像の予測構造を示す図である。本実施例は、前述した図６Ａ〜図６Ｂ、図７Ａ〜図７Ｂ、図８、図１０Ａ〜図１０Ｂの実施例とは異なる予測構造規則を適用した場合である。例えば、図１１Ａ〜図１１Ｃで四角形で表示された領域は各視点を意味するが、四角形内の数字は単に視点の予測順序を表す。すなわち、１番目に決定される第１視点「０」、２番目に決定される第２視点「１」、３番目に決定される第３視点「２」、４番目に決定される第４視点「３」等をそれぞれ意味する。
例えば、図１１Ａは、多視点の個数（ｍ）がｍ＝１〜ｍ＝１０の場合のそれぞれに対して、前記第１視点〜第４視点が決定された形態を示すもので、前記第１視点〜第４視点は次の規則によって決定される。
すなわち、例えば、前記多視点の両端を第１視点（０）と設定し、前記多視点のうち中央に位置した視点を第２視点（１）と設定し、前記第２視点から両方向に１つ以上の視点を飛ばして連続して位置した視点を第３視点（２）と設定し、前記第１視点〜第３視点に該当しない残りの視点を第４視点（３）と設定する。上記のように第１視点〜第４視点が決定されると、これらの中で基準視点と補助視点を区別すべきである。例えば、第１視点、第２視点及び第３視点のうちいずれか１つを基準視点と決定し、残りを補助視点とすることが可能である。
また、上記のように基準視点が定められた規則によって決定されるのではなく、符号化端で任意に選択する場合では、基準視点の位置に関する識別情報（例えば、‘ｂａｓｅ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ’）をビットストリーム内に含む必要がありうる。
また、図１１Ｂは、前記第２視点（１）を決定するに当たり、第１視点（０）を除外した残りの視点が偶数である場合に対して図１１Ａとは異なる他の例を示す図である。すなわち、ｍ＝４、ｍ＝６、ｍ＝８、ｍ＝１０の場合に、図１１Ｂの第２視点（１）は、図１１Ａの第２視点（１）とは異なる位置の視点とすることができるということを示す。また、他の変形的使用例として、第２視点（１）以降を決定する場合、最左側の第１視点（０）から１つずつ視点を飛ばしながら上位視点を決定することも可能である。
これと関連して、図１１Ｃは、多視点の個数が１０個（ｍ＝１０）で、このうち、基準視点が前記基準視点識別情報によって“ｂａｓｅ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＝‘１’の視点（すなわち、６番目の視点に該当する）”のように決定された場合の階層的補助視点の関係を示す図である。例えば、図１１Ｃに示すように、第１階層的補助視点は第３視点（２）となり、第２階層的補助視点は第１視点（０）となり、第３階層的補助視点は第４視点（３）となる。
これと関連して、図１１Ａ及び図１１Ｂの場合に基準視点は常に、前述した図１１Ｃのように前記第１視点（１）と設定することも可能である。これは、基準視点が多視点の中央付近または真中央に位置する方が、他の補助視点の予測符号化を行うにおいて効率的でるためである。したがって、基準視点と補助視点の位置を次の規則によって決定することも可能である。
すなわち、前記基準視点の位置は多視点のうち中央に位置した視点（１）とし、第２補助視点の位置は多視点の両端視点（０）とし、第１補助視点の位置は前記基準視点から両方向に１つ以上の視点を飛ばして連続して位置する視点（２）とする。前記視点以外の残りの視点（３）はいずれも第３補助視点となる。
これと関連して、多視点の個数（ｍ）が７個以下（ｍ＜＝７）の場合、前記基準視点（１）と第２補助視点（０）間に２個以下の視点のみ存在する場合には、前記基準視点（１）と第２補助視点（０）間の全ての視点を第１補助視点（２）と設定する。
一方、多視点の個数（ｍ）が８個以上（８<＝ｍ）の場合、前記第２補助視点（０）と第１補助視点（２）間に２個以下の視点のみ存在する場合には、前記第２補助視点（０）と第１補助視点（２）間の全ての視点を第３補助視点（３）と設定する。
例えば、図１１Ａ及び図１１Ｂで、ｍ＝８，９，１０の場合、前記第２補助視点（０）と第１補助視点（２）間に存在する１個または２個の視点が第３補助視点（３）と設定されたことがわかる。
他の方式として、前記基準視点（１）と第２補助視点（０）間に２個以下の視点のみ存在する場合にも、前記基準視点（１）と第２補助視点（０）間の全ての視点を第３補助視点（３）と設定することができる。例えば、図１１Ａ及び図１１Ｂで、ｍ＝８の場合、基準視点（１）と第２補助視点（０）間に存在する２個の視点がいずれも第３補助視点（３）と設定されたことがわかる。
また、前記方式により決定された基準視点と補助視点を用いて、視点間階層的符号化を行うことが可能になる。
例えば、多視点の個数（ｍ）が７以下（ｍ＜＝７）の場合には、１つの基準視点ビットストリームと２個の階層的補助視点ビットストリームを生成することになる。例えば、前記第２補助視点（０）を第１階層的補助視点とし、第１補助視点（２）を第２階層的補助視点とすることが可能である。
また、例えば、多視点の個数（ｍ）が８以上（ｍ＞＝８）で、ｍ＝８，９，１０の場合には、１つの基準視点ビットストリームと３個の階層的補助視点ビットストリームを生成することになる。例えば、前記第１補助視点（２）を第１階層的補助視点とし、第２補助視点（０）を第１階層的補助視点とし、第３補助視点（３）を第３階層的補助視点とすることが可能である。
図１２は、本発明の多視点動映像の視点間階層的復号化方法及び装置を説明するための概念図である。
図１２を参照すると、本発明は、送信側符号化端で、前述した第１実施例〜第５実施例及びこれらの実施例から予測可能な変形的方式によって、多視点映像に対する階層的符号化を行ってビットストリームを生成し、これを受信側に送信する。
したがって、本発明の復号化方法及び装置は、まず、前述した特徴によって生成されたビットストリームを受信し、これをデコーディングし、各階層別にデコーディングされたデータを生成する。以降、使用者またはディスプレイの選択によって前記階層別にデコーディングされたデータを用いて、多様な方式のディスプレイを具現することが可能になる。
例えば、基準視点のみを再生する基準レイヤー１２１は、２次元の２Ｄディスプレイ１２５に適している。また、基準視点と第１階層的補助視点を共に再生する第１エンハンスメントレイヤ１２２は、２次元映像を２個結合したステレオタイプディスプレイ１２６に適している。また、基準視点と第１階層的補助視点及び第２階層的補助視点を共に再生する第２エンハンスメントレイヤー１２３は、多視点映像を立体的に再生するローマルチビュータイプディスプレイ１２７に適している。また、基準視点と全ての階層的補助視点を共に再生する第３エンハンスメントレイヤー１２４は、多視点映像を立体的に再生するハイマルチビュータイプディスプレイ１２８に適している。
以上説明した予測構造は、照明補償を行う場合にも適用可能である。照明補償は、動き推定／動き補償を行う過程で適用されることができるが、より効率的な照明補償を行うための実施例について以下に説明する。
図１３は、本発明が適用された一実施例であり、ビデオ映像符号化方法を説明するためのフローチャートである。
図１３を参照すると、ビデオ映像符号化方法の一実施例として、現在ブロックに隣接したブロックと他の視点の参照映像ブロックのうち少なくとも１つのブロックに対する照明平均値を獲得する（Ｓ１３１）。前記獲得された値を以って複数個のモードのうち１つ以上のモードを用いて現在ブロックの照明平均予測値を誘導する（Ｓ１３２）。そして、前記現在ブロックの照明平均予測値と照明平均値との誤差値を獲得する（Ｓ１３３）。前記複数個のモードに対してそれぞれの符号化効率を測定し、最適のモードを選択する（Ｓ１３４）。前記最適のモードを選択する方法の一実施例としては、前記獲得された誤差値のうち、誤差値が最小となるモードを選択する方法、または、情報速度−歪み（ＲＤ）関係式を用いる方法などを挙げることができる。
ここで、ＲＤ関係式は、該当のブロックを符号化する時に生じる符号化ビット数だけでなく実際映像に関する誤差値を示す歪み値を見分け、これら２成分を用いて費用を計算する。具体的に、ビット数に、量子化係数により決定されるラグランジュ乗数を乗じ、歪み値を加えて求めることができる。前記最適のモードが選択された後には、前記選択されたモードを示す識別情報のみを符号化して転送したり、前記選択されたモードを示す識別情報と一緒に前記選択されたモードによって獲得された誤差値も符号化して転送することができる（Ｓ１３５）。
図１４は、本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を説明するためのブロック構成図である。
図１４を参照すると、Ｂcブロックピクセル値の平均値をＭc、Ｂr,1の平均値をＭr,1とし、残りのブロックの平均値も前記ブロック表示法に準して表現する。周辺情報を用いる方法によってＭc情報を予測する方法が多様である。説明のために、Ｂcブロックを符号化するときに、参照映像＃１が候補参照映像となる場合を考える。
周辺情報を用いる方法によってＭc情報を予測する方法の一実施例として、現在ブロックに対応する他の視点の参照映像ブロックの照明平均値から予測する第１のモード方法（Ｍｏｄｅ１）を挙げることができる。すなわち、（Ｍｏｄｅ１）は、参照映像＃１のブロックＢr,1の平均値を用いてＭc情報を予測する場合である。誤差値は、下記の数式１で示される。
Figure 2009536793
他の実施例として、現在ブロックとこれに対応する他の視点の参照映像ブロックの照明平均値との差を、現在ブロックと参照映像ブロックのそれぞれ隣接したブロック間の照明平均値差から予測する第２のモード方法（Ｍｏｄｅ２）を挙げることができる。すなわち、（Ｍｏｄｅ２）は、参照映像１のブロックＢr,lの照明平均値との差を、隣接したブロック（Ｂl c，Ｂl r,l）間の照明平均値差で予測する場合である。誤差値は下記の数式２で示される。
Figure 2009536793
さらに他の実施例として、現在ブロックに隣接したブロックの照明平均値と現在ブロックに対応する他の視点の参照映像ブロックの照明平均値との差から予測する第３のモード方法（Ｍｏｄｅ３）を挙げることができる。すなわち、（Ｍｏｄｅ３）は、隣接したブロックＢl cの照明平均値と参照映像＃１のブロックＢr,lの照明平均値との差からＭc情報を予測する場合である。誤差値は、下記の数式３で示される。
Figure 2009536793
さらに他の実施例として、現在ブロックに隣接したブロックが他の視点の参照映像ブロックの隣接したブロックから符号化された場合、現在ブロックに隣接したブロックの照明平均値予測差から予測する第４のモード方法（Ｍｏｄｅ４）を挙げることができる。すなわち、ブロックＢl cが既に参照映像＃２のブロックＢl r,2を参照して符号化された場合、現在ブロックＢcの照明平均値と該現在ブロックに該当する参照ブロックＢr,lとの誤差値は、現在ブロックの隣ブロックＢl cの照明平均値と他の視点参照ブロックの隣ブロックＢl r,2の照明平均値との誤差値から予測されることができる。誤差値は、下記の数式４で示される。
Figure 2009536793
前述のＭｏｄｅ２、Ｍｏｄｅ３、Ｍｏｄｅ４の方法で隣接したブロック情報を用いるとき、真上の１つのブロックの情報のみを用いる場合としたが、一般的に現在ブロックを囲んでる様々な隣の情報を組み合わせわせて活用することができる。
図１５は、本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を一般化して説明するためのブロック構成図である。
図１５では、現在ブロックと境界線を共有する既に符号化されたブロック、そして参照ブロックと境界線を共有するブロックを示す。この時、Ｍｏｄｅ２、Ｍｏｄｅ３、Ｍｏｄｅ４方法の式はそれぞれ、下記の数式５のように一般化することができる。
Figure 2009536793
Ｍｏｄｅ４の一般化した式で、ｍi r,kは、Ｂi cブロックの参照ブロックが参照フレーム＃ｋに在る時、このブロックの照明平均値を表す。
上記の式５でｗiは、加重値になり、予測に用いる隣接したブロックは、上記のように境界線を共有するものに限定されることはなく、前記隣の隣も含まれることができ、またその一部のみを用いても良い。これはｗiで調節できる。このようにして求めた誤差値（ｅ）は量子化した後、エントロピー符号化して転送する。
上述のモードＭｏｄｅ１，Ｍｏｄｅ２，Ｍｏｄｅ３，Ｍｏｄｅ４参照フレームの決定は、実際ビットストリーム段階まで計算してみた後、情報速度と歪みの側面で最適なものを選ぶ。この最適のモードを選択する方法の一実施例として、前記獲得された誤差値のうち、誤差値が最小となるモードを選択する方法、または、ＲＤ関係式を用いる方法などを挙げることができる。
前記ＲＤ関係式を用いる方法は、実際に各モードに対して実際ビットストリームまで計算する段階を全て行った後、情報速度と歪みの側面で最適なモードを選択する。既存の方式と違う点は、ブロック差分値を計算する時、現在ブロック及び参照ブロックから各ブロックの平均値を除算した値からその差値を計算するという点である。すなわち、下記の数式６のようにして求める。
Figure 2009536793
ここで、ΔｘΔｙは、変移ベクトルを表し、Ｉは、照明値を表す。〔ｍc〕は、周辺情報を通じて予測した値と、誤差値を量子化した後に復元し、該復元された値を加算して求めた値で、エンコーダとデコーダで同じ値を得るためのものである。ｍrは、参照ブロックの照明平均値であって、復号された映像であるからエンコーダとデコーダで同じ値となる。そして、実際適用では、時間領域で参照ブロックを探した後、視空間領域で最適のものを探すことになる。したがって、照明補償を適用するか否かを示す識別情報もまた各フレームと各ブロックに対して「０」または「１」と指定され、これにもエントロピー符号化が適用される。
前記最適のモードが選択された後には、前記選択されたモードのみを符号化して転送することができる。また、前記選択されたモードと一緒に、前記選択されたモードによって獲得された誤差値も符号化して転送することができる。選択されたモード情報はインデックスで表現され、この情報も同様に、隣モード情報から予測することができ、現在選択されたモードのインデックスと予測されたモードのインデックス値との誤差値も符号化して転送することができる。
上記のモードを全て考慮しても良く、一部を選択したり、これらモードから１つのみを選択して適用しても良い。可能な全ての場合のうち、単一方法のみを使用する場合にはモードインデックスを別に符号化しなくても良い。
本発明を適用した他の実施例として、照明平均値の獲得及び照明平均予測値を誘導する場合に、参照映像と符号化しようとする映像の符号化している現在ブロックに対して、既に復号化されたピクセル値を用いることができる。
基本的に、現在ブロックの照明平均値を予測する時、左側と上端のピクセルの既に復号化された値を用いる。実際のビデオ映像を符号化する時、ビデオ映像は、マクロブロックを基準にして符号化される。そして、１６×１６サイズのマクロブロックは、映像の複雑度によって、１６×８、８×１６、８×８に細分化して符号化しても良く、それぞれの８×８ブロックは再び同じ方式で８×４、４×８、４×４ブロックに細分化することができる。それぞれの場合に１つのマクロブロックを基準にして各位置に在る小さいブロックの照明平均値を予測する方法は様々である。
図１６は、本発明を適用した実施例であり、照明平均値の獲得及び照明平均予測値を誘導する場合に、ブロックの左側と上端に在るピクセルの既に復号化された値を用いることを説明するための１６×１６マクロブロックを示す。
図１６を参照すると、１６×１６マクロブロックは、上端、左側に在る全てのピクセル値を用いることができる。したがって、現在ブロックの照明平均値を予測する時、前記ブロックの上端、左側に在る全てのピクセル（ｖ１〜ｖ１６、ｈ１〜ｈ１６）の照明平均値を計算し、これから現在ブロックの照明平均値を予測することができる。この場合、Ｂ１６×１６ブロックの照明平均値は、下記の数式７で示される。
Figure 2009536793
図１７Ａ及び図１７Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックをめぐるピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す。
図１７Ａの場合、すなわち、前記分割されたブロックを囲むピクセル全部を用いる場合、Ｂ１６×８＿０及びＢ１６×８＿１ブロックの平均値は、下記の数式８で示される。
Figure 2009536793
図１７Ｂの場合、すなわち、前記分割されたブロックを囲むピクセルのみを用いる場合、Ｂ１６×８＿０及びＢ１６×８＿１ブロックの照明平均値はそれぞれ、下記の数式９，１０で示される。
Figure 2009536793
Figure 2009536793
また、上記の図１７Ａ及び図１７Ｂの場合において、マクロブロックのコーナーに位置しているｈ0も含めて計算しても良い。この場合、図１７Ａ及び図１７Ｂ場合のＢ１６×８＿０照明平均値はそれぞれ、下記の数式１１，１２で示される。
Figure 2009536793
Figure 2009536793
また、上記の図１７Ａ及び図１７Ｂの場合において、マクロブロックのコーナーに在るｈ0とｖ8も含めて計算することができる。この場合、上記の図１７Ａ及び図１７Ｂ場合のＢ１６×８＿１照明平均値はそれぞれ、下記の数式１３，１４で示される。
Figure 2009536793
Figure 2009536793
図１８Ａ及び図１８Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す。分割された各ブロックの照明平均値を求める方法は、上記の図１７Ａ及び図１７Ｂにおける方法と同じである。
図１９Ａ及び図１９Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す。分割された各ブロックの照明平均値を求める方法は、上記の図１７Ａ及び図１７Ｂにおける方法と同じである。
上記の方法と同様に、８×８ブロックはより細部ブロックに分割することができ、同じ方法を適用することができる。
上記のような方式で符号化しようとする映像の現在ブロックと参照映像における該当ブロックピクセルの照明平均値を予測し、それぞれ＜ｍc＞、＜ｍr＞という。
各ブロック内の全てのピクセルに対してそれぞれの照明平均予測値を減算した後に、２ブロックの誤差値を下記の数式１５で計算できる。
Figure 2009536793
ここで、（Δｘ，Δｙ）は、変移ベクトルを意味し、Ｉはピクセル値を表す。このブロック誤差が最も小さい参照映像のブロックを、照明が補償された最適ブロックとして選択する。この時、推定された変移ベクトルは（Δｘ，Δｙ）となる。実際システムでは、照明補償をしなかった場合と結果を比較し、性能の良いものを選択する。
上記の方式の一変形としては、参照映像ブロックの照明平均値は周囲ピクセル値によって予測するのではなく、実際ブロック内の全てのピクセルの照明平均値によって直接計算する場合がある。
他の変形として、上端と左側利用ピクセルの数を増やす場合がある。すなわち、直に隣接した一層のピクセルだけでなく、隣接した２個以上の層のピクセルを用いても良い。
デコーダ側では、識別情報を通じて該当ブロックの照明補償を行うか否かを決定することができる。照明補償を行うことになる場合、誤差値（ｅ）に対する復号された値をまず求め、前記予測方法によって予測値を求めることができる。そして、これら２つの値を加算することによって〔ｍc〕(＝＜ｍc＞＋ｅ)を復号できる。いわゆる前記現在ブロックの予測子と呼ばれる予測ブロックである参照ブロックから＜ｍr＞−〔ｍc〕を減算した後、差分ブロック値の復号された値に加算することによって現在ブロック値を最終的に求めることができる。前記現在ブロックは下記のようにして復元することができる。
Ｂ＝予測ブロック＋差分ブロック＋（＜ｍc＞−＜ｍr＞＋ｅ）、ここで、Ｂは現在ブロック値を表し、予測ブロックは、前記現在ブロックの予測子を表す。
そして、＜ｍc＞−＜ｍr＞は、前記現在ブロックの照明補償オフセット予測値である平均ピクセル値の予測された差値を表し、ｅは前記で説明した誤差値を表す。デコーディング部は、前記現在ブロックの照明補償オフセット値と予測された差分値間の誤差値を獲得できる。そして、前記獲得された誤差値と前記予測された差分値を用いて前記現在ブロックの照明補償オフセット値を復元することができる。
図２０は、本発明が適用される一実施例であり、現在ブロックのオフセット値を獲得する過程を説明するための図である。
照明補償は、動き推定過程で行われることができる。現在ブロックと候補参照ブロックの類似性を比較する時、両ブロック間の照明差を考慮すべきである。前記照明差を補償すべく、新しい動き推定／動き補償が行われる。新しいＳＡＤは、下記の数式１６，１７を用いて求めることができる。
Figure 2009536793
Figure 2009536793
ここで、Ｍcは、現在ブロックの平均画素値を表し、Ｍrは、参照ブロックの平均画素値を表す。Ｉc(ｘ,ｙ)は、現在ブロックの（ｘ，ｙ）座標での画素値を表し、Ｉr(ｘ＋△ｘ，ｙ＋△ｙ)は、参照ブロックの動きベクトル（△ｘ，△ｙ）の時の画素値を表す。上記数式１６の新しいＳＡＤに基づいて動き推定を行うことによって、前記現在ブロックと前記参照ブロック間の平均画素値差が獲得されることができる。前記獲得された平均画素値差をオフセット値（ＩＣ＿ｏｆｆｓｅｔ）という。
照明補償が適用された動き推定が行われる場合、オフセット値と動きベクトルが求められ、照明補償は前記オフセット値と前記動きベクトルを用いて数式１８のように行うことができる。
Figure 2009536793
ここで、Ｒ(ｘ，ｙ)は、照明補償が行われた差分値を表す。
前記オフセット値（ＩＣ＿ｏｆｆｓｅｔ＝Ｍc−Ｍr）はデコーディング部に転送することができる。デコーディング部での照明補償は、下記の数式１９のように行うことができる。
Figure 2009536793
Ｒ'(ｘ，ｙ)は、復元された、照明補償の行われた差分値を表し、Ｉ'ｃ(ｘ，ｙ)は、復元された現在ブロックの画素値を表す。
現在ブロックを復元するためには、オフセット値がデコーディング部に転送されなければならず、前記オフセット値は、隣ブロックの情報から予測することができる。前記オフセット値をコーディングするビット数をより減少させるべく、現在ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ）と隣ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ）との差値（ＲIC_offset）のみを送ることができる。これは、下記の数式２０で示される。
Figure 2009536793
図２１は、本発明が適用される一実施例であり、現在ブロックに対する照明補償を行う過程を説明するためのフローチャートである。
現在ブロックの照明補償フラグが「０」の場合には、現在ブロックに対する照明補償が行われない。フラグが「１」の場合に、現在ブロックのオフセット値を復元する過程が行われる。この時、現在ブロックのプレディクタを獲得するにおいて、隣ブロックの情報を用いることができる。まず、現在ブロックの参照番号と隣ブロックの参照番号が同一か否かを判断する（Ｓ２１０）。前記判断結果に基づいて、現在ブロックの照明補償のためのプレディクタを獲得する（Ｓ２１１）。前記獲得されたプレディクタを用いて現在ブロックのオフセット値を復元する（Ｓ２１２）。ここで、前記現在ブロックの参照番号と隣ブロックの参照番号が同一か否かを判断し（Ｓ２１０）、その判断結果に基づいてプレディクタを獲得する段階（Ｓ２１１）についてより詳細に説明する必要がある。これについては、図２２で説明する。
図２２は、本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいてプレディクタを獲得する方法を説明するためのフローチャートである。
デコーディング部では、照明補償を行うべく、ビデオ信号から現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当参照ブロックの参照番号などを抽出し、このような情報を用いて現在ブロックのプレディクタを獲得することができる。そして、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元することができる。
この時、現在ブロックのプレディクタを獲得するに際して、隣ブロックの情報を用いることができる。例えば、前記隣ブロックのオフセット値を用いて前記現在ブロックのオフセット値を予測できるが、これに先立って現在ブロックの参照番号と前記隣ブロックの参照番号が同一か否かを確認し、その確認結果によってどんな隣ブロックを用いるか、または、どんな値を用いるかを決定することができる。また、前記隣ブロックのフラグ情報が「真」であるか否かを確認し、その確認結果によって前記隣ブロックを用いるか否かを決定できる。
第１の実施例として、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断する（Ｓ２２０）。前記判断結果、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが１個のみ存在する場合、前記参照番号が同一である隣ブロックのオフセット値を現在ブロックのプレディクタに割り当てることになる（Ｓ２２１）。上記Ｓ２２０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが２個存在する場合には、同じ参照番号を持つ２個の隣ブロックのオフセット値の平均値が、現在ブロックのプレディクタに割り当てられる（Ｓ２２２）。また、前記Ｓ２２０段階の判断結果によって、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが３個存在する場合には、同じ参照番号を持つ３個の隣ブロックのオフセット値の中間値が、現在ブロックのプレディクタに割り当てられる（Ｓ２２３）。また、前記Ｓ２２０段階の判断結果によって、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在しない場合、現在ブロックのプレディクタは「０」として割り当てられる（Ｓ２２４）。上記の参照番号の同一性を確認する過程（Ｓ２２０）で、該当の隣ブロックのフラグが「１」か否かを確認する条件を含むことができる。
第２の実施例として、隣ブロックが現在ブロックの参照番号と同じ参照番号を持つか否を確認し、前記隣ブロックのフラグが「１」であるか確認する。該２つの条件をいずれも満たす隣ブロックがあると、その隣ブロックのオフセット値をプレディクタとすることができる。この時、隣ブロックをチェックする順序は、左側→上端→上右側→上左側の順にしても良く、上端→左側→上右側→上左側の順にしても良い。前記２つの条件をいずれも満たす隣ブロックがなく、前記３個の隣ブロックのフラグ（例えば、左側、上端、上右側（または上左側）に在る３個の隣ブロックのフラグ）が「１」であれば、前記３個の隣ブロックのオフセット値の中間値をプレディクタとし、これも満たさないと、現在ブロックのプレディクタは「０」として割り当てることができる。
図２３は、本発明が適用される一実施例であり、現在ブロックのプレディクションタイプに基づいて照明補償を行う方法を説明するためのフローチャートである。
現在ブロックのプレディクションタイプによって参照する隣ブロックが変わる。例えば、現在ブロックと隣ブロックの形状が同一である場合には、現在ブロックは隣ブロックの中間値を用いて予測を行うことができる。しかし、その形状が異なる場合には、他の方法を適用することができる。
例えば、現在ブロックの左側に在るブロックが複数のブロックに分けられている場合、そのうち、最も上端に位置しているブロックを予測のために使うことができる。または、現在ブロックの上端に在るブロックが複数に分けられている場合、そのうち最も左側に位置しているブロックを予測のために使うことができる。このように、現在ブロックのプレディクションタイプは、どの隣ブロックを使用するかによってその予測値が変わる。したがって、本発明の一実施例では、まず、現在ブロックのプレディクションタイプによって参照する隣ブロックを決定することができる（Ｓ２３１）。前記決定された隣ブロックの参照番号と前記現在ブロックの参照番号とが同一であるか否かを判断する（Ｓ２３２）。このとき、参照番号が同一か否かを確認する過程（Ｓ２３２）で該当の隣ブロックのフラグが「１」か否かを確認する条件も含むことができる。その判断結果に基づいて現在ブロックの照明補償のためのプレディクタを獲得できる（Ｓ２３３）。前記獲得されたプレディクタを用いて現在ブロックのオフセット値を復元することによって照明補償を行うことができる（Ｓ２３４）。ここで、前記Ｓ２３２段階の結果に基づいてＳ２３３段階を行う過程について、具体的な実施例に挙げて説明する。これについての具体的実施例は、図２２で説明した方式と類似する方式を適用することができる。
例えば、現在ブロックのプレディクションタイプが現在ブロックの左側ブロックを参照して予測を行う場合では、前記現在ブロックの左側ブロックの参照番号が前記現在ブロックの参照番号と同一か否かを判断する。その判断結果、参照番号が同一である場合、前記左側ブロックのオフセット値を現在ブロックのプレディクタに割り当てる。また、現在ブロックのプレディクションタイプが現在ブロックの左側ブロックと上端ブロックの両方を参照して予測を行う場合、または、現在ブロックの左側ブロックと上端ブロック、そして右側上端ブロックの３つを参照する場合などそれぞれの場合は、図２２で説明した方式と同一の方式が適用される。
図２４は、本発明が適用される一実施例であり、該当のブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う方法を説明するためのフローチャートである。
図２４を参照すると、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）も用いることができる。または、図２２で説明した参照番号を確認する方法とフラグ情報を予測する方法を両方とも用いて前記プレディクタを獲得しても良い。まず、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断できる（Ｓ２４１）。前記判断結果に基づいて現在ブロックの照明補償のためのプレディクタを獲得できる。この時、隣ブロックのフラグが「１」か否かを判断基準として含むことができる（Ｓ２４２）。また、前記判断結果に基づいて現在ブロックのフラグ情報を予測できる（Ｓ２４３）。前記獲得したプレディクタと前記予測したフラグ情報を用いて現在ブロックのオフセット値を復元することによって照明補償を行うことが可能になる（Ｓ２４４）。ここで、前記Ｓ２４２段階は、前記図２２で説明した方式と同一の方式を適用することができる。そして、前記Ｓ２４３段階は、図２５で詳細に後述する。
図２５は、本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいて現在ブロックのフラグ情報を予測する方法を説明するためのフローチャートである。
本発明の一実施例では、まず、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断する（Ｓ２５０）。前記判断結果、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが１個のみ存在する場合、前記参照番号が同一である隣ブロックのフラグ情報から現在ブロックのフラグ情報を予測できる（Ｓ２５１）。前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが２個存在する場合には、同じ参照番号を持つ２個の隣ブロックのフラグ情報のうちいずれか１つのフラグ情報から現在ブロックのフラグ情報を予測できる（Ｓ２５２）。
また、前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが３個存在する場合には、同じ参照番号を持つ３個の隣ブロックのフラグ情報のうち、中間値から現在ブロックのフラグ情報を予測できる（Ｓ２５３）。また、前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在しない場合、現在ブロックのフラグ情報予測は行われない（Ｓ２５４）。
図２６は、本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
照明補償を行うにおいて、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、デコーダで各参照ブロックに対応するオフセット値が直接的にわからなくなる。これは、現在ブロックのオフセット値を獲得する時に、前記２個の参照ブロックを平均した画素値を用いたためである。したがって、本発明の一実施例では、各参照ブロックごとに対応するオフセット値を獲得し、より正確な予測が可能になる。まず、現在ブロックのプレディクタと誤差値を用いて現在ブロックのオフセット値を復元する（Ｓ２６１）。現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合、下記の数式２１に示すように、前記オフセット値を用いて各参照ブロックに対応するオフセット値を獲得する（Ｓ２６２）。
Figure 2009536793
ここで、ｍcは、現在ブロックの平均画素値を表し、ｍr,1、ｍr,2はそれぞれ、参照ブロックの平均画素値を表す。ｗ1、ｗ2は双方向予測コーディング時の加重値係数を表す。
前記照明補償方法の一実施例として、前記システムは、各参照ブロックに対応する正確なオフセット値を別途に獲得して利用できるので、より正確な予測コーディングが可能になる。前記現在ブロックのオフセット値を復元する時（Ｓ２６２）、復元されたオフセット差分値とプレディクタ値を加算してオフセット値を求めることができる。この時、Ｌｉｓｔ ０の参照ピクチャと、Ｌｉｓｔ １の参照ピクチャのそれぞれに対するプレディクタを求め、これらを組み合わせて現在ブロックのオフセット値を復元する時に必要なプレディクタ値を求めることができる。
他の実施例として、本発明は、スキップマクロブロックの場合にも適用することができる。本実施例では、予測が照明補償に関する情報を獲得するために行われる。照明補償を行うか否かを示すフラグ情報は、周辺ブロックで予測された値を用いることができ、現在ブロックのオフセット値は、周辺ブロックで予測されたオフセット値を用いることができる。例えば、フラグ情報が「真」であれば、オフセット値は参照ブロックに加算される。具体的な例として、Ｐ−Ｓｋｉｐモードが適用されるマクロブロックの場合、左側と上端の隣ブロックのフラグとオフセット値を用いて予測し、前記マクロブロックのフラグとオフセット値を求めることができる。１個のブロックのみがフラグ「１」を持つと、前記現在ブロックのフラグとオフセット値は、前記ブロックのフラグとオフセット値に設定することができる。２つのブロックがいずれもフラグ「１」を持つと、前記現在ブロックのフラグは「１」になり、オフセット値は２つの隣ブロックのオフセット値の平均値に設定することができる。
さらに他の実施例として、本発明は、直接予測モード（例えば、Ｄｉｒｅｃｔ、Ｂ−Ｓｋｉｐモード）にも適用されることができる。本実施例では、予測が照明補償に関する情報を獲得するために行われる。上記の多様なフラグ、オフセット予測方法を適用してそれぞれのプレディクタを求めることができる。この値を、現在ブロックの実際フラグ、オフセット値として設定できる。各ブロックが１対のフラグ、オフセット情報のみを持っていれば、それぞれに対して１つずつの予測値を求めればよい。この時、参照ブロックが２個である場合、参照番号チェックをするときには前記現在ブロックと隣ブロックの各参照番号がいずれも一致するか否かをチェックする。また、各参照ブロックに対してそれぞれのオフセット値を持っている場合には、予測された第１フラグ情報と予測された第１オフセット値、予測された第２フラグ情報と予測された第２オフセット値を獲得することができる。この場合、フラグ情報は周辺ブロックで予測された値を用いることができ、２個の参照ブロックのオフセット値はそれぞれ、前記予測された第１オフセット値と第２オフセット値を用いることができる。ここで、現在ブロックのオフセット値は、各参照ブロックのオフセット値の平均値とすることができる。
直接予測モードとスキップマクロブロックの場合、フラグ情報を符号化／復号化しても良い。すなわち、フラグ値によってオフセット値が加算されても良く、そうでなくても良い。また、オフセット値と予測されたオフセット値間の誤差値を符号化／復号化しても良い。この場合にはより正確に復元することができ、ＲＤ側面で最適なものを選択するようにしても良い。また、本明細書で説明した予測過程で参照ピクチャの利用が不可能な場合、すなわち、参照ピクチャ番号が「１」よりも小さい場合は、フラグ情報または予測されたフラグ情報が「偽」に設定され、オフセット値または予測されたオフセット値は「０」に設定することができる。
さらに他の実施例として、本発明は、エントロピーコーディングにも適用することができる。フラグ情報に対しては隣ブロック（例えば、現在ブロックの左側ブロックと上位ブロック）のフラグ値によって３個の状況（コンテクスト）が考えられる。
フラグ値が「真」の場合は「１」、「偽」の場合は「０」に変換すると、各場合に対して２つの値を合わせると３つ場合が出る。このような３つのコンテクストを用いてフラグ情報を符号化／復号化できる。オフセットの予測誤差値に対しては、例えば、変換係数レベルコーディングにおけると同じ方法を使用することができる。すなわち、ＵＥＧ０によって二進化が行われ、最初のビン値に対して１つのコンテクストモデルが適用され、単項の前置部の残りのビン値に対して他のコンテクストモデルが適用されることができる。サインビットは、バイパスモードで符号化／復号化されることができる。フラグ情報に対して他の実施例として、予測されたフラグ情報の値によって２個のコンテクストが考えられ、これを用いて符号化／復号化できる。
図２７は、本発明が適用された実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報と現在ブロックのオフセット値を用いて照明補償を行う過程を説明するためのフローチャートである。
デコーディング部では、照明補償を行うためにビデオ信号から多様な情報、例えば、前記現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当の参照ブロックのインデックス情報などを抽出できる。そして、このような情報を用いて前記現在ブロックのプレディクタを獲得できる。前記デコーディング部は、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。ここで、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）を用いることができる。
前記デコーディング部は、ビデオ信号から現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得する（Ｓ２７１）。前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元できる（Ｓ２７２）。このように、照明補償技術は、相互に異なるピクチャに属したブロックの平均画素値の差分値をコーディングする。各ブロックに照明補償技術を適用するか否かを示すフラグが用いられる時、該当のブロックがＰスライスに属したブロックである場合には、１つのフラグ情報と１つのオフセット値を符号化／復号化すればよい。しかし、該当のブロックがＢスライスに属したブロックである場合には、様々な方法が可能である。以下、これを図２８Ａ及び図２８Ｂを参照して詳細に説明する。
図２８Ａ及び図２８Ｂは、本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックにフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。
図２８Ａで、“Ｃ”は、現在ブロック（Ｃ）を表し、“Ｎ”は現在ブロック（Ｃ）に隣接するブロックを、“Ｒ”は現在ブロック（Ｃ）が参照するブロックを、“Ｓ”は現在ブロック（Ｃ）に隣接するブロック（Ｎ）が参照するブロックを表す。“ｍc”は現在ブロックの平均画素値を表し、“ｍr”は現在ブロックが参照するブロックの平均画素値を表す。現在ブロック（Ｃ）のオフセット値を“ＩＣ＿ｏｆｆｓｅｔ”とすれば、ＩＣ＿ｏｆｆｓｅｔ＝ｍc−ｍrとなる。
同様に、隣ブロック（Ｎ）のオフセット値を“ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ”とすれば、エンコーディング部では現在ブロック（Ｃ）のオフセット値である“ＩＣ＿ｏｆｆｓｅｔ”を復元するためにその値をそのまま転送せずに、現在ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ）と隣ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ）との差分値（ＲIC_offset）のみを送ることができる。ここで、ＲIC_offsetは、上記の数式２０で示される。
前記隣ブロックのフラグ情報またはオフセット値から現在ブロックのプレディクタを生成する時には、多様な方法が適用されることができる。例えば、隣ブロック１つのみの情報を用いても良く、２以上の隣ブロックの情報を用いても良い。２以上の隣ブロックの情報を用いる場合には、平均値を用いても良く、中間値を用いても良い。このように、現在ブロックが１つの参照ブロックを用いて予測コーディングされた場合には、１つのオフセット値と１つのフラグ情報を用いて照明補償を行うことができる。
しかしながら、該当のブロックがＢスライスに属したブロックである場合、すなわち、現在ブロックが２以上の参照ブロックを用いて予測コーディングされた場合には、様々な方法が可能になりうる。
例えば、図２８Ｂで、“Ｃ”は現在ブロック（Ｃ）を表し、“Ｎ”は現在ブロック（Ｃ）に隣接するブロックを、“Ｒ０”は現在ブロックが参照するＬｉｓｔ ０の参照ピクチャ１に在る参照ブロックを、”Ｓ０”は隣ブロックが参照するＬｉｓｔ ０の参照ピクチャ１に在る参照ブロックを表すと仮定する。そして、“Ｒ１”は現在ブロックが参照するＬｉｓｔ １の参照ピクチャ３に在る参照ブロックを、“Ｓ０”は隣ブロックが参照するＬｉｓｔ１の参照ピクチャ３に在る参照ブロックを表すと仮定する。この時、現在ブロックのフラグ情報とオフセット値は各参照ブロックに対して存在するので、それぞれ２つの値が存在する。したがって、前記フラグ情報とオフセット値を用いる場合に、それぞれ少なくとも１つ以上を用いることができる。
第１の例によれば、動き補償を通じて２つの参照ブロックに関する情報の組み合わせによって現在ブロックのプレディクタが求められることができる。ここで、現在ブロックに照明補償を適用するか否かを１つのフラグ情報で表し、前記フラグ情報が「真」である場合、前記現在ブロックと前記プレディクタから１つのオフセット値を獲得して符号化／復号化を行うことができる。
第２の例によれば、動き補償を行う過程で２つの参照ブロックに対してそれぞれ照明補償を適用するか否かを決定することができる。それぞれの参照ブロックに対してフラグ情報が与えられ、前記フラグ情報を用いて獲得された１つのオフセット値を符号化／復号化することができる。この場合、フラグ情報は参照ブロックを基準にして２個、オフセット値は現在ブロックを基準にして１個用いることができる。
第３の例では、現在ブロックを基準にして、このブロックに対して照明補償を適用するか否かを１つのフラグ情報で表すことができる。そして、２つの参照ブロックに対してそれぞれのオフセット値が符号化／復号化される。符号化過程において、いずれか一方の参照ブロックに対して照明補償を適用しない場合には、それに該当するオフセット値を「０」とする。この場合、フラグ情報は現在ブロックを基準にして１個、オフセット値は参照ブロックを基準にして２個用いることができる。
第４の例では、各参照ブロックに対してそれぞれのフラグ情報とオフセット値が符号化／復号化される。この場合、フラグ情報とオフセット値はいずれも参照ブロックを基準にしてそれぞれ２個ずつ用いることができる。
上記の第１から第４の例の場合に対して、オフセット値はそのまま符号化されずに、隣ブロックのオフセット値から予測した後、その誤差値のみを符号化できる。
図２９は、本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
現在ブロックがＢスライスに属したブロックである場合、照明補償を行うためにビデオ信号から前記現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当の参照ブロックのインデックス情報などを抽出し、このような情報を用いて現在ブロックのプレディクタを獲得できる。そして、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。この場合、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）を用いることができる。
前記デコーディング部は、ビデオ信号から現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得できる（Ｓ２９１）。前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元できる（Ｓ２９２）。
ところが、このように現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、デコーダで各参照ブロックに対応するオフセット値が直接的にわからなくなる。これは、現在ブロックのオフセット値を獲得する時、前記２個の参照ブロックを平均した画素値を用いたためである。したがって、本発明の一実施例では、各参照ブロックごとに対応するオフセット値を獲得し、より正確な予測を可能にすることができる。したがって、現在ブロックが２個の参照ブロックを用いて予測コーディングをした場合、下記の数式２２に示すように、前記オフセット値を用いて各参照ブロックに対応するオフセット値を獲得できる（Ｓ２９３）。
Figure 2009536793
ここで、ｍcは現在ブロックの平均画素値を表し、ｍr,1、ｍr,2はそれぞれ、参照ブロックの平均画素値を表す。ｗ1、ｗ2は双方向予測コーディング時の加重値係数を表す。
このような方法で照明補償を行う場合、各参照ブロックに対応する正確なオフセット値が別途獲得されて利用可能になるので、より正確な予測コーディングが可能になる。前記現在ブロックのオフセット値を復元する時、復元されたオフセット差分値とプレディクタ値を加算してオフセット値を獲得できる。この時、Ｌｉｓｔ０、Ｌｉｓｔ１のそれぞれに対するプレディクタを求め、これらを組み合わせて現在ブロックのオフセット値を復元する時に必要なプレディクタ値を求めることができる。
図３０は、本発明が適用される一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う過程を説明するためのフローチャートである。
照明補償技術は、カメラ間の照明または色相差を補償するためのものである。この技術は、さらには、同じカメラで獲得されたシーケンス映像間においても適用できる。この技術を通じて照明や色相差が動き推定に大きく影響を及ぼさないようにすることができる。しかし、実際符号化過程では、照明補償を適用するか否かを示すフラグ情報を用いることとなる。照明補償の適用範囲は、シーケンス、視点、ＧＯＰ、ピクチャ、スライス、マクロブロック、サブブロックなどになりうる。
小さい領域範囲に照明補償技術が用いられると、よりローカルな領域に対して調節が可能であるが、その分、フラグ情報のためのビットが多く必要となる。また、多くの場合に照明補償技術が要らない。したがって、各領域範囲別に照明補償技術を使用するか否かを示すフラグビットを割り当てることによって、效果的に照明補償技術を用いることができる。まず、ビデオ信号の一定階層に対して照明補償を行うように誘導するフラグ情報を獲得できる（Ｓ３０１）。
例えば、各領域範囲別に次のようにフラグ情報を設定できる。シーケンス階層に対しては“ｓｅｑ＿ＩＣ＿ｆｌａｇ”、視点階層に対しては“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”、ＧＯＰ階層に対しては“ＧＯＰ＿ＩＣ＿ｆｌａｇ”、ピクチャ階層に対しては“ｐｉｃ＿ＩＣ＿ｆｌａｇ”、スライス階層に対しては“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”、マクロブロック階層に対しては“ｍｂ＿ＩＣ＿ｆｌａｇ”、ブロック階層に対しては“ｂｌｋ＿ＩＣ＿ｆｌａｇ”としてフラグビットを割り当てることができる。これについては、図３１Ａ〜図３１Ｃで詳細に説明するものとする。そして、前記フラグ情報によって照明補償が行われた前記ビデオ信号の一定階層を、デコーディング可能になる（Ｓ３０２）。
図３１Ａ〜図３１Ｃは、本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
照明補償を行うように誘導するフラグ情報の適用範囲を階層別に区分できる。例えば、図３１Ａ〜図３１Ｂに示すように、シーケンス階層に対しては“ｓｅｑ＿ＩＣ＿ｆｌａｇ”３１１、視点階層に対しては“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”３１２、ＧＯＰ階層に対しては“ＧＯＰ＿ＩＣ＿ｆｌａｇ”３１３、ピクチャ階層に対しては“ｐｉｃ＿ＩＣ＿ｆｌａｇ”３１４、スライス階層に対しては“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”３１５、マクロブロック階層に対しては“ｍｂ＿ＩＣ＿ｆｌａｇ”３１６、ブロック階層に対しては“ｂｌｋ＿ＩＣ＿ｆｌａｇ”３１７が割り当てられる。
ここで、各フラグは１ビット情報であり、これらのフラグは少なくとも１つ以上存在できる。また、シーケンス／視点／ピクチャ／スライス範囲などのフラグは、該当のパラメータセットまたはヘッダに位置させることができ、または、他のパラメータセットにも位置させることができる。例えば、“ｓｅｑ＿ＩＣ＿ｆｌａｇ”３１１は、シーケンスパラメータセットに位置させることができ、“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”３１２は、視点パラメータセットに位置させることができ、“ｐｉｃ＿ＩＣ＿ｆｌａｇ”３１４は、ピクチャパラメータセットに位置させることができる。また、“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”３１５はスライスヘッダに位置させることができる。
前記フラグ情報が２以上存在する場合、２以上の一定階層のうち下位階層に照明補償を行うか否かは、上位階層の照明補償を行うか否かによって制御されることができる。すなわち、各フラグビット値が「１」と設定されると、その下位範囲で照明補償技術が適用される場合がありうるということを示す。
例えば、ｐｉｃ＿ＩＣ＿ｆｌａｇ＝１の場合、該当のピクチャ範囲内の各スライスに対してｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定でき、または、各マクロブロックに対してｍｂ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定でき、または、各ブロックに対してｂｌｋ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定することができる。視点パラメータセットがある場合、ｓｅｑ＿ＩＣ＿ｆｌａｇ＝１であれば、各視点に対してｖｉｅｗ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定できることとなる。ただし、ｖｉｅｗ＿ＩＣ＿ｆｌａｇ＝１の場合には、図３１Ａに示すように、該当の視点に属する各ＧＯＰ、ピクチャ、スライス、マクロブロック、またはブロックに対するフラグビット値を「１」または「０」に設定しても良く、そうでなくても良い。ここで、そうでない場合は、図３１Ｂのように、各ＧＯＰ、ピクチャ、スライス、マクロブロック、またはブロックに対するフラグが視点に関するフラグ情報によって制御されない場合のことをいう。
上位範囲のフラグビット値が「０」の場合、下位範囲のフラグビット値は自動的に「０」となる。例えば、ｓｅｑ＿ＩＣ＿ｆｌａｇ＝０の場合、該当のシーケンスに対して照明補償技術が適用されないということを意味し、したがって、ｖｉｅｗ＿ＩＣ＿ｆｌａｇ、ＧＯＰ＿ＩＣ＿ｆｌａｇ、ｐｉｃ＿ＩＣ＿ｆｌａｇ、ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ、ｍｂ＿ＩＣ＿ｆｌａｇ、ｂｌｋ＿ＩＣ＿ｆｌａｇはいずれも「０」に設定される。そして、ｍｂ＿ＩＣ＿ｆｌａｇとｂｌｋ＿ＩＣ＿ｆｌａｇは、照明補償技術の具体的な具現方法によって１つのみ用いられても良い。また、視点に関するフラグ情報（ｖｉｅｗ＿ＩＣ＿ｆｌａｇ）は多視点ビデオコーディングで視点パラメータセットが新しく適用される場合に適用することができる。最も下位単位であるマクロブロックまたはサブブロックにおけるフラグビット値によって現在ブロックのオフセット値が追加的に符号化／復号化されるであろう。
また、図３１Ｃのように、ＩＣ技術適用に対するフラグがスライスとマクロブロック階層にのみ適用される実施例も考えられる。例えば、ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇが「０」の場合は、該当のスライスでＩＣが適用されないことを意味することができる。ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇが「１」の場合は、該当のスライスでＩＣが適用されることを意味し、この場合、ｍｂ＿ＩＣ＿ｆｌａｇが「１」であれば、該当のマクロブロックでＩＣ＿ｏｆｆｓｅｔが復元される。ｍｂ＿ＩＣ＿ｆｌａｇが「０」であれば、該当のマクロブロックでＩＣが適用されないことを意味する。
また、本発明の他の一実施例として、マクロブロック階層より上位階層のフラグ情報が「真」である場合、現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を獲得できるが、この時、前記マクロブロック階層または前記ブロック階層に対するフラグ情報は利用しなくて良い。照明補償技術を適用する時、各ブロックに対して照明補償技術を適用するか否かをフラグ情報を通じて表すことができる。しかし、動きベクトルのように、その値のみを示すことで充分な場合もある。これは、照明補償技術の適用範囲と一緒に運用が可能で、上位範囲（即ち、シーケンス、視点、ＧＯＰ、ピクチャ）に対しては、フラグ情報を通じてその下位範囲で照明補償が適用されるか否かを示すことができる。最も下位範囲であるマクロブロック階層またはブロック階層では、フラグビットを使用せずにオフセット値だけでも充分である。これは、基本的に動きベクトルと類似な方式で予測及び符号化を行うことができるからである。例えば、現在ブロックに対して予測コーディングを行う場合、隣ブロックのオフセット値を現在ブロックのオフセット値に割り当てることとなる。そして、双方向予測コーディングである場合、Ｌｉｓｔ ０、Ｌｉｓｔ １から見つけられた参照ブロックとの計算を通じて各参照ブロックに対するオフセット値が獲得される。したがって、現在ブロックのオフセット値を符号化する時、隣ブロックのオフセット値を用いて前記各参照ブロックに対するオフセット値を直接符号化せずに、予測誤差のみを符号化／復号化する。オフセット値の予測方法は、上記のオフセット予測方法や動きベクトル予測時に使われる中間値を獲得する方法を用いても良い。双方向予測の直接モードの時にも、動きベクトルと同様な方法を用いて付加情報の符号化／復号化をせずに、既に与えられた情報を通じてオフセット値を求めることができる。
また、本発明の他の実施例として、ＭＶＣデコーダでないデコーダ（例えば、Ｈ．２６４）を用いる場合、既存のデコーダと互換性を持つ視点映像は既存のデコーダでデコーディングされなければならないので、“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ＝ｆａｌｓｅ ｏｒ ０”と設定すべきである。ここで、基準視点についての概念を説明する必要がある。まず、Ｈ．２６４／ＡＶＣデコーダと互換性を持つ少なくとも１つの視点映像が要求される。したがって、独立的に復号化可能な視点を定義する必要があるが、これを基準視点という。このような基準視点は、多視点のうち符号化の基準となり、これは参照視点に該当する。ＭＶＣで基準視点に該当する映像は、従来一般的な映像符号化方式（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等）により符号化されて独立したビットストリームに形成される。基準視点に該当する映像はＨ．２６４／ＡＶＣと互換されても良く、互換されなくても良い。しかし、Ｈ．２６４／ＡＶＣと互換できる視点の映像は常に基準視点となる。
図３２は、本発明が適用される一実施例であり、現在ブロックのオフセット値を考慮して動きベクトルを獲得する過程を説明するためのフローチャートである。
図３２を参照すると、前記システムは、ビデオ信号から現在ブロックのオフセット値を獲得できる（Ｓ３２１）。前記システムは、前記オフセット値を用いて現在ブロックと最適にマッチングされる参照ブロックをサーチできる（Ｓ３２２）。前記システムは、前記サーチされた参照ブロックから動きベクトルを獲得して符号化できる（Ｓ３２３）。ここで、照明補償を適用する場合、動き推定を行う時に考慮すべき事項がある。例えば、ブロック間の平均画素値を相殺して２ブロックの類似性を比較する方法の場合、動き推定を行う時に、各ブロックの画素値からブロックの平均画素値を減算した値によって類似性程度を計算できる。この時、２ブロック間のオフセット値がそれぞれ符号化されるので、このような費用も動き推定過程に反映されなければならない。既存の費用（ｃｏｓｔ）計算は、下記の数式２３で行われる。
Figure 2009536793
照明補償を適用する場合、絶対差の合計（ＳＡＤ）は、下記の数式２４で計算されることができる。
Figure 2009536793
ここで、Ｉc、Ｉrはそれぞれ現在ブロックと参照ブロックの画素値を表す。Ｍc、Ｍrはそれぞれ現在ブロックと参照ブロックの平均画素値を表す。オフセット値の費用は、以下の数式２５、２６に示されるように、ＳＡＤ計算に含めて反映することができる。
Figure 2009536793
Figure 2009536793
ここで、αは加重値を表し、その値が「１」の時に、オフセット値の絶対値が反映される。また、照明補償費用を反映する他の方法として、オフセット値を符号化するのに用いられるビット数を推定して反映する方法がある。
これは、下記の数式２７に示すように、オフセット符号化ビットを推定して反映する方法である。ここで、前記符号化ビットはオフセット差分値の大きさに比例するように推定できる。
Figure 2009536793
この場合、新しい費用は、下記の数式２８から得られる。
Figure 2009536793
本発明の属する技術分野における当業者は、本発明がその技術的思想や必須特徴を変更しない範囲内で他の具体的な形態に実施できるということを理解することができる。
したがって、以上説明された実施例は全ての面で例示的なものであり、限定的なものとして理解してはならない。本発明の範囲は、上記の詳細な説明ではなく特許請求の範囲によって定められ、よって、特許請求の範囲の意味及び範囲そしてその等価概念から想到できるいかなる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
本発明が適用される実施例であり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置の概略的なブロック図である。 本発明を適用したシーケンスパラメータセットＲＢＳＰシンタックスを示す構造図である。 本発明が適用されたビットストリームの構造であり、１つのビットストリーム内で１つのシーケンスのみを含む場合を示す。 本発明が適用されたビットストリームの構造であり、１つのビットストリーム内で２個のシーケンスを含む場合を示す。 本発明を適用した実施例であり、ＧＧＯＰの構造を例示する図である。 本発明を適用した実施例であり、ＧＧＯＰの構造を例示する図である。 本発明を適用した実施例であり、ＧＧＯＰの構造を例示する図である。 本発明が適用されたビデオ映像の復号化方法を説明するフローチャートである。 本発明が適用される実施例であり、多視点映像の予測構造を示す図である。 本発明が適用される実施例であり、多視点映像の予測構造を示す図である。 本発明が適用される実施例であり、多視点映像の予測構造を示す図である。 本発明が適用される実施例であり、多視点映像の予測構造を示す図である。 本発明が適用される実施例であり、多視点映像の予測構造を示す図である。 本発明が適用される実施例であり、多視点映像の視点間階層的予測構造を示す図である。 本発明が適用される実施例であり、多視点映像の視点間階層的予測構造を示す図である。 本発明が適用される実施例であり、２次元多視点映像の予測構造を示す図である。 本発明が適用される実施例であり、２次元多視点映像の予測構造を示す図である。 本発明が適用される実施例であり、多視点映像の予測構造を示す図である。 本発明が適用される実施例であり、多視点映像の予測構造を示す図である。 本発明が適用される実施例であり、多視点映像の予測構造を示す図である。 本発明の多視点映像の視点間階層的復号化方法及び装置を説明するための図である。 本発明が適用された一実施例であり、ビデオ映像符号化方法を説明するためのフローチャートである。 本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を説明するためのブロック構成図である。 本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を一般化して説明するためのブロック構成図である。 本発明を適用した一実施例であり、照明平均値の獲得及び照明平均予測値を誘導する場合に、ブロックの左側と上端に在るピクセルの既に復号化された値を用いることを説明するための１６×１６マクロブロックを示す図である。 本発明を適用した実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す図である。 本発明を適用した実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す図である。 本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す図である。 本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す図である。 本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す図である。 本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す図である。 本発明が適用される一実施例であり、現在ブロックのオフセット値を獲得する過程を説明するための図である。 本発明が適用される一実施例であり、現在ブロックに対する照明補償を行う過程を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいてプレディクタを獲得する方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックのプレディクションタイプに基づいて照明補償を行う方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、該当のブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいて現在ブロックのフラグ情報を予測する方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。 本発明が適用された一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報と現在ブロックのオフセット値を用いて照明補償を行う過程を説明するためのフローチャートである。 本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックに対してフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。 本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックに対してフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。 本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う過程を説明するためのフローチャートである。 本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。 本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。 本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。 本発明が適用される一実施例であり、現在ブロックのオフセット値を考慮して動きベクトルを獲得する過程を説明するためのフローチャートである。

Claims (24)

  1. 第１プロファイルによってエンコーディングされたビデオ信号と、前記第１プロファイルを識別するプロファイル情報とを含むビットストリームを受信する段階と、
    前記ビットストリームから前記プロファイル情報を抽出する段階と、
    前記プロファイル情報が多視点ビデオ信号に対応する場合、各視点内に在るピクチャの部分間における照明補償を用いて、前記プロファイル情報によって前記ビデオ信号をデコーディングする段階と、
    を含み、
    前記第１プロファイルは、少なくとも１つの多視点ビデオ信号に対するプロファイルを含む複数個のプロファイルから選択されたことを表し、
    前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とする、ビデオ信号デコーディング方法。
  2. 前記プロファイル情報が多視点ビデオ信号に対応する場合、複数個の視点と関連した属性情報を前記ビットストリームから抽出する段階をさらに含み、
    前記属性情報は、各視点間の依存関係を示す視点間依存情報、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とする請求項１に記載のビデオ信号デコーディング方法。
  3. 前記プロファイル情報は、前記ビットストリームのヘッダに位置することを特徴とする請求項１に記載のビデオ信号デコーディング方法。
  4. 前記視点レベル情報は、前記多視点ビデオ信号の視点間の階層的視点予測構造と関連した複数個のレベルのうちの１つに対応することを特徴とする請求項１に記載のビデオ信号デコーディング方法。
  5. 前記視点間依存情報は、２次元データ構造の依存関係を示すことを特徴とする請求項１に記載のビデオ信号デコーディング方法。
  6. 前記２次元データ構造は、マトリクスからなることを特徴とする請求項５に記載のビデオ信号デコーディング方法。
  7. 前記部分は、イメージブロックからなることを特徴とする請求項１に記載のビデオ信号デコーディング方法。
  8. 第１部分に対する照明補償を用いる段階は、隣ブロックの照明補償予測値と差分値を加算することによって、前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする請求項７に記載のビデオ信号デコーディング方法。
  9. １つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする請求項８に記載のビデオ信号デコーディング方法。
  10. 少なくとも１つの隣ブロックを選択する段階は、
    左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする請求項９に記載のビデオ信号デコーディング方法。
  11. １つ以上の条件が隣ブロックに対して満足するか可否を決定する段階は、
    前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を、前記ビットストリームから抽出する段階を含むことを特徴とする請求項９に記載のビデオ信号デコーディング方法。
  12. 少なくとも１つの隣ブロックを選択する段階は、
    １つの隣ブロックの照明補償オフセット値を使用するか、または、各隣ブロックの照明補償オフセット値を使用するかを決定する段階を含むことを特徴とする請求項９に記載のビデオ信号デコーディング方法。
  13. 各視点間の依存関係によってエンコーディングされた多視点ビデオ信号と、前記依存関係を示す視点依存データと、を含むビットストリームを受信する段階と、
    前記視点依存データを抽出し、前記抽出されたデータから依存関係を決定する段階と、
    各視点内にあるピクチャの部分間における照明補償を用いて、前記決定された依存関係によって前記多視点ビデオ信号をデコーディングする段階と、
    を含み、
    前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とする多視点ビデオ信号デコーディング方法。
  14. 前記視点依存データは、２次元データ構造における前記依存関係を示すことを特徴とする請求項１３に記載の多視点ビデオ信号デコーディング方法。
  15. 前記視点依存データは、マトリクスからなることを特徴とする請求項１４に記載の多視点ビデオ信号デコーディング方法。
  16. 前記ビットストリームから属性情報を抽出する段階をさらに含み、
    前記属性情報は、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とする請求項１３に記載の多視点ビデオ信号デコーディング方法。
  17. 前記部分は、イメージブロックからなることを特徴とする請求項１３に記載の多視点ビデオ信号デコーディング方法。
  18. 第１部分に対する照明補償を用いる段階は、隣ブロックの照明補償予測値と差分値を加算することによって、前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする請求項１７に記載の多視点ビデオ信号デコーディング方法。
  19. １つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする請求項１８に記載の多視点ビデオ信号デコーディング方法。
  20. 少なくとも１つの隣ブロックを選択する段階は、
    左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする請求項１９に記載の多視点ビデオ信号デコーディング方法。
  21. １つ以上の条件が隣ブロックに対して満足するか可否を決定する段階は、
    前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を、前記ビットストリームから抽出する段階を含むことを特徴とする請求項１９に記載の多視点ビデオ信号デコーディング方法。
  22. 少なくとも１つの隣ブロックを選択する段階は、
    １つの隣ブロックの照明補償オフセット値を使用するか、または、各隣ブロックの照明補償オフセット値を使用するかを決定する段階を含むことを特徴とする請求項１９に記載の多視点ビデオ信号デコーディング方法。
  23. 複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１部分の照明補償予測値を獲得する段階をさらに含むことを特徴とする請求項２２に記載の多視点ビデオ信号デコーディング方法。
  24. 前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする請求項２３に記載の多視点ビデオ信号デコーディング方法。
JP2008550242A 2006-01-12 2007-01-12 多視点ビデオの処理 Active JP5199123B2 (ja)

Applications Claiming Priority (25)

Application Number Priority Date Filing Date Title
US75823406P 2006-01-12 2006-01-12
US60/758,234 2006-01-12
KR20060004956 2006-01-17
KR10-2006-0004956 2006-01-17
US75962006P 2006-01-18 2006-01-18
US60/759,620 2006-01-18
US76253406P 2006-01-27 2006-01-27
US60/762,534 2006-01-27
KR20060027100 2006-03-24
KR10-2006-0027100 2006-03-24
US78719306P 2006-03-30 2006-03-30
US60/787,193 2006-03-30
KR1020060037773A KR20070076356A (ko) 2006-01-18 2006-04-26 비디오 영상의 부호화/복호화 방법 및 장치
KR10-2006-0037773 2006-04-26
US81827406P 2006-07-05 2006-07-05
US60/818,274 2006-07-05
US83008706P 2006-07-12 2006-07-12
US60/830,087 2006-07-12
US83032806P 2006-07-13 2006-07-13
US60/830,328 2006-07-13
KR1020060110338A KR20070076392A (ko) 2006-01-18 2006-11-09 비디오 신호의 디코딩/인코딩 방법 및 장치
KR10-2006-0110337 2006-11-09
KR10-2006-0110338 2006-11-09
KR1020060110337A KR20070076391A (ko) 2006-01-18 2006-11-09 비디오 신호의 디코딩/인코딩 방법 및 장치
PCT/KR2007/000226 WO2007081177A1 (en) 2006-01-12 2007-01-12 Processing multiview video

Publications (3)

Publication Number Publication Date
JP2009536793A true JP2009536793A (ja) 2009-10-15
JP2009536793A5 JP2009536793A5 (ja) 2009-11-26
JP5199123B2 JP5199123B2 (ja) 2013-05-15

Family

ID=46045583

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008550241A Expired - Fee Related JP5192393B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理
JP2008550243A Active JP5199124B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理
JP2008550242A Active JP5199123B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2008550241A Expired - Fee Related JP5192393B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理
JP2008550243A Active JP5199124B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理

Country Status (6)

Country Link
US (9) US7817866B2 (ja)
EP (3) EP1977593A4 (ja)
JP (3) JP5192393B2 (ja)
KR (8) KR100943912B1 (ja)
DE (1) DE202007019463U1 (ja)
WO (3) WO2007081176A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011515940A (ja) * 2008-03-18 2011-05-19 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化、復号化の方法及び装置
JPWO2013132792A1 (ja) * 2012-03-06 2015-07-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
US9363432B2 (en) 2012-06-11 2016-06-07 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US10034015B2 (en) 2012-02-03 2018-07-24 Sun Patent Trust Image coding method and image coding apparatus
US10129563B2 (en) 2012-01-20 2018-11-13 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction

Families Citing this family (236)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
EP2348640B1 (en) 2002-10-05 2020-07-15 QUALCOMM Incorporated Systematic encoding of chain reaction codes
US7418651B2 (en) 2004-05-07 2008-08-26 Digital Fountain, Inc. File download and streaming system
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
US8687688B2 (en) 2006-01-09 2014-04-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
KR100943912B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
JP5550834B2 (ja) 2006-02-13 2014-07-16 デジタル ファウンテン， インコーポレイテッド 可変ｆｅｃオーバヘッド及び保護期間を利用したストリーミング及びバッファリング
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
EP1997318A4 (en) * 2006-03-22 2011-04-06 Korea Electronics Telecomm METHOD AND DEVICE FOR CODING AND DECODING THE COMPENSATED LIGHTING CHANGE
BRPI0710048A2 (pt) * 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US8325814B2 (en) * 2006-06-19 2012-12-04 Lg Electronics Inc. Method and apparatus for processing a video signal
WO2008005124A2 (en) * 2006-07-05 2008-01-10 Thomson Licensing Methods and apparatus for multi-view video encoding and decoding
US20090290643A1 (en) * 2006-07-12 2009-11-26 Jeong Hyu Yang Method and apparatus for processing a signal
KR101353204B1 (ko) * 2006-07-20 2014-01-21 톰슨 라이센싱 멀티-뷰 비디오 코딩에서의 뷰 스케일러빌리티를 신호로 알리기 위한 방법 및 장치
WO2008023967A1 (en) * 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
CN102761744B (zh) 2006-10-13 2015-10-28 汤姆逊许可公司 用于多视点视频编码的参考图像列表管理语法
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
BRPI0717321A2 (pt) 2006-10-13 2013-10-22 Thomson Licensing Método para gerenciamento de imagens de referência envolvendo codificação de vídeo com mútiplas visualizações
US20100002761A1 (en) * 2006-10-16 2010-01-07 Thomson Licensing Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation
CN101529921B (zh) * 2006-10-18 2013-07-03 汤姆森特许公司 无显式信令的局部照明和色彩补偿
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP2010507975A (ja) * 2006-10-24 2010-03-11 トムソン ライセンシング 多視点映像符号化のための画像の管理
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR100905723B1 (ko) * 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
US8532175B2 (en) * 2007-01-04 2013-09-10 Thomson Licensing Methods and apparatus for reducing coding artifacts for illumination compensation and/or color compensation in multi-view coded video
EP2116063B1 (en) * 2007-01-04 2017-03-08 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
US8923399B2 (en) * 2007-01-24 2014-12-30 Lg Electronics Inc. Method and an apparatus for processing a video signal
CN101641954B (zh) * 2007-03-23 2011-09-14 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
FI3920538T3 (fi) 2007-04-12 2023-04-05 Dolby Int Ab Limittäminen videon enkoodauksessa ja dekoodauksessa
JP5254565B2 (ja) * 2007-04-24 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラム
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
US9313515B2 (en) * 2007-05-16 2016-04-12 Thomson Licensing Methods and apparatus for the use of slice groups in encoding multi-view video coding (MVC) information
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR101460362B1 (ko) * 2007-06-25 2014-11-14 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
KR20080114482A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
US20100118942A1 (en) * 2007-06-28 2010-05-13 Thomson Licensing Methods and apparatus at an encoder and decoder for supporting single loop decoding of multi-view coded video
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
WO2009020542A1 (en) * 2007-08-06 2009-02-12 Thomson Licensing Methods and apparatus for motion skip mode with multiple inter-view reference pictures
US20090060043A1 (en) * 2007-08-29 2009-03-05 Geert Nuyttens Multiviewer based on merging of output streams of spatio scalable codecs in a compressed domain
AU2008298602A1 (en) 2007-09-12 2009-03-19 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
BRPI0817508A2 (pt) * 2007-10-05 2013-06-18 Thomson Licensing mÉtodos e aparelho para incorporaÇço de informaÇço de usabilidade de vÍdeo (vui) em um sistema de codificaÇço de vÍdeo com méltiplas visualizaÇÕes (mvc)
KR101345287B1 (ko) * 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
US8811499B2 (en) * 2008-04-10 2014-08-19 Imagine Communications Corp. Video multiviewer system permitting scrolling of multiple video windows and related methods
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
RU2504917C2 (ru) * 2008-10-07 2014-01-20 Телефонактиеболагет Лм Эрикссон (Пабл) Файл медиаконтейнера
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
WO2010058955A2 (ko) * 2008-11-18 2010-05-27 엘지전자 주식회사 영상 신호 처리 방법 및 장치
JPWO2010070826A1 (ja) * 2008-12-17 2012-05-24 パナソニック株式会社 貫通電極の形成方法及び半導体装置
KR101364027B1 (ko) * 2008-12-18 2014-02-18 엘지전자 주식회사 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
CN101884220B (zh) 2009-01-19 2013-04-03 松下电器产业株式会社 编码方法、解码方法、编码装置、解码装置、程序及集成电路
CN104702960B (zh) 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
US8947504B2 (en) * 2009-01-28 2015-02-03 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
US8189666B2 (en) * 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
JP5436458B2 (ja) 2009-02-12 2014-03-05 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
US8270495B2 (en) * 2009-02-13 2012-09-18 Cisco Technology, Inc. Reduced bandwidth off-loading of entropy coding/decoding
US8548228B2 (en) 2009-02-23 2013-10-01 Nippon Telegraph And Telephone Corporation Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-view image decoding program
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
JP4957823B2 (ja) * 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP4985883B2 (ja) * 2009-04-08 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
WO2010120033A1 (ko) * 2009-04-17 2010-10-21 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 장치
KR101097690B1 (ko) * 2009-04-28 2011-12-22 파나소닉 주식회사 화상 복호 방법 및 화상 복호 장치
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8411746B2 (en) 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
KR101631270B1 (ko) * 2009-06-19 2016-06-16 삼성전자주식회사 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
EP2302933A1 (en) * 2009-09-17 2011-03-30 Mitsubishi Electric R&D Centre Europe B.V. Weighted motion compensation of video
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
WO2011068807A1 (en) * 2009-12-01 2011-06-09 Divx, Llc System and method for determining bit stream compatibility
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
EP2529557A1 (en) 2010-01-29 2012-12-05 Thomson Licensing Block-based interleaving
CA2790268A1 (en) * 2010-02-24 2011-09-01 Nippon Telegraph And Telephone Corporation Multiview video encoding method, multiview video decoding method, multiview video encoding apparatus, multiview video decoding apparatus, and program
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
WO2011146451A1 (en) 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
JP5387520B2 (ja) * 2010-06-25 2014-01-15 ソニー株式会社 情報処理装置と情報処理方法
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
JP5392199B2 (ja) * 2010-07-09 2014-01-22 ソニー株式会社 画像処理装置および方法
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
KR102331748B1 (ko) * 2010-08-11 2021-12-02 지이 비디오 컴프레션, 엘엘씨 멀티-뷰 신호 코덱
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
KR20130054408A (ko) 2010-10-05 2013-05-24 제너럴 인스트루먼트 코포레이션 지그재그 스캔에 의한 적응적 컨텍스트 모델 선택을 이용하는 코딩 및 디코딩
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
WO2012046239A2 (en) * 2010-10-06 2012-04-12 Nomad3D Sas Multiview 3d compression format and algorithms
US20120269275A1 (en) * 2010-10-20 2012-10-25 Nokia Corporation Method and device for video coding and decoding
FI3985979T3 (fi) * 2010-12-13 2024-04-23 Electronics & Telecommunications Res Inst Menetelmä vertailuyksikön määrittämiseksi
GB2486692B (en) * 2010-12-22 2014-04-16 Canon Kk Method for encoding a video sequence and associated encoding device
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
US9215473B2 (en) * 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
KR20120095611A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오 부호화/복호화 방법 및 장치
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8938001B1 (en) 2011-04-05 2015-01-20 Google Inc. Apparatus and method for coding using combinations
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
FI4164224T3 (fi) * 2011-06-28 2024-05-07 Lg Electronics Inc Videodekoodauslaitteisto ja videokoodauslaitteisto
US8879826B2 (en) * 2011-07-05 2014-11-04 Texas Instruments Incorporated Method, system and computer program product for switching between 2D and 3D coding of a video sequence of images
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US8891616B1 (en) 2011-07-27 2014-11-18 Google Inc. Method and apparatus for entropy encoding based on encoding cost
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
KR102074148B1 (ko) 2011-08-30 2020-03-17 엔엘디 엘엘씨 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9338463B2 (en) 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
US9781449B2 (en) * 2011-10-06 2017-10-03 Synopsys, Inc. Rate distortion optimization in image and video encoding
WO2013055148A2 (ko) 2011-10-12 2013-04-18 엘지전자 주식회사 영상 인코딩 방법 및 디코딩 방법
US8855433B2 (en) * 2011-10-13 2014-10-07 Sharp Kabushiki Kaisha Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) * 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US8787688B2 (en) * 2011-10-13 2014-07-22 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
WO2013067942A1 (zh) * 2011-11-08 2013-05-16 华为技术有限公司 一种帧内预测方法和装置
KR101493698B1 (ko) * 2011-11-08 2015-03-02 삼성전자주식회사 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 결정 방법 및 장치
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
JPWO2013115023A1 (ja) * 2012-01-31 2015-05-11 ソニー株式会社 画像処理装置および画像処理方法
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
CN107835428B (zh) 2012-03-02 2021-09-24 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
GB2500023A (en) * 2012-03-06 2013-09-11 Queen Mary & Westfield College Coding and Decoding a Video Signal Including Generating and Using a Modified Residual and/or Modified Prediction Signal
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US20130243085A1 (en) * 2012-03-15 2013-09-19 Samsung Electronics Co., Ltd. Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2013137697A1 (ko) * 2012-03-16 2013-09-19 엘지전자 주식회사 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
JP2013247651A (ja) 2012-05-29 2013-12-09 Canon Inc 符号化装置、符号化方法およびプログラム
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US20140003799A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and methods for decoding a video sequence encoded using predictions that include references to frames in reference segments from different video sequences
US10452715B2 (en) 2012-06-30 2019-10-22 Divx, Llc Systems and methods for compressing geotagged video
RU2608354C2 (ru) * 2012-07-02 2017-01-18 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования видео и способ и устройство для декодирования видео, определяющие список опорных изображений внешнего прогнозирования в зависимости от размера блока
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
RU2510944C2 (ru) * 2012-07-03 2014-04-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
CN104541507A (zh) * 2012-07-11 2015-04-22 Lg电子株式会社 处理视频信号的方法和装置
EP3247116A1 (en) * 2012-07-27 2017-11-22 HFI Innovation Inc. Method of constrain disparity vector derivation in 3d video coding
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US10469852B2 (en) 2012-08-23 2019-11-05 Mediatek Inc. Method and apparatus of interlayer texture prediction
US20140078249A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
US9426462B2 (en) 2012-09-21 2016-08-23 Qualcomm Incorporated Indication and activation of parameter sets for video coding
AU2012391251B2 (en) 2012-09-29 2016-04-21 Huawei Technologies Co., Ltd. Method, apparatus and system for encoding and decoding video
KR102091139B1 (ko) * 2012-10-08 2020-03-20 삼성전자주식회사 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 부호화 방법 및 그 장치, 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 복호화 방법 및 그 장치
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
TW201415898A (zh) * 2012-10-09 2014-04-16 Sony Corp 影像處理裝置及方法
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US9948951B2 (en) * 2012-12-26 2018-04-17 Sharp Kabushiki Kaisha Image decoding device which generates a predicted image of a target prediction unit
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
CN104104958B (zh) * 2013-04-08 2017-08-25 联发科技（新加坡）私人有限公司 图像解码方法及其图像解码装置
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
KR102105323B1 (ko) * 2013-04-15 2020-04-28 인텔렉추얼디스커버리 주식회사 객체 기반 적응적 밝기 보상 방법 및 장치
WO2014203726A1 (ja) * 2013-06-18 2014-12-24 シャープ株式会社 照度補償装置、ｌｍ予測装置、画像復号装置、画像符号化装置
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
FR3014278A1 (fr) * 2013-11-29 2015-06-05 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US10554967B2 (en) * 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
WO2016070363A1 (en) * 2014-11-05 2016-05-12 Mediatek Singapore Pte. Ltd. Merge with inter prediction offset
US9871967B2 (en) * 2015-01-22 2018-01-16 Huddly As Video transmission based on independently encoded background updates
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
PL412844A1 (pl) 2015-06-25 2017-01-02 Politechnika Poznańska System oraz sposób kodowania obszaru odsłoniętego w strumieniu danych sekwencji wielowidokowych
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
EP3503553A4 (en) * 2016-09-22 2020-07-29 LG Electronics Inc. -1- INTER-PREDICTION PROCESS AND APPARATUS BASED ON LIGHTING COMPENSATION IN AN IMAGE CODING SYSTEM
KR102147447B1 (ko) * 2016-09-22 2020-08-24 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10742979B2 (en) * 2016-12-21 2020-08-11 Arris Enterprises Llc Nonlinear local activity for adaptive quantization
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
EP3468198A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
CN111194553A (zh) 2017-10-05 2020-05-22 交互数字Vc控股公司 用于视频编码和解码中的自适应照明补偿的方法和装置
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
CN111684796B (zh) * 2018-05-16 2024-04-09 华为技术有限公司 一种视频编解码方法和装置
MX2021000192A (es) * 2018-07-06 2021-05-31 Mitsubishi Electric Corp Codificador de video, decodificador de video, método de codificación de video y método de decodificación de video.
US11140418B2 (en) * 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
CN111263147B (zh) 2018-12-03 2023-02-14 华为技术有限公司 帧间预测方法和相关装置
CN111726598B (zh) * 2019-03-19 2022-09-16 浙江大学 图像处理方法和装置
CN110139112B (zh) * 2019-04-29 2022-04-05 暨南大学 一种基于jnd模型的视频编码方法
KR20210066282A (ko) 2019-11-28 2021-06-07 삼성전자주식회사 디스플레이 장치 및 그 제어방법
WO2021108913A1 (en) * 2019-12-04 2021-06-10 Studio Thinkwell Montréal Inc. Video system, method for calibrating the video system and method for capturing an image using the video system
KR102475334B1 (ko) * 2020-01-13 2022-12-07 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
US11375231B2 (en) * 2020-01-14 2022-06-28 Tencent America LLC Method and apparatus for video coding
US11412256B2 (en) 2020-04-08 2022-08-09 Tencent America LLC Method and apparatus for video coding
US20230024288A1 (en) * 2021-07-13 2023-01-26 Tencent America LLC Feature-based multi-view representation and coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JP2005510187A (ja) * 2001-11-21 2005-04-14 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 両眼／多視点３次元動画像処理システム及びその方法
WO2006001653A1 (en) * 2004-06-25 2006-01-05 Lg Electronics Inc. Method of coding and decoding multiview sequence and method of displaying thereof
JP2007159113A (ja) * 2005-11-30 2007-06-21 Mitsubishi Electric Research Laboratories Inc マルチビュービデオにランダムにアクセスする方法及びシステム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA951617B (en) 1994-03-04 1997-02-27 Lilly Co Eli Antithrombotic agents.
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6850567B1 (en) 1997-01-13 2005-02-01 Koninklijke Philips Electronics N.V. Embedding supplemental data in a digital video signal
JPH11252552A (ja) 1998-03-05 1999-09-17 Sony Corp ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置
US6167084A (en) 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
KR100795255B1 (ko) * 2000-04-21 2008-01-15 소니 가부시끼 가이샤 정보 처리 장치 및 방법, 프로그램과 기록 매체
KR100375708B1 (ko) 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
WO2003098939A1 (en) 2002-05-22 2003-11-27 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
KR101153459B1 (ko) 2002-06-12 2012-06-07 더 코카콜라 컴파니 식물성 스테롤을 함유하는 음료
US8224148B2 (en) 2002-06-20 2012-07-17 Sony Corporation Decoding apparatus and decoding method
JP4725104B2 (ja) 2002-06-20 2011-07-13 ソニー株式会社 復号装置及び復号方法
KR20040001354A (ko) 2002-06-27 2004-01-07 주식회사 케이티 광역 무선랜 서비스 방법
KR100475060B1 (ko) 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US7489342B2 (en) 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US7286689B2 (en) 2003-06-07 2007-10-23 Hewlett-Packard Development Company, L.P. Motion estimation for compression of calibrated multi-view image sequences
WO2005001772A1 (en) 2003-06-30 2005-01-06 Koninklijke Philips Electronics, N.V. System and method for video processing using overcomplete wavelet coding and circular prediction mapping
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
CN1212014C (zh) 2003-08-18 2005-07-20 北京工业大学 基于时空域相关性快速运动估计的视频编码方法
WO2005055607A1 (en) * 2003-12-08 2005-06-16 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
KR100987775B1 (ko) 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
US7671893B2 (en) * 2004-07-27 2010-03-02 Microsoft Corp. System and method for interactive multi-view video
US7444664B2 (en) 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
KR100584603B1 (ko) * 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
US7924923B2 (en) 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
EP2538675A1 (en) 2004-12-10 2012-12-26 Electronics and Telecommunications Research Institute Apparatus for universal coding for multi-view video
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7728878B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
WO2007047736A2 (en) 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR100943912B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
CN101375593A (zh) 2006-01-12 2009-02-25 Lg电子株式会社 处理多视图视频
BRPI0710048A2 (pt) 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
CN101529921B (zh) 2006-10-18 2013-07-03 汤姆森特许公司 无显式信令的局部照明和色彩补偿
US20100118942A1 (en) * 2007-06-28 2010-05-13 Thomson Licensing Methods and apparatus at an encoder and decoder for supporting single loop decoding of multi-view coded video
KR101003105B1 (ko) * 2008-01-29 2010-12-21 한국전자통신연구원 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치
US8130277B2 (en) * 2008-02-20 2012-03-06 Aricent Group Method and system for intelligent and efficient camera motion estimation for video stabilization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JP2005510187A (ja) * 2001-11-21 2005-04-14 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 両眼／多視点３次元動画像処理システム及びその方法
WO2006001653A1 (en) * 2004-06-25 2006-01-05 Lg Electronics Inc. Method of coding and decoding multiview sequence and method of displaying thereof
JP2007159113A (ja) * 2005-11-30 2007-06-21 Mitsubishi Electric Research Laboratories Inc マルチビュービデオにランダムにアクセスする方法及びシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6012012238; Ｊｏａｑｕｉｎ　Ｌｏｐｅｚ　ｅｔ　ａｌ．: 'Ｂｌｏｃｋ-ｂａｓｅｄ　Ｉｌｌｕｍｉｎａｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ　ａｎｄ　Ｓｅａｒｃｈ　Ｔｅｃｈｎｉｑｕｅｓ　ｆｏｒ　Ｍｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ' ［ｏｎｌｉｎｅ］，　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｓｙｍｐｏｓｉｕｍ , 200412 *
JPN6012012239; Ｙｕｎｇ-Ｌｙｕｌ　Ｌｅｅ　ｅｔ　ａｌ．: 'Ｍｕｌｔｉ-ｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　Ｕｓｉｎｇ　Ｉｌｌｕｍｉｎａｔｉｏｎ　Ｃｈａｎｇｅ-Ａｄａｐｔｉｖｅ　Ｍｏｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ　ａｎｄ　２-Ｄ　Ｄｉｒｅｃｔ　Ｍｏｄｅ' Ａｄｖａｎｃｅｓ　ｉｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ-ＰＣＭ２００５　Ｌｅｃｔｕｒｅ　Ｎｏｔｅｓ　ｉｎ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ＬＮＣＳ　３７６７ Ｐａｒｔ　１, 200511, ｐ．３９６-４０７ *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011515940A (ja) * 2008-03-18 2011-05-19 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化、復号化の方法及び装置
US10616601B2 (en) 2012-01-20 2020-04-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
US10129563B2 (en) 2012-01-20 2018-11-13 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
US10904554B2 (en) 2012-02-03 2021-01-26 Sun Patent Trust Image coding method and image coding apparatus
US10034015B2 (en) 2012-02-03 2018-07-24 Sun Patent Trust Image coding method and image coding apparatus
US10334268B2 (en) 2012-02-03 2019-06-25 Sun Patent Trust Image coding method and image coding apparatus
US10623762B2 (en) 2012-02-03 2020-04-14 Sun Patent Trust Image coding method and image coding apparatus
US11451815B2 (en) 2012-02-03 2022-09-20 Sun Patent Trust Image coding method and image coding apparatus
US11812048B2 (en) 2012-02-03 2023-11-07 Sun Patent Trust Image coding method and image coding apparatus
US10212447B2 (en) 2012-03-06 2019-02-19 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10560716B2 (en) 2012-03-06 2020-02-11 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10880572B2 (en) 2012-03-06 2020-12-29 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
JPWO2013132792A1 (ja) * 2012-03-06 2015-07-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
US11595682B2 (en) 2012-03-06 2023-02-28 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11949907B2 (en) 2012-03-06 2024-04-02 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US9363432B2 (en) 2012-06-11 2016-06-07 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Also Published As

Publication number Publication date
KR100934676B1 (ko) 2009-12-31
KR100934677B1 (ko) 2009-12-31
KR20090099589A (ko) 2009-09-22
US7817866B2 (en) 2010-10-19
US7817865B2 (en) 2010-10-19
WO2007081177A1 (en) 2007-07-19
KR20090099588A (ko) 2009-09-22
US7970221B2 (en) 2011-06-28
DE202007019463U1 (de) 2012-10-09
JP2009523356A (ja) 2009-06-18
US7856148B2 (en) 2010-12-21
EP1982518A1 (en) 2008-10-22
KR20090099591A (ko) 2009-09-22
KR20090099098A (ko) 2009-09-21
WO2007081176A1 (en) 2007-07-19
US20070177672A1 (en) 2007-08-02
KR20080094046A (ko) 2008-10-22
KR20090099097A (ko) 2009-09-21
JP5199124B2 (ja) 2013-05-15
EP1982517A1 (en) 2008-10-22
DE202007019463U8 (de) 2013-03-21
US20070177674A1 (en) 2007-08-02
EP1977593A4 (en) 2010-06-16
KR100953646B1 (ko) 2010-04-21
KR100943915B1 (ko) 2010-03-03
US20070177813A1 (en) 2007-08-02
US20070177810A1 (en) 2007-08-02
US20070177811A1 (en) 2007-08-02
EP1982517A4 (en) 2010-06-16
KR20080094047A (ko) 2008-10-22
EP1977593A1 (en) 2008-10-08
EP1982518A4 (en) 2010-06-16
JP5199123B2 (ja) 2013-05-15
KR100947234B1 (ko) 2010-03-12
KR100943913B1 (ko) 2010-03-03
US7831102B2 (en) 2010-11-09
US20070177673A1 (en) 2007-08-02
US20070177812A1 (en) 2007-08-02
US8115804B2 (en) 2012-02-14
KR100943912B1 (ko) 2010-03-03
WO2007081178A1 (en) 2007-07-19
US8553073B2 (en) 2013-10-08
KR100943914B1 (ko) 2010-03-03
US8154585B2 (en) 2012-04-10
JP2009523355A (ja) 2009-06-18
US20090310676A1 (en) 2009-12-17
JP5192393B2 (ja) 2013-05-08
US20120121015A1 (en) 2012-05-17
KR20090099590A (ko) 2009-09-22

Similar Documents

Publication Publication Date Title
JP5199123B2 (ja) 多視点ビデオの処理
CN104838651B (zh) 可缩放及多视角视频译码中的高级残差预测
JP5021739B2 (ja) 信号処理方法及び装置
US20070177671A1 (en) Processing multiview video
KR20080006494A (ko) 비디오 신호의 디코딩 방법 및 장치
KR101276847B1 (ko) 다시점 비디오의 처리
JP2013179554A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5199123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250