JP5192393B2 - 多視点ビデオの処理 - Google Patents

多視点ビデオの処理 Download PDF

Info

Publication number
JP5192393B2
JP5192393B2 JP2008550241A JP2008550241A JP5192393B2 JP 5192393 B2 JP5192393 B2 JP 5192393B2 JP 2008550241 A JP2008550241 A JP 2008550241A JP 2008550241 A JP2008550241 A JP 2008550241A JP 5192393 B2 JP5192393 B2 JP 5192393B2
Authority
JP
Japan
Prior art keywords
block
value
current block
illumination compensation
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008550241A
Other languages
English (en)
Other versions
JP2009523355A (ja
Inventor
ヒュ ヤン，ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060037773A external-priority patent/KR20070076356A/ko
Priority claimed from KR1020060110338A external-priority patent/KR20070076392A/ko
Priority claimed from KR1020060110337A external-priority patent/KR20070076391A/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2009523355A publication Critical patent/JP2009523355A/ja
Application granted granted Critical
Publication of JP5192393B2 publication Critical patent/JP5192393B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/455—Demodulation-circuits

Description

本発明は、多視点ビデオの処理に関する。
多視点ビデオコーディング（ＭＶＣ）では、複数台のカメラから取得されたビデオ映像（例えば、一連のイメージまたはピクチャ）に対する圧縮標準を扱う。前記ビデオ映像または視点は、ＭＰＥＧのような標準によってコーディングされることができる。ビデオ映像内のピクチャは、完全なビデオフレームまたはビデオフレームのフィールドを表すことができる。スライスは、前記ピクチャ内の一部または全部のマクロブロックを含むピクチャの独立的にコーディングされた部分でありうる。そして、マクロブロックは、ピクチャ要素（またはピクセル）で構成されたブロックを含むことができる。
これらのビデオ映像は、Ｈ．２６４／ＡＶＣコーデック技術によって多視点ビデオ映像にコーディングされることができる。そして、多くの研究員らが多視点ビデオ映像を提供するために標準の追加技術への研究を行っている。
現在Ｈ．２６４には、特定の機能を支援する３個のプロファイルが定義されているが、プロファイルとは、ビデオ符号化/復号化過程でアルゴリズム上用いられる技術的構成要素を規格化したものを意味する。すなわち、圧縮された映像のビット列を復号するために必要な技術要素の集合で、一種のサブ規格といえる。前記３個のプロファイルは、ベースラインプロファイル、メインプロファイル、拡張プロファイルを指し示す。デコーダがそれぞれのプロファイルと互換されるように、エンコーダとデコーダに要求される多様な事項がＨ．２６４標準で定義されている。
Ｈ．２６４／ＡＶＣにおけるビット列の構成を見ると、動映像符号化処理そのものを扱うＶＣＬ（ビデオ符号化階層）と符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ（ネットワーク抽象階層）との分離された階層構造で定義されている。符号化過程の出力は、ＶＣＬデータであって、転送したり保存する前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（動映像圧縮の結果データ）を含む。
ＮＡＬ単位は、ＮＡＬヘッダとＲＢＳＰを含む。前記ＮＡＬヘッダは、フラグ情報（例えば、ｎａｌ＿ｒｅｆ＿ｉｄｃ）と識別（ＩＤ）情報（例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含むことができる。前記フラグ情報は、前記ＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示し、前記識別情報はＮＡＬ単位の種類を示す。ＲＢＳＰには圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの最後にＲＢＳＰ埋め込みビットを加える。
このようなＮＡＬ単位の種類には、ＩＤＲ（瞬間復号リフラッシュ）ピクチャ、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、ＳＥＩ（補充的付加情報）などがある。
また、規格では、対象製品を適当な費用で具現可能なように様々なプロファイル及びレベルで制約しているが、復号器は該当のプロファイルとレベルで定められた制約を満たさなければならない。
このように復号器がどんな圧縮映像の範囲にまで対応可能かを示すように、復号器の機能またはパラメータを表すためのプロファイルとレベルという２種類の概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別情報とは、ビットストリームに関連したプロファイルを示すフラグを意味する。Ｈ．２６４／ＡＶＣ標準は、３つのプロファイル識別情報を含むことができる。例えば、前記プロファイル識別情報が６６であれば前記ビットストリームはベースラインプロファイルに基づくことを意味し、７７であればメインプロファイルに基づくことを意味し、８８であれば拡張プロファイルに基づくことを意味する。前記プロファイル識別情報はシーケンスパラメータセットに含まれることができる。
本発明の目的は、ブロック間または視点間の相関関係を用いてビデオ映像の符号化／復号化効率を高めることにある。
本発明の目的は、ビデオ映像データに效率的に符号化及び復号化を行う方法及び装置を提供することにある。
本発明の目的は、多視点映像に関する情報を規格化された方式で追加することによって符号化／復号化効率を高めることにある。
本発明の目的は、多視点映像に符号化されたデータを效率的に復号化する方法／装置及びこれを用いたディスプレイ方法を提供することにある。
本発明の目的は、多視点映像の符号化時に、予測順序及び方向を構造化することにおいて、多視点間の階層的符号化を行う方法を提供することにある。
本発明の目的は、多視点映像の復号化時に、ディスプレイに適合した階層的復号化方法を提供することにある。
本発明の目的は、多視点映像において、視点間の照明差を效率的に補償することにある。
本発明の目的は、一定階層に照明補償を適用するか否かを示す識別子を使用することによって、効率的な照明補償を行うことにある。
本発明の目的は、現在ブロックの照明補償を行うか否かを示す識別子とブロック間の平均画素値差を示すオフセット値を用いて照明補償を行うことによってビデオ信号のコーディング効率を高めることにある。
本発明の目的は、動き推定を行う時にブロック間の平均画素値差を示すオフセット値を考慮することによって、ビデオ信号のコーディング効率を高めることにある。
本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、前記多視点ビデオ信号の部分と関連したフラグ情報を前記ビットストリームから抽出する段階と、前記フラグ情報によって照明補償が行われる部分に対して、前記部分内のセグメントと関連した値を前記ビットストリームから抽出し、前記抽出された値から前記セグメントの照明補償が行われるか否かを決定する段階とを含み、前記複数個視点の各視点は複数個のセグメント（例えば、単一ブロックまたはマクロブロックのようなイメージブロックセグメント、またはイメージのスライスのようなセグメント）で区分された複数個のピクチャを含み、前記フラグ情報は、前記多視点ビデオ信号の部分内のセグメントに対して照明補償が行われるか否かを示すことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
本発明で、前記セグメントは、イメージブロックからなることを特徴とする。
本発明は、照明補償が行われることを示す値と関連した第１ブロックに対して、前記第１ブロックに隣接した少なくとも１つの隣ブロックの照明補償オフセット値を用いて、前記第１ブロックの照明補償予測値を獲得する段階をさらに含むことを特徴とする。
本発明で、隣ブロックの照明補償オフセット値は、前記隣ブロックの照明補償予測値及び差分値を加算することによって獲得されることを特徴とする。
本発明で、前記第１ブロックに隣接した少なくとも１つの隣ブロックの照明補償オフセット値を用いて前記第１ブロックの照明補償予測値を獲得する段階は、前記隣ブロックのうち、定められた順序によって前記少なくとも１つの隣ブロックを選択する段階を含むことを特徴とする。
本発明で、前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
本発明で、前記フラグ情報は、前記ブロックを含むシーケンス、視点、ピクチャのグループ、ピクチャ及びスライスのうち１つ以上に対して照明補償を可能にすることを特徴とする。
本発明で、前記フラグ情報は、前記ブロックを含む前記スライスに対して照明補償を可能にすることを特徴とする。
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報からなることを特徴とする。
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて、前記第１セグメントの照明補償予測値を獲得する段階と、を含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記予測値を獲得する段階は、前記隣セグメントのうち、定められた順序によって前記少なくとも１つの隣セグメントを選択する段階を含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
本発明で、前記第１セグメントと前記少なくとも１つの隣セグメントは、イメージブロックからなることを特徴とする。
本発明で、隣ブロックの照明補償オフセット値は、前記隣ブロックの照明補償予測値及び差分値を加算することによって獲得されることを特徴とする。
本発明で、前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
本発明で、前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
本発明で、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
本発明で、前記照明補償予測値を獲得する段階は、１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする。
本発明で、複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償予測値を獲得する段階をさらに含むことを特徴とする。
本発明で、前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする。
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、参照ピクチャに関する第１セグメントの照明補償オフセット値を獲得する段階と、前記第１セグメントの照明補償を用いて前記ビットストリームをデコーディングする段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記オフセット値は隣セグメントと関連した特性に基づいて決定された少なくとも１つの隣セグメントの照明補償オフセット値を用いて予測され、前記デコーディング段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
本発明で、前記第１セグメントと前記少なくとも１つの隣セグメントは、イメージブロックからなることを特徴とする。
本発明で、隣ブロックの照明補償オフセット値は、前記隣ブロックの照明補償予測値及び差分値を加算することによって獲得されることを特徴とする。
本発明は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
本発明で、前記定められた順序によって前記少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする。
本発明で、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする。
本発明で、複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償予測値を獲得する段階をさらに含むことを特徴とする。
本発明で、前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする。
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、参照ピクチャに関する第１セグメントの照明補償予測値を獲得する段階と、前記第１セグメントの照明補償予測値及び差分値を加算することによって前記第１セグメントの照明補償オフセット値を決定する段階と、前記第１セグメントの照明補償を用いて前記ビットストリームをデコーディングする段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記デコーディング段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
本発明で、前記セグメントは、イメージブロックからなることを特徴とする。
本発明で、前記第１セグメントの照明補償を用いる段階は、隣ブロックの照明補償予測値及び差分値を加算することによって前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする。
本発明で、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
本発明で、前記少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
本発明で、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする。
本発明で、複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償を行うための予測値を獲得する段階をさらに含むことを特徴とする。
本発明で、前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする。
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを受信する段階と、第１セグメントと関連した参照ピクチャが隣セグメントと関連した参照ピクチャと同一であるか否かによって、前記第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて参照ピクチャに関する第１セグメントの照明補償予測値を獲得する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
本発明で、前記セグメントは、イメージブロックからなることを特徴とする。
本発明で、前記第１セグメントの照明補償を用いる段階は、隣ブロックの照明補償予測値及び差分値を加算することによって前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする。
本発明は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
本発明で、前記少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階を含むことを特徴とする。
本発明で、１つ以上の条件が隣ブロックに対して満足するかの可否を決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
本発明で、前記抽出された値は、前記ブロックを含むマクロブロックのフラグ情報または前記ブロックのフラグ情報からなることを特徴とする。
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償オフセット値を用いるか、または、各隣ブロックの複数個の照明補償オフセット値を用いるかを決定する段階を含むことを特徴とする。
本発明で、複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１ブロックの照明補償を行うための予測値を獲得する段階をさらに含むことを特徴とする。
本発明で、前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする。
また、本発明は、それぞれのデコーディング方法に対して、前記それぞれのデコーディング方法によって前記ビデオ信号がデコーディングされうるビットストリームを生成することを特徴とするビデオ信号エンコーディング方法を提供する。
例えば、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、前記多視点ビデオ信号の部分と関連したフラグ情報を提供する段階と、前記フラグ情報によって照明補償が行われる部分に対して、前記部分内のセグメントと関連した値を提供し、前記提供された値から前記セグメントの照明補償が行われるか否かを決定する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記フラグ情報は、前記多視点ビデオ信号の部分内のセグメントに対して照明補償が行われるか否かを示すことを特徴とするビデオ信号エンコーディング方法を提供する。
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて、前記第１セグメントの照明補償予測値を提供する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記予測値を提供する段階は、前記隣セグメントのうち、定められた順序によって前記少なくとも１つの隣セグメントを選択する段階を含むことを特徴とするビデオ信号エンコーディング方法を提供する。
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、参照ピクチャに関する第１セグメントの照明補償オフセット値を提供する段階と、前記第１セグメントの照明補償のための情報を提供する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記オフセット値は、隣セグメントと関連した特性に基づいて決定された少なくとも１つの隣セグメントの照明補償オフセット値を用いて予測され、前記情報提供段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とするビデオ信号エンコーディング方法を提供する。
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、参照ピクチャに関する第１セグメントの照明補償予測値を提供する段階と、前記第１セグメントの照明補償予測値及び差分値を加算することによって前記第１セグメントの照明補償オフセット値を提供する段階と、前記第１セグメントの照明補償のための情報を提供する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含み、前記情報提供段階は、前記参照ピクチャから獲得された前記第１セグメントのピクセルの予測値、前記第１セグメントのピクセルの差分値、及び対応する照明補償オフセット値を加算する段階を含むことを特徴とするビデオ信号エンコーディング方法を提供する。
また、本発明は、多視点ビデオ信号の複数個視点がエンコーディングされたビットストリームを生成する段階と、第１セグメントと関連した参照ピクチャが、隣セグメントと関連した参照ピクチャと同一であるか否かによって、前記第１セグメントに隣接した少なくとも１つの隣セグメントの照明補償オフセット値を用いて参照ピクチャに関する第１セグメントの照明補償予測値を提供する段階とを含み、前記複数個視点の各視点は、複数個のセグメントに区分された複数個のピクチャを含むことを特徴とするビデオ信号エンコーディング方法を提供する。
また、それぞれのデコーディング方法に対して、コンピュータで読取り可能な媒体に保存されたコンピュータプログラムは、前記それぞれのデコーディング方法を行うようにコンピュータに指示することを特徴とする。
また、それぞれのデコーディング方法に対して、装置で読取り可能な情報運送体に含まれたイメージデータは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができる。
また、それぞれのデコーディング方法に対して、デコーダは、前記それぞれのデコーディング方法を行うための手段を含むことを特徴とする。
また、それぞれのデコーディング方法に対して、エンコーダは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができるようにビットストリームを生成する手段を含むことを特徴とする。
また、本発明は、（ａ）現在ブロックに隣接したブロックと他の視点の参照映像ブロックのうち少なくとも１つのブロックに対する照明平均値を獲得する段階と、（ｂ）前記獲得された少なくとも１つのブロックに対する照明平均値から、現在ブロックの照明平均予測値を誘導する段階と、（ｃ）前記現在ブロックの照明平均予測値と現在ブロックの照明平均値間の誤差値を獲得する段階とからなることを特徴とするビデオ映像エンコーディング方法を提供する。
また、本発明は、（ｌ）ビデオ信号から現在ブロックの照明平均値を復元するための誤差値を獲得する段階と、（ｍ）他の視点の参照映像ブロックに基づいて現在ブロックの照明平均予測値を誘導する段階と、（ｎ）前記照明平均予測値と誤差値から前記現在ブロックの照明平均値を復元する段階とを含んでなることを特徴とするビデオ映像デコーディング方法を提供する。
また、本発明は、現在ブロックに隣接したブロックと他の視点の参照映像ブロックの照明平均値を獲得する照明平均値獲得部と、前記獲得された平均値から前記現在ブロックの照明平均予測値を誘導する照明平均値予測部と、前記照明平均予測値と現在ブロックの照明平均値との誤差値を求める誤差値符号化部とを含んでなることを特徴とするビデオ映像エンコーディング装置を提供する。
また、本発明は、受信されたビットストリームから誤差値を獲得する誤差値復号化部と、他の視点の参照映像ブロックに基づいて現在ブロックの照明平均予測値を誘導する照明平均値予測部と、前記誤差値と照明平均予測値から現在ブロックの照明平均値を復元する照明補償部とを含んでなることを特徴とするビデオ映像デコーディング装置を提供する。
また、本発明は、現在ブロックに隣接する隣ブロックのオフセット値を用いて前記現在ブロックの照明補償のためのプレディクタを獲得する段階と、前記プレディクタを用いて前記現在ブロックのオフセット値を復元する段階と、を含み、前記プレディクタは、現在ブロックの参照番号と前記隣ブロックの参照番号が同一であるか否かによって決定されることを特徴とするビデオ信号デコーディング方法を提供する。
また、本発明は、現在ブロックの照明平均値と参照ブロックの照明平均値の差を示す現在ブロックのオフセット値を復元する段階と、前記現在ブロックが２以上の参照ブロックを用いて予測コーディングされた場合、前記オフセット値を用いて前記現在ブロックの各参照ブロックに対するオフセット値を獲得する段階とを含むことを特徴とするビデオ信号デコーディング方法を提供する。
また、本発明は、現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得する段階と、前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元する段階とを含むことを特徴とするビデオ信号デコーディング方法を提供する。
また、本発明は、ビデオ信号の一定階層に対して照明補償を行うように誘導するフラグ情報を獲得する段階と、前記フラグ情報によって、照明補償が行われた前記ビデオ信号の一定階層をデコーディングする段階と、を含み、前記ビデオ信号の一定階層は、シーケンス階層、視点階層、ピクチャグループ階層、ピクチャ階層、スライス階層、マクロブロック階層またはブロック階層のうちいずれか１つであることを特徴とするビデオ信号デコーディング方法を提供する。
また、本発明は、現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を獲得する段階と、前記オフセット値を用いて現在ブロックと最適にマッチングされる参照ブロックをサーチする段階と、前記サーチされた参照ブロックから動きベクトルを獲得して符号化する段階とを含むことを特徴とするビデオ信号エンコーディング方法を提供する。
以上の実施例は、１つ以上の下記のような利点を有することができる。
前記ビデオ映像のエンコーディング／デコーディング方法または装置は、符号化しようとするブロックの平均値を周辺ブロックから予測し、その差分値のみを送る方式を用いることによって、照明補償のために転送しなければならない情報を最小化することができる。
また、本発明は、膨大なデータ量を必要とする多視点ビデオ映像において効率的な照明補償を行うことによって、符号化効率を高めることができる。また、ブロック間または視点間の相関関係を用いることによって効率的な符号化及び復号化システムを構成することが可能になる。
多視点ビデオデータの視点映像は互いに異なるカメラにより生成されるので、カメラの内外的要因によって照明差が発生することがある。したがって、本発明では、現在ブロックのオフセット値を隣ブロックの情報を用いて予測し、その差分値のみを転送することによって、照明補償のために転送しなければならない情報を最小化することができる。また、前記現在ブロックのオフセット値を予測する時、現在ブロックと隣ブロックの参照番号が同一であるか否かを確認することによってより正確な予測を行うことが可能になる。
また、本発明は、現在ブロックの照明補償を行うか否かを示すフラグ情報も予測し、その差分値のみを転送することによって、転送すべき情報を最小化することができる。同様に、現在ブロックと隣ブロックの参照番号が同一であるか否かも確認することによって、より正確な予測を行うことが可能になる。このような本発明によれば、ブロック間または視点間の相関関係を用いることによって効率的なコーディングが可能になる。
多視点ビデオデータの視点映像は、互いに異なるカメラにより生成されるので、カメラの内外的要因によって照明差が発生することがある。したがって、本発明では、現在ブロックのオフセット値を隣ブロックの情報を用いて予測し、その差分値のみを転送することによって、照明補償のために転送しなければならない情報を最小化することができる。本発明は、現在ブロックの照明補償を行うか否かを示すフラグ情報も予測し、その差分値のみを転送することによって、転送すべき情報を最小化することができる。
また、２つ以上の参照ブロックを用いて予測コーディングされた場合、オフセット値とフラグ情報をそれぞれ少なくとも１つ以上の方法で適用することによって、より効率的なコーディングが可能になる。また、ビデオ信号の各領域範囲別に照明補償技術を使用するか否かを示すフラグビットを割り当てることによって、效果的に照明補償技術を使用することができる。また、本発明は、動き推定を行う過程で照明差を反映して費用計算をするので、より正確な予測コーディングを行うことが可能になる。
他の特徴と利点は、発明の詳細な説明と特許請求の範囲からより明白になる。
多視点映像を效率的に扱うために、入力ビットストリームは、入力ビットストリームが多視点プロファイルに関連しているか否かをデコーディング装置が判別できるようにする情報を含むことができる。前記入力ビットストリームが多視点プロファイルと関連していると判別されると、多視点映像に関する１つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、多視点プロファイル識別情報とは、Ｈ．２６４／ＡＶＣの追加技術で、多視点ビデオを扱うプロファイルモードを示すことができる。
ＭＶＣ技術はＨ．２６４／ＡＶＣ技術に対する追加技術であるから、無条件的なシンタックスよりは、ＭＶＣモードである場合に対する追加情報としてシンタックスを追加することがより効率的となりうる。例えば、ＡＶＣのプロファイル識別子が多視点プロファイルを示す時、多視点映像に関する情報を追加すると符号化効率を高めることができる。
シーケンスパラメータセットとは、プロファイル、レベルなど、シーケンス全体の符号化に亘る情報が含まれているヘッダ情報のことをいう。
圧縮された動映像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、該パラメータセットを参照するデータよりも先に復号器に到着すべきである。シーケンスパラメータセットＲＢＳＰ（図２のＳ１）は、動映像圧縮の結果データに関するヘッダ情報としての役割を果たす。ビットストリームが入力されると、まず、プロファイル識別子は、入力されたビットストリームが複数個のプロファイルのうちどのプロファイルに基づくかを識別することとなる。
したがって、入力されるビットストリームが多視点プロファイルに関するものかを判断する（例えば、“If（profile_idc==MULTI_VIEW_PROFILE）”）プロファイル識別情報をシンタックス上に含めることによって、入力されたビットストリームが多視点プロファイルに関するものか否かを判別し、多視点プロファイルに関するものと認められる場合に様々な属性情報を追加可能になる。
図１は、本発明が適用される実施例であり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置を示す概略ブロック図である。
この多視点ビデオシステムは、前記多視点ビデオ映像を提供するために、対応するエンコーディング装置（エンコーダ）を含むことができる。この時、前記多視点ビデオ映像は、装置で読取り可能な情報の搬送体（例えば、装置で読取り可能な保存媒体、または、送信機と受信機間で伝播される装置で読取り可能なエネルギー信号）に含まれたエンコーディングされたイメージデータを含むビットストリームとして提供されることができる。
図１を参照すると、前記デコーディング装置は、大きく、パーシング部１０、エントロピーデコーディング部１１、逆量子化／逆変換部１２、画面間予測部１３、画面内予測部１４、デブロッキングフィルタ部１５、復号ピクチャバッファ部１６などを含む。
画面間予測部１３は、動き補償部１７、照明補償部１８、照明補償オフセット予測部１９などを含む。
パーシング部１０では、受信したビデオ映像を復号するためにＮＡＬ単位にパーシングを行う。一般的に、１つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットとが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに転送される。この時、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には様々な属性情報を含ませることができる。例えば、時間的レベル情報、視点レベル情報、アンカーピクチャ識別情報、視点識別情報などを含ませることができる。
ここで、時間的レベル情報とは、ビデオ信号から時間的拡張性を提供するための階層的な構造に関する情報のことをいう。このような時間的レベル情報を通じて使用者に多様な時間帯の映像を提供できることになる。
視点レベル情報とは、ビデオ信号から視点拡張性を提供するための階層的な構造に関する情報のことをいう。多視点ビデオ映像では、使用者に多様な時間及び視点の映像を提供するようにするために時間及び視点に対するレベルを定義する必要がある。
このようにレベル情報を定義する場合、時間及び視点に対する拡張性を利用できるようになる。したがって、使用者は、所望の時間及び視点の映像のみを見ることもでき、他の制限条件による映像のみを見ることが可能になる。前記レベル情報は、その基準条件によって多様な方法でそれぞれ別に設定することができる。例えば、前記レベル情報は、カメラの位置によって別々に設定することができ、カメラの配列形態によって別々に設定することができる。なお、前記レベル情報は、特別な基準によらずに任意に設定しても良い。
アンカーピクチャとは、全てのスライスが同一時間帯のフレームに在るスライスのみを参照する符号化されたピクチャのことを意味する。例えば、他の視点に在るスライスのみを参照し、現在視点に在るスライスは参照しない符号化されたピクチャのことをいう。多視点映像の復号化過程において、視点間のランダムアクセスが必要な場合がありうる。
復号化努力を最小化しながら任意視点に対するアクセスを可能にすべきである。ここで効率的なランダムアクセスを実現するためにアンカーピクチャ識別情報が必要とされることがある。
また、視点識別情報とは、現在視点に在るピクチャと他の視点に在るピクチャを区別するための情報のことをいう。ビデオ映像信号がコーディングされる時、それぞれのピクチャを識別するためにピクチャオーダカウント（ＰＯＣ）とｆｒａｍｅ＿ｎｕｍが利用されることができる。
多視点ビデオ映像である場合には、視点間の予測が行われることができる。したがって、現在視点に在るピクチャと他の視点に在るピクチャを区別するために識別子が利用される。
ピクチャの視点を示す視点識別子が定義されることができる。前記視点識別子を用いて現在ピクチャと他の視点に在るピクチャの情報を獲得し、前記他の視点に在るピクチャの情報を用いて前記ビデオ信号をデコーディングすることができる。このような視点識別子は、ビデオ信号のエンコーディング／デコーディング過程全般にわたって適用されることができる。また、特定の視点識別子ではなく視点が考慮されたｆｒａｍｅ＿ｎｕｍを用いて多視点ビデオコーディングにそのまま適用しても良い。
一般的に多視点映像のデータ量は膨大であり、よって、これを解決するために各視点の階層的符号化（これは、ビュースケーラビリティとも呼ばれる。）機能が必要となることができる。ビュースケーラビリティ機能を行うために多視点映像の視点を考慮した予測構造を定義することができる。
前記予測構造は、複数の視点映像に対して予測順序及び方向などを構造化することによって定義されることができる。例えば、符号化しようとする様々な視点の映像が与えられる時、全体配列の中央を基準視点と定め、次第に階層的に符号化しようとする視点の映像を選択することができる。または、全体配列の終わり部分やその他の部分を基準視点と定めても良い。
カメラ視点の個数が２の指数乗の場合には、これを基準にして各視点映像間の階層的な予測構造を形成しても良い。または、カメラ視点の個数が２の指数乗でない場合には、実際個数よりも大きいながら最も小さい２の指数乗の場合を基準にして仮想の視点を想定し、予測構造を形成しても良い。また、カメラ配列が２次元の場合には、水平、垂直方向に交互に予測順序を定めることができる。
パーシングされたビットストリームは、エントロピーデコーディング部１１を通じてエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部／逆変換部１２では、受信した量子化された値に一定の定数を乗算して変換された係数値を獲得し、該係数値を逆変換して画素値を復元することとなる。前記復元された画素値を用いて、画面内予測部１４では現在ピクチャ内のデコーディングされたサンプルから画面内予測を行う。
デブロッキングフィルタ部１５は、ブロック歪み現象を減少させるためにそれぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界強さと境界周囲のイメージサンプルの変化に左右される。フィルタリングを経たピクチャは出力されたり参照ピクチャとして用いるために復号ピクチャバッファ部１６に保存される。
復号ピクチャバッファ部１６では、画面間予測を行うべく、以前にコーディングされたピクチャを保存したり開放するなどの役割を果たす。この時、復号ピクチャバッファ部１６に保存したり開放するには、各ピクチャのｆｒａｍｅ＿ｎｕｍとＰＯＣが用いられることとなる。したがって、ＭＶＣにおいて前記以前にコーディングされたピクチャの中には現在ピクチャと異なる視点に在るピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、前記ｆｒａｍｅ＿ｎｕｍとＰＯＣだけでなく、ピクチャの視点を示す視点識別子も一緒に用いることができる。
画面間予測部１３では、復号ピクチャバッファ部１６に保存された参照ピクチャを用いて画面間予測を行う。インターコーディングされたマクロブロックは、マクロブロックパーティションに分けられることができ、各マクロブロックパーティションは１つまたは２つの参照ピクチャから予測されることができる。
動き補償部１７では、エントロピーデコーディング部１１から転送された情報を用いて現在ブロックの動きを補償する。ビデオ信号から現在ブロックに隣接するブロックの動きベクトルを抽出し、前記現在ブロックの動きベクトルプレディクタを獲得する。前記獲得された動きベクトルプレディクタとビデオ信号から抽出される差分ベクトルを用いて現在ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われても良く、複数のピクチャを用いて行われても良い。
したがって、前記参照ピクチャが現在視点と異なる視点に在るピクチャである場合には、その視点を示す視点識別子を用いて動き補償を行うことができる。
また、直接予測モードは、符号化の終わったブロックの動き情報から現在ブロックの動き情報を予測する符号化モードである。このような方法は、動き情報を符号化する時に必要なビット数が軽減され、圧縮効率が向上する。
例えば、時間直接予測モードは、時間方向の動き情報相関度を用いて現在ブロックの動き情報を予測する。この方法と略同様に、前記デコーダは視点方向の動き情報相関度を用いて現在ブロックの動き情報を予測できる。
また、入力されたビットストリームが多視点映像に該当する場合、各視点映像は、それぞれ異なるカメラから取得された映像であるので、カメラの内外的要因によって照明差が発生することになる。これを防止するために、照明補償部１８では照明補償を行う。
照明補償を行うことにおいて、ビデオ信号の一定階層に対する照明補償を行うか否かを示すフラグ情報を用いることができる。例えば、該当スライスまたは該当マクロブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行うことができる。また、前記フラグ情報を用いて照明補償を行うにおいて、様々なマクロブロックのタイプ（例えば、インター１６×１６モード、Ｂ−Ｓｋｉｐモードまたは直接予測モード等）に適用されることができる。
また、照明補償を行うにおいて、現在ブロックを復元するために周辺ブロックの情報または現在ブロックと異なる視点に在るブロックの情報を用いることができ、現在ブロックのオフセット値を用いることができる。ここで、現在ブロックのオフセット値とは、現在ブロックの平均画素値とそれに対応する参照ブロックの平均画素値間の差のことをいう。前記オフセット値を用いる一例として、前記現在ブロックの隣ブロックを用いて前記現在ブロックのオフセット値のプレディクタを獲得し、前記オフセット値と前記プレディクタとの差分値を用いることができる。したがって、デコーダでは、前記差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。
また、現在ブロックのプレディクタを獲得するにおいて、隣ブロックの情報を用いることができる。
例えば、隣ブロックのオフセット値を用いて現在ブロックのオフセット値を予測できるが、これに先立って前記現在ブロックの参照番号と前記隣ブロックの参照番号が同一であるか否かを確認することができる。前記確認結果によって、前記照明補償部１８はどんな隣ブロックを用いるのか、またはどんな値を用いるかを決定できる。
また、前記照明補償部１８は、現在ブロックのプレディクションタイプを用いて照明補償を行うことができ、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、現在ブロックのオフセット値を用いて各参照ブロックに対応するオフセット値を獲得しても良い。
このように照明補償、動き補償などを用いてインター予測されたピクチャとイントラ予測されたピクチャは予測モードによって選択され、現在ピクチャを復元することになる。
以下では、現在ピクチャを復元するために適用されるエンコーディング／デコーディング方法の具体的な実施例について説明する。
図２は、本発明が適用された一実施例であり、ビデオ映像符号化方法を説明するためのフローチャートである。
図２を参照すると、ビデオ映像符号化方法の一実施例として、現在ブロックに隣接したブロックと他の視点の参照映像ブロックのうち少なくとも１つのブロックに対する照明平均値を獲得する（Ｓ１３１）。前記獲得された値を以って複数個のモードのうち１つ以上のモードを用いて現在ブロックの照明平均予測値を誘導する（Ｓ１３２）。そして、前記現在ブロックの照明平均予測値と照明平均値との誤差値を獲得する（Ｓ１３３）。前記複数個のモードに対してそれぞれの符号化効率を測定し、最適のモードを選択する（Ｓ１３４）。前記最適のモードを選択する方法の一実施例としては、前記獲得された誤差値のうち、誤差値が最小となるモードを選択する方法、または、情報速度‐歪み（ＲＤ）関係式を用いる方法などを挙げることができる。
ここで、ＲＤ関係式は、該当のブロックを符号化する時に生じる符号化ビット数だけでなく実際映像に関する誤差値を示す歪み値を見分け、これら２成分を用いて費用を計算する。具体的に、ビット数に、量子化係数により決定されるラグランジュ乗数を乗じ、歪み値を加えて求めることができる。前記最適のモードが選択された後には、前記選択されたモードを示す識別情報のみを符号化して転送したり、前記選択されたモードを示す識別情報と一緒に前記選択されたモードによって獲得された誤差値も符号化して転送することができる（Ｓ１３５）。
図３は、本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を説明するためのブロック構成図である。
図３を参照すると、Ｂcブロックピクセル値の平均値をＭc、Ｂr,1の平均値をＭr,1とし、残りのブロックの平均値も前記ブロック表示法に準して表現する。周辺情報を用いる方法によってＭc情報を予測する方法が多様である。説明のために、Ｂcブロックを符号化するときに、参照映像＃１が候補参照映像となる場合を考える。
周辺情報を用いる方法によってＭc情報を予測する方法の一実施例として、現在ブロックに対応する他の視点の参照映像ブロックの照明平均値から予測する第１のモード方法（Ｍｏｄｅ１）を挙げることができる。すなわち、（Ｍｏｄｅ１）は、参照映像＃１のブロックＢr,1の平均値を用いてＭc情報を予測する場合である。誤差値は、下記の数式１で示される。
Figure 0005192393
他の実施例として、現在ブロックとこれに対応する他の視点の参照映像ブロックの照明平均値との差を、現在ブロックと参照映像ブロックのそれぞれ隣接したブロック間の照明平均値差から予測する第２のモード方法（Ｍｏｄｅ２）を挙げることができる。すなわち、（Ｍｏｄｅ２）は、参照映像１のブロックＢr,lの照明平均値との差を、隣接したブロック（Ｂl c,Ｂl r,l）間の照明平均値差で予測する場合である。誤差値は下記の数式２で示される。
Figure 0005192393
さらに他の実施例として、現在ブロックに隣接したブロックの照明平均値と現在ブロックに対応する他の視点の参照映像ブロックの照明平均値との差から予測する第３のモード方法（Ｍｏｄｅ３）を挙げることができる。すなわち、（Ｍｏｄｅ３）は、隣接したブロックＢl cの照明平均値と参照映像＃１のブロックＢr,lの照明平均値との差からＭc情報を予測する場合である。誤差値は、下記の数式３で示される。
Figure 0005192393
さらに他の実施例として、現在ブロックに隣接したブロックが他の視点の参照映像ブロックの隣接したブロックから符号化された場合、現在ブロックに隣接したブロックの照明平均値予測差から予測する第４のモード方法（Ｍｏｄｅ４）を挙げることができる。すなわち、ブロックＢl cが既に参照映像＃２のブロックＢl r,2を参照して符号化された場合、現在ブロックＢcの照明平均値と該現在ブロックに該当する参照ブロックＢr,lとの誤差値は、現在ブロックの隣ブロックＢ1 cの照明平均値と他の視点参照ブロックの隣ブロックＢl r,2の照明平均値との誤差値から予測されることができる。誤差値は、下記の数式４で示される。
Figure 0005192393
前述のＭｏｄｅ２、Ｍｏｄｅ３、Ｍｏｄｅ４の方法で隣接したブロック情報を用いるとき、真上の１つのブロックの情報のみを用いる場合としたが、一般的に現在ブロックを囲んでる様々な隣の情報を組み合わせわせて活用することができる。
図４は、本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を一般化して説明するためのブロック構成図である。
図４では、現在ブロックと境界線を共有する既に符号化されたブロック、そして参照ブロックと境界線を共有するブロックを示す。この時、Ｍｏｄｅ２、Ｍｏｄｅ３、Ｍｏｄｅ４方法の式はそれぞれ、下記の数式５のように一般化することができる。
Figure 0005192393
Ｍｏｄｅ４の一般化した式で、ｍi r,kは、Ｂi cブロックの参照ブロックが参照フレーム＃ｋに在る時、このブロックの照明平均値を表す。
上記の式５でｗiは、加重値になり、予測に用いる隣接したブロックは、上記のように境界線を共有するものに限定されることはなく、前記隣の隣も含まれることができ、またその一部のみを用いても良い。これはｗiで調節できる。このようにして求めた誤差値（ｅ）は量子化した後、エントロピー符号化して転送する。
上述のモードＭｏｄｅ１，Ｍｏｄｅ２，Ｍｏｄｅ３，Ｍｏｄｅ４の参照フレームの決定は、実際ビットストリーム段階まで計算してみた後、情報速度と歪みの側面で最適なものを選ぶ。この最適のモードを選択する方法の一実施例として、前記獲得された誤差値のうち、誤差値が最小となるモードを選択する方法、または、ＲＤ関係式を用いる方法などを挙げることができる。
前記ＲＤ関係式を用いる方法は、実際に各モードに対して実際ビットストリームまで計算する段階を全て行った後、情報速度と歪みの側面で最適なモードを選択する。既存の方式と違う点は、ブロック差分値を計算する時、現在ブロック及び参照ブロックから各ブロックの平均値を除算した値からその差値を計算するという点である。すなわち、下記の数式６のようにして求める。
Figure 0005192393
ここで、△ｘ△ｙは、変移ベクトルを表し、Ｉは、照明値を表す。〔ｍc〕は、周辺情報を通じて予測した値と、誤差値を量子化した後に復元し、該復元された値を加算して求めた値で、エンコーダとデコーダで同じ値を得るためのものである。ｍrは、参照ブロックの照明平均値であって、復号された映像であるからエンコーダとデコーダで同じ値となる。そして、実際適用では、時間領域で参照ブロックを探した後、視空間領域で最適のものを探すことになる。したがって、照明補償を適用するか否かを示す識別情報もまた各フレームと各ブロックに対して「０」または「１」と指定され、これにもエントロピー符号化が適用される。
前記最適のモードが選択された後には、前記選択されたモードのみを符号化して転送することができる。また、前記選択されたモードと一緒に、前記選択されたモードによって獲得された誤差値も符号化して転送することができる。選択されたモード情報はインデックスで表現され、この情報も同様に、隣モード情報から予測することができ、現在選択されたモードのインデックスと予測されたモードのインデックス値との誤差値も符号化して転送することができる。
上記のモードを全て考慮しても良く、一部を選択したり、これらモードから１つのみを選択して適用しても良い。可能な全ての場合のうち、単一方法のみを使用する場合にはモードインデックスを別に符号化しなくても良い。
本発明を適用した他の実施例として、照明平均値の獲得及び照明平均予測値を誘導する場合に、参照映像と符号化しようとする映像の符号化している現在ブロックに対して、既に復号化されたピクセル値を用いることができる。
基本的に、現在ブロックの照明平均値を予測する時、左側と上端のピクセルの既に復号化された値を用いる。実際のビデオ映像を符号化する時、ビデオ映像は、マクロブロックを基準にして符号化される。そして、１６×１６サイズのマクロブロックは、映像の複雑度によって、１６×８、８×１６、８×８に細分化して符号化しても良く、それぞれの８×８ブロックは再び同じ方式で８×４、４×８、４×４ブロックに細分化することができる。それぞれの場合に１つのマクロブロックを基準にして各位置に在る小さいブロックの照明平均値を予測する方法は様々である。
図５は、本発明を適用した実施例であり、照明平均値の獲得及び照明平均予測値を誘導する場合に、ブロックの左側と上端に在るピクセルの既に復号化された値を用いることを説明するための１６×１６マクロブロックを示す。
図５を参照すると、１６×１６マクロブロックは、上端、左側に在る全てのピクセル値を用いることができる。したがって、現在ブロックの照明平均値を予測する時、前記ブロックの上端、左側に在る全てのピクセル（ｖ１〜ｖ１６、ｈ１〜ｈ１６）の照明平均値を計算し、これから現在ブロックの照明平均値を予測することができる。この場合、Ｂ１６×１６ブロックの照明平均値は、下記の数式７で示される。
Figure 0005192393
図６Ａ及び図６Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックをめぐるピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す。
図６Ａの場合、すなわち、前記分割されたブロックを囲むピクセル全部を用いる場合、Ｂ１６×８＿０及びＢ１６×８＿１ブロックの平均値は、下記の数式８で示される。
Figure 0005192393
図６Ｂの場合、すなわち、前記分割されたブロックを囲むピクセルのみを用いる場合、Ｂ１６×８＿０及びＢ１６×８＿１ブロックの照明平均値はそれぞれ、下記の数式９，１０で示される。
Figure 0005192393
Figure 0005192393
また、上記の図６Ａ及び図６Ｂの場合において、マクロブロックのコーナーに位置しているｈ0も含めて計算しても良い。この場合、図６Ａ及び図６Ｂ場合のＢ１６×８＿０照明平均値はそれぞれ、下記の数式１１，１２で示される。
Figure 0005192393
Figure 0005192393
また、上記の図６Ａ及び図６Ｂの場合において、マクロブロックのコーナーに在るｈ0とｖ8も含めて計算することができる。この場合、上記の図６Ａ及び図６Ｂ場合のＢ１６×８＿１照明平均値はそれぞれ、下記の数式１３，１４で示される。
Figure 0005192393
Figure 0005192393
図７Ａ及び図７Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す。分割された各ブロックの照明平均値を求める方法は、上記の図６Ａ及び図６Ｂにおける方法と同じである。
図８Ａ及び図８Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す。分割された各ブロックの照明平均値を求める方法は、上記の図６Ａ及び図６Ｂにおける方法と同じである。
上記の方法と同様に、８×８ブロックはより細部ブロックに分割することができ、同じ方法を適用することができる。
上記のような方式で符号化しようとする映像の現在ブロックと参照映像における該当ブロックピクセルの照明平均値を予測し、それぞれ＜ｍc＞，＜ｍr＞という。
各ブロック内の全てのピクセルに対してそれぞれの照明平均予測値を減算した後に、２ブロックの誤差値を下記の数式１５で計算できる。
Figure 0005192393
ここで、（△ｘ，△ｙ）は、変移ベクトルを意味し、Ｉはピクセル値を表す。このブロック誤差が最も小さい参照映像のブロックを、照明が補償された最適ブロックとして選択する。この時、推定された変移ベクトルは（△ｘ，△ｙ）となる。実際システムでは、照明補償をしなかった場合と結果を比較し、性能の良いものを選択する。
上記の方式の一変形としては、参照映像ブロックの照明平均値は周囲ピクセル値によって予測するのではなく、実際ブロック内の全てのピクセルの照明平均値によって直接計算する場合がある。
他の変形として、上端と左側利用ピクセルの数を増やす場合がある。すなわち、直に隣接した一層のピクセルだけでなく、隣接した２個以上の層のピクセルを用いても良い。
デコーダ側では、識別情報を通じて該当ブロックの照明補償を行うか否かを決定することができる。照明補償を行うことになる場合、誤差値（ｅ）に対する復号された値をまず求め、前記予測方法によって予測値を求めることができる。そして、これら２つの値を加算することによって〔ｍc〕(＝＜ｍc＞＋ｅ)を復号できる。いわゆる前記現在ブロックの予測子と呼ばれる予測ブロックである参照ブロックから＜ｍr＞−〔ｍc〕を減算した後、差分ブロック値の復号された値に加算することによって現在ブロック値を最終的に求めることができる。前記現在ブロックは下記のようにして復元することができる。
Ｂ＝予測ブロック＋差分ブロック＋(＜ｍc＞−＜ｍr＞＋ｅ)、ここで、Ｂは現在ブロック値を表し、予測ブロックは、前記現在ブロックの予測子を表す。
そして、＜ｍc＞−＜ｍr＞は、前記現在ブロックの照明補償オフセット予測値である平均ピクセル値の予測された差値を表し、ｅは前記で説明した誤差値を表す。デコーディング部は、前記現在ブロックの照明補償オフセット値と予測された差分値間の誤差値を獲得できる。そして、前記獲得された誤差値と前記予測された差分値を用いて前記現在ブロックの照明補償オフセット値を復元することができる。
図９は、本発明が適用される一実施例であり、現在ブロックのオフセット値を獲得する過程を説明するための図である。
照明補償は、動き推定過程で行われることができる。現在ブロックと候補参照ブロックの類似性を比較する時、両ブロック間の照明差を考慮すべきである。前記照明差を補償すべく、新しい動き推定／動き補償が行われる。新しいＳＡＤは、下記の数式１６，１７を用いて求めることができる。
Figure 0005192393
Figure 0005192393
ここで、Ｍcは、現在ブロックの平均画素値を表し、Ｍrは、参照ブロックの平均画素値を表す。Ｉc(ｘ,ｙ)は、現在ブロックの（ｘ，ｙ）座標での画素値を表し、Ｉr(ｘ＋△ｘ，ｙ＋△ｙ)は、参照ブロックの動きベクトル（△ｘ，△ｙ）の時の画素値を表す。上記数式１６の新しいＳＡＤに基づいて動き推定を行うことによって、前記現在ブロックと前記参照ブロック間の平均画素値差が獲得されることができる。前記獲得された平均画素値差をオフセット値（ＩＣ＿ｏｆｆｓｅｔ）という。
照明補償が適用された動き推定が行われる場合、オフセット値と動きベクトルが求められ、照明補償は前記オフセット値と前記動きベクトルを用いて数式１８のように行うことができる。
Figure 0005192393
ここで、Ｒ(ｘ，ｙ)は、照明補償が行われた差分値を表す。
前記オフセット値（ＩＣ＿ｏｆｆｓｅｔ＝Ｍc−Ｍr）はデコーディング部に転送することができる。デコーディング部での照明補償は、下記の数式１９のように行うことができる。
Figure 0005192393
Ｒ'(ｘ，ｙ)は、復元された、照明補償の行われた差分値を表し、Ｉ'ｃ(ｘ，ｙ)は、復元された現在ブロックの画素値を表す。
現在ブロックを復元するためには、オフセット値がデコーディング部に転送されなければならず、前記オフセット値は、隣ブロックの情報から予測することができる。前記オフセット値をコーディングするビット数をより減少させるべく、現在ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ）と隣ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ）との差値（ＲIC_offset）のみを送ることができる。これは、下記の数式２０で示される。
Figure 0005192393
図１０は、本発明が適用される一実施例であり、現在ブロックに対する照明補償を行う過程を説明するためのフローチャートである。
現在ブロックの照明補償フラグが「０」の場合には、現在ブロックに対する照明補償が行われない。フラグが「１」の場合に、現在ブロックのオフセット値を復元する過程が行われる。この時、現在ブロックのプレディクタを獲得するにおいて、隣ブロックの情報を用いることができる。まず、現在ブロックの参照番号と隣ブロックの参照番号が同一か否かを判断する（Ｓ２１０）。前記判断結果に基づいて、現在ブロックの照明補償のためのプレディクタを獲得する（Ｓ２１１）。前記獲得されたプレディクタを用いて現在ブロックのオフセット値を復元する（Ｓ２１２）。ここで、前記現在ブロックの参照番号と隣ブロックの参照番号が同一か否かを判断し（Ｓ２１０）、その判断結果に基づいてプレディクタを獲得する段階（Ｓ２１１）についてより詳細に説明する必要がある。これについては、図１１で説明する。
図１１は、本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいてプレディクタを獲得する方法を説明するためのフローチャートである。
デコーディング部では、照明補償を行うべく、ビデオ信号から現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当参照ブロックの参照番号などを抽出し、このような情報を用いて現在ブロックのプレディクタを獲得することができる。そして、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元することができる。
この時、現在ブロックのプレディクタを獲得するに際して、隣ブロックの情報を用いることができる。例えば、前記隣ブロックのオフセット値を用いて前記現在ブロックのオフセット値を予測できるが、これに先立って現在ブロックの参照番号と前記隣ブロックの参照番号が同一か否かを確認し、その確認結果によってどんな隣ブロックを用いるか、または、どんな値を用いるかを決定することができる。また、前記隣ブロックのフラグ情報が「真」であるか否かを確認し、その確認結果によって前記隣ブロックを用いるか否かを決定できる。
第１の実施例として、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断する（Ｓ２２０）。前記判断結果、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが１個のみ存在する場合、前記参照番号が同一である隣ブロックのオフセット値を現在ブロックのプレディクタに割り当てることになる（Ｓ２２１）。上記Ｓ２２０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが２個存在する場合には、同じ参照番号を持つ２個の隣ブロックのオフセット値の平均値が、現在ブロックのプレディクタに割り当てられる（Ｓ２２２）。また、前記Ｓ２２０段階の判断結果によって、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが３個存在する場合には、同じ参照番号を持つ３個の隣ブロックのオフセット値の中間値が、現在ブロックのプレディクタに割り当てられる（Ｓ２２３）。また、前記Ｓ２２０段階の判断結果によって、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在しない場合、現在ブロックのプレディクタは「０」として割り当てられる（Ｓ２２４）。上記の参照番号の同一性を確認する過程（Ｓ２２０）で、該当の隣ブロックのフラグが「１」か否かを確認する条件を含むことができる。
第二の実施例として、隣ブロックが現在ブロックの参照番号と同じ参照番号を持つか否を確認し、前記隣ブロックのフラグが「１」であるか確認する。該２つの条件をいずれも満たす隣ブロックがあると、その隣ブロックのオフセット値をプレディクタとすることができる。この時、隣ブロックをチェックする順序は、左側→上端→上右側→上左側の順にしても良く、上端→左側→上右側→上左側の順にしても良い。前記２つの条件をいずれも満たす隣ブロックがなく、前記３個の隣ブロックのフラグ（例えば、左側、上端、上右側（または上左側）に在る３個の隣ブロックのフラグ）が「１」であれば、前記３個の隣ブロックのオフセット値の中間値をプレディクタとし、これも満たさないと、現在ブロックのプレディクタは「０」として割り当てることができる。
図１２は、本発明が適用される一実施例であり、現在ブロックのプレディクションタイプに基づいて照明補償を行う方法を説明するためのフローチャートである。
現在ブロックのプレディクションタイプによって参照する隣ブロックが変わる。例えば、現在ブロックと隣ブロックの形状が同一である場合には、現在ブロックは隣ブロックの中間値を用いて予測を行うことができる。しかし、その形状が異なる場合には、他の方法を適用することができる。
例えば、現在ブロックの左側に在るブロックが複数のブロックに分けられている場合、そのうち、最も上端に位置しているブロックを予測のために使うことができる。または、現在ブロックの上端に在るブロックが複数に分けられている場合、そのうち最も左側に位置しているブロックを予測のために使うことができる。このように、現在ブロックのプレディクションタイプはどの隣ブロックを使用するかによってその予測値が変わる。したがって、本発明の一実施例では、まず、現在ブロックのプレディクションタイプによって参照する隣ブロックを決定することができる（Ｓ２３１）。前記決定された隣ブロックの参照番号と前記現在ブロックの参照番号とが同一であるか否かを判断する（Ｓ２３２）。このとき、参照番号が同一か否かを確認する過程（Ｓ２３２）で該当の隣ブロックのフラグが「１」か否かを確認する条件も含むことができる。その判断結果に基づいて現在ブロックの照明補償のためのプレディクタを獲得できる（Ｓ２３３）。前記獲得されたプレディクタを用いて現在ブロックのオフセット値を復元することによって照明補償を行うことができる（Ｓ２３４）。ここで、前記Ｓ２３２段階の結果に基づいてＳ２３３段階を行う過程について、具体的な実施例に挙げて説明する。これについての具体的実施例は、図１１で説明した方式と類似する方式を適用することができる。
例えば、現在ブロックのプレディクションタイプが現在ブロックの左側ブロックを参照して予測を行う場合では、前記現在ブロックの左側ブロックの参照番号が前記現在ブロックの参照番号と同一か否かを判断する。その判断結果、参照番号が同一である場合、前記左側ブロックのオフセット値を現在ブロックのプレディクタに割り当てる。また、現在ブロックのプレディクションタイプが現在ブロックの左側ブロックと上端ブロックの両方を参照して予測を行う場合、または、現在ブロックの左側ブロックと上端ブロック、そして右側上端ブロックの３つを参照する場合などそれぞれの場合は、図１１で説明した方式と同一の方式が適用される。
図１３は、本発明が適用される一実施例であり、該当のブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う方法を説明するためのフローチャートである。
図１３を参照すると、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）も用いることができる。または、図１１で説明した参照番号を確認する方法とフラグ情報を予測する方法を両方とも用いて前記プレディクタを獲得しても良い。まず、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断できる（Ｓ２４１）。前記判断結果に基づいて現在ブロックの照明補償のためのプレディクタを獲得できる。この時、隣ブロックのフラグが「１」か否かを判断基準として含むことができる（Ｓ２４２）。また、前記判断結果に基づいて現在ブロックのフラグ情報を予測できる（Ｓ２４３）。前記獲得したプレディクタと前記予測したフラグ情報を用いて現在ブロックのオフセット値を復元することによって照明補償を行うことが可能になる（Ｓ２４４）。ここで、前記Ｓ２４２段階は、前記図１１で説明した方式と同一の方式を適用することができる。そして、前記Ｓ２４３段階は、図１４で詳細に後述する。
図１４は、本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいて現在ブロックのフラグ情報を予測する方法を説明するためのフローチャートである。
本発明の一実施例では、まず、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断する（Ｓ２５０）。前記判断結果、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが１個のみ存在する場合、前記参照番号が同一である隣ブロックのフラグ情報から現在ブロックのフラグ情報を予測できる（Ｓ２５１）。前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが２個存在する場合には、同じ参照番号を持つ２個の隣ブロックのフラグ情報のうちいずれか１つのフラグ情報から現在ブロックのフラグ情報を予測できる（Ｓ２５２）。
また、前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが３個存在する場合には、同じ参照番号を持つ３個の隣ブロックのフラグ情報のうち、中間値から現在ブロックのフラグ情報を予測できる（Ｓ２５３）。また、前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在しない場合、現在ブロックのフラグ情報予測は行われない（Ｓ２５４）。
図１５は、本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
照明補償を行うにおいて、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、デコーダで各参照ブロックに対応するオフセット値が直接的にわからなくなる。これは、現在ブロックのオフセット値を獲得する時に、前記２個の参照ブロックを平均した画素値を用いたためである。したがって、本発明の一実施例では、各参照ブロックごとに対応するオフセット値を獲得し、より正確な予測が可能になる。まず、現在ブロックのプレディクタと誤差値を用いて現在ブロックのオフセット値を復元する（Ｓ２６１）。現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合、下記の数式２１に示すように、前記オフセット値を用いて各参照ブロックに対応するオフセット値を獲得する（Ｓ２６２）。
Figure 0005192393
ここで、ｍcは、現在ブロックの平均画素値を表し、ｍr,1、ｍr,2はそれぞれ、参照ブロックの平均画素値を表す。ｗ1、ｗ2は双方向予測コーディング時の加重値係数を表す。
前記照明補償方法の一実施例として、前記システムは、各参照ブロックに対応する正確なオフセット値を別途に獲得して利用できるので、より正確な予測コーディングが可能になる。前記現在ブロックのオフセット値を復元する時（Ｓ２６２）、復元されたオフセット差分値とプレディクタ値を加算してオフセット値を求めることができる。この時、Ｌｉｓｔ ０の参照ピクチャと、Ｌｉｓｔ １の参照ピクチャのそれぞれに対するプレディクタを求め、これらを組み合わせて現在ブロックのオフセット値を復元する時に必要なプレディクタ値を求めることができる。
他の実施例として、本発明は、スキップマクロブロックの場合にも適用することができる。本実施例では、予測が照明補償に関する情報を獲得するために行われる。照明補償を行うか否かを示すフラグ情報は、周辺ブロックで予測された値を用いることができ、現在ブロックのオフセット値は、周辺ブロックで予測されたオフセット値を用いることができる。例えば、フラグ情報が「真」であれば、オフセット値は参照ブロックに加算される。具体的な例として、Ｐ−Ｓｋｉｐモードが適用されるマクロブロックの場合、左側と上端の隣ブロックのフラグとオフセット値を用いて予測し、前記マクロブロックのフラグとオフセット値を求めることができる。１個のブロックのみがフラグ「１」を持つと、前記現在ブロックのフラグとオフセット値は、前記ブロックのフラグとオフセット値に設定することができる。２つのブロックがいずれもフラグ「１」を持つと、前記現在ブロックのフラグは「１」になり、オフセット値は２つの隣ブロックのオフセット値の平均値に設定することができる。
さらに他の実施例として、本発明は、直接予測モード（例えば、Ｄｉｒｅｃｔ、Ｂ−Ｓｋｉｐモード）にも適用されることができる。本実施例では、予測が照明補償に関する情報を獲得するために行われる。上記の多様なフラグ、オフセット予測方法を適用してそれぞれのプレディクタを求めることができる。この値を、現在ブロックの実際フラグ、オフセット値として設定できる。各ブロックが１対のフラグ、オフセット情報のみを持っていれば、それぞれに対して１つずつの予測値を求めればよい。この時、参照ブロックが２個である場合、参照番号チェックをするときには前記現在ブロックと隣ブロックの各参照番号がいずれも一致するか否かをチェックする。また、各参照ブロックに対してそれぞれのオフセット値を持っている場合には、予測された第１フラグ情報と予測された第１オフセット値、予測された第２フラグ情報と予測された第２オフセット値を獲得することができる。この場合、フラグ情報は周辺ブロックで予測された値を用いることができ、２個の参照ブロックのオフセット値はそれぞれ、前記予測された第１オフセット値と第２オフセット値を用いることができる。ここで、現在ブロックのオフセット値は、各参照ブロックのオフセット値の平均値とすることができる。
直接予測モードとスキップマクロブロックの場合、フラグ情報を符号化／復号化しても良い。すなわち、フラグ値によってオフセット値が加算されても良く、そうでなくても良い。また、オフセット値と予測されたオフセット値間の誤差値を符号化／復号化しても良い。この場合にはより正確に復元することができ、ＲＤ側面で最適なものを選択するようにしても良い。また、本明細書で説明した予測過程で参照ピクチャの利用が不可能な場合、すなわち、参照ピクチャ番号が「１」よりも小さい場合は、フラグ情報または予測されたフラグ情報が「偽」に設定され、オフセット値または予測されたオフセット値は「０」に設定することができる。
さらに他の実施例として、本発明は、エントロピーコーディングにも適用することができる。フラグ情報に対しては隣ブロック（例えば、現在ブロックの左側ブロックと上位ブロック）のフラグ値によって３個の状況（コンテクスト）が考えられる。
フラグ値が「真」の場合は「１」、「偽」の場合は「０」に変換すると、各場合に対して２つの値を合わせると３つ場合が出る。このような３つのコンテクストを用いてフラグ情報を符号化／復号化できる。オフセットの予測誤差値に対しては、例えば、変換係数レベルコーディングにおけると同じ方法を使用することができる。すなわち、ＵＥＧ０によって二進化が行われ、最初のビン値に対して１つのコンテクストモデルが適用され、単項の前置部の残りのビン値に対して他のコンテクストモデルが適用されることができる。サインビットは、バイパスモードで符号化／復号化されることができる。フラグ情報に対して他の実施例として、予測されたフラグ情報の値によって２個のコンテクストが考えられ、これを用いて符号化／復号化できる。
図１６は、本発明が適用された実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報と現在ブロックのオフセット値を用いて照明補償を行う過程を説明するためのフローチャートである。
デコーディング部では、照明補償を行うためにビデオ信号から多様な情報、例えば、前記現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当の参照ブロックのインデックス情報などを抽出できる。そして、このような情報を用いて前記現在ブロックのプレディクタを獲得できる。前記デコーディング部は、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。ここで、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）を用いることができる。
前記デコーディング部は、ビデオ信号から現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得する（Ｓ２７１）。前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元できる（Ｓ２７２）。このように、照明補償技術は、相互に異なるピクチャに属したブロックの平均画素値の差分値をコーディングする。各ブロックに照明補償技術を適用するか否かを示すフラグが用いられる時、該当のブロックがＰスライスに属したブロックである場合には、１つのフラグ情報と１つのオフセット値を符号化／復号化すればよい。しかし、該当のブロックがＢスライスに属したブロックである場合には、様々な方法が可能である。以下、これを図１７Ａ及び図１７Ｂを参照して詳細に説明する。
図１７Ａ及び図１７Ｂは、本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックにフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。
図１７Ａで、“Ｃ”は、現在ブロック（Ｃ）を表し、“Ｎ”は現在ブロック（Ｃ）に隣接するブロックを、“Ｒ”は現在ブロック（Ｃ）が参照するブロックを、“Ｓ”は現在ブロック（Ｃ）に隣接するブロック（Ｎ）が参照するブロックを表す。“ｍc”は現在ブロックの平均画素値を表し、“ｍr”は現在ブロックが参照するブロックの平均画素値を表す。現在ブロック（Ｃ）のオフセット値を“ＩＣ＿ｏｆｆｓｅｔ”とすれば、ＩＣ＿ｏｆｆｓｅｔ＝ｍc−ｍrとなる。
同様に、隣ブロック（Ｎ）のオフセット値を“ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ”とすれば、エンコーディング部では現在ブロック（Ｃ）のオフセット値である“ＩＣ＿ｏｆｆｓｅｔ”を復元するためにその値をそのまま転送せずに、現在ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ）と隣ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ）との差分値（ＲIC_offset）のみを送ることができる。ここで、ＲIC_offsetは、上記の数式２０で示される。
前記隣ブロックのフラグ情報またはオフセット値から現在ブロックのプレディクタを生成する時には、多様な方法が適用されることができる。例えば、隣ブロック１つのみの情報を用いても良く、２以上の隣ブロックの情報を用いても良い。２以上の隣ブロックの情報を用いる場合には、平均値を用いても良く、中間値を用いても良い。このように、現在ブロックが１つの参照ブロックを用いて予測コーディングされた場合には、１つのオフセット値と１つのフラグ情報を用いて照明補償を行うことができる。
しかしながら、該当のブロックがＢスライスに属したブロックである場合、すなわち、現在ブロックが２以上の参照ブロックを用いて予測コーディングされた場合には、様々な方法が可能になりうる。
例えば、図１７Ｂで、“Ｃ”は現在ブロック（Ｃ）を表し、“Ｎ”は現在ブロック（Ｃ）に隣接するブロックを、“Ｒ０”は現在ブロックが参照するＬｉｓｔ ０の参照ピクチャ１に在る参照ブロックを、”Ｓ０”は隣ブロックが参照するＬｉｓｔ ０の参照ピクチャ１に在る参照ブロックを表すと仮定する。そして、“Ｒ１”は現在ブロックが参照するＬｉｓｔ １の参照ピクチャ３に在る参照ブロックを、“Ｓ０”は隣ブロックが参照するＬｉｓｔ１の参照ピクチャ３に在る参照ブロックを表すと仮定する。この時、現在ブロックのフラグ情報とオフセット値は各参照ブロックに対して存在するので、それぞれ２つの値が存在する。したがって、前記フラグ情報とオフセット値を用いる場合に、それぞれ少なくとも１つ以上を用いることができる。
第１の例によれば、動き補償を通じて２つの参照ブロックに関する情報の組み合わせによって現在ブロックのプレディクタが求められることができる。ここで、現在ブロックに照明補償を適用するか否かを１つのフラグ情報で表し、前記フラグ情報が「真」である場合、前記現在ブロックと前記プレディクタから１つのオフセット値を獲得して符号化／復号化を行うことができる。
第２の例によれば、動き補償を行う過程で２つの参照ブロックに対してそれぞれ照明補償を適用するか否かを決定することができる。それぞれの参照ブロックに対してフラグ情報が与えられ、前記フラグ情報を用いて獲得された１つのオフセット値を符号化／復号化することができる。この場合、フラグ情報は参照ブロックを基準にして２個、オフセット値は現在ブロックを基準にして１個用いることができる。
第３の例では、現在ブロックを基準にして、このブロックに対して照明補償を適用するか否かを１つのフラグ情報で表すことができる。そして、２つの参照ブロックに対してそれぞれのオフセット値が符号化／復号化される。符号化過程において、いずれか一方の参照ブロックに対して照明補償を適用しない場合には、それに該当するオフセット値を「０」とする。この場合、フラグ情報は現在ブロックを基準にして１個、オフセット値は参照ブロックを基準にして２個用いることができる。
第４の例では、各参照ブロックに対してそれぞれのフラグ情報とオフセット値が符号化／復号化される。この場合、フラグ情報とオフセット値はいずれも参照ブロックを基準にしてそれぞれ２個ずつ用いることができる。
上記の第１から第４の例の場合に対して、オフセット値はそのまま符号化されずに、隣ブロックのオフセット値から予測した後、その誤差値のみを符号化できる。
図１８は、本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
現在ブロックがＢスライスに属したブロックである場合、照明補償を行うためにビデオ信号から前記現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当の参照ブロックのインデックス情報などを抽出し、このような情報を用いて現在ブロックのプレディクタを獲得できる。そして、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。この場合、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）を用いることができる。
前記デコーディング部は、ビデオ信号から現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得できる（Ｓ２９１）。前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元できる（Ｓ２９２）。
ところが、このように現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、デコーダで各参照ブロックに対応するオフセット値が直接的にわからなくなる。これは、現在ブロックのオフセット値を獲得する時、前記２個の参照ブロックを平均した画素値を用いたためである。したがって、本発明の一実施例では、各参照ブロックごとに対応するオフセット値を獲得し、より正確な予測を可能にすることができる。したがって、現在ブロックが２個の参照ブロックを用いて予測コーディングをした場合、下記の数式２２に示すように、前記オフセット値を用いて各参照ブロックに対応するオフセット値を獲得できる（Ｓ２９３）。
Figure 0005192393
ここで、ｍcは現在ブロックの平均画素値を表し、ｍr,1、ｍr,2はそれぞれ、参照ブロックの平均画素値を表す。ｗ1、ｗ2は双方向予測コーディング時の加重値係数を表す。
このような方法で照明補償を行う場合、各参照ブロックに対応する正確なオフセット値が別途獲得されて利用可能になるので、より正確な予測コーディングが可能になる。前記現在ブロックのオフセット値を復元する時、復元されたオフセット差分値とプレディクタ値を加算してオフセット値を獲得できる。この時、Ｌｉｓｔ０、Ｌｉｓｔ１のそれぞれに対するプレディクタを求め、これらを組み合わせて現在ブロックのオフセット値を復元する時に必要なプレディクタ値を求めることができる。
図１９は、本発明が適用される一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う過程を説明するためのフローチャートである。
照明補償技術は、カメラ間の照明または色相差を補償するためのものである。この技術は、さらには、同じカメラで獲得されたシーケンス映像間においても適用できる。この技術を通じて照明や色相差が動き推定に大きく影響を及ぼさないようにすることができる。しかし、実際符号化過程では、照明補償を適用するか否かを示すフラグ情報を用いることとなる。照明補償の適用範囲は、シーケンス、視点、ＧＯＰ、ピクチャ、スライス、マクロブロック、サブブロックなどになりうる。
小さい領域範囲に照明補償技術が用いられると、よりローカルな領域に対して調節が可能であるが、その分、フラグ情報のためのビットが多く必要となる。また、多くの場合に照明補償技術が要らない。したがって、各領域範囲別に照明補償技術を使用するか否かを示すフラグビットを割り当てることによって、效果的に照明補償技術を用いることができる。まず、ビデオ信号の一定階層に対して照明補償を行うように誘導するフラグ情報を獲得できる（Ｓ３０１）。
例えば、各領域範囲別に次のようにフラグ情報を設定できる。シーケンス階層に対しては“ｓｅｑ＿ＩＣ＿ｆｌａｇ”、視点階層に対しては“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”、ＧＯＰ階層に対しては“ＧＯＰ＿ＩＣ＿ｆｌａｇ”、ピクチャ階層に対しては“ｐｉｃ＿ＩＣ＿ｆｌａｇ”、スライス階層に対しては“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”、マクロブロック階層に対しては“ｍｂ＿ＩＣ＿ｆｌａｇ”、ブロック階層に対しては“ｂｌｋ＿ＩＣ＿ｆｌａｇ”としてフラグビットを割り当てることができる。これについては、図２０Ａ〜図２０Ｃで詳細に説明するものとする。そして、前記フラグ情報によって照明補償が行われた前記ビデオ信号の一定階層を、デコーディング可能になる（Ｓ３０２）。
図２０Ａ〜図２０Ｃは、本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
照明補償を行うように誘導するフラグ情報の適用範囲を階層別に区分できる。例えば、図２０Ａ〜図２０Ｂに示すように、シーケンス階層に対しては“ｓｅｑ＿ＩＣ＿ｆｌａｇ”３１１、視点階層に対しては“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”３１２、ＧＯＰ階層に対しては“ＧＯＰ＿ＩＣ＿ｆｌａｇ”３１３、ピクチャ階層に対しては“ｐｉｃ＿ＩＣ＿ｆｌａｇ”３１４、スライス階層に対しては“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”３１５、マクロブロック階層に対しては“ｍｂ＿ＩＣ＿ｆｌａｇ”３１６、ブロック階層に対しては“ｂｌｋ＿ＩＣ＿ｆｌａｇ”３１７が割り当てられる。
ここで、各フラグは１ビット情報であり、これらのフラグは少なくとも１つ以上存在できる。また、シーケンス／視点／ピクチャ／スライス範囲などのフラグは、該当のパラメータセットまたはヘッダに位置させることができ、または、他のパラメータセットにも位置させることができる。例えば、“ｓｅｑ＿ＩＣ＿ｆｌａｇ”３１１は、シーケンスパラメータセットに位置させることができ、“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”３１２は、視点パラメータセットに位置させることができ、“ｐｉｃ＿ＩＣ＿ｆｌａｇ”３１４は、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）に位置させることができる。また、“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”３１５はスライスヘッダに位置させることができる。
前記フラグ情報が２以上存在する場合、２以上の一定階層のうち下位階層に照明補償を行うか否かは、上位階層の照明補償を行うか否かによって制御されることができる。すなわち、各フラグビット値が「１」と設定されると、その下位範囲で照明補償技術が適用される場合がありうるということを示す。
例えば、ｐｉｃ＿ＩＣ＿ｆｌａｇ＝１の場合、該当のピクチャ範囲内の各スライスに対してｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定でき、または、各マクロブロックに対してｍｂ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定でき、または、各ブロックに対してｂｌｋ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定することができる。視点パラメータセットがある場合、ｓｅｑ＿ＩＣ＿ｆｌａｇ＝１であれば、各視点に対してｖｉｅｗ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定できることとなる。ただし、ｖｉｅｗ＿ＩＣ＿ｆｌａｇ＝１の場合には、図２０Ａに示すように、該当の視点に属する各ＧＯＰ、ピクチャ、スライス、マクロブロック、またはブロックに対するフラグビット値を「１」または「０」に設定しても良く、そうでなくても良い。ここで、そうでない場合は、図２０Ｂのように、各ＧＯＰ、ピクチャ、スライス、マクロブロック、またはブロックに対するフラグが視点に関するフラグ情報によって制御されない場合のことをいう。
上位範囲のフラグビット値が「０」の場合、下位範囲のフラグビット値は自動的に「０」となる。例えば、ｓｅｑ＿ＩＣ＿ｆｌａｇ＝０の場合、該当のシーケンスに対して照明補償技術が適用されないということを意味し、したがって、ｖｉｅｗ＿ＩＣ＿ｆｌａｇ、ＧＯＰ＿ＩＣ＿ｆｌａｇ、ｐｉｃ＿ＩＣ＿ｆｌａｇ、ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ、ｍｂ＿ＩＣ＿ｆｌａｇ、ｂｌｋ＿ＩＣ＿ｆｌａｇはいずれも「０」に設定される。そして、ｍｂ＿ＩＣ＿ｆｌａｇとｂｌｋ＿ＩＣ＿ｆｌａｇは、照明補償技術の具体的な具現方法によって１つのみ用いられても良い。また、視点に関するフラグ情報（ｖｉｅｗ＿ＩＣ＿ｆｌａｇ）は多視点ビデオコーディングで視点パラメータセットが新しく適用される場合に適用することができる。最も下位単位であるマクロブロックまたはサブブロックにおけるフラグビット値によって現在ブロックのオフセット値が追加的に符号化／復号化されるであろう。
また、図２０Ｃのように、ＩＣ技術適用に対するフラグがスライスとマクロブロック階層にのみ適用される実施例も考えられる。例えば、ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇが「０」の場合は、該当のスライスでＩＣが適用されないことを意味することができる。ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇが「１」の場合は、該当のスライスでＩＣが適用されることを意味し、この場合、ｍｂ＿ＩＣ＿ｆｌａｇが「１」であれば、該当のマクロブロックでＩＣ＿ｏｆｆｓｅｔが復元される。ｍｂ＿ＩＣ＿ｆｌａｇが「０」であれば、該当のマクロブロックでＩＣが適用されないことを意味する。
また、本発明の他の一実施例として、マクロブロック階層より上位階層のフラグ情報が「真」である場合、現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を獲得できるが、この時、前記マクロブロック階層または前記ブロック階層に対するフラグ情報は利用しなくて良い。照明補償技術を適用する時、各ブロックに対して照明補償技術を適用するか否かをフラグ情報を通じて表すことができる。しかし、動きベクトルのように、その値のみを示すことで充分な場合もある。これは、照明補償技術の適用範囲と一緒に運用が可能で、上位範囲（即ち、シーケンス、視点、ＧＯＰ、ピクチャ）に対しては、フラグ情報を通じてその下位範囲で照明補償が適用されるか否かを示すことができる。最も下位範囲であるマクロブロック階層またはブロック階層では、フラグビットを使用せずにオフセット値だけでも充分である。これは、基本的に動きベクトルと類似な方式で予測及び符号化を行うことができるからである。例えば、現在ブロックに対して予測コーディングを行う場合、隣ブロックのオフセット値を現在ブロックのオフセット値に割り当てることとなる。そして、双方向予測コーディングである場合、Ｌｉｓｔ ０、Ｌｉｓｔ １から見つけられた参照ブロックとの計算を通じて各参照ブロックに対するオフセット値が獲得される。したがって、現在ブロックのオフセット値を符号化する時、隣ブロックのオフセット値を用いて前記各参照ブロックに対するオフセット値を直接符号化せずに、予測誤差のみを符号化／復号化する。オフセット値の予測方法は、上記のオフセット予測方法や動きベクトル予測時に使われる中間値を獲得する方法を用いても良い。双方向予測の直接モードの時にも、動きベクトルと同様な方法を用いて付加情報の符号化／復号化をせずに、既に与えられた情報を通じてオフセット値を求めることができる。
また、本発明の他の実施例として、ＭＶＣデコーダでないデコーダ（例えば、Ｈ．２６４）を用いる場合、既存のデコーダと互換性を持つ視点映像は既存のデコーダでデコーディングされなければならないので、“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ＝ｆａｌｓｅ ｏｒ ０”と設定すべきである。ここで、基準視点についての概念を説明する必要がある。まず、Ｈ．２６４／ＡＶＣデコーダと互換性を持つ少なくとも１つの視点映像が要求される。したがって、独立的に復号化可能な視点を定義する必要があるが、これを基準視点という。このような基準視点は、多視点のうち符号化の基準となり、これは参照視点に該当する。ＭＶＣで基準視点に該当する映像は、従来一般的な映像符号化方式（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等）により符号化されて独立したビットストリームに形成される。基準視点に該当する映像はＨ．２６４／ＡＶＣと互換されても良く、互換されなくても良い。しかし、Ｈ．２６４／ＡＶＣと互換できる視点の映像は常に基準視点となる。
図２１は、本発明が適用される一実施例であり、現在ブロックのオフセット値を考慮して動きベクトルを獲得する過程を説明するためのフローチャートである。
図２１を参照すると、前記システムは、ビデオ信号から現在ブロックのオフセット値を獲得できる（Ｓ３２１）。前記システムは、前記オフセット値を用いて現在ブロックと最適にマッチングされる参照ブロックをサーチできる（Ｓ３２２）。前記システムは、前記サーチされた参照ブロックから動きベクトルを獲得して符号化できる（Ｓ３２３）。ここで、照明補償を適用する場合、動き推定を行う時に考慮すべき事項がある。例えば、ブロック間の平均画素値を相殺して２ブロックの類似性を比較する方法の場合、動き推定を行う時に、各ブロックの画素値からブロックの平均画素値を減算した値によって類似性程度を計算できる。この時、２ブロック間のオフセット値がそれぞれ符号化されるので、このような費用も動き推定過程に反映されなければならない。既存の費用（ｃｏｓｔ）計算は、下記の数式２３で行われる。
Figure 0005192393
照明補償を適用する場合、絶対差の合計（ＳＡＤ）は、下記の数式２４で計算されることができる。
Figure 0005192393
ここで、Ｉc、Ｉrはそれぞれ現在ブロックと参照ブロックの画素値を表す。Ｍc、Ｍrはそれぞれ現在ブロックと参照ブロックの平均画素値を表す。オフセット値の費用は、以下の数式２５，２６に示されるように、ＳＡＤ計算に含めて反映することができる。
Figure 0005192393
Figure 0005192393
ここで、αは加重値を表し、その値が「１」の時に、オフセット値の絶対値が反映される。また、照明補償費用を反映する他の方法として、オフセット値を符号化するのに用いられるビット数を推定して反映する方法がある。
これは、下記の数式２７に示すように、オフセット符号化ビットを推定して反映する方法である。ここで、前記符号化ビットはオフセット差分値の大きさに比例するように推定できる。
Figure 0005192393
この場合、新しい費用は、下記の数式２８から得られる。
Figure 0005192393
本発明の属する技術分野における当業者は、本発明がその技術的思想や必須特徴を変更しない範囲内で他の具体的な形態に実施できるということを理解することができる。
したがって、以上説明された実施例は全ての面で例示的なものであり、限定的なものとして理解してはならない。本発明の範囲は、上記の詳細な説明ではなく後述する特許請求の範囲によって定められ、よって、特許請求の範囲の意味及び範囲そしてその等価概念から想到できるいかなる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
本発明が適用される実施例であり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置の概略的なブロック図である。 本発明が適用された一実施例であり、ビデオ映像符号化方法を説明するためのフローチャートである。 本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を説明するためのブロック構成図である。 本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を一般化して説明するためのブロック構成図である。 本発明を適用した一実施例であり、照明平均値の獲得及び照明平均予測値を誘導する場合に、ブロックの左側と上端に在るピクセルの既に復号化された値を用いることを説明するための１６×１６マクロブロックを示す図である。 本発明を適用した実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す図である。 本発明を適用した実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す図である。 本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す図である。 本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す図である。 本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す図である。 本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す図である。 本発明が適用される一実施例であり、現在ブロックのオフセット値を獲得する過程を説明するための図である。 本発明が適用される一実施例であり、現在ブロックに対する照明補償を行う過程を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいてプレディクタを獲得する方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックのプレディクションタイプに基づいて照明補償を行う方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、該当のブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいて現在ブロックのフラグ情報を予測する方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。 本発明が適用された一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報と現在ブロックのオフセット値を用いて照明補償を行う過程を説明するためのフローチャートである。 本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックに対してフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。 本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックに対してフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。 本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。 本発明が適用される一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う過程を説明するためのフローチャートである。 本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。 本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。 本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。 本発明が適用される一実施例であり、現在ブロックのオフセット値を考慮して動きベクトルを獲得する過程を説明するためのフローチャートである。

Claims (6)

  1. 多視点ビデオ信号をデコードする方法であって、
    前記多視点ビデオ信号を受信する段階と、
    前記多視点ビデオ信号から第１フラグ情報を抽出する段階であって、該第１フラグ情報は照明補償が現在スライスで有効かどうかを示す、段階と、
    前記第１フラグ情報に基づいて、照明補償が前記現在スライスで有効なとき、前記多視点ビデオ信号から第２フラグ情報を抽出する段階であって、該第２フラグ情報は照明補償が前記現在スライスの現在ブロックで用いられているかどうかを示す、段階と、
    前記第２フラグ情報に基づいて、前記現在ブロックで照明補償が用いられているとき、隣接ブロックの輝度差分値を用いて前記現在ブロックの輝度差分予測値を導出する段階であって、該導出段階は前記現在ブロックの参照番号が隣接ブロックのうち少なくとも一つの参照番号に等しいかどうかを所定の順序で検査する段階を含み、前記隣接ブロックは前記現在ブロックと同一の参照番号を有し、前記隣接ブロックは前記現在ブロックの上ブロック、左ブロック、右上ブロック及び左上ブロックを含み、前記所定の順序は前記上ブロック、前記左ブロック、前記右上ブロック、前記左上ブロック、の順である、段階と、
    前記輝度差分予測値を用いて前記現在ブロックの輝度補償を行う段階と、
    を有する方法。
  2. 前記多視点ビデオ信号から前記現在ブロックの輝度差分残差値を取得する段階と、
    前記輝度差分残差値を前記輝度差分予測値に加算することによって、前記現在ブロックの輝度差分値を導出する段階と、
    を更に有する請求項１に記載の方法。
  3. 前記現在ブロックの輝度差分値は、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示し、前記参照ブロックは前記現在ブロックによって参照される、請求項２に記載の方法。
  4. 多視点ビデオ信号をデコードする装置であって、
    前記多視点ビデオ信号を受信し、前記多視点ビデオ信号から第１フラグ情報を抽出し、該第１フラグ情報は照明補償が現在スライスで有効かどうかを示し、前記第１フラグ情報に基づいて、照明補償が前記現在スライスで有効なとき、前記多視点ビデオ信号から第２フラグ情報を抽出し、該第２フラグ情報は照明補償が前記現在スライスの現在ブロックで用いられているかどうかを示す、パーシング部と、
    前記第２フラグ情報に基づいて、前記現在ブロックで照明補償が用いられているとき、隣接ブロックの輝度差分値を用いて前記現在ブロックの輝度差分予測値を導出し、該導出は前記現在ブロックの参照番号が隣接ブロックのうち少なくとも一つの参照番号に等しいかどうかを所定の順序で検査することを含み、前記隣接ブロックは前記現在ブロックと同一の参照番号を有し、前記隣接ブロックは前記現在ブロックの上ブロック、左ブロック、右上ブロック及び左上ブロックを含み、前記所定の順序は前記上ブロック、前記左ブロック、前記右上ブロック、前記左上ブロック、の順である、照明補償オフセット予測部と、
    前記輝度差分予測値を用いて前記現在ブロックの輝度補償を行う照明補償部と、
    を備える装置。
  5. 前記多視点ビデオ信号から前記現在ブロックの輝度差分残差値を取得する前記パーシング部と、
    前記輝度差分残差値を前記輝度差分予測値に加算することによって、前記現在ブロックの輝度差分値を導出する前記照明補償部と、
    を更に備える請求項４に記載の装置。
  6. 前記現在ブロックの輝度差分値は、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示し、前記参照ブロックは前記現在ブロックによって参照される、請求項５に記載の装置。
JP2008550241A 2006-01-12 2007-01-12 多視点ビデオの処理 Expired - Fee Related JP5192393B2 (ja)

Applications Claiming Priority (25)

Application Number Priority Date Filing Date Title
US75823406P 2006-01-12 2006-01-12
US60/758,234 2006-01-12
KR20060004956 2006-01-17
KR10-2006-0004956 2006-01-17
US75962006P 2006-01-18 2006-01-18
US60/759,620 2006-01-18
US76253406P 2006-01-27 2006-01-27
US60/762,534 2006-01-27
KR10-2006-0027100 2006-03-24
KR20060027100 2006-03-24
US78719306P 2006-03-30 2006-03-30
US60/787,193 2006-03-30
KR1020060037773A KR20070076356A (ko) 2006-01-18 2006-04-26 비디오 영상의 부호화/복호화 방법 및 장치
KR10-2006-0037773 2006-04-26
US81827406P 2006-07-05 2006-07-05
US60/818,274 2006-07-05
US83008706P 2006-07-12 2006-07-12
US60/830,087 2006-07-12
US83032806P 2006-07-13 2006-07-13
US60/830,328 2006-07-13
KR10-2006-0110338 2006-11-09
KR1020060110338A KR20070076392A (ko) 2006-01-18 2006-11-09 비디오 신호의 디코딩/인코딩 방법 및 장치
KR1020060110337A KR20070076391A (ko) 2006-01-18 2006-11-09 비디오 신호의 디코딩/인코딩 방법 및 장치
KR10-2006-0110337 2006-11-09
PCT/KR2007/000225 WO2007081176A1 (en) 2006-01-12 2007-01-12 Processing multiview video

Publications (2)

Publication Number Publication Date
JP2009523355A JP2009523355A (ja) 2009-06-18
JP5192393B2 true JP5192393B2 (ja) 2013-05-08

Family

ID=46045583

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008550241A Expired - Fee Related JP5192393B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理
JP2008550243A Active JP5199124B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理
JP2008550242A Active JP5199123B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2008550243A Active JP5199124B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理
JP2008550242A Active JP5199123B2 (ja) 2006-01-12 2007-01-12 多視点ビデオの処理

Country Status (6)

Country Link
US (9) US7856148B2 (ja)
EP (3) EP1982517A4 (ja)
JP (3) JP5192393B2 (ja)
KR (8) KR100943915B1 (ja)
DE (1) DE202007019463U1 (ja)
WO (3) WO2007081177A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425653B2 (en) 2010-12-13 2019-09-24 Electronics And Telecommunications Research Institute Method and device for determining reference unit

Families Citing this family (240)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
EP1552617A2 (en) 2002-10-05 2005-07-13 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
JP4971144B2 (ja) 2004-05-07 2012-07-11 デジタル ファウンテン， インコーポレイテッド ファイルダウンロードおよびストリーミングのシステム
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
WO2007100187A1 (en) * 2006-01-09 2007-09-07 Lg Electronics Inc. Inter-layer prediction method for video signal
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
WO2007081177A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
KR101292851B1 (ko) 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 ｆｅｃ 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007108661A1 (en) * 2006-03-22 2007-09-27 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding the compensated illumination change
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
KR100959538B1 (ko) * 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
WO2007148906A1 (en) * 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
CN101485208B (zh) * 2006-07-05 2016-06-22 汤姆森许可贸易公司 多视图视频的编码和解码方法及装置
EP2052546A4 (en) * 2006-07-12 2010-03-03 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING
KR101353204B1 (ko) * 2006-07-20 2014-01-21 톰슨 라이센싱 멀티-뷰 비디오 코딩에서의 뷰 스케일러빌리티를 신호로 알리기 위한 방법 및 장치
US8532178B2 (en) * 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
BRPI0716957A2 (pt) 2006-10-13 2013-10-29 Thomson Licensing Sintaxe de gerenciamento de lista de imagens de referência para codificação de vídeo de múltiplas vistas
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
BRPI0717321A2 (pt) * 2006-10-13 2013-10-22 Thomson Licensing Método para gerenciamento de imagens de referência envolvendo codificação de vídeo com mútiplas visualizações
CN101523920B (zh) * 2006-10-16 2013-12-04 汤姆森许可贸易公司 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
US9456223B2 (en) * 2006-10-18 2016-09-27 Thomson Licensing Local illumination and color compensation without explicit signaling
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP2010507975A (ja) * 2006-10-24 2010-03-11 トムソン ライセンシング 多視点映像符号化のための画像の管理
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR100905723B1 (ko) * 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
KR101490534B1 (ko) * 2007-01-04 2015-02-05 톰슨 라이센싱 멀티 뷰 코딩된 비디오에서 조도 보상 및/또는 컬러 보상에 대한 코딩 아티팩트 감소 방법 및 장치
PL3182708T3 (pl) * 2007-01-04 2019-07-31 Interdigital Madison Patent Holdings Sposoby i urządzenie dla informacji o wielu-widokach przenoszonych w składni wysokiego poziomu
CN101647279A (zh) * 2007-01-24 2010-02-10 Lg电子株式会社 用于处理视频信号的方法和装置
EP2130374A4 (en) * 2007-03-23 2011-03-02 Lg Electronics Inc METHOD AND ARRANGEMENT FOR DECODING / CODING A VIDEO SIGNAL
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
KR102044130B1 (ko) 2007-04-12 2019-11-12 돌비 인터네셔널 에이비 비디오 인코딩 및 디코딩의 타일링
JP5254565B2 (ja) * 2007-04-24 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラム
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
WO2008143747A2 (en) * 2007-05-16 2008-11-27 Thomson Licensing Methods and apparatus for the use of slice groups in decoding multi-view video coding (mvc) information
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
KR101460362B1 (ko) * 2007-06-25 2014-11-14 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
KR20080114482A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
US20100135388A1 (en) * 2007-06-28 2010-06-03 Thomson Licensing A Corporation SINGLE LOOP DECODING OF MULTI-VIEW CODED VIDEO ( amended
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US10298952B2 (en) * 2007-08-06 2019-05-21 Interdigital Madison Patent Holdings Methods and apparatus for motion skip move with multiple inter-view reference pictures
US20090060043A1 (en) * 2007-08-29 2009-03-05 Geert Nuyttens Multiviewer based on merging of output streams of spatio scalable codecs in a compressed domain
JP5027305B2 (ja) 2007-09-12 2012-09-19 デジタル ファウンテン， インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
US20110038424A1 (en) * 2007-10-05 2011-02-17 Jiancong Luo Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system
KR101345287B1 (ko) 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
KR20090099720A (ko) * 2008-03-18 2009-09-23 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8811499B2 (en) * 2008-04-10 2014-08-19 Imagine Communications Corp. Video multiviewer system permitting scrolling of multiple video windows and related methods
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
EP2332337A4 (en) * 2008-10-07 2014-01-01 Ericsson Telefon Ab L M MEDIA CONTAINER FILE
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
KR101619448B1 (ko) * 2008-11-18 2016-05-10 엘지전자 주식회사 영상 신호 처리 방법 및 장치
US20110057326A1 (en) * 2008-12-17 2011-03-10 Takayuki Kai Method for forming through electrode and semiconductor device
KR101364027B1 (ko) * 2008-12-18 2014-02-18 엘지전자 주식회사 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
KR101440184B1 (ko) 2009-01-19 2014-09-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 프로그램, 및 집적 회로
CN104702960B (zh) 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
CN104618708B (zh) 2009-01-28 2017-07-07 Lg电子株式会社 广播接收机及其视频数据处理方法
US8189666B2 (en) * 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
EP2398241A1 (en) * 2009-02-12 2011-12-21 Nippon Telegraph And Telephone Corporation Multi-view image encoding method, multi-view image decoding method, multi-view image encoding device, multi-view image decoding device, multi-view image encoding program, and multi-view image decoding program
US8270495B2 (en) * 2009-02-13 2012-09-18 Cisco Technology, Inc. Reduced bandwidth off-loading of entropy coding/decoding
EP2400759B1 (en) 2009-02-23 2014-08-27 Nippon Telegraph And Telephone Corporation Multi-view image encoding and decoding using localized illumination and color correction
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
JP4985884B2 (ja) * 2009-04-08 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP4957823B2 (ja) * 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
KR101619451B1 (ko) 2009-04-17 2016-05-10 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 장치
RU2550552C2 (ru) 2009-04-28 2015-05-10 Панасоник Корпорэйшн Способ декодирования изображений и устройство декодирования изображений
US8411746B2 (en) 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
KR101631270B1 (ko) * 2009-06-19 2016-06-16 삼성전자주식회사 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
EP2302933A1 (en) * 2009-09-17 2011-03-30 Mitsubishi Electric R&D Centre Europe B.V. Weighted motion compensation of video
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110129202A1 (en) * 2009-12-01 2011-06-02 Divx, Llc System and method for determining bit stream compatibility
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
KR101374812B1 (ko) * 2010-02-24 2014-03-18 니폰덴신뎅와 가부시키가이샤 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US9510009B2 (en) 2010-05-20 2016-11-29 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
JP5387520B2 (ja) * 2010-06-25 2014-01-15 ソニー株式会社 情報処理装置と情報処理方法
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
JP5392199B2 (ja) * 2010-07-09 2014-01-22 ソニー株式会社 画像処理装置および方法
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
EP2604036B1 (en) * 2010-08-11 2018-03-07 GE Video Compression, LLC Multi-view signal codec
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
MX2013003557A (es) 2010-10-05 2013-05-01 Gen Instrument Corp Codificacion y decodificacion utilizando seleccion de modelo adaptativo al contexto con escaneo en zigzag.
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
WO2012046239A2 (en) * 2010-10-06 2012-04-12 Nomad3D Sas Multiview 3d compression format and algorithms
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
GB2486692B (en) * 2010-12-22 2014-04-16 Canon Kk Method for encoding a video sequence and associated encoding device
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
US9215473B2 (en) * 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20120095611A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오 부호화/복호화 방법 및 장치
US8938001B1 (en) 2011-04-05 2015-01-20 Google Inc. Apparatus and method for coding using combinations
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
HUE056547T2 (hu) * 2011-06-28 2022-02-28 Lg Electronics Inc Eljárás mozgásvektor-prediktor levezetésére
US8879826B2 (en) * 2011-07-05 2014-11-04 Texas Instruments Incorporated Method, system and computer program product for switching between 2D and 3D coding of a video sequence of images
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US8891616B1 (en) 2011-07-27 2014-11-18 Google Inc. Method and apparatus for entropy encoding based on encoding cost
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
WO2013033458A2 (en) 2011-08-30 2013-03-07 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9781449B2 (en) * 2011-10-06 2017-10-03 Synopsys, Inc. Rate distortion optimization in image and video encoding
US9338463B2 (en) 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
US9712819B2 (en) 2011-10-12 2017-07-18 Lg Electronics Inc. Image encoding method and image decoding method
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US8787688B2 (en) * 2011-10-13 2014-07-22 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8855433B2 (en) * 2011-10-13 2014-10-07 Sharp Kabushiki Kaisha Tracking a reference picture based on a designated picture on an electronic device
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
TWI505696B (zh) 2011-11-08 2015-10-21 Samsung Electronics Co Ltd 解碼影像的方法
WO2013067942A1 (zh) * 2011-11-08 2013-05-16 华为技术有限公司 一种帧内预测方法和装置
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
EP2805511B1 (en) 2012-01-20 2019-03-06 Sun Patent Trust Methods and apparatus for encoding and decoding video using temporal motion vector prediction
IN2014DN06209A (ja) * 2012-01-31 2015-10-23 Sony Corp
EP2811743B1 (en) 2012-02-03 2021-03-03 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
CN107835428B (zh) 2012-03-02 2021-09-24 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
GB2500023A (en) * 2012-03-06 2013-09-11 Queen Mary & Westfield College Coding and Decoding a Video Signal Including Generating and Using a Modified Residual and/or Modified Prediction Signal
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US20130243085A1 (en) * 2012-03-15 2013-09-19 Samsung Electronics Co., Ltd. Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2013137697A1 (ko) * 2012-03-16 2013-09-19 엘지전자 주식회사 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
JP2013247651A (ja) * 2012-05-29 2013-12-09 Canon Inc 符号化装置、符号化方法およびプログラム
JP6000670B2 (ja) 2012-06-11 2016-10-05 キヤノン株式会社 画像処理装置、画像処理方法
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US10452715B2 (en) 2012-06-30 2019-10-22 Divx, Llc Systems and methods for compressing geotagged video
US20140003799A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and methods for decoding a video sequence encoded using predictions that include references to frames in reference segments from different video sequences
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
RU2647674C1 (ru) * 2012-07-02 2018-03-16 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования видео и способ и устройство для декодирования видео, определяющие список опорных изображений внешнего прогнозирования в зависимости от размера блока
RU2510944C2 (ru) * 2012-07-03 2014-04-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
IN2014KN03053A (ja) * 2012-07-11 2015-05-08 Lg Electronics Inc
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
WO2014015807A1 (en) * 2012-07-27 2014-01-30 Mediatek Inc. Method of constrain disparity vector derivation in 3d video coding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
WO2014029261A1 (en) * 2012-08-23 2014-02-27 Mediatek Inc. Method and apparatus of interlayer texture prediction
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
US9426462B2 (en) 2012-09-21 2016-08-23 Qualcomm Incorporated Indication and activation of parameter sets for video coding
AU2012391251B2 (en) 2012-09-29 2016-04-21 Huawei Technologies Co., Ltd. Method, apparatus and system for encoding and decoding video
WO2014058210A1 (ko) * 2012-10-08 2014-04-17 삼성전자 주식회사 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 부호화 방법 및 그 장치, 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 복호화 방법 및 그 장치
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
TW201415898A (zh) * 2012-10-09 2014-04-16 Sony Corp 影像處理裝置及方法
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
JP6278900B2 (ja) * 2012-12-26 2018-02-14 シャープ株式会社 画像復号装置
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
CN104104958B (zh) * 2013-04-08 2017-08-25 联发科技（新加坡）私人有限公司 图像解码方法及其图像解码装置
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
KR102105323B1 (ko) * 2013-04-15 2020-04-28 인텔렉추얼디스커버리 주식회사 객체 기반 적응적 밝기 보상 방법 및 장치
CN105393534A (zh) * 2013-06-18 2016-03-09 夏普株式会社 照度补偿装置、lm预测装置、图像解码装置、图像编码装置
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
FR3014278A1 (fr) * 2013-11-29 2015-06-05 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US10554967B2 (en) * 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
WO2016070363A1 (en) * 2014-11-05 2016-05-12 Mediatek Singapore Pte. Ltd. Merge with inter prediction offset
US9871967B2 (en) * 2015-01-22 2018-01-16 Huddly As Video transmission based on independently encoded background updates
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
PL412844A1 (pl) 2015-06-25 2017-01-02 Politechnika Poznańska System oraz sposób kodowania obszaru odsłoniętego w strumieniu danych sekwencji wielowidokowych
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
JP6781340B2 (ja) * 2016-09-22 2020-11-04 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおける照度補償基盤インター予測方法及び装置
US10681373B2 (en) * 2016-09-22 2020-06-09 Lg Electronics Inc. Inter-prediction method and device in image coding system
US10742979B2 (en) * 2016-12-21 2020-08-11 Arris Enterprises Llc Nonlinear local activity for adaptive quantization
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
EP3468198A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
CN111194553A (zh) 2017-10-05 2020-05-22 交互数字Vc控股公司 用于视频编码和解码中的自适应照明补偿的方法和装置
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
SG11202010578WA (en) * 2018-05-16 2020-11-27 Huawei Tech Co Ltd Video coding method and apparatus
CA3102615A1 (en) * 2018-07-06 2020-01-09 Mitsubishi Electric Corporation Bi-prediction video coding with adaptive weights
US11140418B2 (en) * 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
CN111263147B (zh) 2018-12-03 2023-02-14 华为技术有限公司 帧间预测方法和相关装置
CN111726598B (zh) * 2019-03-19 2022-09-16 浙江大学 图像处理方法和装置
CN110139112B (zh) * 2019-04-29 2022-04-05 暨南大学 一种基于jnd模型的视频编码方法
KR20210066282A (ko) 2019-11-28 2021-06-07 삼성전자주식회사 디스플레이 장치 및 그 제어방법
WO2021108913A1 (en) * 2019-12-04 2021-06-10 Studio Thinkwell Montréal Inc. Video system, method for calibrating the video system and method for capturing an image using the video system
KR102475334B1 (ko) * 2020-01-13 2022-12-07 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
US11375231B2 (en) * 2020-01-14 2022-06-28 Tencent America LLC Method and apparatus for video coding
US11412256B2 (en) * 2020-04-08 2022-08-09 Tencent America LLC Method and apparatus for video coding
US20230024288A1 (en) * 2021-07-13 2023-01-26 Tencent America LLC Feature-based multi-view representation and coding

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
IL112795A (en) 1994-03-04 2001-01-28 Astrazeneca Ab Derivatives of peptides as antithrombotic drugs, their preparation, and pharmaceutical preparations containing them
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
WO1998031152A2 (en) 1997-01-13 1998-07-16 Koninklijke Philips Electronics N.V. Embedding supplemental data in a digital video signal
JPH11252552A (ja) 1998-03-05 1999-09-17 Sony Corp ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置
US6167084A (en) 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
WO2001082608A1 (fr) * 2000-04-21 2001-11-01 Sony Corporation Appareil et procede de traitement des informations, programme et support enregistre
KR100375708B1 (ko) * 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
WO2003098939A1 (en) * 2002-05-22 2003-11-27 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
RU2329734C2 (ru) 2002-06-12 2008-07-27 Дзе Кока-Кола Компани Способ получения дисперсии, напиток и композиция
KR100968842B1 (ko) 2002-06-20 2010-07-28 소니 주식회사 복호 장치 및 복호 방법
EP1530370A4 (en) 2002-06-20 2008-12-03 Sony Corp DECODING DEVICE AND DECODING METHOD
KR20040001354A (ko) 2002-06-27 2004-01-07 주식회사 케이티 광역 무선랜 서비스 방법
KR100475060B1 (ko) 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR100751422B1 (ko) 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US7489342B2 (en) 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US7286689B2 (en) * 2003-06-07 2007-10-23 Hewlett-Packard Development Company, L.P. Motion estimation for compression of calibrated multi-view image sequences
US20060153466A1 (en) 2003-06-30 2006-07-13 Ye Jong C System and method for video processing using overcomplete wavelet coding and circular prediction mapping
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
CN1212014C (zh) 2003-08-18 2005-07-20 北京工业大学 基于时空域相关性快速运动估计的视频编码方法
WO2005055607A1 (en) * 2003-12-08 2005-06-16 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
KR100987775B1 (ko) 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
US7671893B2 (en) * 2004-07-27 2010-03-02 Microsoft Corp. System and method for interactive multi-view video
KR100584603B1 (ko) 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
US7924923B2 (en) 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
CN102263962A (zh) 2004-12-10 2011-11-30 韩国电子通信研究院 对多视图视频进行统一编码的装置
US7468745B2 (en) 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
US9131247B2 (en) * 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
CN101375593A (zh) 2006-01-12 2009-02-25 Lg电子株式会社 处理多视图视频
WO2007081177A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
KR100959538B1 (ko) 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US9456223B2 (en) 2006-10-18 2016-09-27 Thomson Licensing Local illumination and color compensation without explicit signaling
US20100135388A1 (en) * 2007-06-28 2010-06-03 Thomson Licensing A Corporation SINGLE LOOP DECODING OF MULTI-VIEW CODED VIDEO ( amended
US8665958B2 (en) * 2008-01-29 2014-03-04 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
US8130277B2 (en) * 2008-02-20 2012-03-06 Aricent Group Method and system for intelligent and efficient camera motion estimation for video stabilization

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425653B2 (en) 2010-12-13 2019-09-24 Electronics And Telecommunications Research Institute Method and device for determining reference unit
US11252424B2 (en) 2010-12-13 2022-02-15 Electronics And Telecommunications Research Institute Method and device for determining reference unit
US11843795B2 (en) 2010-12-13 2023-12-12 Electronics And Telecommunications Research Institute Method and device for determining reference unit

Also Published As

Publication number Publication date
DE202007019463U8 (de) 2013-03-21
JP2009536793A (ja) 2009-10-15
EP1977593A1 (en) 2008-10-08
KR100953646B1 (ko) 2010-04-21
JP2009523355A (ja) 2009-06-18
US7970221B2 (en) 2011-06-28
EP1982517A4 (en) 2010-06-16
EP1982518A4 (en) 2010-06-16
US20070177812A1 (en) 2007-08-02
US8154585B2 (en) 2012-04-10
US20070177811A1 (en) 2007-08-02
US20070177672A1 (en) 2007-08-02
US7817866B2 (en) 2010-10-19
EP1977593A4 (en) 2010-06-16
KR20090099589A (ko) 2009-09-22
KR100934676B1 (ko) 2009-12-31
US20070177810A1 (en) 2007-08-02
EP1982517A1 (en) 2008-10-22
US7817865B2 (en) 2010-10-19
WO2007081176A1 (en) 2007-07-19
KR20090099097A (ko) 2009-09-21
US8115804B2 (en) 2012-02-14
US7831102B2 (en) 2010-11-09
KR20090099591A (ko) 2009-09-22
KR20080094047A (ko) 2008-10-22
US8553073B2 (en) 2013-10-08
WO2007081177A1 (en) 2007-07-19
KR20090099588A (ko) 2009-09-22
KR100947234B1 (ko) 2010-03-12
KR100943912B1 (ko) 2010-03-03
WO2007081178A1 (en) 2007-07-19
JP5199123B2 (ja) 2013-05-15
US20090310676A1 (en) 2009-12-17
JP5199124B2 (ja) 2013-05-15
US20070177673A1 (en) 2007-08-02
KR100943913B1 (ko) 2010-03-03
US20120121015A1 (en) 2012-05-17
EP1982518A1 (en) 2008-10-22
JP2009523356A (ja) 2009-06-18
KR100943914B1 (ko) 2010-03-03
US20070177674A1 (en) 2007-08-02
KR100934677B1 (ko) 2009-12-31
DE202007019463U1 (de) 2012-10-09
KR20090099590A (ko) 2009-09-22
KR20090099098A (ko) 2009-09-21
US7856148B2 (en) 2010-12-21
KR100943915B1 (ko) 2010-03-03
KR20080094046A (ko) 2008-10-22
US20070177813A1 (en) 2007-08-02

Similar Documents

Publication Publication Date Title
JP5192393B2 (ja) 多視点ビデオの処理
US20220060736A1 (en) Method and an apparatus for processing a video signal
JP2023053028A (ja) インター予測に基づいて、ビデオ信号を処理するための方法及び装置
JP5021739B2 (ja) 信号処理方法及び装置
US20070177671A1 (en) Processing multiview video
JP7471328B2 (ja) エンコーダ、デコーダ、および対応する方法
US11909960B2 (en) Method and apparatus for processing video signal
CN101371571A (zh) 处理多视图视频
KR20080006494A (ko) 비디오 신호의 디코딩 방법 및 장치
KR101276847B1 (ko) 다시점 비디오의 처리
RU2810126C2 (ru) Способ и устройство прогнозирования изображений и считываемый компьютером носитель данных
RU2793825C1 (ru) Способ и устройство для хранения информации о движении
CN116647683A (zh) 量化处理方法和装置
KR20080029944A (ko) 비디오 신호 처리 방법 및 장치
JP2013179554A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130131

R150 Certificate of patent or registration of utility model

Ref document number: 5192393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees