JP2019017097A - ビデオ信号処理方法及び装置 - Google Patents

ビデオ信号処理方法及び装置 Download PDF

Info

Publication number
JP2019017097A
JP2019017097A JP2018180462A JP2018180462A JP2019017097A JP 2019017097 A JP2019017097 A JP 2019017097A JP 2018180462 A JP2018180462 A JP 2018180462A JP 2018180462 A JP2018180462 A JP 2018180462A JP 2019017097 A JP2019017097 A JP 2019017097A
Authority
JP
Japan
Prior art keywords
motion vector
current block
block
pixel
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018180462A
Other languages
English (en)
Other versions
JP6728288B2 (ja
Inventor
ムン ジョン，ビョン
Byong-Mun Jeong
ムン ジョン，ビョン
ウク パーク，スン
Sung Wook Park
ウク パーク，スン
ヨン パーク，ジュン
John Yong Park
ヨン パーク，ジュン
ウォン サン，ジェ
Jae-Won Sang
ウォン サン，ジェ
ウク パーク，ヒュン
Hyung Wook Park
ウク パーク，ヒュン
ホン リ，ジェ
Jae-Hon Lee
ホン リ，ジェ
ヨン リ，ジン
Jin-Yong Lee
ヨン リ，ジン
サン ジュン，ドン
Dong-Sang Jun
サン ジュン，ドン
ピャオ，インジ
Inge Piao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
LG Electronics Inc
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc, Korea Advanced Institute of Science and Technology KAIST filed Critical LG Electronics Inc
Publication of JP2019017097A publication Critical patent/JP2019017097A/ja
Application granted granted Critical
Publication of JP6728288B2 publication Critical patent/JP6728288B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

【課題】多様な動きベクトルプレディクタ候補を用いることによって、動きベクトル予測の正確度を増加させるビデオ信号処理方法及び装置を提供する。【解決手段】ビデオ信号の処理方法は、動きベクトルプレディクタ（ｍｖｐ）情報及び動きベクトルの差値を含むビデオ信号を受信し、空間的プレディクタ及び時間的プレディクタを用いて動きベクトルプレディクタ候補群セットを決定し、動きベクトルプレディクタ情報を用いて動きベクトルプレディクタを決定し、動きベクトルプレディクタ及び動きベクトルの差値を用いて現在ブロックの動き補償を行うことを含む。動きベクトルプレディクタは、動きベクトルプレディクタ候補群セットを用いて生成される。【選択図】図１７

Description

本発明は、ビデオ信号の処理方法及び装置に関するもので、より詳細には、ビデオ信号をエンコーディング又はデコーディングするビデオ信号処理方法及び装置に関するものである。
圧縮符号化は、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納するための一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮という。一般的に、ビデオ映像は、空間的重複性及び時間的重複性を有することを特徴とする。
〔先行技術文献〕
〔非特許文献〕
〔非特許文献１〕「Section 8.4, Inter prediction process」（H.264/AVC、2005年版）
しかしながら、前記のような空間的重複性及び時間的重複性を充分に除去しない場合、ビデオ信号を符号化するにおいて圧縮率が低下し、空間的重複性及び時間的重複性を過度に除去する場合、ビデオ信号をデコーディングするにおいて必要な情報を生成できないので、復元率が悪くなる。
本発明は、前記のような問題を解決するためになされたもので、画面の境界領域に位置する各ブロックに制限されない９個のイントラ予測モードを全て用いることによって圧縮効率を増加させるビデオ信号処理方法及び装置を提供することを目的とする。
本発明の他の目的は、多様な動きベクトルプレディクタ候補を用いることによって、動きベクトル予測の正確度を増加させるビデオ信号処理方法及び装置を提供することである。
前記のような目的を達成するために本発明に係るビデオ信号処理方法は、予測モード情報、補間情報及び現在ブロックのレジデュアルを受信し、前記補間情報と周辺ブロックを用いて補間ピクセルを復元し、前記補間ピクセル、前記予測モード情報及び前記レジデュアルを用いて現在ブロックを復元することを含み、前記補間情報は、前記現在ブロックの位置に基づいて生成される。
本発明によれば、前記補間情報は、前記補間ピクセルを生成するために用いられた前記周辺ブロックのピクセル情報及び前記補間ピクセルを生成する方法に関する情報を含むことができる。
本発明によれば、前記補間情報は、前記現在ブロックが画面の境界領域に位置するかどうかを示すフラグ情報をさらに含むことができる。
本発明によれば、ピクセル予測情報及びレジデュアルを含むビデオ信号を受信し、前記ピクセル予測情報及び前記レジデュアルを用いて現在ブロックの一つのピクセルを復元し、前記復元されたピクセル、前記ピクセル予測情報及び前記レジデュアルを用いて隣接ピクセルを復元することを含み、前記ピクセル予測情報は、隣接ピクセルのイントラ予測に用いられた予測ピクセル、予測方法及び予測方向を含み、前記隣接ピクセルは、現在ブロックに含まれるピクセルで、現在ブロックに含まれる他の各ピクセルを用いて予測されたものである。
本発明によれば、前記予測ピクセルは、前記現在ブロック又は復元された周辺ブロックに含まれるピクセルである。
本発明によれば、前記予測方法は、各隣接ピクセルの平均値を用いる方法及び方向性によって予測する方法である。
本発明によれば、前記方向性によって予測する方法は、前記現在ピクセルを中心にして各方向で最も近い二つのピクセルの差を計算し、前記差が最も小さい方向の二つのピクセルの平均値を用いて予測することをさらに含む。
本発明によれば、前記予測方向は、ＤＣモードを除いたイントラ予測モードの方向のうち一つで、現在ピクセルを中心にして各方向で前記現在ピクセルと最も近い二つのピクセルの差が最も小さい値を有する方向である。
本発明の他の側面に係るビデオ信号の処理方法によれば、動きベクトルプレディクタ情報及び動きベクトルの差値を含むビデオ信号を受信し、空間的プレディクタ及び時間的プレディクタを用いて動きベクトルプレディクタ候補群セットを決定し、前記動きベクトルプレディクタ情報を用いて動きベクトルプレディクタを決定し、前記動きベクトルプレディクタ及び前記動きベクトルの差値を用いて現在ブロックの動き補償を行うことを含み、前記動きベクトルプレディクタは、前記動きベクトルプレディクタ候補群セットを用いて生成される。
本発明によれば、前記動きベクトルプレディクタ候補群セットを決定するのは、現在ブロックがスキップモードを採択するかどうかによって決定される。
本発明によれば、前記スキップモードは、８＊８ブロック、８＊１６ブロック、１６＊８ブロック及び１６＊１６ブロックのうちいずれか一つを単位ブロックとして含む。
本発明によれば、前記現在ブロックがスキップモードである場合、前記動きベクトルプレディクタ候補群セットを決定するのは、前記空間的プレディクタのｘ成分と前記時間的プレディクタのｘ成分及び前記空間的プレディクタのｙ成分と前記空間的プレディクタのｙ成分の一致可否に基づいている。
本発明のビデオ信号処理方法によれば、前記現在ブロックがスキップモードでない場合、前記動きベクトルプレディクタ候補群セットを決定するのは、前記空間的プレディクタのｘ成分と前記時間的プレディクタのｘ成分との間の距離及び前記空間的プレディクタのｙ成分と前記空間的プレディクタのｙ成分との間の距離に基づいている。
本発明によれば、前記動きベクトルプレディクタ情報は、前記現在ブロックの動きベクトル予測時に用いられた前記動きベクトルプレディクタに関するものを表すことができる。
本発明によれば、前記動きベクトルプレディクタ候補群セットを決定する前に、空間的プレディクタ及び時間的プレディクタを用いて動きベクトルプレディクタ決定方法を選択することをさらに含むことができる。
本発明によれば、前記動きベクトルプレディクタ決定方法を選択するのは、前記空間的プレディクタ及び前記時間的プレディクタの大きさに基づいて決定される。
本発明によれば、前記動きベクトルプレディクタ候補群セットを決定する前に、以前の画面の動きベクトル及び現在ブロックのタイプに基づいて動きベクトルプレディクタ決定方法を選択することをさらに含むことができる。
本発明によれば、前記以前の画面の動きベクトル大きさの平均値が０〜２である場合、前記空間的プレディクタ及び前記時間的プレディクタを含む前記動きベクトルプレディクタ候補群セットを決定することができる。
本発明によれば、前記以前の画面の動きベクトル大きさの平均値が２を超え、前記現在ブロックのタイプがスキップモード又は１６＊１６ブロックである場合、前記空間的プレディクタ及び前記時間的プレディクタを含む前記動きベクトルプレディクタ候補群セットを決定することができる。
本発明によれば、前記動きベクトルプレディクタを決定するのは、現在ブロックと動き推定を行うブロックとの距離を考慮し、スケールされた動きベクトルプレディクタを生成することをさらに含むことができる。
本発明の更に他の側面に係るビデオ信号の処理装置によれば、予測モード情報、補間情報及び現在ブロックのレジデュアルを含むビデオ信号を受信するビデオ信号受信部と、前記補間情報及び周辺ブロックを用いて補間ピクセルを復元する補間ピクセル復元部と、前記補間ピクセル、前記予測モード情報及び前記レジデュアルを用いて現在ブロックを復元する現在ブロック復元部とを含み、前記補間ピクセル復元部は、前記現在ブロックの位置に基づいて生成された前記補間情報を用いる。
本発明は、次のような効果と利点を提供する。
第一に、本発明のビデオ信号処理方法は、画面の境界領域に位置する各ブロックに制限されない９個のイントラ予測モードを全て用いることによって圧縮効率を増加させることができる。
第二に、本発明のビデオ信号処理方法は、現在ブロックが周辺ブロックのピクセルのみならず、現在ブロック内の隣接ピクセルをイントラ予測に用いることによって予測の正確度及びコーディング効率を高めることができる。
第三に、本発明のビデオ信号処理方法は、イントラスキップモードを用いることによってビット率を減少させることができる。
第四に、本発明のビデオ信号処理方法は、分離イントラ予測モードを用いることによって、予測ブロックが現在ブロックの上部及び左側に位置するブロックに限定されないので、現在フレームの正確な予測を可能にすることができる。
第五に、本発明のビデオ信号処理方法は、多様な動きベクトルプレディクタ候補を用いることによって、現在ブロックの動きベクトルと類似したプレディクタを採択して正確な動き予測を可能にすることができる。
第六に、本発明のビデオ信号処理方法は、現在ブロックと以前のフレームとの類似性及び現在ブロックのタイプによって動きベクトルプレディクタ候補を決定することによって、現在ブロックの動き予測の正確性を増加させることができる。
第七に、本発明のビデオ信号処理方法は、現在ブロックのレファレンスインデックスが示すフレームと周辺ブロックのレファレンスインデックスが示すフレームとの間の距離を考慮して動きベクトルプレディクタを決定することによって、決定された動きベクトルプレディクタと現在ブロックの動きベクトルとがより類似した値を有するようになり、予測の正確度を増加させることができる。
第八に、本発明のビデオ信号処理方法は、部分スキップモードを用いることによってスキップモードがさらに活性化され、コーディング効率を高めることができ、従来のスキップモードより多くの動きベクトルを用いることによって現在ブロックの復元率を高めることができる。
第九に、本発明のビデオ信号処理方法は、８＊８空間的ダイレクトモードを用いることによって、１６＊１６ブロック内で二つ以上の動きベクトルを用いることができ、現在ブロックが境界領域に位置したり、小さい物体が動く場合よりも高い復元率を有することができる。
第十に、本発明のビデオ信号処理方法は、離散コサイン変換前に、列又は行で少ないレジデュアル値を有するブロックが左側又は上側に位置するように各レジデュアル信号を再配列し、離散コサイン変換を行う場合、各離散コサイン変換係数が左側（直流成分の近く）に集まって分布するようになるので、より高い圧縮効果を得ることができる。
本発明の一実施例に係るビデオ信号のエンコーディング装置を示す概略的なブロック図である。 本発明の一実施例に係るビデオ信号のデコーディング装置を示す概略的なブロック図である。 本発明の第１の実施例に係る拡張予測モードに使用される周辺ピクセル領域を示す図である。 本発明の第１の実施例に係る拡張予測モードを用いるために補間された周辺ピクセルを示す図である。 本発明の第１の実施例に係る拡張予測モードを用いるために補間された周辺ピクセルを示す図である。 本発明の第１の実施例に係る拡張予測モードを用いるために補間された周辺ピクセルを示す図である。 本発明の第１の実施例に係る拡張予測モードを採用したビデオ信号のエンコーディング／デコーディング順序を示すフローチャートである。 本発明の第１の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部を示すブロック図である。 本発明の第１の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部を示すブロック図である。 本発明の第２の実施例に係るフレーム―ピクセル予測モードを行う順序を示すフローチャートである。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。 本発明の第３の実施例に係るビデオ映像を示す図である。 本発明の第３の実施例に係るビデオ信号のエンコーディング及びデコーディング順序を示すフローチャートである。 本発明の第４の実施例に係るビデオ信号のエンコーディング及びデコーディング順序を示すフローチャートである。 本発明の第４の実施例に係る分離イントラ予測モードを示すブロックの各例である。 本発明の第４の実施例に係る分離イントラ予測モードを示すブロックの各例である。 本発明の第４の実施例に係る分離イントラ予測モードを示すブロックの各例である。 本発明の第５の実施例に係るビデオ信号のエンコーディング装置を示す図である。 本発明の第５の実施例に係るビデオ信号のデコーディング装置を示す図である。 本発明の第５の実施例に係る現在ブロックの動きベクトル予測のために用いられる現在フレーム及び以前のフレームの動きベクトルを示す図である。 本発明の第５の実施例に係る動きベクトルプレディクタ決定法で可能な動きベクトルプレディクタの組み合わせを示す図である。 本発明の第５の実施例に係る動きベクトルプレディクタ決定法で可能な動きベクトルプレディクタの組み合わせを示す図である。 本発明の第５の実施例に係る動きベクトルプレディクタの決定及び動き補償の順序を示すフローチャートである。 本発明の第６の実施例に係る動きベクトルプレディクタ候補決定方法を示す図である。 本発明の第６の実施例による場合のＢＤレート圧縮率を示すグラフである。 本発明の第７の実施例に係るスケールされた動きベクトルプレディクタを決定する方法を示す図である。 本発明の第７の実施例に係るスケールされた動きベクトルプレディクタを決定する方法を示す図である。 本発明の第８の実施例の部分スキップモードで用いるブロックサイズを示す図である。 従来の空間的ダイレクトモードを採択したP８＊８ブロックの動きベクトルを示す図である。 本発明の第９の実施例に係る８＊８ブロックの動きベクトルを示す図である。 一般的なＤＣＴ方法を行うことを示す図である。 本発明の第１０の実施例に係る離散コサイン再配列変換方法を示す図である。
以下、添付の図面を参照して本発明の好適な実施例を詳細に説明する。ここで、本明細書及び特許請求の範囲に使用された用語や単語は、通常的又は辞典的な意味に限定して解釈してはならず、発明者が自身の発明を最善の方法で説明するために用語の概念を適切に定義できるとの原則に立脚し、本発明の技術的思想に符合する意味と概念に解釈しなければならない。したがって、本明細書に記載された実施例と図面に示した構成は、本発明の最も望ましい一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものではないので、本出願時点でこれらに取って代わる多様な均等物と変形例があり得ることを理解しなければならない。
特に、本発明において、コーディングは、エンコーディング及びデコーディングを全て含む概念として理解しなければならず、周辺ブロックは、デコーディングが既に完了した現在ブロックの周辺に位置するブロックと理解しなければならない。
図１は、本発明の一実施例に係るビデオ信号エンコーディング装置１００の概略的なブロック図である。図１を参照すれば、本発明の一実施例に係るビデオ信号エンコーディング装置１００は、変換部１１０、量子化部１１５、コーディング制御部１２０、逆量子化部１３０、逆変換部１３５、フィルタリング部１４０、フレーム格納部１４５、動き推定部１５０、インター予測部１６０、イントラ予測部１７０及びエントロピーコーディング部１８０を含む。
変換部１１０は、画素値を変換して変換係数値を獲得するが、このとき、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又はウェーブレット変換方式が使用される。特に、離散コサイン変換は、入力された映像信号を８＊８ブロックに分け、少ない数の映像信号に信号を集中させることによって圧縮効率を増加させるが、本発明で提案する離散コサイン変換の実施例については、後で図２３及び図２４を参考にして説明することにする。量子化部１１５は、変換部１１０によって出力された変換係数値を量子化する。コーディング制御部１２０は、特定ブロック又はフレームの画面内符号化を行うか、又は画面間符号化を行うかを制御する。逆量子化部１３０及び逆変換部１３５は、変換係数値を逆量子化し、逆量子化された変換係数値を用いて元の画素値を復元する。
フィルタリング部１４０は、ブロック歪曲現象を減少させるために、コーディングされたそれぞれのマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたピクチャの画質を向上させる。フィルタリング過程の選択は、境界強さと境界周囲のイメージサンプルの変化によって左右される。フィルタリングを経たピクチャは、出力され、参照ピクチャとして用いるためにフレーム格納部１４５に格納される。
動き推定部１５０は、フレーム格納部１４５に格納された参照ピクチャを用いて、参照ピクチャのうち現在ブロックと最も類似した参照ブロックを探索する。動き推定部１５０は、探索された参照ブロックの位置情報などをエントロピーコーディング部１８０に伝達し、これをビットストリームに含ませることができる。インター予測部１６０は、参照ピクチャを用いて現在ピクチャの予測を行い、画面間符号化情報をエントロピーコーディング部１８０に伝達する。ここで、画面間符号化情報は、現在ブロックと予測されたブロック（プレディクタ）との差であるレジデュアルを含む。インター予測部１６０に対する第４の実施例〜第９の実施例は、後で図面を参照して具体的に説明することにする。
また、イントラ予測部１７０は、現在ピクチャ内のデコーディングされたピクセルから画面内予測を行い、画面内符号化情報をエントロピーコーディング部１８０に伝達する。より詳細には、現在ピクチャ内で周辺ブロックのピクセルを用いて現在ブロックを予測し、現在ブロックと予測された現在ブロックとの差であるレジデュアルを生成する。イントラ予測部１７０に対する第１の実施例〜第３の実施例は、図３Ａ〜図１１Ｃを参照して具体的に説明することにする。
エントロピーコーディング部１８０は、量子化された変換係数、画面間符号化情報、画面内符号化情報及び動き推定部１６０から入力された参照ブロック情報などのエントロピーコーディングを行い、ビデオ信号ビットストリームを生成する。ここで、エントロピーコーディング部１８０では、可変長さコーディング（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）方式と算術コーディングが使用される。可変長さコーディング（ＶＬＣ）方式は、入力される各シンボルを連続的なコードワードに変換するが、コードワードの長さは可変的である。例えば、頻繁に発生する各シンボルを短いコードワードとして表現し、頻繁に発生しない各シンボルを長いコードワードとして表現する。可変長さコーディング方式として、コンテキスト基盤の適応型可変長さコーディング（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ―ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）方式が使用される。算術コーディングは、連続的な各データシンボルを一つの素数に変換するが、算術コーディングは、各シンボルを表現するために必要な最適の素数ビットを得ることができる。算術コーディングとして、コンテキストベース適応型２値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ―ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅ）が用いられる。
図２は、本発明の一実施例に係るビデオ信号デコーディング装置を示す概略的なブロック図である。図２を参照すれば、本発明のビデオ信号デコーディング装置は、大きくエントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２２５、フィルタリング部２３０、フレーム格納部２４０、インター予測部２５０及びイントラ予測部２６０を含む。
エントロピーデコーディング部２１０は、ビデオ信号ビットストリームのエントロピーデコーディングを行い、各マクロブロックの変換係数、動きベクトルなどを抽出する。逆量子化部２２０は、エントロピーデコーディングされた変換係数を逆量子化し、逆変換部２２５は、逆量子化された変換係数を用いて元の画素値を復元する。一方、フィルタリング部２３０は、ブロック歪曲現象を減少させるためにコーディングされたそれぞれのマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたピクチャの画質を向上させる。フィルタリングを経たピクチャは、出力され、参照ピクチャとして用いるためにフレーム格納部２４０に格納される。インター予測部２５０は、フレーム格納部２４０に格納された参照ピクチャを用いて現在ピクチャを予測するが、このとき、図１を参照して説明したように、参照ピクチャを用いるようになる。また、エントロピーデコーディング部２１０から伝達された画面間予測情報（参照ピクチャインデックス情報、動きベクトル情報など）を用いることができる。
一方、イントラ予測部２６０では、現在ピクチャ内のデコーディングされたピクセルから画面内予測を行うようになる。イントラ予測部２６５又はインター予測部２６０から出力された予測値及び逆変換部２２５から出力された画素値が加算され、復元されたビデオフレームが生成される。
以下、本発明では、まず、エンコーディング装置のイントラ予測部１７０及びインター予測部１６０、デコーディング装置のイントラ予測部２６０及びインター予測部２５０でビデオ信号を効率的にデコーディングするための新しい各実施例を提示する。まず、イントラ予測部１７０、２６０の第１の実施例〜第４の実施例について説明した後、インター予測部１６０、２５０の第５の実施例〜第９の実施例について説明する。第１の実施例は図３〜図６Ｂを参照して説明し、第２の実施例は図７及び図８Ｂを参照して説明し、第３の実施例は図９及び図１０を参照して説明し、第４の実施例は図１１〜図１２を参照して説明する。
図３は、本発明の第１の実施例の拡張予測モードが採用される周辺ピクセル領域を示す図で、図４Ａ〜図４Ｃは、拡張予測モードを用いるために補間された周辺ピクセルを示す図である。また、図５は、拡張予測モードを採用したビデオ信号のエンコーディング／デコーディング順序を示すフローチャートである。図６Ａは、ビデオ信号エンコーディング装置のうちイントラ予測部の第１の実施例の構成を示す図で、図６Ｂは、ビデオ信号デコーディング装置のうちイントラ予測部の第１の実施例の構成を示す図である。
まず、図３を参照すれば、一つのフレームは、複数個のイントラブロック単位の集合で構成される。前記単位ブロックは、イントラ４＊４ブロックであったり、イントラ８＊８又はイントラ１６＊１６である。一般的に、イントラＮ＊Ｎブロックは、９個の予測モードを用いてイントラ予測を行うことができ、前記予測モードは、現在ブロックの左側に位置する４個のピクセル及び上端の８個のピクセルを用いて予測を行う。しかし、図３に示すように、現在ブロックが境界領域に位置する場合、イントラ予測のために用いられるピクセルが存在しないことがある。このような境界領域は、上端部のうち最も左側のブロック（Ａ）、上端部（Ｂ）、左側部（Ｃ）及び右側部（Ｄ）である。
フレームの上端部のうち最も左側のブロック（Ａ）は、予測を用いる現在ブロックの左側ピクセル及び上部ピクセルが全て存在しないので、９個の予測モードのうち平均値を用いるＤＣモード（モード２）のみを採択することができる。上端部（Ｂ）は、現在ブロックの上部ピクセルが存在しないので、予測モード１（Ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎ）、モード２（ＤＣ）及びモード８（Ｈｏｒｉｚｏｎｔａｌ Ｕｐ ｄｉｒｅｃｔｉｏｎ）のみを用いることができ、左側部（Ｃ）は、モード０（Ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎ）、モード２（ＤＣ）、モード３（Ｄｉａｇｏｎａｌ Ｄｏｗｎ Ｌｅｆｔ）及びモード７（Ｖｅｒｔｉｃａｌ Ｌｅｆｔ）のみを用いることができる。また、右側部（Ｄ）に該当するブロックは、モード３（Ｄｉａｇｏｎａｌ Ｄｏｗｎ Ｌｅｆｔ）及びモード７（Ｖｅｒｔｉｃａｌ Ｌｅｆｔ）を除いた６個の予測モードのみを用いることができる。
このように、境界領域に位置する各ブロック（Ａ、Ｂ、Ｃ、Ｄ）は、利用可能な予測モードに制限を有するが、現在のエントロピーコーディング部１８０、２１０で可変長さ方式（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）によってコーディングされる場合、無条件に最大４ビットが伝送されるように制限されている。したがって、空いている予測モードの数だけビット損失が発生するようになる。
本発明の第１の実施例では、現在ブロックが境界領域（Ａ、Ｂ、Ｃ、Ｄ）に位置する場合、現在存在する周辺ピクセルを用いて空いている周辺ピクセルを補間することをさらに含む。したがって、境界領域に位置する各ブロックに制限されない９個の予測モードを全て用いることができ、このような予測モードを拡張イントラ予測モードという。
以下では、本発明の拡張イントラ予測モードを用いるために、境界領域に位置するブロックの周辺ピクセルを補間する方法を説明する。
現在ブロックが上端部のうち最も左側のブロック（Ａ）である場合、空いているモード０、１、３〜７にそれぞれ異なるＤＣ予測値を代入して伝送する。例えば、現在モード２で有する１２８のＤＣ予測値の他に、モード０には１０８のＤＣ予測値を代入し、モード１には１１８を代入し、モード３には１３８を代入し、モード４には１４８を代入し、モード５には９８を代入し、モード６には８８を代入し、モード７には１５８を代入し、モード８には１６８を代入して伝送することによって、最も良いコーディング効率及び復元率を有する値を選択できるようになる。
現在ブロックが上端部（Ｂ）、左側部（Ｃ）及び右側部（Ｄ）に位置する場合、補間された周辺ピクセルについて図４Ａ〜図４Ｃに示す。
まず、図４Ａは、現在ブロックが上端部（Ｂ）に位置する場合の補間されたピクセルを示した図である。図４Ａを参照すれば、現在ブロックの左側に位置するＩ、Ｊ、Ｋ、Ｌピクセルは、Ａブロックに属するピクセルとして存在するが、上部のｘ、ａ〜ｈピクセルは元々存在しない。したがって、前に存在したＩ、Ｊ、Ｋ、Ｌピクセルを用いて上部のｘ、ａ〜ｈピクセルを補間することによって各ピクセルを生成することができる。
ｘ、ａ〜ｈピクセルを補間するために多様な方法を用いることができる。例えば、ｘ、ａ〜ｈピクセルにＩピクセルをそのまま補間して用いることができ、Ｉ、Ｊピクセルの平均値をｘ、ａ〜ｈピクセルに補間することができる。また、Ｉ〜Ｌピクセル値をａ〜ｄピクセルとｅ〜ｈピクセル値にそのまま反映し、Ｉ〜Ｌピクセルの平均値をｘピクセルに補間する方法を採択することができる。ｘ、ａ〜ｈピクセルを補間する方法は、前記I〜Ｌピクセルを用いる方法に限定されず、復元されたＡブロック（現在ブロックの左側ブロック）に残りのピクセルを用いることもできる。
まず、図４Ｂは、現在ブロックが左側部（Ｂ）に位置する場合の補間されたピクセルを示した図である。図４Ｂを参照すれば、現在ブロックの上部に位置するａ〜ｈピクセルは、復元されたＡ、Ｂブロックに属するピクセルとして存在するが、左側のｘ、Ｉ〜Ｌピクセルは元々存在しないピクセルである。したがって、前に存在したａ〜ｈピクセルを用いて左側のｘ、Ｉ〜Ｌピクセルを補間することによって各ピクセルを生成することができる。
前記ｘピクセル及びＩ〜Ｌピクセルを生成するために、例えば、ａピクセルをｘピクセル及びＩ〜Ｌピクセルにそのまま補間して用いることができ、ａ〜ｄピクセルの平均値をｘピクセル及びＩ〜Ｌピクセルに補間することができ、ａ〜ｄピクセルの平均値をｘピクセルに補間し、ａ〜ｄピクセル値をＩ〜Ｌピクセル値にそのまま反映することができる。しかし、前記補間方法は、これに限定されず、復元されたＡブロック及びＢブロックの残りのピクセルを用いることができる。
まず、図４Ｃは、現在ブロックが右側部（Ｃ）に位置する場合の補間されたピクセルを示した図である。図４Ｃを参照すれば、現在ブロックの上部及び左側に位置するａ〜ｈピクセルとＩ〜Ｌピクセルは、復元されたＡ、Ｂブロックに属するピクセルとして存在するが、上部右側のｅ〜ｈピクセルは元々存在しないピクセルである。したがって、前に存在したａ〜ｈピクセル及びＩ〜Ｌピクセルを用いてｅ〜ｈピクセルを補間することによって各ピクセルを生成することができる。
前記ｅ〜ｈピクセルを生成するために多様な補間方法を用いることができる。例えば、ａ〜ｄピクセルの平均値をｅ〜ｈピクセル値として用いることができ、Ｉ〜Ｌピクセルの平均値をｅ〜ｈピクセル値として用いることができ、ｄピクセル値をｅ〜ｈピクセル値として用いることもできる。前記補間方法は、これに限定されず、復元されたＡブロック及びＢブロックの残りのピクセルを用いることができる。
図５及び図６Ａを参照すれば、ビデオ信号のエンコーディング装置のうちイントラ予測部１７０は、補間決定部６１０、補間ブロック生成部６２０及び予測モード決定部６３０を含む。まず、現在ブロックに対する情報が入力されれば、補間決定部６１０は、現在ブロックが境界領域（画面上端部のうち最も左側ブロック、上端部、左側部、右側部）に該当するかどうかを判断し、補間を行うかどうかを決定する。現在ブロックが境界領域に該当するかどうかは、現在ブロックの位置情報によって判断する（Ｓ５１０段階）。例えば、現在ブロックの位置は、現在ブロックを構成するピクセル値を用いて知ることができる。一方、補間決定部５１０は、補間を行うことが決定される場合、現在ブロックの周辺ピクセルが補間を用いて生成されたかどうかを示す補間情報を生成し、これをビットストリームに含ませることができる。前記補間情報は、現在ブロックが境界領域のうちいずれの位置に存在するかを示すことができ、補間が行われたかどうかを示すこともでき、例えば、フラグ形態で存在することもできる。
補間ピクセル生成部６２０は、現在ブロックの位置情報を用いて現在ブロックが境界領域に該当すると判断される場合、周辺ブロック及び現在ブロックに対する情報を受け、周辺ブロックのピクセルを用いて補間ピクセルを生成する（Ｓ５２０段階）。補間ブロック生成部６２０で元々存在しない補間ピクセルを生成する方法は、図４Ａ〜図４Ｃを参照して説明した方法と同一である。
補間決定部６１０で現在ブロックが境界領域に位置しないと判断される場合、現在ブロックのイントラ予測のための周辺ピクセルが全て存在するので、現在ブロックに対する情報は予測モード決定部６３０に入力される。
補間を行うことによって、現在ブロックの全ての周辺ピクセルが生成された後、周辺ブロックに対する情報及び現在ブロックに対する情報は予測モード決定部６３０に入力される。予測モード決定部６３０は、補間された各周辺ピクセルを用いて現在ブロックの９個のイントラ予測を行った後、予測モードを決定する（Ｓ５３０段階）。また、決定された予測モードによって予測されたブロック（プレディクタ）と現在ブロックとの差であるレジデュアルを生成し、予測モード情報、レジデュアル及び前記のように生成された補間情報をビットストリームに含ませてデコーディング装置に伝送する（Ｓ５４０段階）。
図５及び図６Ｂを参照すれば、デコーディング装置（のエントロピーデコーディング部）は、予測モード情報、補間情報及びレジデュアルを受信する（Ｓ５５０段階）。その後、デコーディング装置のイントラ予測部２６０の補間ブロック復元部６４０は、受信された補間情報及び周辺ブロックを用いて補間ブロックを復元する（Ｓ５６０段階）。デコーディング装置の補間ブロックを復元する段階は、図４Ａ〜図４Ｃを参照して説明した通りである。
現在ブロック復元部６５０は、Ｓ５６０段階で生成された補間ブロック及びＳ５５０で受信された予測モード情報を用いて現在ブロックのイントラ予測を生成し（Ｓ５７０段階）、前記イントラ予測及び受信されたレジデュアルを用いて現在ブロックを復元する（Ｓ５８０段階）。
このように、本発明の第１の実施例は、周辺ピクセルを補間して現在ブロックのイントラ予測に用いることによって、現在ブロックが境界領域に位置するとしても、イントラ予測を用いてコーディングすることができる。
また、本発明の第２の実施例は、イントラ予測を用いて現在フレームを復元するにおいて、ブロック単位としてジグザグ方向に復元するのとは異なり、現在フレームを構成する複数個のブロックが同時にピクセル単位で復元される新しいイントラ予測モードを提案する。すなわち、現在フレームで左側上端に位置するブロックのイントラ予測を行った後、右側ブロックのイントラ予測を順次進行するのでなく、現在フレームを構成する複数個のブロックで既に設定された順序によって各ピクセルのイントラ予測を順次行う。このような現在フレームのイントラ予測方法をフレーム―ピクセル予測モードといい、これについては図７〜図８Ｐを参照して詳細に説明する。
図７は、本発明の第２の実施例に係るフレーム―ピクセル予測モードを行う順序を示すフローチャートである。図７に示すように、現在フレームがフレーム―ピクセル予測モードを採択する場合、現在ブロックは、まず、復元された以前のフレームに位置する周辺ブロックを用いて現在ブロックの第１のピクセルを予測する（Ｓ７１０段階）。このとき、現在ブロックで最も先にイントラ予測が行われる第１のピクセルは、現在ブロックで最も右側下端に位置するピクセルであるが、これに限定されることはない。その後、第１のピクセルを用いて隣接ピクセルのイントラ予測を行い、ピクセル予測情報及びレジデュアルを生成する（Ｓ７２０段階）。前記ピクセル予測情報（以下、ＰＰＩという）は、隣接ピクセルのイントラ予測に用いられた予測ピクセル（プレディクタ）、予測方法及び予測方向のうちいずれか一つ以上を含むことができる。また、レジデュアルは、ピクセル予測情報によって予測されたピクセル（プレディクタ）と現在ピクセルとの差であり、ピクセル単位で生成される。
隣接ピクセルのイントラ予測が行われれば、本発明のエンコーディング装置１００のイントラ予測部１７０及びデコーディング装置のイントラ予測部２６０は、現在ブロックのイントラ予測が全て完了したかどうかを判断し（Ｓ７３０段階）、現在ブロックのイントラ予測が全て完了した場合、Ｓ７２０段階で生成されたピクセル予測情報（ＰＰＩ）及びレジデュアルを伝送する（Ｓ７４０段階）。
その一方、現在ブロックのイントラ予測が全て完了していない場合、既に予測された各ピクセルを用いて隣接ピクセルを予測し、ピクセル予測情報（ＰＰＩ）及びレジデュアルを生成する段階を反復する。このとき、予測が完了したピクセルを用いて予測される各隣接ピクセルは、予測順序によって第２のピクセル、第３のピクセル、…、第Ｎのピクセルという。前記第１のピクセル〜第Ｎのピクセルのイントラ予測を行う方法については、後で図８Ａ〜図８Ｐを参照して詳細に説明する。
本発明の第２の実施例に係るデコーディング装置のインター予測部２６０は、まず、ピクセル予測情報（ＰＰＩ）及びレジデュアルを受信し（Ｓ７５０段階）、受信されたピクセル予測情報（ＰＰＩ）及びレジデュアルを用いて現在ブロックの第１のピクセルを復元する（Ｓ７６０段階）。前記第１のピクセルの復元のために用いられるレジデュアルは、他のピクセルとは異なり、以前のフレームに位置するピクセルと第１のピクセルとの差値からなる。
その後、復元された第１のピクセル、ピクセル予測情報及びレジデュアルを用いて第２のピクセルを復元し（Ｓ７７０段階）、現在ブロックの復元が完了したかどうかを判断した後（Ｓ７８０段階）、現在ブロックの復元が完了していない場合、復元された第１のピクセル、第２のピクセル、ピクセル予測情報及びレジデュアルを用いて再び第３のピクセルを復元し、これら各段階は、現在ブロックの復元が完了するまで継続的に行われる。本発明の第２の実施例に係るエンコーディング装置及びデコーディング装置のイントラ予測部１７０、２６０で現在ブロックを予測及び復元する方法については、図８Ａ〜図８Ｐを参照して説明する。
本発明の第２の実施例に係るフレーム―ピクセルイントラ予測モードは、図８Ａに示すように、以前のフレームに位置する各ピクセルを用いて現在ブロックのうち最も右側下端に位置した第１のピクセル（図８Ａのピクセル０）の先にイントラ予測を最も先に行う。このとき、第１のピクセルを予測するための予測モードとしては、従来の９個の予測モードを全て用いることができ、イントラ予測と同時に、エンコーディング装置のイントラ予測部１７０では、ピクセル予測情報（ＰＰＩ）とレジデュアルが生成される。前記第１のピクセルのピクセル予測情報は、以前のフレームに位置し、ピクセル予測に用いられた各ピクセル（プレディクタ）であって、予測方法は、９個の予測モードのうち最も効率性が高い予測モードであって、レジデュアルは、第１のピクセルの予測に用いられた各ピクセルと第１のピクセルとの間の差である。
第２のピクセルのイントラ予測は、第１のピクセル（０）を用いて行われる。本発明の第２の実施例に係るフレーム―ピクセル予測モードは、第２のピクセル〜第Ｎのピクセル（第１のピクセルは除く）のイントラ予測モードとして次のような二つの方法を用いるが、これに限定されることはない。
第一の方法は、隣接した各ピクセルの平均値を用いて予測する方法で、第二の方法は、方向性によって予測する方法である。すなわち、第一の方法は、イントラ予測を行おうとする現在ピクセルと最も隣接した各ピクセルの平均値を予測ピクセル（プレディクタ）として用いて現在ピクセルのイントラ予測を行う。第二の方法は、まず、現在ピクセルを中心にして可能な８個の方向に対して最も近い二つのピクセル間の差を計算し、最も小さい差値を有する方向を予測方向として決定する。選択された予測方向で現在ピクセルと最も近い二つのピクセルの平均値を現在ピクセルの予測ピクセル（プレディクタ）として用いて現在ピクセルのイントラ予測を行う。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。
図８Ｂを参照すれば、第２のピクセル（１）は、第１のピクセル（０）の平均値を用いてイントラ予測を行うことができ、第２のピクセル（１）を中心にして第１の方向（第２の方向の計算値は同一であるので省略）に位置した第１のピクセル（０）間の差を計算し、第１のピクセル（０）の平均値を予測ピクセルとして用いてイントラ予測を行う。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。
図８Ｃを参照すれば、第３のピクセル（２）は、周辺の予測が完了した第１のピクセル（０）及び第２のピクセル（１）を第３のピクセルの予測ピクセル（プレディクタ）として用いて第３のピクセルのイントラ予測を行う。図８Ｃに示すように、第３のピクセル（２）は、隣接した第１のピクセル（０）及び第２のピクセル（１）の平均値を予測ピクセルとして用いることができる。また、図８Ｃの第１の方向及び第２の方向での近いピクセル間の差を求めて予測方向を決定し、予測方向で近い二つのピクセル（第１の方向の選択時には二つの第１のピクセル（０）、第２の方向の選択時には二つの第２のピクセル（１））の平均を予測ピクセルとして用いることができる。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。
図８Ｄを参照すれば、第４のピクセル（３）は、予測が完了した第１のピクセル（０）〜第３のピクセル（２）を第４のピクセルの予測ピクセル（プレディクタ）として用いて第４のピクセルのイントラ予測を行う。図８Ｄに示すように、第４のピクセル（３）は、隣接した第１のピクセル（０）、第２のピクセル（１）及び第３のピクセル（２）の平均値を予測ピクセルとして用いることができる。また、図８Ｄの第１の方向〜第３方向で近いピクセル間の差を求め、例えば、第１の方向では二つの第２のピクセル（１）間の差を求め、これを比較して予測方向を決定し（例えば、第２の方向）、予測方向（第２の方向）で近い二つのピクセル（第３のピクセル（２））の平均を予測ピクセルとして用いることができる。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。
また、図８Ｅを参照すれば、第５のピクセル（４）は、予測が完了した第１のピクセル（０）〜第４のピクセル（３）を第５のピクセルの予測ピクセル（プレディクタ）として用いて第５のピクセルのイントラ予測を行う。図８Ｅに示すように、第５のピクセル（４）は、隣接した第１のピクセル（０）、第２のピクセル（１）及び第３のピクセル（２）の平均値を予測ピクセルとして用いることができる。また、図８Ｅの第１の方向及び第２の方向で近いピクセル間の差を求め、これを比較して予測方向を決定し、決定された予測方向で近い二つのピクセルの平均を予測ピクセルとして用いることができる。
例えば、図８Ｅを参照すれば、第３のピクセル（２）及び第４のピクセル（３）を含む第１の方向と第１のピクセル（０）及び第２のピクセル（１）を含む第２の方向での二つのピクセル間の差を求め、これを比較し、より小さい値を有する方向を予測方向として決定する。第１の方向が予測方向として選択される場合、第５のピクセル（４）のイントラ予測を行うための予測ピクセル（プレディクタ）は、第５のピクセル（４）と第１の方向で隣接した第３のピクセル（２）と第４のピクセル（３）の平均である。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。
このような方法で、図８Ｆ〜図８Ｐに示すように、予測が完了した周辺ピクセルを用いて第６のピクセル（５）〜第１６のピクセル（１５）のイントラ予測を行うことができ、イントラ予測と同時に、各ピクセルと関連したピクセル予測情報とレジデュアルが生成される。
また、第１のピクセル〜第Ｎのピクセルのイントラ予測が行われ、各ピクセルに関するピクセル予測情報とレジデュアルが生成されるごとに、現在ブロックのイントラ予測が完了したかどうかを判断する。現在ブロックのイントラ予測が完了した場合、第１のピクセル〜第Ｎのピクセルに対するピクセル予測情報とレジデュアルを伝送するようになる。
本発明のビデオ信号のデコーディング装置のイントラ予測部２７０は、第１のピクセル〜第Ｎのピクセルに対するピクセル予測情報とレジデュアルを受け、現在ブロックの復元を行う。まず、受信された第１のピクセルのピクセル予測情報とレジデュアルを用いて現在ブロックの第１のピクセルを復元し、復元された第１のピクセルと第２のピクセルのピクセル予測情報及びレジデュアルを用いて現在ブロックの第２のピクセルを復元する。このような方式で、現在ブロックの第Ｎのピクセルまで順次復元し、現在ブロックの復元を完了することができる。
このように、本発明の第２の実施例に係るビデオ信号のデコーディング方法は、現在ブロックが周辺ブロックのピクセルのみならず、現在ブロックの隣接ピクセルをイントラ予測に用いることによって、より正確な予測が可能になる。また、各隣接ピクセルは、二つ以上の方向から選択されたプレディクタ値を用いて予測するので、離散コサイン変換時よりも多い０の係数を有するブロックが生成され、コーディング効率を高めることができる。
本発明の第３の実施例は、現在ブロックのイントラ予測を行うにおいて、一定の場合、周辺ブロックから予測を行わず、周辺ブロックのピクセル値をそのまま用いるイントラスキップモードを提案する。図９は、本発明の第３の実施例に係るビデオ映像を示す図で、図１０は、本発明の第３の実施例に係るビデオ信号のエンコーディング及びデコーディング順序を示すフローチャートである。
従来のイントラ予測は、１６＊１６ブロック、８＊８ブロック及び４＊４ブロックを用い、９個のイントラ予測モードを用いて行われる。しかし、画面間相関度が低下し、イントラ予測モードを用いなければならないとき、現在ブロックと周辺ブロックが類似した場合は、従来のイントラ予測を行うよりも、周辺ブロックをそのまま用いる方がより効率的である。
図９を参照すれば、図９の帽子に表れたボックス（Ｂｏｘ Ａ）や顔の左側のボックス（Ｂｏｘ Ｂ）と以前の画面との相関度が低下し、インター予測を用いることができない場合を仮定する。この場合、イントラ予測を行うが、ボックス内部の各ブロックは類似性を有するので、周辺ブロックのピクセル値をそのまま現在ブロックのピクセル値として用い、別途にイントラ予測を行わないイントラスキップモードを用いることが効率的である。このとき、予測モード情報及びレジデュアルが伝送されないことは当然である。
図１０を参照すれば、まず、現在ブロックは、イントラ予測及びインター予測のうちいずれの予測を行うかを決定する（Ｓ１０１０段階）。現在ブロックのイントラ予測又はインター予測を決定するのは、従来の方法と同一である。前記段階で現在ブロックがイントラ予測を行うと決定される場合、イントラスキップモードは、現在ブロックが従来のイントラ予測を行う場合よりも効率が良い場合のみに採択される。まず、現在ブロックは、イントラ予測モードを用いた場合とイントラスキップモードを用いた場合のＲＤコストを全て計算する（Ｓ１０２０段階）。このとき、ＲＤコスト（以下、効率）は、下記の数学式１のように計算される。
［数１］
ここで、Ｄは、ＳＳＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｓｔｏｒｔｉｏｎ）で、Ｒは、要求ビット数である。
効率を計算した後、現在ブロックがイントラスキップモードを用いるとき、効率がより良い場合にイントラスキップモードを採択し（Ｓ１０３０段階の「Ｙｅｓ」）、予測ブロックを決定し、イントラスキップ情報及び選択された予測ブロック情報を伝送する（Ｓ１０４０段階）。前記イントラスキップ情報は、現在ブロックがイントラスキップモードを用いたかどうかを示すフラグ情報（ｉｎｔｒａ Ｓｋｉｐ ｆｌａｇ）である。
本発明のデコーディング装置のイントラ予測部２６０は、イントラスキップ情報及び予測ブロック情報を受信する（Ｓ１０５０段階）。前記イントラスキップ情報がフラグ情報の形態である場合、イントラスキップモードフラグ情報の意味は、下記の表１に示す通りである。
[表１]
受信されたイントラスキップモードフラグ情報（ｉｎｔｒａ ｓｋｉｐ ｆｌａｇ）が１である場合、本発明のデコーディング装置のうちイントラ予測部２６０は、予測ブロック情報によって予測ブロックのピクセル値を現在ブロックのピクセル値としてそのまま用いる（Ｓ１０６０段階）。
その一方、現在ブロックがイントラ予測モードを用いるように決定された場合（Ｓ１０３０段階での「Ｎｏ」）、イントラＮ＊Ｎ予測を行い、レジデュアル及び予測モード情報を伝送する（Ｓ１０７０段階）。また、本発明のデコーディング装置のうちイントラ予測部２６０では、前記レジデュアル及び予測モード情報を受信し、従来のイントラ予測方法を用いて現在ブロックを復元する（Ｓ１０８０段階）。
このように、本発明の第３の実施例によって現在ブロックのイントラ予測を行うためにイントラスキップモードを用いる場合、インター予測が非効率的であり、周辺ブロックと類似したビデオ信号の予測及び復元に効率的である。また、イントラ予測を行う必要がなく、レジデュアル及びＣＢＰを伝送する必要がないので、使用されるビット率を減少させることができる。
イントラ予測を行うフレームは、イントラ１６＊１６ブロック、イントラ８＊８ブロック及びイントラ４＊４ブロックにコーディングされる。それぞれのモードで、特定ブロックは、既に復元された上部及び左側に位置したブロックを用いて予測される。特に、イントラ４＊４ブロックを用いるモードは高周波領域で用いられるが、現在ブロックのイントラ予測のために、予測ブロック（プレディクタ）は、上部及び左側に位置したブロックのみを用いるように制限される。しかし、これは、現在ブロックを予測及び復元するのに充分でなく、現在ブロックが境界に位置する場合に非効率的である。したがって、現在ブロックの予測のために、以前に復元されたブロックのみならず、次に復元されるブロックを用いることによって、より正確な予測を可能にすることができる。
したがって、本発明の第４の実施例は、このようなイントラ予測モードの問題を解決するために、現在ブロックを含む現在フレームの新しいイントラ予測方法である分離イントラ予測モードを提案する。一つのイントラフレームは、二つ又は四つの独立的なサブフレームに区分可能であり、分離されたフレームでの多様な分離イントラ予測モードが存在しうる。モーションを有する連続的なフレームと異なり、サブ―ピクセルが移動するサブフレーム間には高い剰余性（ｒｅｄｕｃｄａｎｃｙ）が存在するので、イントラフレームのサブフレームでの分離イントラ予測モードは非常に効率的である。
図１１は、本発明の第４の実施例に係るビデオ信号のエンコーディング及びデコーディング順序を示すフローチャートで、図１２Ａ〜図１２Ｃは、本発明の第４の実施例の分離イントラ予測モードを示す各例である。
まず、図１１を参照すれば、本発明のエンコーディング装置のイントラ予測部１７０は、現在フレームに対して従来のイントラ予測を行い、ＲＤコストを計算する（Ｓ１１１０段階）。また、本発明の第４の実施例に係るイントラ予測部は、分離イントラモード構造情報（Ｓｅｐａｒａｔｅ Ｉｎｔｒａ Ｍｏｄｅ Ｓｔｒｕｃｔｕｒｅ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＩＭＳＩ）の入力を受ける。前記分離イントラモード構造情報（ＳＩＭＳＩ）は、サブフレームの種類及び分離イントラモードの構造に関するものを含み、前記サブフレームの種類は、複数個の１６＊１６ブロック、８＊８ブロック、４＊４ブロックであったり、一つの１６＊１６ブロック、８＊８ブロック、４＊４ブロックであったり、一つ又は複数個のピクセル単位であるが、これに限定されることはない。また、分離イントラモードの構造は、ＩＰ構造、ＩＰＰＰ構造、ＩＢＢＰ構造であり、これについては、後で図１２Ａ〜図１２Ｃを参照して詳細に説明することにする。
その後、現在フレームに対して従来のイントラ予測を行った後、前記分離イントラモード構造情報（ＳＩＭＳＩ）を用いて分離イントラモードの構造による現在フレームの分離イントラ予測を行う（Ｓ１１２０段階）。現在フレームに対する従来のイントラ予測と分離イントラモード予測の場合、効率（ＲＤコスト）を計算し、分離イントラモード予測の効率がより良い場合、これを選択する（Ｓ１１３０段階）。その後、選択された分離イントラモードの種類及び分離イントラモード構造を含む分離イントラモード情報（ｓｅｐａｒａｔｅ ｉｎｔｒａ ｍｏｄｅ ｉｎｆｏｒｍａｔｉｏｎ、ＳＩＤＩという）及び予測に用いられたブロック（プレディクタ）と現在ブロックとの間のレジデュアルを伝送する（Ｓ１１４０段階）。また、分離イントラ予測モードが採択されたかどうかを示す分離イントラ予測フラグ情報（ｓｅｐａｒａｔｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｆｌａｇ）を伝送することができる。
本発明のデコーディング装置のイントラ予測部２６０は、分離イントラ予測フラグ情報がエンコーダから伝送された場合、これを受信する。分離イントラ予測フラグ情報の意味は、下記の表２に示す通りである。
[表２]
分離イントラ予測フラグが０である場合、現在フレームの復元のために従来のイントラ予測モードを行う。その一方、分離イントラ予測フラグが１である場合、分離イントラ予測モードを行うので、前記分離イントラモード情報（ＳＩＭＩ）とレジデュアルを受信し（Ｓ１１５０段階）、分離イントラモード情報（ＳＩＭＩ）、レジデュアル及び以前のフレームを用いて現在フレームの第１のサブフレームグループを復元する（Ｓ１１６０段階）。また、分離イントラモード情報、レジデュアル及び前記第１のサブフレームグループを用いて第２のサブフレームグループを復元する（Ｓ１１７０段階）。
選択された分離イントラモード構造がＩＰＰＰ構造である場合、分離イントラモード情報、レジデュアル、前記第１のサブフレームグループ及び前記第２のサブフレームグループを用いて第３のサブフレームグループを復元し、再び分離イントラモード情報、レジデュアル、前記第１のサブフレームグループ、前記第２のサブフレームグループ及び前記第３のサブフレームグループを用いて第４のサブフレームグループを復元する。また、ＩＢＢＰ構造である場合、分離イントラモード情報、レジデュアル、前記第１のサブフレームグループ及び前記第２のサブフレームグループを用いて第３のサブフレームグループを復元し、分離イントラモード情報、レジデュアル、前記第１のサブフレームグループ及び前記第２のサブフレームグループを用いて第４のサブフレームグループを復元する。以下では、分離イントラモード構造による分離イントラ予測モードの予測方法について図１２Ａ〜図１２Ｃを参照して説明する。
図１２Ａを参照すれば、現在フレーム（Ｉ ｆｒａｍｅ）は、サブフレーム単位で第１のサブフレームと第２のサブフレームに区分され、インタレース走査方式で位置することができ、現在フレームを両分し、左側は第１のサブフレーム、右側は第２のサブフレームであるが、これに限定されることはない。図１２Ａに示すように、第１のサブフレームと第２のサブフレームが交互に位置することもでき、このような第１のサブフレームの集合を第１のサブフレームグループといい、第２のサブフレームの集合を第２のサブフレームグループという。まず、第１のサブフレームグループは、従来のイントラ予測モードを用いてコーディングされ、第２のサブフレームグループは、第１のサブフレームグループを参照して現在フレーム内でイントラ予測を用いてコーディングされる。
図１２Ｂは、分離イントラ予測モードのうちＩＰＰＰ構造及びＩＰＰＰ予測方法を示す図で、現在フレームは合計４個のサブフレームに分離され、それぞれのサブフレームの集合は、第１のサブフレームグループ〜第４のサブフレームグループである。図１２Ｂに示すように、第１のサブフレームグループは、従来のイントラ予測モードを用いて予測を行ってコーディングされる。その後、第２のサブフレームグループは、第１のサブフレームグループを用いてイントラ予測を行ってコーディングされ、第３のサブフレームグループは、第１のサブフレームグループ及び第２のサブフレームグループを用いてイントラ予測を行い、第４のサブフレームグループは、第１のサブフレームグループ〜第３のサブフレームグループを用いてイントラ予測を行う。
図１２Ｃは、分離イントラ予測モードのうちＩＢＢＰ構造及びＩＢＢＰ予測方法を示す図で、現在フレームは、図１２Ｂと同様に、合計４個のサブフレームに分離される。図１２Ｃに示すように、ＩＢＢＰ予測方法は、まず、第１のサブフレームグループが従来のイントラ予測モードを用いてイントラ予測を行い、第２のサブフレームグループは第１のサブフレームグループを用いてイントラ予測を行い、第３のサブフレームグループは第１のサブフレームグループ及び第２のサブフレームグループを用いてイントラ予測を行い、第４のサブフレームグループは第１のサブフレームグループ及び第２のサブフレームグループを用いてイントラ予測を行う。
このとき、分離イントラ予測モードでのサブフレームの配置順序は、図１２Ａ〜図１２Ｃに示した順序に限定されず、多様な順序を選択することができる。また、前記構造及び予測方法は、上述したように、分離イントラモード情報に含まれる。
このように、本発明の第４の実施例に係る分離イントラ予測モードを用いる場合、予測ブロックが現在ブロックの上部及び左側に位置したブロックに限定されないので、現在フレームの正確な予測を可能にすることができる。
本発明のビデオ信号のデコーディング方法は、新しいイントラ予測モードのみならず、動きベクトル推定及び補償と関連して高い効率のための新しいモードを提案する。以下では、インター予測部１６０、２５０の第５の実施例〜第９の実施例について説明する。第５の実施例は図１３〜図１７を参照して説明し、第６の実施例は図１８及び図１９を参照して説明し、第７の実施例は図２０及び図２１を参照して説明し、第８の実施例は図２２を参照して説明し、第９の実施例は図２３Ａ及び図２３Ｂを参照して説明する。
ビデオ信号のデコーディング装置のうちインター予測部１６０、２５０では、動きベクトルプレディクタ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、以下、ｍｖｐという）を決定するために平均値フィルタを用いる。しかし、動きベクトルプレディクタ（ｍｖｐ）と推定された動きベクトルとの間に誤差が存在するので、正確な動きベクトルプレディクタ（ｍｖｐ）を探すことがエンコーダの重要な役割である。したがって、本発明の第５の実施例では、より正確な動きベクトルプレディクタ（ｍｖｐ）を決定するための方法（以下、動きベクトルプレディクタ決定法という）について図１３〜図１７を参照して説明することにする。
図１３及び図１４は、本発明のビデオ信号のエンコーディング装置及びデコーディング装置を示す図で、本発明のビデオ信号のエンコーディング装置及びデコーディング装置は、動きベクトルプレディクタ生成部１３５０、１４４５をさらに含む。エンコーディング装置の動きベクトルプレディクタ生成部１３５０は、既に設定された方法によって動きベクトルプレディクタ候補セットを決定し、決定されたセットで可能な動きベクトルプレディクタのうち最も効率が良い動きベクトルプレディクタを決定し、決定された動きベクトルプレディクタと関連した動きベクトルプレディクタ情報（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ Ｉｎｆｏｒｍａｔｉｏｎ、ＭＶＰＩ）を伝送する。
このように、より正確な動きベクトルプレディクタ（ｍｖｐ）を動きベクトル推定及び補償のために用いるために、本発明の第５の実施例は、より多くの動きベクトルプレディクタ（ｍｖｐ）の候補群を設定し、このうち最も効率的な動きベクトルプレディクタ（ｍｖｐ）を用いる。まず、動きベクトルプレディクタ（ｍｖｐ）は、種類によって大きく空間的プレディクタ、時間的プレディクタ及び空間―時間的プレディクタに分けられる。
図１５は、現在ブロックの動きベクトル予測のために用いられる現在フレーム及び以前のフレームの動きベクトルを示す図である。図１５を参照すれば、空間的プレディクタは、現在フレーム（Ｎフレーム）の動きベクトルを用いるもので、現在ブロックの動きベクトルをｍｖとしたとき、Ｎフレームのａ、ｂ、ｃブロックの動きベクトルを用いたｍｖａ、ｍｖｂ、ｍｖｃ、ｍｖｄ及び３個の動きベクトルプレディクタのうち中間値を採択するｍｖ ｍｅｄ、及び３個以上の動きベクトルプレディクタのうち中間値を採択するｍｖ ｓｐａＥＸＴを含むことができる。図１５を参照すれば、時間的プレディクタは、以前のフレーム（Ｎ−１フレーム）の動きベクトルを用いるもので、以前のフレームで現在ブロックと同一の位置に存在するブロックのモーションベクトルを用いるｍｖ ｃｏｌ、ｍｖ ｃｏｌ、ｍｖｔ０…ｍｖｔ３の中間値を用いるプレディクタ及びＭＶｃｏｌ、ＭＶｔ０…ＭＶｔ８の中間値を用いるプレディクタを含むことができる。また、空間―時間的プレディクタは、ｍｖ ｃｏｌ、ｍｖ ｃｏｌ、ｍｖａ、ｍｖｂ、ｍｖｃの平均値を用いる動きベクトルプレディクタ（ｍｖ ｓｐｔ）である。動きベクトルプレディクタのうち必須的に用いられる空間的プレディクタを第１の動きベクトルプレディクタといい、本発明の第５の実施例で追加的に用いる空間的プレディクタ又は時間的プレディクタを第２の動きベクトルプレディクタという。図１４に示すように、前記第１の動きベクトルプレディクタは、中間動きベクトル（ｍｖ ｍｅｄ）であって、前記第２の動きベクトルプレディクタは、現在ブロックの左側に位置するブロックの動きベクトルを用いるａ―動きベクトルプレディクタ（ｍｖａ）又はｍｖ ｃｏｌであるが、これに限定されることはない。
上述したように、固定された中間値を用いて動きベクトルプレディクタを決定せずに、多様な候補群から動きベクトルプレディクタを決定するので、動きベクトルプレディクタの正確度が高くなる。しかし、前記のように動きベクトルプレディクタが１０個の候補群に固定される場合、多様な動きを有する画面をコーディングするにおいて非効率的である。
したがって、本発明の第５の実施例は、新しい動きベクトルプレディクタ候補群セット（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｓｅｔ、ＭＶＰＣＳ）を設定し、これを決定するための条件を提示する。前記動きベクトルプレディクタ候補群セットは、下記の表３に示す通りである。
[表３]
ここで、Ｓは、空間的プレディクタを示し、Ｔは、時間的プレディクタを示す。
また、前記動きベクトルプレディクタ候補群セットのための空間的プレディクタはｍｖ ｍｅｄのみを用い、時間的プレディクタとしてはｍｖｃｏｌを用いることができるが、これに限定されることはない。前記動きベクトルプレディクタ候補群セットとしてセット４が決定される場合、可能な動きベクトルプレディクタは（Ｓｘ―Ｓｙ、Ｓｘ―Ｔｙ、Ｔｘ―Ｓｙ、Ｔｘ―Ｔｙ）の４個の場合を含むので、各場合のモーションコスト（Ｍｏｔｉｏｎ ｃｏｓｔ）に基づいてより明確な動きベクトルプレディクタを決定できるようになる。
図１６Ａ及び図１６Ｂは、本発明の第５の実施例の動きベクトルプレディクタ決定法による場合、可能な動きベクトルプレディクタの組み合わせを示す図である。図１６Ａは、現在ブロックがスキップモードである場合を示し、図１６Ｂは、現在ブロックがスキップモード以外である場合を示す。
従来のスキップモードは、以前のフレームの動きベクトルプレディクタを現在ブロックの動きベクトルとして用いるもので、一つの動きベクトルプレディクタ候補のみが存在する。その一方、本発明の動きベクトルプレディクタ決定法による方法は、動きベクトルプレディクタの候補が第１の動きベクトルプレディクタのみならず、第２の動きベクトルプレディクタも用いるので、最大４個の組み合わせ可能な候補が存在する。図１６Ａを参照すれば、現在ブロックの第１の動きベクトルプレディクタがＡで、第２の動きベクトルプレディクタがＢであり、これらの組み合わせで、動きベクトル候補は、ａ（第１の動きベクトルプレディクタ）、ｂ（第２の動きベクトルプレディクタ）、ｃ（第１の動きベクトルプレディクタｘ成分―第２の動きベクトルプレディクタｙ成分）又はｄ（第２の動きベクトルプレディクタｘ成分―第１の動きベクトルプレディクタｙ成分）である。この場合、動きベクトルプレディクタのための動きベクトルプレディクタ情報は２ビットを要求することができる。
また、図１６Ｂを参照すれば、現在ブロックがスキップモードでなく、分割された場合は、動きベクトルプレディクタ情報がより多くのビットを要求するので、まず、第１の動きベクトルプレディクタと第２の動きベクトルプレディクタとの間の距離（ｍｖ１−ｍｖ２）を測定する。測定された第１の動きベクトルプレディクタと第２の動きベクトルプレディクタとの間の距離が１／２ピクセル以下で、二つのプレディクタが近い場合、第１の動きベクトルプレディクタを現在ブロックの動きベクトルプレディクタとして決定し、従来の動きベクトル予測方法を用いる。このとき、現在ブロックが従来の動きベクトル予測方法を用いるか、それとも動きベクトルプレディクタ決定法を用いたかを示す動きベクトルプレディクタ決定フラグ（ｍｖ ｃｏｍｐｅｔｉｔｉｏｎ ｆｌａｇ）を用いることができる。第１の動きベクトルプレディクタが現在ブロックの動きベクトルプレディクタとして決定されれば、従来の動きベクトル予測方法を用いたことを示す動きベクトルプレディクタ決定フラグ（ｍｖ ｐｒｅｄｉｃｔｏｒ ｃｏｍｐｅｔｉｔｉｏｎ ｆｌａｇ）に０をセッティングして伝送することができる。前記動きベクトルプレディクタ決定フラグ情報の意味は、次の表４に示す通りである。
[表４]
図１７は、本発明の第５の実施例に係る動きベクトルプレディクタの決定及び動き補償の順序を示すフローチャートである。図１７を参照すれば、まず、動きベクトルプレディクタ候補群セットを決定する前に、下記の数学式２を計算する（Ｓ１７１０段階）。
［数２］
以前のフレームで現在ブロックと同一の位置に存在するブロックの動きベクトルを用いたｍｖ ｃｏｌの値が過度に大きい場合、これは、以前のフレームと現在ブロックとの相関度が過度に低下することを意味する。したがって、前記数学式２の条件を満足する場合（Ｓ１７１０段階の「Ｙｅｓ」）は、時間的プレディクタを用いずに、空間的プレディクタのみを用いて動きベクトルプレディクタを決定する（Ｓ１７２０段階）。動きベクトルプレディクタとして空間的プレディクタのみを用いるかどうかは、ｘ成分とｙ成分に対して別途に決定される。
その一方、前記数学式２の条件を満足しない場合（Ｓ１７１０段階の「Ｎｏ」）、下記の数学式３又は数学式４の条件を計算し、用いる動きベクトルプレディクタ候補群セットを決定する（Ｓ１７３０段階）。数学式３は、動きベクトルスキップモードのための条件で、数学式４は、スキップモードを除いた場合のための条件である。
[数３]
[数４]
動きベクトルプレディクタ生成部１３５０、１４４５は、前記条件を用いて現在ブロックの最も効率的な動きベクトルプレディクタ候補群を決定する。例えば、ｍｖ ｍｅｄ（Ｓｘ、Ｓｙ）及びｍｖ ｃｏｌ（Ｔｘ、Ｔｙ）の条件を検討した結果、セット３が現在ブロックの動きベクトルプリディクタ候補群セットとして決定された場合、可能な動きベクトルプレディクタ（ｍｖｐ）は２個（Ｓｘ−Ｓｙ又はＴｘ−Ｓｙ）である。このとき、各動きベクトルプレディクタを用いるときのモーションコストを測定し、現在ブロックの動きベクトルプレディクタ（Ｓｘ−Ｓｙ）を決定する（Ｓ１７４０段階）。その後、いずれの組み合わせの動きベクトルプレディクタ（Ｓｘ−Ｓｙ）を用いたかを示す動きベクトルプレディクタ情報を伝送する（Ｓ１７５０段階）。このとき、動きベクトルプレディクタ情報は、ｍｖ ｃｏｌがｍｖ ｓｐａ ｍａｘ及びｍｖ ｔｅｍｐ ｍａｘのうち最大値の２倍より大きい場合（Ｓ１７１０段階の「Ｙｅｓ」）、空間的プレディクタに関する情報を含むことができる。
本発明のデコーディング装置のうち動き補償部１４４５は、動きベクトルプレディクタ情報を受信し、自体的に現在ブロックに対して数学式３又は数学式４の条件を計算し、動きベクトルプレディクタ候補群セットを決定する（Ｓ１７６０段階）。その後、受信した動きベクトルプレディクタ情報及び決定されたセットの条件を用いて、現在ブロックの動き補償を行う（Ｓ１７７０段階）。このような多様な動きベクトルプレディクタ候補を用いて、現在ブロックの動きベクトルとより類似したプレディクタを採択することによって、より正確な動きベクトル予測を可能にすることができる。
従来の動きベクトルプレディクタ決定法を用いる場合、既存のＡＶＣ方法を用いる場合に比べてビット率の減少が約−０．５％である反面、本発明の第５の実施例に係る動きベクトルプレディクタ決定法を用いる場合は、約−０．８％ほどビット率が減少した。また、ＰＳＮＲ（ｐｅａｋ ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）においても、本発明の第５の実施例に係る動きベクトルプレディクタ決定法を用いる場合、従来の方法を用いる場合よりも約０．０２８ｄＢ向上した。
このように、本発明の第５の実施例の動きベクトルプレディクタ決定法は、多様な動きベクトルプレディクタ候補を用いて、現在ブロックの動きベクトルとより類似した動きベクトルプレディクタを採択することによって、より正確な動きベクトル予測が可能である。
また、本発明の更に他の実施例である第６の実施例では、以前のフレームの動きベクトルの平均値及び現在ブロックのタイプによって動きベクトルプレディクタ候補を決定することができる。動きベクトルプレディクタ候補決定方法は、図１８を参照して説明することにする。
一般的に動きの大きい各フレームは連続しているので、以前のフレームの各動きベクトルの平均的な大きさによって現在フレームが以前のフレームと相関度を有するかどうかを判断することができる。以前のフレームの各動きベクトルの平均値が一定の値（ｔｈｒｅｓｈｏｌｄ）以上であれば、現在フレームは、以前のフレームに比べて動きが大きいので、以前のフレームとの相関度が低下するようになる。したがって、動きベクトルプレディクタ候補として二つ以上の空間的プレディクタを用いることができる。その一方、以前のフレームの各動きベクトルの平均値が一定の値以下であれば、現在フレームは、以前のフレームに比べて動きが少なくなるので、以前のフレームとの相関度が大きくなり、以前のフレームの動きベクトルを用いる時間的プレディクタを用いることが効率的である。この場合、動きベクトルプレディクタ候補は、一つ以上の空間的プレディクタのみならず、一つ以上の時間的プレディクタを含むことができる。
したがって、本発明の第６の実施例に係る動きベクトルプレディクタ候補決定方法は、以前のフレームの動きベクトル大きさの平均値（ｍｖ ｐｒｅ ａｖｇ）が１以下であるかどうかを判断する（Ｓ１８１０段階）。以前のフレームの動きベクトルの平均値（ｍｖ ｐｒｅ ａｖｇ）が１より大きい場合、これは、現在ブロックを含む現在フレームが動きの大きいフレームであることを示す。この場合、本発明の第６の実施例と同様に、現在ブロックと以前のフレームとの相関度が少ないので、２個の空間的プレディクタを用いることが効率的である。しかし、現在ブロックが互いに類似性の少ないサブブロックからなる場合はそうでない。したがって、現在ブロックのブロックタイプがスキップモード又は１６＊１６モードであるかを検討する（Ｓ１８２０段階）。スキップモード又は１６＊１６モードでない場合（Ｓ１８２０段階の「Ｎｏ」）、現在ブロックはサブブロックに分割されており、分割された各サブブロック間の相関度が少ないことを意味する。この場合、第２の動きベクトルプレディクタとして空間的プレディクタを用いる（Ｓ１８３０段階）よりは、時間的プレディクタを用いることが効率的である。現在ブロックがスキップモード又は１６＊１６モードである場合、第１の動きベクトルプレディクタとして空間的プレディクタを用いるとともに、第２の動きベクトルプレディクタとして空間的プレディクタを用いること（Ｓ１８４０段階）が効率的であることは当然である。
以前のフレームの動きベクトルの平均値が１未満であれば（Ｓ１８１０段階の「Ｙｅｓ」）、現在フレームは現在ブロックと以前のフレームとの類似性が大きい遅い映像であるので、第１の動きベクトルプレディクタ及び第２の動きベクトルプレディクタとして空間的プレディクタを用いることが効率的である。
このように、現在ブロックと以前のフレームとの類似性及び現在ブロックのタイプによって用いる動きベクトルプレディクタ候補を異なるように決定することによって、現在ブロックの動き予測の明確性を増加させることができる。
本発明の第５の実施例及び第６の実施例の動きベクトルプレディクタ決定法で生成された動きベクトルプレディクタ情報は、現在ブロックが８＊８ブロックである場合を除いては２ビットを要求する。現在ブロックが８＊８ブロックであれば、分割によって動きベクトルプレディクタ情報を最大１６ビットまで要求できるので、従来の動きベクトル予測方法が効率的である。したがって、ブロックごとに動きベクトルプレディクタ決定法によるかどうかを示す動きベクトルプレディクタ決定フラグ情報（ｍｖ ｃｏｍｐｅｔｉｔｉｏｎ ｆｌａｇ）を含むことができる。
下記の表５は、本発明の第６の実施例の動きベクトルプレディクタ候補決定法と従来の方法を用いる場合の効果を比較するために実験で使用された条件を示すもので、表６は、表５の条件下で動き予測を行うときに用いられる動きベクトル候補を示すものである。
[表５]
[表６]
ここで、ｍｖ ｓｐａＥＸＴは、３個のベクトルを用いることができる場合は、図１５のｍｖａ、ｍｖｂ、ｍｖｃを用い、そうでない場合は、ｍｖａ、ｍｖｂ、ｍｖｃのうち可能な動きベクトルを用いて決定される。
図１９は、前記ｃａｓｅ１〜３の動きベクトルを動きベクトルプレディクタ候補として使用する場合と、本発明の第６の実施例によって決定された動きベクトルプレディクタを用いた場合のＢＤレート利得を示す図である。前記ＢＤレートは、符号化性能を示す指標であって、同一の画質を維持しながらビット率をどれだけ圧縮したかを意味する。
図１９を参照すれば、ほとんどの場合では、ｃａｓｅ１〜３の動きベクトルプレディクタ候補を用いた場合よりも、本発明の第６の実施例による場合にビット率の圧縮程度が増加したことが分かり、実質的に、本発明の第５の実施例に係るビデオ信号のデコーディング方法に比べて、約０．１ｄＢ程度のＰＳＮＲ［ｄＢ］が増加したことが分かる。
また、本発明の更に他の実施例である第７の実施例では、現在ブロックの動き推定が行われるブロックと周辺ブロックとの距離を考慮し、生成された動きベクトルプレディクタを用いる新しい方法を図２０及び図２１を参照して説明する。
従来の現在ブロックの動きベクトルプレディクタは、現在ブロックの周辺３個のブロックを用いて生成する。図２０は、現在ブロック及び周辺３個のブロックを示す図で、前記周辺３個のブロックは、現在ブロックの左側ブロック、上部ブロック及び上部右側ブロックを示す。図２０を参照すれば、現在ブロックの動きベクトルをｍｖｃといい、現在ブロックの左側ブロックの動きベクトルをｍｖｌといい、上部ブロックの動きベクトルをｍｖｕといい、上部右側の動きベクトルをｍｖｕｒという。現在ブロックの動きベクトルプレディクタを決定するためには、周辺３個のブロックのレファレンスインデックスのうち現在ブロックのレファレンスインデックスと同一であるものがあるかどうかを検討する。現在ブロックのレファレンスインデックスと同一のレファレンスインデックスを有する周辺ブロックが１個である場合、前記周辺ブロックの動きベクトルを動きベクトルプレディクタとして決定する。そうでない場合（同一のレファレンスインデックスを示す周辺ブロックが１個でない場合）、周辺３個のブロックの動きベクトルのうち中間値を選択し、これを現在ブロックの動きベクトルプレディクタとして決定し、レファレンスインデックスは、周辺３個のブロックのレファレンスインデックスのうち最も小さい数として決定する。
しかし、現在ブロックのレファレンスインデックスが周辺３個のブロックのレファレンスインデックスでない他のレファレンスインデックスを有する場合、前記のような方法で決定された動きベクトルプレディクタは、現在ブロックの動きベクトルと大きな差を有する。したがって、決定される動きベクトルプレディクタと現在ブロックの動きベクトルとが類似するようにするためには、本発明の第７の実施例に係る「スケールされた動きベクトルプレディクタ」を用いることが効率的である。
図２１は、本発明の第７の実施例に係るスケールされた動きベクトルプレディクタを用いて動き予測を行う方法を示すフローチャートである。図２１を参照すれば、動きベクトル予測を行うにおいて、現在ブロックのレファレンスインデックスと同一の値を有する周辺ブロックがあるかどうかを検討する（Ｓ２１１０段階）。現在ブロックのレファレンスインデックスと同一の値を有する周辺ブロックがある場合、従来の動きベクトルプレディクタ決定方法による（Ｓ２１２０段階）。しかし、現在ブロックのレファレンスインデックスが周辺ブロックのレファレンスインデックスと一致しない場合（Ｓ２１１０段階の「Ｎｏ」）、スケールされた動きベクトルプレディクタ（Ｓｃａｌｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＳＭＶＰ）を計算する（Ｓ２１３０段階）。スケールされた動きベクトルプレディクタは、下記の数学式５を用いて求めることができる。
[数５]
ここで、ｆMEは、現在ブロックに対して動き推定が行われるブロックのフレームナンバーを示し、ｆCは、現在ブロックのフレームナンバーを示し、ｆL，ｆU，ｆURは、それぞれ現在ブロックの左側ブロック、上部ブロック、上部右側ブロックのフレームナンバーを示す。
現在ブロックの動きベクトルプレディクタは、前記スケールされた各動きベクトルプレディクタから決定され、決定されたスケールされた動きベクトルプレディクタを用いて現在ブロックの動きベクトル予測を行い（Ｓ２１４０段階）、現在ブロックの動きベクトル差値（ｍｖｄ）、レファレンスインデックス及びスケールされた動きベクトルプレディクタ情報を伝送する（Ｓ２１５０段階）。また、スケールされた動きベクトルプレディクタを現在ブロックの動きベクトル予測に用いたかどうかを示すスケールされた動きベクトルプレディクタフラグ情報（ｓｃａｌｅｄ ｍｖ ｐｒｅｄｉｃｔｏｒ ｆｌａｇ）を伝送することもできる。前記スケールされた動きベクトルプレディクタフラグ情報が用いられる場合、前記フラグ情報の意味は下記の表７に示す通りである。
[表７]
本発明のデコーディング装置のインター予測部２５０では、スケールされた動きベクトルプレディクタ情報、ｍｖｄ及びレファレンスインデックスを受信し（Ｓ２１６０段階）、これらを用いて現在ブロックの動きベクトルを復元する（Ｓ２１７０段階）。前記スケールされた動きベクトルプレディクタフラグ情報（ｓｃａｌｅｄ ｍｖ ｐｒｅｄｉｃｔｏｒ ｆｌａｇ）を伝送する場合、スケールされた動きベクトルプレディクタ情報が伝送されないことがある。この場合、スケールされた動きベクトルプレディクタフラグ情報（ｓｃａｌｅｄ ｍｖ ｐｒｅｄｉｃｔｏｒ ｆｌａｇ）の値が１であれば、受信されたレファレンスインデックス、ｍｖｄ及び周辺ブロックの動きベクトルを用いてスケールされた動きベクトルプレディクタを求めることができ、これを用いて現在ブロックの動きベクトルを復元する。
したがって、本発明の第７の実施例に係る現在ブロックの動きベクトルを予測する方法は、現在ブロックのレファレンスインデックスが示すフレームと周辺ブロックのレファレンスインデックスが示すフレームとの間の距離を考慮して動きベクトルプレディクタを決定することによって、決定された動きベクトルプレディクタが現在ブロックの動きベクトルとより類似した値を有するようにし、予測の正確度を増加させることができる。
動きベクトルを用いて現在ブロックを予測する方法は、動きの大きい画面でより正確に現在ブロックをコーディングできるが、ビット要求率が大きいので、一定の条件ではスキップモードを用いる。スキップモードは、周辺ブロックを動きベクトルプレディクタとして用いて動きベクトル差値を計算せずに、周辺ブロックの動きベクトル（ｍｖＰ）を現在ブロックの動きベクトルとして用いる。スキップモードを用いる場合、レジデュアル、レファレンスインデックス、ＣＢＰ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）などの情報をコーディングしない。しかし、現在、Ｈ．２６４では、スキップモードを採択する場合に１６＊１６ブロックのみを用いるように制限しているので、１６＊１６ブロック当たり二つ以上の動きベクトルを有することができない。
本発明の第８の実施例では、スキップモードで動きベクトルを有する単位ブロックが多様な大きさを有することができる部分スキップモードを提案する。図２２は、部分スキップモードで用いるブロックサイズを示す図である。
図２２を参照すれば、部分スキップモードは、１６＊１６ブロックのみならず、１６＊８ブロック、８＊１６ブロック、８＊８ブロックを用いることができる。従来のスキップモードは、１６＊１６ブロック当たり一つの動きベクトルを有する反面、部分スキップモードは、１６＊１６ブロック内で最大４個の動きベクトル（８＊８ブロック使用時）を有することが可能である。したがって、部分スキップモードを用いる現在ブロックのデコーディング方法は、映像の歪曲を最小化すると同時に、スキップモードをより活性化することによってコーディング効率を増加させることができる。
本発明の第８の実施例に係る部分スキップモードは、新しいブロックタイプを用いるので、部分スキップモードを用いたブロックのタイプに関する情報をさらに伝送することができる。ブロックタイプに関する情報は、ブロック大きさによってｓｋｉｐ １６＊１６、ｓｋｉｐ １６＊８、ｓｋｉｐ ８＊１６、ｓｋｉｐ Ｐ８＊８であるが、これに限定されることはない。また、従来のスキップモード又は本発明の部分スキップモードを用いたかどうかを示す部分スキップモードフラグ情報（ｐａｒｔｉａｌｌ ｓｋｉｐ ｆｌａｇ）を伝送することができる。前記フラグ情報の意味は、下記の表８に示す通りである。
[表８]
本発明のデコーディング装置のインター予測部２５０では、ブロックタイプ情報、部分スキップモードフラグ情報を受信し、部分スキップモードが用いられる場合、以前のフレームで現在ブロックと同一の位置にあるブロックの動きベクトルを現在ブロックの動きベクトルとして用いる。この場合、スキップモードがより活性化され、コーディング効率を高めることができ、従来のスキップモードよりも多くの動きベクトルを用いることによって現在ブロックの復元率を高めることができる。
一方、エンコーダから動きベクトルと関連した如何なる情報も伝送されず、デコーダで独自にこれを誘導して用いることがより効率的である場合もある。このように、ビデオ信号のデコーディング装置では、現在ブロックの動き予測に必要な情報を直接誘導するダイレクトモードを用いることができる。このようなダイレクトモードは、空間的ダイレクトモード及び時間的ダイレクトモードを含み、空間的ダイレクトモードは、デコーダ上で現在ブロックの動きベクトル及びレファレンスインデックスを周辺ブロックから誘導し、時間的ダイレクトモードは、従来のＢピクチャダイレクトモードと同一の方法で行われる。空間的ダイレクトモードは、時間的ダイレクトモードとは異なり、Ｐ８＊８ブロックが空間的ダイレクトモードを採択する場合も１６＊１６ブロック単位で一つの動きベクトルのみを誘導して用いるように制限される。
したがって、本発明の第９の実施例では、空間的ダイレクトモードで多様な動きベクトルを用いることができる８＊８空間的ダイレクトモードを提案する。図２３Ａ及び図２３Ｂは、従来の空間的ダイレクトモードを採択したＰ８＊８ブロックの動きベクトルと本発明の第９の実施例に係る８＊８ブロックの動きベクトルを示した図である。
図２３Ａを参照すれば、従来の方法で現在ブロックがＰ８＊８ブロックで、ダイレクトモードを用いる場合、１６＊１６ブロックを構成するＰ８＊８ブロックは、いずれも同一の動きベクトル及びレファレンスインデックスを有する。図２３Ａに示すように、ブロックＡ、Ｂ、Ｃ、Ｄは、１６＊１６ブロックの左側に位置するブロックであるａブロック、上端のｂブロック、上端右側のｃブロックを用いて中間値フィルタリングを通して同一の動きベクトル（ｍｖ）とレファレンスインデックスを誘導して用いる。
その一方、図２３Ｂを参照すれば、本発明の８＊８空間的ダイレクトモードは、周辺ブロックを用いて多様な動きベクトルを誘導して用いる。図２３Ｂを参照すれば、Ａ’ブロックは、周辺ブロックであるａ’ブロック、ｃ’ブロック及びｄ’ブロックの動きベクトルのうち中間値をＡ’ブロックの動きベクトル（ｍｖａ’）として用いる。Ｂ’ブロックは、周辺ブロックであるａ’ブロック、ｄ’ブロック及びｅ’ブロックの動きベクトルを用いて動きベクトル（ｍｖｂ’）を誘導し、Ｃ’ブロックはｂ’ブロック、ｃ’ブロック及びｄ’ブロックを用いて、Ｄ’ブロックはｂ’ブロック、ｄ’ブロック及びｅ’ブロックを用いて動きベクトル（ｍｖｃ’、ｍｖｄ’）を誘導する。このとき、レファレンスインデックスは、コーディング効率を高めるために、従来の方法と同様に、用いられた周辺ブロックのレファレンスインデックスのうち最も小さい値を選択する。
このように、本発明の８＊８空間的ダイレクトモードは、P８＊８ブロックごとに動きベクトルを計算し、１６＊１６ブロック内で二つ以上の動きベクトルを用いることによって、現在ブロックが境界領域に位置したり、小さい物体が動く場合により高い復元率を有することができる。
一方、本発明の更に他の一実施例では、離散コサイン変換段階で各ビデオ信号を再配列する段階をさらに含むことによってビット伝送率を減少させ、元の映像との誤差を減少させるビデオ信号の処理方法について、図２４及び図２５を参考にして説明する。
図２４を参照すれば、従来の離散コサイン変換は、ビデオ信号を２次元周波数成分に変換し、変換時にビデオ信号のブロックに含まれた基底成分のそれぞれの大きさを求めた後、量子化してジグザグスキャンを行う。このような離散コサイン変換を行うビデオ信号は、入力されたビデオ信号又はレジデュアル信号である。離散コサイン変換は、２次元変換方法を用い、まず、列方向に変換を行い、行方向への変換を行う。
その一方、各方向への変換前に、係数の値が少ないブロックが直流（ＤＣ）成分に集まるように誘導し、圧縮率をより向上させることができる。したがって、本発明の第１０の実施例は、各ブロックのレジデュアル値及び係数を考慮し、各方向への変換前にブロックを再配列することをさらに含むことによって、一般的な離散コサイン変換を行う場合よりも離散コサイン変換係数が直流成分の近くに集まるように誘導し、圧縮率を向上させることができる。以下では、再配列を行う各ブロックがレジデュアル信号である場合について説明する。
図２５を参照すれば、本発明の第１０の実施例に係る離散コサイン再配列変換は、列方向及び行方向への変換段階前に第１の再配列段階及び第２の再配列段階を含む。前記第１の再配列段階は、列方向で各ブロックのレジデュアル値を比較し、左側に小さい値を有するブロックを配列し、前記再配列順序を示す第１の再配列情報を生成する。その後、列方向への離散コサイン変換を行う。第２の再配列段階は、列方向に離散コサイン変換が行われたレジデュアル値を基準にして行方向で上側に小さい値を有するブロックを再配列し、前記再配列順序を示す第２の再配列情報を生成することによって行われる。本発明の実施例では、各ブロックのレジデュアル値を比較して再配列する方法について説明したが、これに限定されることはない。
このように、離散コサイン変換前に列又は行で少ないレジデュアル値を有するブロックが左側又は上側に位置するように各レジデュアル信号を再配列し、離散コサイン変換を行う場合、各離散コサイン変換係数が左側（直流成分に近く）に集まって分布するようになるので、より高い圧縮効果を得ることができる。
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムで製作され、コンピュータ可読記録媒体に格納されることが可能であり、本発明に係るデータ構造を有するマルチメディアデータもコンピュータ可読記録媒体に格納されることが可能である。前記コンピュータ可読記録媒体は、コンピュータシステムによって読まれるデータが格納される全ての種類の格納装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ―ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、キャリアウェーブ（例えば、インターネットを通した伝送）の形態で具現されるものも含む。また、前記エンコーディング方法によって生成されたビットストリームは、コンピュータ可読記録媒体に格納されたり、有無線通信網を用いて伝送される。
以上のように、本発明は、限定された実施例と図面によって説明されたが、これによって限定されることはなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想と下記に記載される特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。
本発明は、ビデオをエンコーディング及びデコーディングするのに適用される。

Claims (8)

  1. デコーディング装置により符号化ビデオ信号を含むビットストリームをデコーディングする方法であって、
    前記デコーディング装置により、現在ブロックに使用される動きベクトル候補を示す、前記現在ブロックの動きベクトル指示情報を前記ビットストリームから取得するステップと、
    前記デコーディング装置により、空間的動きベクトル候補と時間的動きベクトル候補のうち少なくとも１つを含む２つの動きベクトル候補からなる、前記現在ブロックの動きベクトル候補セットを決定するステップと、
    前記デコーディング装置により、前記動きベクトル候補セットからの前記動きベクトル指示情報に対応する前記動きベクトル候補として、前記現在ブロックの予測された動きベクトルを決定するステップと、
    前記デコーディング装置により、前記決定された予測された動きベクトルに基づいて前記現在ブロックを復元するステップと、を含み、
    一定の条件が満足される場合、２つの空間的動きベクトル候補は前記現在ブロックの前記動きベクトル候補セットとして決定され、
    前記一定の条件が満足されない場合、一つの空間的動きベクトル候補と一つの時間的動きベクトル候補が前記現在ブロックの前記動きベクトル候補セットとして決定される、方法。
  2. 前記一定の条件は、
    以前のピクチャの動きベクトルの平均値が閾値と等しいか大きいことを含む、請求項１に記載の方法。
  3. 前記一定の条件は、
    前記現在ブロックのブロックタイプがスキップモードであるか、又は１６×１６モードであることを更に含む、請求項２に記載の方法。
  4. 前記時間的動きベクトル候補は、前記現在ブロックを含む現在ピクチャ以外のピクチャの前記現在ブロックと同一の位置のブロックの動きベクトルである、請求項１に記載の方法。
  5. 符号化ビデオ信号を含むビットストリームのデコーディング装置であって、
    現在ブロックに使用される動きベクトル候補を示す前記現在ブロックの動きベクトル指示情報を前記ビットストリームから取得するように構成されたエントロピーデコーディング部と、
    空間的動きベクトル候補と時間的動きベクトル候補のうち少なくとも１つを含む２つの動きベクトル候補からなる、前記現在ブロックの動きベクトル候補セットを決定するように構成され、前記動きベクトル候補セットからの前記動きベクトル指示情報に対応する前記動きベクトル候補として、前記現在ブロックの予測された動きベクトルを決定するように構成され、前記決定された予測された動きベクトルに基づいて前記現在ブロックを復元するように構成されたインター予測部と、を備え、
    一定の条件が満足される場合、２つの空間的動きベクトル候補は前記現在ブロックの前記動きベクトル候補セットとして決定され、
    前記一定の条件が満足されない場合、一つの空間的動きベクトル候補と一つの時間的動きベクトル候補が前記現在ブロックの前記動きベクトル候補セットとして決定される、デコーディング装置。
  6. 前記一定の条件は、
    以前のピクチャの動きベクトルの平均値が閾値と等しいか大きいことを含む、請求項５に記載のデコーディング装置。
  7. 前記一定の条件は、
    前記現在ブロックのブロックタイプがスキップモードであるか、又は１６×１６モードであることを更に含む、請求項６に記載のデコーディング装置。
  8. 前記時間的動きベクトル候補は、前記現在ブロックを含む現在ピクチャ以外のピクチャの前記現在ブロックと同一の位置のブロックの動きベクトルである、請求項５に記載のデコーディング装置。
JP2018180462A 2007-10-16 2018-09-26 ビデオ信号処理方法及び装置 Active JP6728288B2 (ja)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
US98043507P 2007-10-16 2007-10-16
US98043407P 2007-10-16 2007-10-16
US98043207P 2007-10-16 2007-10-16
US60/980,432 2007-10-16
US60/980,434 2007-10-16
US60/980,435 2007-10-16
US1680807P 2007-12-27 2007-12-27
US61/016,808 2007-12-27
US2957708P 2008-02-19 2008-02-19
US61/029,577 2008-02-19
US3170508P 2008-02-27 2008-02-27
US61/031,705 2008-02-27
US7575908P 2008-06-26 2008-06-26
US61/075,759 2008-06-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017041905A Division JP6411565B2 (ja) 2007-10-16 2017-03-06 ビデオ信号処理方法及び装置

Publications (2)

Publication Number Publication Date
JP2019017097A true JP2019017097A (ja) 2019-01-31
JP6728288B2 JP6728288B2 (ja) 2020-07-22

Family

ID=40567965

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2010529869A Pending JP2011501555A (ja) 2007-10-16 2008-10-16 ビデオ信号処理方法及び装置
JP2012200528A Active JP5638580B2 (ja) 2007-10-16 2012-09-12 ビデオ信号処理方法及び装置
JP2014214584A Active JP6109803B2 (ja) 2007-10-16 2014-10-21 ビデオ信号処理方法及び装置
JP2017041905A Active JP6411565B2 (ja) 2007-10-16 2017-03-06 ビデオ信号処理方法及び装置
JP2018180462A Active JP6728288B2 (ja) 2007-10-16 2018-09-26 ビデオ信号処理方法及び装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2010529869A Pending JP2011501555A (ja) 2007-10-16 2008-10-16 ビデオ信号処理方法及び装置
JP2012200528A Active JP5638580B2 (ja) 2007-10-16 2012-09-12 ビデオ信号処理方法及び装置
JP2014214584A Active JP6109803B2 (ja) 2007-10-16 2014-10-21 ビデオ信号処理方法及び装置
JP2017041905A Active JP6411565B2 (ja) 2007-10-16 2017-03-06 ビデオ信号処理方法及び装置

Country Status (6)

Country Link
US (8) US8462853B2 (ja)
EP (2) EP2210421A4 (ja)
JP (5) JP2011501555A (ja)
KR (8) KR101946376B1 (ja)
CN (1) CN101884219B (ja)
WO (1) WO2009051419A2 (ja)

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009037828A1 (ja) * 2007-09-21 2009-03-26 Panasonic Corporation 画像符号化装置および画像復号化装置
KR101946376B1 (ko) * 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101456279B1 (ko) 2008-01-03 2014-11-04 한국전자통신연구원 참조 블록 파형 정보에 기반하여 인트라 영상을 부호화하는 장치 및 복호화 하는 장치
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
WO2009115901A2 (en) 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101432775B1 (ko) 2008-09-08 2014-08-22 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
CA2751802A1 (en) * 2009-02-13 2010-08-19 Research In Motion Limited In-loop deblocking for intra-coded images or frames
WO2010091503A1 (en) * 2009-02-13 2010-08-19 Research In Motion Limited Adaptive quantization with balanced pixel-domain distortion distribution in image processing
EP2396969A4 (en) * 2009-02-13 2012-12-12 Research In Motion Ltd MODIFIED ENTROPIC CODING FOR IMAGES AND VIDEOS
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
WO2010149914A1 (fr) * 2009-06-23 2010-12-29 France Telecom Procedes de codage et de decodage d'images, dispositifs de codage et de decodage, et programme d'ordinateur correspondants
EP3337171A1 (en) * 2009-10-22 2018-06-20 Thomson Licensing Methods and apparatus for dc intra prediction mode for video encoding and decoding
KR101459714B1 (ko) * 2009-10-28 2014-11-13 에스케이텔레콤 주식회사 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
USRE47243E1 (en) 2009-12-09 2019-02-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
CN101827270B (zh) * 2009-12-16 2011-12-14 香港应用科技研究院有限公司 一种帧内预测中获取像素预测值的方法
TWI533667B (zh) 2010-01-08 2016-05-11 諾基亞科技公司 用於視訊編碼之裝置、方法及電腦程式
AU2013202014A1 (en) * 2010-01-14 2013-04-18 Samsung Electronics Co., Ltd Method and apparatus for encoding and decoding motion vector
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US9036692B2 (en) 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
KR20110097704A (ko) * 2010-02-23 2011-08-31 삼성전자주식회사 계층 부호화 구조에서 예측 영상을 부호화/복호화하는 방법 및 장치
WO2011125211A1 (ja) 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
CN105635737B (zh) 2010-04-09 2019-03-15 Lg电子株式会社 处理视频数据的方法和装置
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2011128259A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
KR101813189B1 (ko) * 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
EP2534841B1 (en) * 2010-04-22 2017-11-29 HFI Innovation Inc. Motion vector prediction method
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
WO2011145862A2 (en) 2010-05-17 2011-11-24 Lg Electronics Inc. New intra prediction modes
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
AU2015201569B2 (en) * 2010-07-09 2016-08-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
KR101484281B1 (ko) * 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
US9300970B2 (en) 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
RS57809B1 (sr) 2010-07-09 2018-12-31 Samsung Electronics Co Ltd Metod za dekodiranje video zapisa korišćenjem objedinjavanja blokova
KR101456499B1 (ko) * 2010-07-09 2014-11-03 삼성전자주식회사 움직임 벡터의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
PL3125553T3 (pl) * 2010-08-17 2018-09-28 M&K Holdings Inc. Sposób kodowania trybu intra-predykcji
CA2807780C (en) 2010-09-24 2018-09-18 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
CA3033984C (en) * 2010-09-30 2022-03-08 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
CN105791856B (zh) 2010-11-23 2019-07-12 Lg电子株式会社 由编码装置和解码装置执行的间预测方法
KR101756442B1 (ko) * 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
CN107087194B (zh) * 2010-12-13 2020-02-11 韩国电子通信研究院 基于帧间预测对视频信号进行解码的方法
WO2012086166A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 画像符号化方法及び画像復号化方法
JP2012209911A (ja) * 2010-12-20 2012-10-25 Sony Corp 画像処理装置および方法
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
KR101739579B1 (ko) 2011-01-04 2017-05-24 에스케이 텔레콤주식회사 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
US9635382B2 (en) * 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for determining a motion vector
WO2012096164A1 (ja) * 2011-01-12 2012-07-19 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US9066104B2 (en) 2011-01-14 2015-06-23 Google Inc. Spatial block merge mode
CN102595124B (zh) 2011-01-14 2014-07-16 华为技术有限公司 图像编码解码方法、处理图像数据方法及其设备
EP2664146A1 (en) * 2011-01-14 2013-11-20 Motorola Mobility LLC Joint spatial and temporal block merge mode for hevc
CN102595118B (zh) * 2011-01-14 2015-04-08 华为技术有限公司 一种编解码中的预测方法和预测器
AU2015224447B2 (en) * 2011-01-14 2016-02-18 Huawei Technologies Co., Ltd. Prediction method and predictor for encoding and decoding
WO2012097378A1 (en) 2011-01-14 2012-07-19 General Instrument Corporation Temporal block merge mode
US8902982B2 (en) * 2011-01-17 2014-12-02 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
CN103299630B (zh) * 2011-01-19 2016-10-19 寰发股份有限公司 获取运动矢量预测子的方法和装置
JP5873029B2 (ja) * 2011-01-19 2016-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法及び動画像復号化方法
JP2012160991A (ja) * 2011-02-02 2012-08-23 Sony Corp 画像処理装置および方法、並びに、プログラム
KR102355509B1 (ko) 2011-02-09 2022-02-08 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
CN103444182B (zh) 2011-02-09 2017-09-12 Lg电子株式会社 存储运动信息的方法和使用该方法导出时间运动矢量预测值的方法
US9288501B2 (en) * 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
CN106028030B (zh) * 2011-03-08 2017-12-19 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
JP5682582B2 (ja) * 2011-03-08 2015-03-11 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム
WO2012120870A1 (ja) * 2011-03-08 2012-09-13 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5807588B2 (ja) * 2011-03-08 2015-11-10 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
GB2488815C (en) * 2011-03-09 2018-03-28 Canon Kk Video decoding
JP2012191295A (ja) * 2011-03-09 2012-10-04 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
AU2011361644A1 (en) * 2011-03-09 2013-09-19 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
PL2690870T3 (pl) 2011-03-21 2020-07-27 Lg Electronics Inc. Sposób wyboru predyktora wektora ruchu i urządzenie go stosujące
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
CN107888929B (zh) * 2011-04-12 2022-02-01 韩国电子通信研究院 视频编码解码方法、设备以及计算机可读介质
WO2012140821A1 (ja) 2011-04-12 2012-10-18 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
KR102015674B1 (ko) 2011-05-24 2019-08-28 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
EP3614665B1 (en) 2011-05-27 2022-03-23 Sun Patent Trust Apparatus, method and program for decoding moving pictures
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
TW201304552A (zh) 2011-05-31 2013-01-16 Panasonic Corp 動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
KR101748810B1 (ko) * 2011-06-24 2017-06-19 가부시키가이샤 엔.티.티.도코모 모션 보상 예측을 위한 방법 및 장치
JP6322136B2 (ja) * 2011-06-27 2018-05-09 サムスン エレクトロニクス カンパニー リミテッド 動き情報の符号化方法及び該装置、その復号化方法及び該装置
PL3481066T3 (pl) 2011-06-28 2021-11-22 Lg Electronics Inc. Sposób wyprowadzania predyktora wektora ruchu
JP2013012840A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置および方法
CN103636218B (zh) * 2011-06-30 2017-07-28 Jvc建伍株式会社 图像解码装置和图像解码方法
CN106851269B (zh) 2011-06-30 2019-11-15 太阳专利托管公司 图像解码方法及装置、图像编码方法及装置、编解码装置
IN2014CN00729A (ja) 2011-08-03 2015-04-03 Panasonic Corp
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
CN107295347B (zh) * 2011-08-29 2020-06-26 苗太平洋控股有限公司 用于解码合并模式下的运动信息的装置
CN107483927B (zh) * 2011-09-09 2020-06-05 株式会社Kt 用于解码视频信号的方法
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
US9736489B2 (en) 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
RU2595587C2 (ru) * 2011-10-17 2016-08-27 Кт Корпорейшен Способ адаптивного преобразования, основанный на внутрикадровом предсказании, и устройство, использующее такой способ
KR102407474B1 (ko) 2011-10-18 2022-06-10 엘지전자 주식회사 인트라 예측 방법 및 그 장치
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
EP2716047A4 (en) 2011-10-19 2015-03-18 Mediatek Inc METHOD AND DEVICE FOR DERIVING MOTION VECTOR PREVIEW CANDIDATE SETS
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
MX355319B (es) 2011-11-08 2018-04-16 Kt Corp Método y aparato para exploración de coeficientes con base en el modo de división de la unidad de predicción.
RU2623796C9 (ru) * 2011-12-28 2017-11-15 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения
TWI618401B (zh) * 2011-12-28 2018-03-11 Jvc Kenwood Corp Motion picture coding device, motion picture coding method and memory medium
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US9510019B2 (en) 2012-08-09 2016-11-29 Google Inc. Two-step quantization and coding method and apparatus
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
RU2619198C1 (ru) * 2012-11-08 2017-05-12 Кт Корпорейшен Способ декодирования видеосигнала
RU2619199C1 (ru) * 2012-11-08 2017-05-12 Кт Корпорейшен Способ декодирования видеосигнала
US9693060B2 (en) * 2012-11-16 2017-06-27 Qualcomm Incorporated Device and method for scalable coding of video information
US9350988B1 (en) 2012-11-20 2016-05-24 Google Inc. Prediction mode-based block ordering in video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9681128B1 (en) * 2013-01-31 2017-06-13 Google Inc. Adaptive pre-transform scanning patterns for video and image compression
US9426473B2 (en) 2013-02-01 2016-08-23 Qualcomm Incorporated Mode decision simplification for intra prediction
US9148667B2 (en) * 2013-02-06 2015-09-29 Qualcomm Incorporated Intra prediction mode decision with reduced storage
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
US10469848B2 (en) * 2013-12-18 2019-11-05 Hfi Innovation Inc. Palette prediction and sharing in video coding
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
WO2015096157A1 (en) * 2013-12-27 2015-07-02 Mediatek Inc. Patterns of major color index map in palette coding
CN110225345B (zh) * 2013-12-27 2022-07-19 寰发股份有限公司 用于主颜色索引图编码的方法及装置
KR101672085B1 (ko) * 2014-01-03 2016-11-03 한양대학교 산학협력단 화면내 예측을 수행하는 부호화/복호화 장치 및 화면내 예측 부호화/복호화 방법
JP5786988B2 (ja) * 2014-02-25 2015-09-30 富士通株式会社 動画像復号方法、動画像復号装置、及び動画像復号プログラム
JP6221820B2 (ja) * 2014-02-25 2017-11-01 株式会社Ｊｖｃケンウッド 符号化装置、符号化方法および符号化プログラム
JP5786987B2 (ja) * 2014-02-25 2015-09-30 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP5786989B2 (ja) * 2014-02-25 2015-09-30 富士通株式会社 動画像符号化方法、動画像符号化装置、及び動画像符号化プログラム
KR20150109282A (ko) * 2014-03-19 2015-10-01 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
JP5680778B2 (ja) * 2014-03-31 2015-03-04 株式会社東芝 動画像符号化方法及び動画像復号化方法
JP5893178B2 (ja) * 2015-01-06 2016-03-23 株式会社東芝 動画像符号化方法及び動画像復号化方法
KR101567986B1 (ko) 2015-02-02 2015-11-11 에스케이텔레콤 주식회사 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2017003063A1 (ko) * 2015-06-28 2017-01-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017073360A1 (ja) * 2015-10-30 2017-05-04 ソニー株式会社 画像処理装置および方法
RU2615677C1 (ru) * 2015-10-30 2017-04-06 Кабусики Кайся Тосиба Способ кодирования изображений и способ декодирования изображений
WO2017090961A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
EP3435673A4 (en) 2016-03-24 2019-12-25 Intellectual Discovery Co., Ltd. VIDEO SIGNAL ENCODING / DECODING METHOD AND APPARATUS
WO2017175897A1 (ko) * 2016-04-07 2017-10-12 엘지전자(주) 인트라 레지듀얼 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
US20170359575A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Non-Uniform Digital Image Fidelity and Video Coding
CA2986600A1 (en) * 2016-11-24 2018-05-24 Ecole De Technologie Superieure Method and system for parallel rate-constrained motion estimation in video coding
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US10311339B2 (en) * 2017-02-14 2019-06-04 Google Llc Unsupervised learning techniques for temporal difference models
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
TW201944778A (zh) * 2018-04-09 2019-11-16 晨星半導體股份有限公司 幀內預測模式決定裝置與幀內預測模式決定方法
US10645381B2 (en) * 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
WO2020050665A1 (ko) * 2018-09-05 2020-03-12 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
JP7461347B2 (ja) * 2019-05-30 2024-04-03 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法
KR102215978B1 (ko) 2019-09-17 2021-02-16 주식회사 라인웍스 블록체인망 상 비동기 분산 병렬형 앙상블 모델 학습 및 추론 시스템 및 그 방법
EP4022908A4 (en) * 2019-09-25 2022-11-09 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR SIMPLIFIED GEOMETRIC FUSION MODE FOR INTERPREDICTION
JP6871343B2 (ja) * 2019-11-28 2021-05-12 株式会社東芝 動画像符号化方法及び動画像復号化方法
CN111131837B (zh) * 2019-12-30 2022-10-04 浙江大华技术股份有限公司 运动补偿修正方法、编码方法、编码器及存储介质
DE102021117397A1 (de) 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
KR100249223B1 (ko) * 1997-09-12 2000-03-15 구자홍 엠팩(mpeg)-4의움직임벡터코딩방법
US6128047A (en) 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
KR100571687B1 (ko) 1999-02-09 2006-04-18 소니 가부시끼 가이샤 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
JP2000308064A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
EP1412761B1 (en) * 2001-06-01 2005-08-31 Sherwood Services AG Return pad cable connector
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
EP1830577A1 (en) 2002-01-18 2007-09-05 Kabushiki Kaisha Toshiba Video decoding method and apparatus
JP2007060694A (ja) 2002-04-10 2007-03-08 Toshiba Corp 動画像符号化、復号化方法及び装置
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
JP4000928B2 (ja) * 2002-07-04 2007-10-31 ソニー株式会社 動き補償装置
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
JP2004120138A (ja) * 2002-09-24 2004-04-15 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
SG111093A1 (en) 2002-11-18 2005-05-30 St Microelectronics Asia Motion vector selection based on a preferred point
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
MXPA05007449A (es) * 2003-01-10 2005-09-12 Thomson Licensing Sa Definicion de filtros de interpolacion para ocultamiento de error en una imagen codificada.
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
US7471724B2 (en) * 2003-06-23 2008-12-30 Vichip Corp. Limited Method and apparatus for adaptive multiple-dimensional signal sequences encoding/decoding
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
TWI226803B (en) * 2003-07-30 2005-01-11 Mediatek Inc Method for using memory to store motion vectors of decoded macroblocks
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
WO2005076632A2 (en) 2004-01-30 2005-08-18 Thomson Licensing Encoder with adaptive rate control for h.264
EP1719346A1 (en) * 2004-02-20 2006-11-08 Koninklijke Philips Electronics N.V. Method of video decoding
WO2006012383A2 (en) 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for motion vector prediction in temporal video compression
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
BRPI0515943B1 (pt) * 2004-09-29 2018-10-16 Thomson Res Funding Corporation método e aparelho para codificação e decodificação de vídeo de atualização de resolução reduzida
JP4241588B2 (ja) * 2004-11-30 2009-03-18 日本ビクター株式会社 動画像符号化装置、及び動画像復号化装置
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
US7751478B2 (en) 2005-01-21 2010-07-06 Seiko Epson Corporation Prediction intra-mode selection in an encoder
KR100703778B1 (ko) * 2005-04-29 2007-04-06 삼성전자주식회사 고속 ｆｇｓ를 지원하는 비디오 코딩 방법 및 장치
WO2006124885A2 (en) * 2005-05-12 2006-11-23 Kylintv, Inc. Codec for iptv
KR100727972B1 (ko) 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US7852940B2 (en) 2005-10-20 2010-12-14 Qualcomm Incorporated Scalable motion estimation for video encoding
RU2369038C1 (ru) * 2005-11-30 2009-09-27 Кабусики Кайся Тосиба Способ кодирования изображения/декодирования изображения, устройство кодирования изображения/декодирования изображения
JP5020829B2 (ja) * 2005-12-27 2012-09-05 シャープ株式会社 動画像復号装置および動画像符号化装置
US20070171977A1 (en) * 2006-01-25 2007-07-26 Shintaro Kudo Moving picture coding method and moving picture coding device
KR101946376B1 (ko) 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN101583041B (zh) * 2009-06-18 2012-03-07 中兴通讯股份有限公司 多核图像编码处理设备的图像滤波方法及设备
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
GB2488815C (en) * 2011-03-09 2018-03-28 Canon Kk Video decoding
BR122020013893B1 (pt) * 2011-05-31 2022-08-23 JVC Kenwood Corporation Dispositivo de codificação de imagem móvel e método de codificação de imagem móvel
KR20130050404A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
MX355319B (es) * 2011-11-08 2018-04-16 Kt Corp Método y aparato para exploración de coeficientes con base en el modo de división de la unidad de predicción.
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
US9380289B2 (en) * 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US9491461B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
WO2014072571A1 (en) * 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding

Also Published As

Publication number Publication date
CN101884219B (zh) 2014-08-20
US20130266071A1 (en) 2013-10-10
KR20200090986A (ko) 2020-07-29
KR101712915B1 (ko) 2017-03-07
WO2009051419A2 (en) 2009-04-23
JP6109803B2 (ja) 2017-04-05
KR20190122880A (ko) 2019-10-30
US8761242B2 (en) 2014-06-24
EP2210421A2 (en) 2010-07-28
US20190246139A1 (en) 2019-08-08
US20180070103A1 (en) 2018-03-08
US20130272416A1 (en) 2013-10-17
KR101835342B1 (ko) 2018-03-07
KR102313863B1 (ko) 2021-10-15
KR20210033553A (ko) 2021-03-26
JP2015046926A (ja) 2015-03-12
US9813702B2 (en) 2017-11-07
KR102139535B1 (ko) 2020-07-30
US10306259B2 (en) 2019-05-28
EP2621172A2 (en) 2013-07-31
US20130272418A1 (en) 2013-10-17
JP5638580B2 (ja) 2014-12-10
JP6728288B2 (ja) 2020-07-22
JP6411565B2 (ja) 2018-10-24
US8750369B2 (en) 2014-06-10
KR20180027608A (ko) 2018-03-14
KR101597325B1 (ko) 2016-03-02
WO2009051419A3 (en) 2009-06-04
EP2210421A4 (en) 2013-12-04
KR102037328B1 (ko) 2019-10-28
KR20160017666A (ko) 2016-02-16
CN101884219A (zh) 2010-11-10
US20130272417A1 (en) 2013-10-17
US20100220790A1 (en) 2010-09-02
US20150036749A1 (en) 2015-02-05
KR20100081984A (ko) 2010-07-15
KR20190015595A (ko) 2019-02-13
US10820013B2 (en) 2020-10-27
JP2017135730A (ja) 2017-08-03
KR101946376B1 (ko) 2019-02-11
EP2621172A3 (en) 2013-12-04
JP2013009421A (ja) 2013-01-10
KR102231772B1 (ko) 2021-03-23
US8867607B2 (en) 2014-10-21
KR20170024168A (ko) 2017-03-06
US8750368B2 (en) 2014-06-10
JP2011501555A (ja) 2011-01-06
US8462853B2 (en) 2013-06-11

Similar Documents

Publication Publication Date Title
JP6411565B2 (ja) ビデオ信号処理方法及び装置
KR102518242B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
KR102030717B1 (ko) 영상 부호화 방법, 영상 복호화 방법, 영상 부호화기 및 영상 복호화기
KR102490375B1 (ko) 움직임 벡터 리스트 설정 방법 및 이러한 방법을 사용하는 장치
KR20200064153A (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
EP3694213A1 (en) Image decoding method and device on basis of affine motion prediction using constructed affine mvp candidate in image coding system
KR101477545B1 (ko) 움직임 벡터를 복호화하는 방법
KR101477546B1 (ko) 움직임 벡터를 복호화하는 장치
KR20130062960A (ko) 움직임 벡터를 복호화하는 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A603 Late request for extension of time limit during examination

Free format text: JAPANESE INTERMEDIATE CODE: A603

Effective date: 20200120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200701

R150 Certificate of patent or registration of utility model

Ref document number: 6728288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250