JP2009246972A - 動きベクトル情報の符号化/復号化方法及び装置 - Google Patents

動きベクトル情報の符号化/復号化方法及び装置 Download PDF

Info

Publication number
JP2009246972A
JP2009246972A JP2009080293A JP2009080293A JP2009246972A JP 2009246972 A JP2009246972 A JP 2009246972A JP 2009080293 A JP2009080293 A JP 2009080293A JP 2009080293 A JP2009080293 A JP 2009080293A JP 2009246972 A JP2009246972 A JP 2009246972A
Authority
JP
Japan
Prior art keywords
motion vector
unit
reference picture
subunit
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009080293A
Other languages
English (en)
Other versions
JP4990927B2 (ja
Inventor
Kwang-Pyo Choi
光杓 崔
Junsai Go
潤濟 呉
Young-Hoon Joo
永勳 周
Byeung-Woo Jeon
炳宇 全
Bong-Soo Jung
鳳洙 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Sungkyunkwan University Foundation for Corporate Collaboration
Original Assignee
Samsung Electronics Co Ltd
Sungkyunkwan University Foundation for Corporate Collaboration
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020080074289A external-priority patent/KR20090103663A/ko
Application filed by Samsung Electronics Co Ltd, Sungkyunkwan University Foundation for Corporate Collaboration filed Critical Samsung Electronics Co Ltd
Publication of JP2009246972A publication Critical patent/JP2009246972A/ja
Application granted granted Critical
Publication of JP4990927B2 publication Critical patent/JP4990927B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】動きベクトル情報の符号化及び復号化のための方法及び装置を提供する。
【解決手段】上記方法は、符号化単位を複数の副単位に分割し、上記複数の副単位の予測動きベクトル(PMV)を計算するステップと、上記複数の予測動きベクトルが所定の条件を満足するか否かを確認するステップと、上記複数の予測動きベクトルが上記所定の条件を満足する場合に、上記複数の副単位の動きベクトルの省略を示す情報を含む符号化動きベクトルデータを生成するステップとを有することを特徴とする。
【選択図】図2

Description

本発明は、動映像符号化方法に関し、特に、動きベクトルに関する情報の圧縮率を向上させることができる動映像符号化方法に関する。
最近に標準化完了したH.264/AVC規格は、従来の他のビデオ圧縮標準のようにブロック符号化方式を使用して優秀なビット率-歪曲(Rate-Distortion)性能を有する。特に、H.264/AVC規格は、1つの符号化単位であるマクロブロックを複数の可変ブロックサイズの副単位に分割した後に、分割されたこのブロックの動きベクトルを推定することにより動き補償を実行する。
具体的に、符号化単位であるマクロブロック(macro block)に対して、図1に示すように、SKIP、P16×16、P16×8、P8×16、及びP8×8(P8×8、P8×4、P4×8、P4×4)ブロック単位で動きベクトルの推定及び補償を実行する。H.264/AVCでは、このような可変ブロックサイズ動き補償技術を使用する場合に、1つの符号化単位であるマクロブロックで最大16個の動きベクトルが発生する。これは、動きベクトル符号化に多くのビット量を必要とすることを意味する。1つのマクロブロックから分割された副単位のサイズは、可変ブロックサイズ動き予測のために、副単位基盤の精密な動き補償による肯定的な効果だけでなく、複数の動きベクトルに関する追加情報及びどのように所定の符号化単位が動き補償単位である副単位に分割されたかを示す符号化単位分割情報に必要とされるビットオーバーヘッドからの否定的な効果を総合的に考慮して決定される。
このように可変ブロックサイズに分割すると、符号化単位をさらに多くの数の副単位に分割するほど動き補償後剰余(residual)データが少なく発生する。しかしながら、分割された副単位の数に従って動きベクトルが生成されるため、多くの数の副単位に対する動きベクトルが発生する。したがって、符号化する剰余データは減少するが、動きベクトル数の増加に従うビット量が増加する問題が発生する。結局、副単位動き補償の効果をろくに発揮することができないという問題があった。
韓国特許出願公開第2008-0104385号公報 特開2004-072712号公報
したがって、本発明は、上述した従来技術の問題点を解決するために提案されたものであり、その目的は、符号化単位の動きベクトルを示す情報及び符号化単位の剰余データを効率的に圧縮するための符号化/復号化方法及び装置を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、符号化単位の動きベクトル情報を符号化する方法を提供する。上記方法は、上記符号化単位を複数の副単位に分割し、上記複数の副単位の予測動きベクトル(PMV)を計算するステップと、上記複数の予測動きベクトルが所定の条件を満足するか否かを確認するステップと、上記複数の予測動きベクトルが上記所定の条件を満足する場合に、上記複数の副単位の動きベクトルの省略を示す情報を含む符号化動きベクトルデータを生成するステップと、を有することを特徴とする。
上記動きベクトル情報符号化方法は、複数の動きベクトル予測モード(MVPM)の各々で動きベクトルを推定するステップと、上記推定された動きベクトルを参照ピクチャーに適用することにより符号化単位の映像情報を復元するステップと、上記符号化単位の上記復元された映像情報と元映像情報との間の剰余データを計算し、上記剰余データの符号化及び復号化を行うステップと、上記符号化及び復号化が行われた剰余データを上記復元された映像情報に適用することにより再復元された映像情報を生成するステップと、上記再復元された映像情報と上記元映像情報との間のコストを計算するステップと、最小のコストを有する動きベクトル予測モードを選択し、上記最小のコストを第1のコストとして設定するステップと、上記予測動きベクトルを上記参照ピクチャーに適用することにより、上記符号化単位の映像情報を復元し、上記復元された映像情報と上記元映像情報との間の第2のコストを計算するステップとをさらに含み、上記所定の条件は、上記第2のコストが第1のコストより小さい値を有する条件であることが好ましい。
上記所定の条件が満足しない場合に、上記最小のコストを有する動きベクトル予測モードに対して推定された予測動きベクトルを含む符号化動きベクトルデータ、上記参照ピクチャーに関する情報、及び上記剰余データを生成するステップをさらに含むことを特徴とする。
上記所定の条件は、上記副単位の予測動きベクトルが上記副単位の動きベクトルと同一の値でなされた条件であるか、又は上記副単位の動きベクトルの参照ピクチャーが同一の参照ピクチャーでなされた条件であり得る。
上記参照ピクチャーは、符号化を進行中である現在のピクチャーに時間的に隣接したピクチャーであるか、又はフレームメモリに記憶されているピクチャーから選択されたいずれか1つのピクチャーであり得る。後者の場合に、上記符号化動きベクトルデータは、上記参照ピクチャーを示す情報を含むことが好ましい。
上記予測動きベクトルを計算するステップは、各副単位に対する隣接副単位の動きベクトルを取得するステップと、上記隣接副単位の動きベクトルの中間値を計算することにより、上記各副単位の予測動きベクトルを計算するステップとを含むことを特徴とする。
本発明の他の態様によれば、動きベクトル取得単位を示す識別子(ID)を含むビットストリームから動きベクトル情報を復元する方法を提供する。上記方法は、上記ビットストリームをパーシングし、動きベクトル符号化モード(MVCM)を上記識別子から取得するステップと、上記動きベクトル符号化モードが副単位基盤の動きベクトルスキップモードを示す場合に、符号化器と予め設定された条件に従って、予測動きベクトル(PMV)を計算し、参照ピクチャーに関する情報を取得するステップと、上記予測動きベクトルを上記参照ピクチャーに適用することにより符号化単位の映像情報を復元するステップと、有することを特徴とする。
上記動きベクトル符号化モードが上記副単位基盤の動きベクトルスキップモードを示さない場合に、符号化された動きベクトル及び符号化された剰余データを復元し、参照ピクチャーに関する情報を確認するステップと、上記動きベクトル及び上記剰余データを上記参照ピクチャーに適用することにより符号化単位の映像情報を復元するステップとをさらに含むことを特徴とする。
上記予測動きベクトルを計算するステップは、各副単位に対する隣接副単位の動きベクトルを取得するステップと、上記隣接副単位の動きベクトルの中間値を計算し、上記中間値を上記各副単位の予測動きベクトルとして設定するステップとを含むことが好ましい。
上記参照ピクチャーは、符号化が進行中である現在のピクチャーに時間的に隣接したピクチャーであり得る。
本発明のさらに他の態様によれば、動き推定部及び動き補償部を用いて符号化単位に関する動きベクトル情報を符号化する装置を提供する。上記装置は、複数の動きベクトル予測モード(MVPM)で動きベクトルの探索及び副単位の予測動きベクトル(PMV)の計算を指示し、復元された符号化単位のコストを計算する制御部と、上記動きベクトル予測モードで上記副単位の動きベクトルを探索し、上記動きベクトルを上記動き補償部に提供し、隣接副単位の動きベクトルに基づいて上記副単位の予測動きベクトルを計算し、上記予測動きベクトルを上記動き補償部に提供する動き推定部と、上記動きベクトルを参照ピクチャーに適用することにより上記符号化単位の映像情報を復元する動き補償部とを含み、上記制御部は、上記予測動きベクトルが所定の条件を満足する場合に、上記副単位の動きベクトルの省略を示す情報を符号化動きベクトルデータに含むことを特徴とする。
上記制御部は、上記予測動きベクトルが所定の条件を満足しない場合に、最小のコストを有する動きベクトル予測モードを示す情報、上記最小のコストを有する動きベクトル予測モードで探索された動きベクトル、及び剰余データを上記符号化動きベクトルデータに含むことが好ましい。
上記所定の条件は、上記副単位の予測動きベクトルのコストが上記動きベクトル予測モードに対して計算された最小のコストより小さく、上記副単位の予測動きベクトルが上記副単位の動きベクトルと同一の値でなされた条件であり得る。
上記所定の条件は、上記副単位の動きベクトルの参照ピクチャーが同一の参照ピクチャーでなされた条件であり得る。
上記参照ピクチャーは、符号化を進行中である現在のピクチャーに時間的に隣接したピクチャーであり得る。
上記参照ピクチャーは、フレームメモリに記憶されているピクチャーから選択され、上記符号化動きベクトルデータは、上記参照ピクチャーを示す情報を含むことが好ましい。
上記動きベクトル情報符号化装置は、上記符号化単位の元映像情報と上記符号化単位の復元された映像情報との間の剰余データを符号化する剰余データ符号化部と、上記符号化された剰余データを復号化する剰余データ復号化部とをさらに含み、上記制御部は、上記符号化された剰余データのビット数及び上記剰余データ復号化部から受信された歪曲値を用いてコストを計算することを特徴とする。
上記動き推定部は、各副単位に対する隣接副単位の動きベクトルを取得し、
上記隣接副単位の動きベクトルの中間値を計算することにより上記各副単位の予測動きベクトルを計算することが好ましい。
本発明のさらなる他の1つの態様によれば、ビットストリームから動きベクトル情報を復元する装置を提供する。上記装置は、受信されたビットストリームから動きベクトル符号化モード(MVCM)を取得し、上記動きベクトル符号化モードに従って動きベクトルの復元及び符号化単位の映像情報の復元を制御する制御部と、上記制御部が取得した動きベクトル符号化モード及び符号化部とあらかじめ設定された条件に従って、符号化された動きベクトル及び参照ピクチャー情報を含む動きベクトル情報を復元する動きベクトル復号化部と、上記制御部が取得した動きベクトル符号化モード及び上記所定の条件に従って、副単位の予測動きベクトル(PMV)を計算する動き推定部と、上記動きベクトルを上記参照ピクチャーに適用することにより映像情報を復元する動き補償部と、符号化された剰余データを復元する剰余データ復号化部と、上記剰余データ復号化部から受信された上記剰余データを上記動き補償部から受信された映像情報に加算する加算部と、を有することを特徴とする。
上記動きベクトル符号化モードが副単位基盤の動きベクトルスキップモードである場合に、上記制御部は、上記所定の条件に従って上記動きベクトル予測部を制御し、上記参照ピクチャー情報を取得することを特徴とする。
上記動きベクトル予測部は、各副単位に対する隣接副単位の動きベクトルを取得し、上記隣接副単位の動きベクトルの中間値を計算し、上記中間値を上記各副単位の予測動きベクトルとして設定することが好ましい。
上記参照ピクチャーは、符号化を進行中である現在のピクチャーに時間的に隣接したピクチャーであり得る。
上記動きベクトル符号化モードが副単位基盤の動きベクトルスキップモードではない場合に、上記制御部は、上記所定の条件に従って上記動きベクトル復号化部及び上記剰余データ復号化部を制御し、上記動きベクトル復号化部は、受信されたデータから動きベクトル及び参照ピクチャーを取得し、上記剰余データ復号化部は、上記剰余データを上記ビットストリームから取得することが好ましい。
本発明は、動きベクトルに関連したデータが所定の条件を満足するか否かを示す情報を符号化することにより動きベクトル情報の量を効率的に減少させることができる。
また、複数の副単位の動きベクトルに関する符号化された情報を送信する必要がなく、1つのマクロブロックの符号化モードを示す情報を符号化するだけで、マクロブロックの副単位の個々の動きベクトル情報を符号化することができ、副単位で動きベクトルを復元することができる。
H.264/AVC規格で定義されたMVPMを示す図である。 本発明の一実施形態による動きベクトル情報を符号化する映像符号化装置の構成を示すブロック図である。 本発明の一実施形態による動きベクトル情報を符号化する方法を示すフローチャートである。 本発明の一実施形態による動きベクトル情報の符号化を実行するマクロブロックを示す図である。 本発明の他の実施形態による動きベクトル情報を符号化する方法を示すフローチャートである。 本発明のまた他の実施形態による動きベクトル情報を符号化する方法を示すフローチャートである。 本発明の一実施形態による動きベクトル情報を復号化する映像復号化装置の構成を示すブロック図である。 本発明の一実施形態による動きベクトル情報を復号化する方法を示すフローチャートである。
本発明の詳細な構成および要素として、本発明の詳細な説明で定義される特徴は、本発明の実施形態の包括的な理解を助けるために提供される。したがって、本発明の範囲及び趣旨を逸脱することなく、ここに説明された実施形態の様々な変更及び変形が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。また、明瞭性と簡潔性の観点から、当業者に良く知られている機能や構成に関する具体的な説明は、省略する。
本発明の実施形態では、本発明の符号化方法及び装置をH.264/AVC規格に適用することを示す。したがって、符号化単位は、H.264/AVC規格でピクチャーの画素を符号化する単位であるマクロブロック単位である。
また、本発明の実施形態に従って、動きベクトル取得単位である符号化単位(例えば、マクロブロック)を少なくとも2つの副単位に分割する。また、副単位は、16×8、8×16、8×8、8×4、4×8、又は4×4画素などでなされた単位であり得る。
本発明の一実施形態に従う映像符号化及び復号化方法は、H.264/AVC規格に基づいており、一例として、マクロブロックは、符号化単位として使用され、副単位は、16×8、8×16、8×8、8×4、4×8、又は4×4画素などを含む。しかしながら、本発明は、これに限定されず、映像符号化及び復号化方式にも様々に適用可能であることはもちろんである。
本発明の一実施形態において、符号化を進行しているピクチャーを現在のピクチャー(Current Picture:以下、“CP”と称する。)と称し、符号化を進行しているマクロブロックを現在のマクロブロック(Current Macro Block:以下、“CMB”と称する。)と称する。図1に示すように、所定の単位(例えば、16×16、16×8、8×16、8×8、8×4、4×8、又は4×4画素単位)で動きベクトルを推定するモードを動きベクトル予測モード(Motion Vector Predictive Mode:以下、“MVPM”と称する。)と称する。隣接符号化単位(又は副単位)の動きベクトルを用いて予測した動きベクトルを予測動きベクトル(Predictive Motion Vector:以下、“PMV”と称する。)と称し、本発明の動きベクトル符号化方法に従って決定された符号化モードを動きベクトル符号化モード(Motion Vector Coding Mode: 以下、“MVCM”と称する。)と称する。
一方、映像を符号化する過程において、マクロブロックのような1つの符号化単位は、所定数の副単位に分割された後に、動き補償は、副単位で実行される。したがって、動きベクトルは、各副単位に対して発生する。
特に、動きがほとんどない領域に対応するマクロブロック又は同一の方向に移動する領域に対応するマクロブロックの場合に、複数の動きベクトル間には、相当な相関度(correlation)が存在し得る。
これに関連して、本発明は、隣接マクロブロックの動きベクトルとCMBの動きベクトルとの間の関係を明確にし、この関係が所定の条件を満足するか否かを示す情報のみを符号化する。したがって、映像復号化において、まずこの所定の条件が満足するか否かを確認し、この所定の条件を適用することによりマクロブロックの動きベクトルを復元する。
図2は、本発明の一実施形態による動きベクトル情報を符号化する映像符号化装置の構成を示すブロック図である。
図2を参照すると、映像符号化装置は、動き推定部110と、動き補償部120と、減算部125と、参照ピクチャーメモリ130と、剰余データ符号化部140と、剰余データ復号化部150と、加算部155と、エントロピー符号化部160と、動きベクトル符号化部170と、制御部180と、マルチプレクサ(MUX)190とを含む。
制御部180は、図1に示したMVPMの中の1つのモードを動き推定部110に通知する。動き推定部110は、参照ピクチャーメモリ130に記憶されている少なくとも1つの参照ピクチャーを参照して、この通知されたMVPMに対応する副単位(例えば、16×16、16×8、8×16、8×8、8×4、4×8、又は4×4画素単位)に基づいて動きベクトルを探索する。この際、動き推定部110は、制御部180から参照ピクチャーを示す情報を直接受信し、この参照ピクチャーを用いて動きベクトルを探索することができる。代案的に、動き推定部110は、制御部180からMVPMのみを受信し、CPに時間的に隣接したピクチャーのエラー値を計算し、最小のエラー値を有する参照ピクチャーに基づいて動きベクトルを探索する。動き推定部110は、動きベクトル及び参照ピクチャーのインデックスを提供する。また、動き推定部110は、制御部180の制御の下で、各副単位のPMWを計算し、PMWを動き補償部120に提供する。例えば、制御部180は、動き推定部110が8×8画素単位のPMWを計算するように指示し、したがって、動き推定部110は、8×8画素単位でCMBのPMVを計算する。
本発明の一実施形態において、動き推定部110がPMVの計算を例示したが、本発明は、これに限定されず、制御部180又は動きベクトル符号化部170がPMVを計算することも可能である。
動き補償部120は、動き推定部110から動きベクトル及び参照ピクチャーのインデックスを受信し、この動きベクトルをこの参照ピクチャーに 適用することによりマクロブロックを生成する。
入力マクロブロックがピクチャー間の予測符号化を実行する場合に、減算部125は、動き補償部120から入力マクロブロックに対応する参照ピクチャーのマクロブロックを受信し、入力マクロブロック間の減算による剰余(residual)データ及び参照ピクチャーのマクロブロックを生成する。
剰余データ符号化部140は、この剰余データのDCT変換及び量子化計算を実行し、したがって、この剰余データを符号化する。剰余データ復号化部150は、符号化されたこの剰余データを復号化する。
加算部155は、動き補償部120により復元されたマクロブロックを剰余データ復号化部150から受信された剰余データと結合することにより復元された映像を生成した後に、この復元されたピクチャーを参照ピクチャーメモリ130に記憶する。
エントロピー符号化部160は、剰余データ符号化部140から受信される符号化された剰余データをエントロピー符号化する。動きベクトル符号化部170は、動き推定部110から受信された動きベクトル及びこの動きベクトルの参照ピクチャーに関する情報を符号化する。
制御部180は、この各機能部の動作を総括的に制御する。特に、制御部180は、CMBの動きベクトルが所定の条件を満足するか否かを確認することによりMVCMを決定する。すなわち、制御部180は、図1に示したMVPMに対応する副単位で動きベクトルの探索を制御し、この動きベクトルに基づいて動き補償がなされたピクチャーを生成するように、動き推定部110、動き補償部120、及び参照ピクチャーメモリ130の動作を制御する。
このような制御を通じて、制御部180は、所定の条件に関して評価されるデータを取得する。このデータが所定の条件を満足する場合に、制御部180は、この動きベクトル情報をMUX190に提供することなく、動きベクトル情報の省略を示すモードをMUX190に提供する。ここで、所定の条件は、PMV基盤コストが最小のコストを有するMVPMに基づくコストより小さい値を有する条件であり得る。したがって、制御部180は、CMBの元ピクチャーと動き補償がなされたマクロブロックとの間のコストを評価されるデータとして計算する。
MUX190は、エントロピー符号化された剰余データ、MVCM情報、及び符号化された動きベクトル情報をマルチプレキシングする。
本発明の一実施形態による映像符号化装置は、H.264/AVC規格に基づいて、イントラ予測部及びデブロッキングフィルターなどをさらに含んでもよい。また、剰余データ符号化部140及び剰余データ復号化部150は、H.264/AVC規格に基づいて、剰余データのDCT変換及び量子化(逆DCT変換及び逆量子化)計算だけでなく、特定のピクチャー(例えば、Iピクチャー)に対するDCT変換及び量子化(逆DCT変換及び逆量子化)計算をさらに実行することもできる。さらに、本発明の一実施形態による映像符号化装置は、動きベクトルを符号化するだけでなく、H.264/AVC規格に基づく映像データの符号化をさらに実行することもできる。
以下、制御部180、動き推定部110、動き補償部120、及び参照ピクチャーメモリ130の動作に焦点を合わせて、本発明による動きベクトル情報を符号化する方法について説明する。
図3は、本発明の一実施形態による動きベクトル情報を符号化する方法を示すフローチャートである。
図3を参照すると、ステップS210で、符号化単位、すなわち、マクロブロックを受信し、ステップS220で、動き推定及び動き補償を介した予測により最適のコストを有するMVPMを選択する。制御部180は、図1に示したMVPM、SKIP、P16×16、P16×8、P8×16、P8×8、P8×4、P4×8、及びP4×4モードを動き推定部110に順次に示し、動き推定のために参照される参照ピクチャーが記憶されている位置を示す情報を動き推定部110に提供する。同時に、制御部180は、動き推定部110が動作するように指示する。動き推定部110は、各MVPMで動きベクトルを探索し、MVPM、推定された動きベクトル、及び参照ピクチャーのインデックスを動き補償部120に提供する。動き補償部120は、動きベクトル及び参照ピクチャーを用いてマクロブロックを再構成する。この再構成されたマクロブロックが減算部125、剰余データ符号化部140、及び剰余データ復号化部150で順次に処理されるので、これを介して剰余データが生成される。加算部155は、この再構成されたマクロブロックを剰余データと組み合わせることにより、復元された第1のマクロブロックを生成する。結果的に、SKIP、P16×16、P16×8、P8×16、P8×8、P8×4、P4×8、及びP4×4モードの各々に対する第1のマクロブロックが生成される。制御部180は、第1のマクロブロックと元マクロブロックとの間のコストを計算し、この計算されたコストの中で最小のコストを第1のコストとして設定する。
次いで、制御部180は、ステップS230で、本発明の符号化方法に使用される参照ピクチャーを設定し、この参照ピクチャーのインデックスを動き補償部120に提供する。
好ましくは、この参照ピクチャーは、参照ピクチャーメモリ130に記憶されているピクチャーの中で最も最近のピクチャー、例えば、参照インデックス0を有するピクチャーであり得る。
ステップS240は、制御部180及び動き推定部110により実行されることができる。制御部180は、動き推定部110がすべての副単位のPMVを計算するように指示する。動き推定部110は、隣接した副単位(例えば、8×8画素ブロック)を参照してマクロブロックに含まれている副単位のPMVを計算する。
例えば、図4を参照すると、CMBが8×8画素単位の4個の副単位21乃至24(X、X、X、及びX)を含む場合に、動き推定部110は、副単位X、X、X、及びXのPMVを計算する。すなわち、符号化するマクロブロックの第1のブロックXに隣接した隣接副単位である左側ブロック25(A)、上側ブロック26(B)、及び右上側ブロック27(C)の動きベクトルをそれぞれMV、MV、及びMVで示す。ブロックXのPMVの値PMVXは、下記の式(1)により計算される。PMV計算は、ベクトル成分値、すなわち、x成分及びy成分に対して独立して実行される。
Figure 2009246972
図4の第2の副単位Xの隣接ブロックも同様の基準に基づいて、左側ブロックは、Xブロック21であり、上側ブロックは、Cブロック27であり、右上側ブロックは、Eブロック29であり、これらの動きベクトルは、それぞれMVX1、MV、及びMVで示される。ブロックXのPMVの値であるPMVX2は、下記の式(2)により計算される。同一の方式で、ブロックXのPMVの値であるPMVX3は、下記の式(3)により計算される。
Figure 2009246972
Figure 2009246972
本発明の一実施形態において、動き推定部110が現在の副単位の左側、上側、及び右上側に隣接したブロックの動きベクトルを用いてPMVを計算するが、本発明は、これに限定されない。例えば、ブロックXのように右上側に位置したブロックの動きベクトルを取得することができない場合には、右上側に位置したブロックの動きベクトル、すなわち、ブロックXの動きベクトルを使用することも可能である。この場合に、ブロックXのPMVであるPMVX4は、下記の式(4)により計算される。
Figure 2009246972
本発明の一実施形態において、動き推定部110が隣接副単位の動きベクトルの中間値を現在の副単位のPMVとして選択するが、本発明は、これに限定されず、例えば、平均値計算及び動きベクトル競争などを含む様々な方法で現在の副単位の動きベクトルを予測することも可能である。
動き補償部120は、ステップS250で、動き推定部110から受信されたPMVX1、PMVX2、PMVX3、及びPMVX4を用いて第2のマクロブロックを生成する。この際、動き補償に必要とされる参照ピクチャーのインデックスは、制御部180から受信される。
制御部180は、ステップS260で、第2のマクロブロックと元マクロブロックとの間のコストを第2のコストとして計算する。この際、この第2のコストは、制御部180に提供される。
制御部180は、ステップS270で、第1のコストを第2のコストと比較することにより所定の条件が満足するか否かを判定する。この条件が満足する場合には、すなわち、第2のコストが第1のコストより小さい場合には、制御部180は、CMBのMVCMを拡張されたスキップモード(SKIP)として決定し、ステップS300で、特定の動きベクトル情報なく、この判定されたMVCM(すなわち、拡張されたスキップモード)のIDをMUX190に提供する。したがって、MUX190は、ステップS310で、拡張されたスキップモードを示すMVCM IDだけを含む符号化ストリームを生成する。
好ましくは、この所定の条件は、副単位のPMVが副単位で探索されたベクトルと同一の値でなされる条件であり得る。したがって、本発明の実施形態による符号化方法は、ステップS270とステップS300との間に、副単位のPMVが副単位で探索されたベクトルと同一の値でなされたか否かを確認するためのステップS280をさらに含んでもよい(図5を参照)。
より好ましくは、この所定の条件は、この2種類の条件を含み、副単位のPMVの参照ピクチャーがすべて同一の参照ピクチャーでなされる条件であり得る。したがって、本発明の実施形態による符号化方法は、ステップS280とステップS300との間に、副単位のPMVの参照ピクチャーがすべて同一の参照ピクチャーでなされたか否かを確認するためのステップS290をさらに含んでもよい(図6を参照)。
ステップS280及びステップS290は、制御部180により実行されることができる。
一方、ステップS270で、第1のコストが第2のコストより小さい場合に、制御部180は、所定の条件が満足しないことを考慮して、MVCMを第1のコストに対応するMVPMとして決定し、ステップS320で、MVCMを示すIDを生成する。
制御部180は、ステップS330で、MVCMのIDをMUX190に出力すると同時に、動きベクトル符号化部170が第1のコストに対応する動きベクトル及びこの動きベクトルの参照ピクチャーに関する情報を符号化するように指示する。その後に、制御部180は、ステップS340で、剰余データ符号化部140がこの動きベクトルに基づいて復元されたマクロブロックの剰余データを符号化するように指示する。したがって、MUX190は、ステップS350で、MVCMのID、動きベクトル、この動きベクトルの参照ピクチャーに関する情報、及び剰余データをマルチプレキシングすることにより符号化ストリームを生成する。例えば、MVCMを識別するIDは、下記の<表1>に示すように定義されることができる。
Figure 2009246972
mb_typeが“0”である場合に、これは、符号化された動きベクトルに関連したデータが存在し、MVCMがP16×16予測モードであることを示す。この場合に、制御部180は、ステップS320で、MVCMのIDを“1”に設定し、ステップS330、ステップS340、及びステップS350で、動きベクトル、この動きベクトルの参照ピクチャーに関する情報、及び剰余データを組み合わせることにより符号化ストリームを生成する。
mb_typeが“2”である場合に、これは、符号化された動きベクトルに関連したデータが存在し、MVCMがP16×8予測モードであることを示す。この場合に、制御部180は、ステップS320で、MVCMのIDを“011”に設定し、ステップS330、ステップS340、及びステップS350で、動きベクトル、この動きベクトルの参照ピクチャーに関する情報、及び剰余データを組み合わせることにより符号化ストリームを生成する。
mb_typeが“3”である場合に、これは、符号化された動きベクトルに関連したデータが存在し、MVCMがP8×16予測モードであることを示す。この場合に、制御部180は、ステップS320で、MVCMのIDを“00100”に設定し、ステップS330、ステップS340、及びステップS350で、動きベクトル、この動きベクトルの参照ピクチャーに関する情報、及び剰余データを組み合わせることにより符号化ストリームを生成する。
mb_typeが“4”である場合に、これは、符号化された動きベクトルに関連したデータが存在し、MVCMがP8×8予測モードであることを示す。この場合に、制御部180は、ステップS320で、MVCMのIDを“00101”に設定し、ステップS330、ステップS340、及びステップS350で、動きベクトル、この動きベクトルの参照ピクチャーに関する情報、及び剰余データを組み合わせることにより符号化ストリームを生成する。
mb_typeが“5”である場合に、これは、符号化された動きベクトルに関連したデータが存在し、MVCMがP8×8予測モードであり、マクロブロックの副単位の参照ピクチャーが最も最近に記憶されているピクチャー(例えば、参照インデックス0)であることを示す。この場合に、制御部180は、ステップS320で、MVCMのIDを“00110”に設定し、ステップS330、ステップS340、及びステップS350で、この動きベクトルの参照ピクチャーに関する情報なく、MVCMのID、動きベクトル、及び剰余データを組み合わせることにより符号化ストリームを生成する。
一方、mb_typeが“1”である場合に、これは、MVCMがP8×8スキップモード(拡張されたスキップモード)であることを示す。この場合に、制御部180は、ステップS300で、MVCMのIDを“010”に設定し、ステップS310で、動きベクトル、この動きベクトルの参照ピクチャーに関する情報、及び剰余データを符号化することなく、MVCMのIDのみを含む符号化ストリームを生成する。
したがって、P8×8スキップモード(拡張されたスキップモード)において、3ビットのMVCMのIDのみで符号化がなされる。だけではなく、副単位に基づいて動きベクトルを設定し、後で復号化器でも副単位に基づいてこの動きベクトルを正確に復元することができる。
本発明の動きベクトル情報符号化方法に従って、副単位の動きベクトルが所定の条件を満足する場合に、動きベクトルに関する情報を符号化する必要なく、1つのMVCMを用いて符号化が可能である。したがって、動きベクトル情報のビット数を最小にし、動きベクトルをさらに正確に符号化することができる。
図7は、本発明の一実施形態による動きベクトル情報を復号化する映像復号化装置の構成を示すブロック図である。
図7を参照すると、映像復号化装置は、デマルチプレクサ(DEMUX)410と、動きベクトル復号化部420と、参照ピクチャーメモリ430と、動き予測部440と、動き補償部450と、エントロピー復号化部460と、剰余データ復号化部470と、加算部475と、制御部480とを含む。
DEMUX410は、符号化されたビットストリームをパーシング(parsing)し、MVCMのIDを取得し、MVCM IDを制御部480に提供する。MVCM IDが拡張されたスキップモードを示す場合に、DEMUX410は、動きベクトルに関する情報を取得しない。他方、MVCM IDが拡張されたスキップモードを示さない場合に、DEMUX410は、この符号化されたビットストリームから符号化された動きベクトル、この動きベクトルの参照ピクチャーに関する情報、及び剰余データを取得する。DEMUX410は、この符号化された動きベクトル及びこの参照ピクチャー情報を動きベクトル復号化部420に提供し、符号化された剰余データをエントロピー復号化部460に提供する。
動きベクトル復号化部420は、この動きベクトル及びこの参照ピクチャー情報を復号化する。
動き予測部440は、隣接動きベクトルを用いて予測動きベクトルを計算する。予測動きベクトルの計算は、符号化過程で予測動きベクトルを計算する方法と同一の方式でなされることが好ましい。例えば、この予測動きベクトルは、式(1)乃至式(4)により計算されることができる。
動き補償部450は、制御部480からMVCMに対応する動きベクトル復元単位の通知を受ける。動き補償部450は、動きベクトル復号化部420から受信された動きベクトルをこの参照ピクチャーに適用することにより、符号化単位の映像情報を復元する。
エントロピー復号化部460は、この符号化された剰余データをエントロピー復号化することにより量子化された係数を生成し、剰余データ復号化部470は、この量子化された係数の逆量子化及び逆変換を実行することによりこの剰余データを復元する。
加算部475は、この復元された剰余データを動き補償を通じて復元されたこの映像情報に反映することにより最終的に映像情報を復元する。
制御部480は、各機能部の動作を総括的に制御することにより、映像復号化装置の全般的な動作を制御する。制御部480は、DEMUX410からMVCMのIDを受信し、MVCM IDが拡張されたスキップモードを示すか否かを確認する。
MVCMが拡張されたスキップモードを示す場合に、制御部480は、所定の条件に従って参照ピクチャーのインデックス及び動きベクトルを動き補償部450に提供することにより映像情報の復元を制御する。
MVCMが拡張されたスキップモードを示さない場合に、制御部480は、DEMUX410がMVCMに基づく動きベクトル及びこの動きベクトルの参照ピクチャーに関する情報を動きベクトル復号化部420に提供し、剰余データをエントロピー復号化部460に提供するように制御する。また、制御部480は、動きベクトル復号化部420がこの動きベクトル及びこの参照ピクチャー情報を復元するように制御し、エントロピー復号化部460及び剰余データ復号化部470がこの剰余データを復元するように制御する。また、制御部480は、復号化単位の動きベクトル及び参照ピクチャーを動き補償部450に提供することにより映像情報の復元を制御する。
本発明の一実施形態による映像復号化装置は、H.264/AVC規格に基づいて、イントラ補償部及びデブロッキングフィルターなどをさらに含んでもよい。また、剰余データ復号化部470は、H.264/AVC規格に基づいて、剰余データの逆DCT変換及び逆量子化計算だけでなく、特定のピクチャー(例えば、MPEG-2又はH.264規格に基づくIピクチャー)に対する逆DCT変換及び逆量子化計算をさらに実行してもよい。また、本発明の一実施形態による映像復号化装置は、本発明に従う動きベクトルを復号化するだけでなく、H.264/AVC規格に基づいて符号化された映像データをさらに復元してもよい。
以下、本発明の動きベクトル情報復号化方法を使用した映像復元方法について説明する。
図8は、本発明の一実施形態による動きベクトル情報を復号化する方法を示すフローチャートである。
図8を参照すると、DEMUX410は、ステップS510で、ビットストリームを受信し、この受信されたビットストリームからMVCM IDを取得し、MVCM IDを制御部480に提供する。
制御部480は、ステップS520で、MVCM IDが拡張されたスキップモードを示すか否かを判定する。
一方、拡張されたSKIPモードの意味は、映像符号化部と映像復号化部との間であらかじめ設定された条件に基づいて決定される。したがって、所定の条件に従って符号化単位で映像を復元する。ここで、この所定の条件は、副単位の予測動きベクトルが副単位で探索されたベクトルと同一の値でなされ、副単位の予測動きベクトルの参照ピクチャーがすべて同一の参照ピクチャーでなされる条件であり得る。
ステップS520で、MVCM IDが拡張されたスキップモードを示す場合に、この所定の条件に基づいて符号化単位の動きベクトル及び参照ピクチャーのインデックスを復元し、この動きベクトルをこの参照ピクチャーに適用することにより動き補償を遂行する。ステップS531、ステップS533、及びステップS535のために、制御部480は、動き補償部450及び参照ピクチャーメモリ430の動作を制御する。より具体的に、制御部480は、ステップS531で、この所定の条件に対応する参照ピクチャーを動き補償部450に提供するように参照ピクチャーメモリ430を制御する。制御部480が動き予測部440の動作を指示する場合に、動き予測部440は、ステップS533で、隣接副単位の動きベクトルを用いて副単位の予測動きベクトルを計算した後に、この予測動きベクトルを動き補償部450に提供する。動き補償部450は、ステップS535で、この予測動きベクトルを参照ピクチャーと組み合わせることにより、符号化単位の動きが補償されたブロックを生成することにより映像を復元する。
ステップS520で、MVCM IDが拡張されたスキップモードを示さない場合に、制御部480は、ステップS541、ステップS543、及びステップS545で、動きベクトル復号化部420、参照ピクチャーメモリ430、動き補償部450、エントロピー復号化部460、剰余データ復号化部470、及び加算部475の動作を制御する。
制御部480は、動きベクトル復号化部420が動作するように指示し、動きベクトル復号化部420は、DEMUX410から受信された符号化された動きベクトル及びこの動きベクトルの参照ピクチャーを示す情報を復元した後に、この復元された動きベクトル及びこの参照情報を動き補償部450及び参照ピクチャーメモリ430に提供する。
制御部480は、ステップS543で、MVCMに対応するサイズの副単位を考慮して動き補償部450が動作するように指示し、動き補償部450は、この動きベクトル及びこの参照ピクチャーの組合せを介して符号化単位の動き補償を実行することにより映像情報を取得する。
ステップS545で、制御部480は、エントロピー復号化部460、剰余データ復号化部470、及び加算部475の動作を制御する。したがって、エントロピー復号化部460は、DEMUX410から受信されたエトロピー符号化された剰余データを復号化し、剰余データ復号化部470は、このエントロピー復号化された剰余データを復号化する。加算部475は、この剰余データを動き補償された映像情報と組み合わせることにより最終的に符号化単位の映像情報を復元する。
本発明の一実施形態では、所定の条件として、符号化単位の副単位のPMVを所定の参照ピクチャーに適用して復元し、このように復元された映像情報が符号化単位の映像情報と同一であるか、又は最小のコストを有することを例示した。
この参照ピクチャーは、フレームメモリ内に最も最近に記憶されているピクチャーであり得る。この場合に、この所定の条件は、PMVの参照ピクチャーが時間的にCP前のピクチャーですべて同一のものとして設定することができる。したがって、符号化過程では、この所定の条件を満足する場合に、条件が満足することを示す情報だけを符号化し、復号化過程では、この所定の条件に従って参照ピクチャーに関する追加情報がなくても、この符号化単位を復元するのに必要な参照ピクチャーを取得することができる。
また、この参照ピクチャーは、参照ピクチャーメモリに記憶されているピクチャーであり得る。この場合に、この所定の条件は、符号化単位のPMVの参照ピクチャーがすでに符号化されるか又は復号化されたピクチャーですべて同一のものとして設定することができる。したがって、符号化の間にこの所定の条件が満足する場合に、この所定の条件が満足することを示す情報及びこの参照ピクチャーの位置を示す情報を所定の単位(例えば、スライス単位、ピクチャー単位、GOP(Group Of Pictures)単位、又はシーケンス単位など)ごとに周期的に符号化する。復号化の間に、周期的に復元された参照ピクチャーを用いて複数の符号化単位を復元することができる。
この所定の条件は、効率的な符号化及び復号化のために様々に変更されてもよい。
本発明の実施形態は、コンピュータ可読記録媒体上でコンピュータ可読コードとして実現されることもできる。コンピュータ可読記録媒体は、コンピュータシステムにより読み出されることができるデータを記憶することができる任意のデータ記憶装置である。コンピュータ可読記録媒体の例としては、読出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光学データ記憶装置、及び搬送波(有線又は無線送信経路上のインターネットを介したデータ送信のような)が含まれるが、これらに限定されるものではない。また、上記コンピュータ可読記録媒体は、コンピュータ可読コードが分配される方式で記憶されて実行されることができるように、ネットワーク結合型コンピュータシステムを介して分配されることができる。さらに、本発明を遂行するための関数プログラム、コード及びコードセグメントは、本発明が属する技術分野で熟練したプログラマーにより本発明の範囲内で容易に解析されることができるのであろう。
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
110 動き推定部
120 動き補償部
125 減算部
130 参照ピクチャーメモリ
140 剰余データ符号化部
150 剰余データ復号化部
155 加算部
160 エントロピー符号化部
170 動きベクトル符号化部
180 制御部
190 マルチプレクサ(MUX)

Claims (25)

  1. 符号化単位の動きベクトル情報を符号化する方法であって、
    前記符号化単位を複数の副単位に分割し、前記複数の副単位の予測動きベクトル(PMV)を計算するステップと、
    前記複数の予測動きベクトルが所定の条件を満足するか否かを確認するステップと、
    前記複数の予測動きベクトルが前記所定の条件を満足する場合に、前記複数の副単位の動きベクトルの省略を示す情報を含む符号化動きベクトルデータを生成するステップと、
    を有することを特徴とする方法。
  2. 複数の動きベクトル予測モード(MVPM)の各々で動きベクトルを推定するステップと、
    前記推定された動きベクトルを参照ピクチャーに適用することにより符号化単位の映像情報を復元するステップと、
    前記符号化単位の前記復元された映像情報と元映像情報との間の剰余データを計算し、前記剰余データの符号化及び復号化を行うステップと、
    前記符号化及び復号化が行われた剰余データを前記復元された映像情報に適用することにより再復元された映像情報を生成するステップと、
    前記再復元された映像情報と前記元映像情報との間のコストを計算するステップと、
    最小のコストを有する動きベクトル予測モードを選択し、前記最小のコストを第1のコストとして設定するステップと、
    前記予測動きベクトルを前記参照ピクチャーに適用することにより、前記符号化単位の映像情報を復元し、前記復元された映像情報と前記元映像情報との間の第2のコストを計算するステップとをさらに含み、
    前記所定の条件は、前記第2のコストが第1のコストより小さい値を有する条件であることを特徴とする請求項1に記載の方法。
  3. 前記所定の条件が満足しない場合に、前記最小のコストを有する動きベクトル予測モードに対して推定された予測動きベクトルを含む符号化動きベクトルデータ、前記参照ピクチャーに関する情報、及び前記剰余データを生成するステップをさらに含むことを特徴とする請求項2に記載の方法。
  4. 前記所定の条件は、前記副単位の予測動きベクトルが前記副単位の動きベクトルと同一の値でなされた条件であることを特徴とする請求項1に記載の方法。
  5. 前記所定の条件は、前記副単位の動きベクトルの参照ピクチャーが同一の参照ピクチャーでなされた条件であることを特徴とする請求項4に記載の方法。
  6. 前記参照ピクチャーは、符号化を進行中である現在のピクチャーに時間的に隣接したピクチャーであることを特徴とする請求項5に記載の方法。
  7. 前記参照ピクチャーは、フレームメモリに記憶されているピクチャーから選択され、前記符号化動きベクトルデータは、前記参照ピクチャーを示す情報を含むことを特徴とする請求項5に記載の方法。
  8. 前記予測動きベクトルを計算するステップは、
    各副単位に対する隣接副単位の動きベクトルを取得するステップと、
    前記隣接副単位の動きベクトルの中間値を計算することにより、前記各副単位の予測動きベクトルを計算するステップとを含むことを特徴とする請求項1に記載の方法。
  9. 動きベクトル取得単位を示す識別子(ID)を含むビットストリームから動きベクトル情報を復元する方法であって、
    前記ビットストリームをパーシングし、動きベクトル符号化モード(MVCM)を前記識別子から取得するステップと、
    前記動きベクトル符号化モードが副単位基盤の動きベクトルスキップモードを示す場合に、符号化器と予め設定された条件に従って、予測動きベクトル(PMV)を計算し、参照ピクチャーに関する情報を取得するステップと、
    前記予測動きベクトルを前記参照ピクチャーに適用することにより符号化単位の映像情報を復元するステップと、
    を有することを特徴とする方法。
  10. 前記動きベクトル符号化モードが前記副単位基盤の動きベクトルスキップモードを示さない場合に、
    符号化された動きベクトル及び符号化された剰余データを復元し、参照ピクチャーに関する情報を確認するステップと、
    前記動きベクトル及び前記剰余データを前記参照ピクチャーに適用することにより符号化単位の映像情報を復元するステップとをさらに含むことを特徴とする請求項9に記載の方法。
  11. 前記予測動きベクトルを計算するステップは、
    各副単位に対する隣接副単位の動きベクトルを取得するステップと、
    前記隣接副単位の動きベクトルの中間値を計算し、前記中間値を前記各副単位の予測動きベクトルとして設定するステップとを含むことを特徴とする請求項9に記載の方法。
  12. 前記参照ピクチャーは、符号化が進行中である現在のピクチャーに時間的に隣接したピクチャーであることを特徴とする請求項9に記載の方法。
  13. 動き推定部及び動き補償部を用いて符号化単位に関する動きベクトル情報を符号化する装置であって、
    複数の動きベクトル予測モード(MVPM)で動きベクトルの探索及び副単位の予測動きベクトル(PMV)の計算を指示し、復元された符号化単位のコストを計算する制御部と、
    前記動きベクトル予測モードで前記副単位の動きベクトルを探索し、前記動きベクトルを前記動き補償部に提供し、隣接副単位の動きベクトルに基づいて前記副単位の予測動きベクトルを計算し、前記予測動きベクトルを前記動き補償部に提供する動き推定部と、
    前記動きベクトルを参照ピクチャーに適用することにより前記符号化単位の映像情報を復元する動き補償部とを含み、
    前記制御部は、前記予測動きベクトルが所定の条件を満足する場合に、前記副単位の動きベクトルの省略を示す情報を符号化動きベクトルデータに含むことを特徴とする装置。
  14. 前記制御部は、前記予測動きベクトルが所定の条件を満足しない場合に、最小のコストを有する動きベクトル予測モードを示す情報、前記最小のコストを有する動きベクトル予測モードで探索された動きベクトル、及び剰余データを前記符号化動きベクトルデータに含むことを特徴とする請求項13に記載の装置。
  15. 前記所定の条件は、前記副単位の予測動きベクトルのコストが前記動きベクトル予測モードに対して計算された最小のコストより小さく、前記副単位の予測動きベクトルが前記副単位の動きベクトルと同一の値でなされた条件であることを特徴とする請求項13に記載の装置。
  16. 前記所定の条件は、前記副単位の動きベクトルの参照ピクチャーが同一の参照ピクチャーでなされた条件であることを特徴とする請求項15に記載の装置。
  17. 前記参照ピクチャーは、符号化を進行中である現在のピクチャーに時間的に隣接したピクチャーであることを特徴とする請求項16に記載の装置。
  18. 前記参照ピクチャーは、フレームメモリに記憶されているピクチャーから選択され、前記符号化動きベクトルデータは、前記参照ピクチャーを示す情報を含むことを特徴とする請求項14に記載の装置。
  19. 前記符号化単位の元映像情報と前記符号化単位の復元された映像情報との間の剰余データを符号化する剰余データ符号化部と、
    前記符号化された剰余データを復号化する剰余データ復号化部とをさらに含み、
    前記制御部は、前記符号化された剰余データのビット数及び前記剰余データ復号化部から受信された歪曲値を用いてコストを計算することを特徴とする請求項13に記載の装置。
  20. 前記動き推定部は、各副単位に対する隣接副単位の動きベクトルを取得し、
    前記隣接副単位の動きベクトルの中間値を計算することにより前記各副単位の予測動きベクトルを計算することを特徴とする請求項13に記載の装置。
  21. ビットストリームから動きベクトル情報を復元する装置であって、
    受信されたビットストリームから動きベクトル符号化モード(MVCM)を取得し、前記動きベクトル符号化モードに従って動きベクトルの復元及び符号化単位の映像情報の復元を制御する制御部と、
    前記制御部が取得した動きベクトル符号化モード及び符号化部とあらかじめ設定された条件に従って、符号化された動きベクトル及び参照ピクチャー情報を含む動きベクトル情報を復元する動きベクトル復号化部と、
    前記制御部が取得した動きベクトル符号化モード及び前記所定の条件に従って、副単位の予測動きベクトル(PMV)を計算する動き推定部と、
    前記動きベクトルを前記参照ピクチャーに適用することにより映像情報を復元する動き補償部と、
    符号化された剰余データを復元する剰余データ復号化部と、
    前記剰余データ復号化部から受信された前記剰余データを前記動き補償部から受信された映像情報に加算する加算部と、
    を有することを特徴とする装置。
  22. 前記動きベクトル符号化モードが副単位基盤の動きベクトルスキップモードである場合に、前記制御部は、前記所定の条件に従って前記動きベクトル予測部を制御し、前記参照ピクチャー情報を取得することを特徴とする請求項21に記載の装置。
  23. 前記動きベクトル予測部は、各副単位に対する隣接副単位の動きベクトルを取得し、前記隣接副単位の動きベクトルの中間値を計算し、前記中間値を前記各副単位の予測動きベクトルとして設定することを特徴とする請求項21に記載の装置。
  24. 前記参照ピクチャーは、符号化を進行中である現在のピクチャーに時間的に隣接したピクチャーであることを特徴とする請求項21に記載の装置。
  25. 前記動きベクトル符号化モードが副単位基盤の動きベクトルスキップモードではない場合に、前記制御部は、前記所定の条件に従って前記動きベクトル復号化部及び前記剰余データ復号化部を制御し、前記動きベクトル復号化部は、受信されたデータから動きベクトル及び参照ピクチャーを取得し、前記剰余データ復号化部は、前記剰余データを前記ビットストリームから取得することを特徴とする請求項21に記載の装置。
JP2009080293A 2008-03-28 2009-03-27 動きベクトル情報の符号化/復号化方法及び装置 Expired - Fee Related JP4990927B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20080029289 2008-03-28
KR10-2008-0029289 2008-03-28
KR10-2008-0074289 2008-07-29
KR1020080074289A KR20090103663A (ko) 2008-03-28 2008-07-29 움직임 벡터 정보의 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2009246972A true JP2009246972A (ja) 2009-10-22
JP4990927B2 JP4990927B2 (ja) 2012-08-01

Family

ID=40897534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009080293A Expired - Fee Related JP4990927B2 (ja) 2008-03-28 2009-03-27 動きベクトル情報の符号化/復号化方法及び装置

Country Status (3)

Country Link
US (1) US8553779B2 (ja)
EP (1) EP2106146A3 (ja)
JP (1) JP4990927B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246976A (ja) * 2008-03-28 2009-10-22 Samsung Electronics Co Ltd イントラ予測映像符号化/復号化のための方法及び装置
WO2010137324A1 (ja) * 2009-05-29 2010-12-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
WO2012011432A1 (ja) 2010-07-20 2012-01-26 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム
JP2012513179A (ja) * 2010-04-14 2012-06-07 メディアテック インコーポレーテッド 符号化ユニットの映像符号化時に局所的多重仮説予測を行う方法および装置
WO2012147947A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 画像復号装置、および画像符号化装置
JP2014501090A (ja) * 2010-11-25 2014-01-16 エルジー エレクトロニクス インコーポレイティド 映像情報のシグナリング方法及び映像情報のシグナリング方法を用いた映像情報の復号化方法
JP2017079473A (ja) * 2010-02-24 2017-04-27 シャープ株式会社 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、および記録媒体
US10063855B2 (en) 2009-03-23 2018-08-28 Ntt Docomo, Inc. Image predictive encoding and decoding device
JP2019528621A (ja) * 2016-10-13 2019-10-10 富士通株式会社 画像コーディング/デコーディング方法、装置及び画像処理機器
US11284081B2 (en) 2010-11-25 2022-03-22 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101675118B1 (ko) * 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP5368631B2 (ja) 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
US20120106638A1 (en) * 2010-10-29 2012-05-03 Yeping Su Decoder-Side Motion Derivation with Motion Vector Predictors
JP2012124591A (ja) * 2010-12-06 2012-06-28 Sony Corp 画像符号化装置と動きベクトル符号化方法、画像復号化装置と動きベクトル復号化方法、およびプログラム
GB2486901B (en) * 2010-12-29 2014-05-07 Canon Kk Video encoding and decoding with improved error resilience
US9635383B2 (en) * 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for computing a motion vector
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
US9049459B2 (en) * 2011-10-17 2015-06-02 Exaimage Corporation Video multi-codec encoders
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
US9300975B2 (en) * 2011-09-11 2016-03-29 Texas Instruments Incorporated Concurrent access shared buffer in a video encoder
GB2495990A (en) 2011-10-28 2013-05-01 Canon Kk Motion compensated image coding with omission of coding mode cost calculation for a motion predictor in a set.
JP5821542B2 (ja) * 2011-11-07 2015-11-24 富士通株式会社 動画像符号化装置、および動画像復号装置
KR101830352B1 (ko) 2011-11-09 2018-02-21 에스케이 텔레콤주식회사 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR102216128B1 (ko) * 2013-07-24 2021-02-16 삼성전자주식회사 움직임 벡터 결정 방법 및 그 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348093A (ja) * 2004-06-03 2005-12-15 Sony Corp 画像処理装置、そのプログラムおよびその方法
JP2007524279A (ja) * 2003-06-25 2007-08-23 トムソン ライセンシング インターフレームのための高速モード決定符号化
JP2008514121A (ja) * 2004-09-16 2008-05-01 トムソン ライセンシング インタフレームのための高速モード決定方法及び装置
JP2008519503A (ja) * 2004-11-04 2008-06-05 トムソン ライセンシング ビデオ符号器におけるbフレームの高速モード決定のための方法および装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3351705B2 (ja) * 1997-04-25 2002-12-03 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び記録媒体への記録方法
KR100619377B1 (ko) * 2000-02-22 2006-09-08 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
US8155189B2 (en) * 2005-10-19 2012-04-10 Freescale Semiconductor, Inc. System and method of coding mode decision for video encoding
US8121194B2 (en) * 2005-12-16 2012-02-21 Texas Instruments Incorporated Fast macroblock encoding with the early qualification of skip prediction mode using its temporal coherence
EP1993292B1 (en) * 2006-03-09 2013-05-15 NEC Corporation Dynamic image encoding method and device and program using the same
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007524279A (ja) * 2003-06-25 2007-08-23 トムソン ライセンシング インターフレームのための高速モード決定符号化
JP2005348093A (ja) * 2004-06-03 2005-12-15 Sony Corp 画像処理装置、そのプログラムおよびその方法
JP2008514121A (ja) * 2004-09-16 2008-05-01 トムソン ライセンシング インタフレームのための高速モード決定方法及び装置
JP2008519503A (ja) * 2004-11-04 2008-06-05 トムソン ライセンシング ビデオ符号器におけるbフレームの高速モード決定のための方法および装置

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078982A (ja) * 2008-03-28 2014-05-01 Samsung Electronics Co Ltd イントラ予測映像符号化のための方法及び装置
JP2013048480A (ja) * 2008-03-28 2013-03-07 Samsung Electronics Co Ltd イントラ予測映像復号化のための方法及び装置
JP2013048482A (ja) * 2008-03-28 2013-03-07 Samsung Electronics Co Ltd イントラ予測映像符号化のための方法及び装置
JP2009246976A (ja) * 2008-03-28 2009-10-22 Samsung Electronics Co Ltd イントラ予測映像符号化/復号化のための方法及び装置
JP2013048481A (ja) * 2008-03-28 2013-03-07 Samsung Electronics Co Ltd イントラ予測映像復号化のための方法及び装置
US10284848B2 (en) 2009-03-23 2019-05-07 Ntt Docomo, Inc. Image predictive encoding and decoding device
US10284846B2 (en) 2009-03-23 2019-05-07 Ntt Docomo, Inc. Image predictive encoding and decoding device
US10284847B2 (en) 2009-03-23 2019-05-07 Ntt Docomo, Inc. Image predictive encoding and decoding device
US10063855B2 (en) 2009-03-23 2018-08-28 Ntt Docomo, Inc. Image predictive encoding and decoding device
JP5215462B2 (ja) * 2009-05-29 2013-06-19 三菱電機株式会社 画像復号装置、および画像復号方法
WO2010137324A1 (ja) * 2009-05-29 2010-12-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2014132765A (ja) * 2009-05-29 2014-07-17 Mitsubishi Electric Corp 画像復号装置および画像復号方法
US9930356B2 (en) 2009-05-29 2018-03-27 Mitsubishi Electric Corporation Optimized image decoding device and method for a predictive encoded bit stream
US9930355B2 (en) 2009-05-29 2018-03-27 Mitsubishi Electric Corporation Optimized image decoding device and method for a predictive encoded BIT stream
US8934548B2 (en) 2009-05-29 2015-01-13 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
JP2015084574A (ja) * 2009-05-29 2015-04-30 三菱電機株式会社 画像復号装置および画像復号方法
US9036713B2 (en) 2009-05-29 2015-05-19 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US9924190B2 (en) 2009-05-29 2018-03-20 Mitsubishi Electric Corporation Optimized image decoding device and method for a predictive encoded bit stream
JP2017118573A (ja) * 2009-05-29 2017-06-29 三菱電機株式会社 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法および符号化データ
JP2016036176A (ja) * 2009-05-29 2016-03-17 三菱電機株式会社 画像復号装置、画像符号化装置およびビットストリーム
JP2017079473A (ja) * 2010-02-24 2017-04-27 シャープ株式会社 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、および記録媒体
KR101452921B1 (ko) * 2010-04-14 2014-10-23 미디어텍 인크. 코딩 유닛의 비디오 코딩 동안 국소적 다중가설 예측을 수행하는 방법, 및 관련 장치
US8891608B2 (en) 2010-04-14 2014-11-18 Mediatek Inc. Method for performing localized multihypothesis prediction during video coding of a coding unit, and associated apparatus
JP2012513179A (ja) * 2010-04-14 2012-06-07 メディアテック インコーポレーテッド 符号化ユニットの映像符号化時に局所的多重仮説予測を行う方法および装置
US8879620B2 (en) 2010-04-14 2014-11-04 Mediatek Inc. Method for performing localized multihypothesis prediction during video coding of a coding unit, and associated apparatus
KR20160030322A (ko) 2010-07-20 2016-03-16 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법, 및 화상 예측 복호 프로그램
US10063888B1 (en) 2010-07-20 2018-08-28 Ntt Docomo, Inc. Image prediction encoding/decoding system
US9794592B2 (en) 2010-07-20 2017-10-17 Ntt Docomo, Inc. Image prediction encoding/decoding system
US9185409B2 (en) 2010-07-20 2015-11-10 Ntt Docomo, Inc. Image prediction encoding/decoding system
EP3664453A2 (en) 2010-07-20 2020-06-10 NTT DoCoMo, Inc. Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
EP3070945A1 (en) 2010-07-20 2016-09-21 NTT DoCoMo, Inc. Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
US9986261B2 (en) 2010-07-20 2018-05-29 Ntt Docomo, Inc. Image prediction encoding/decoding system
US10542287B2 (en) 2010-07-20 2020-01-21 Ntt Docomo, Inc. Image prediction encoding/decoding system
EP3661211A1 (en) 2010-07-20 2020-06-03 NTT DoCoMo, Inc. Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
US9497480B2 (en) 2010-07-20 2016-11-15 Ntt Docomo, Inc. Image prediction encoding/decoding system
US10225580B2 (en) 2010-07-20 2019-03-05 Ntt Docomo, Inc. Image prediction encoding/decoding system
US10230987B2 (en) 2010-07-20 2019-03-12 Ntt Docomo, Inc. Image prediction encoding/decoding system
EP3661204A1 (en) 2010-07-20 2020-06-03 NTT DoCoMo, Inc. Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
KR20170003736A (ko) 2010-07-20 2017-01-09 가부시키가이샤 엔.티.티.도코모 화상 예측 복호 장치 및 화상 예측 복호 방법
WO2012011432A1 (ja) 2010-07-20 2012-01-26 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム
EP3661210A1 (en) 2010-07-20 2020-06-03 NTT DoCoMo, Inc. Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
US10080021B2 (en) 2010-11-25 2018-09-18 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
JP2014501090A (ja) * 2010-11-25 2014-01-16 エルジー エレクトロニクス インコーポレイティド 映像情報のシグナリング方法及び映像情報のシグナリング方法を用いた映像情報の復号化方法
US9661324B2 (en) 2010-11-25 2017-05-23 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
US10687063B2 (en) 2010-11-25 2020-06-16 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
US10972736B2 (en) 2010-11-25 2021-04-06 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
US11284081B2 (en) 2010-11-25 2022-03-22 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
WO2012147947A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 画像復号装置、および画像符号化装置
JP2019528621A (ja) * 2016-10-13 2019-10-10 富士通株式会社 画像コーディング/デコーディング方法、装置及び画像処理機器

Also Published As

Publication number Publication date
US20090245376A1 (en) 2009-10-01
JP4990927B2 (ja) 2012-08-01
EP2106146A2 (en) 2009-09-30
US8553779B2 (en) 2013-10-08
EP2106146A3 (en) 2014-08-13

Similar Documents

Publication Publication Date Title
JP4990927B2 (ja) 動きベクトル情報の符号化/復号化方法及び装置
JP5513584B2 (ja) イントラ予測映像復号化のための方法及び装置
JP5175397B2 (ja) 効率的な予測モード選択
CN108028931B (zh) 用于视频编解码的自适应帧间预测的方法及装置
JP4908180B2 (ja) 動画像符号化装置
US20120230405A1 (en) Video coding methods and video encoders and decoders with localized weighted prediction
KR101377883B1 (ko) 비디오 인코딩에서 넌-제로 라운딩 및 예측 모드 선택 기법들
KR101681353B1 (ko) 이미지 시퀀스를 나타내는 코딩된 데이터의 스트림을 디코딩하는 방법 및 이미지 시퀀스를 코딩하는 방법
JP2004336369A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
KR20080073157A (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR20120042910A (ko) 비디오 코딩을 위한 템플릿 매칭
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
WO2017122604A1 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが記憶された記憶媒体
JP2012151576A (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
JP2008154060A (ja) 動画像符号化装置
KR20110090841A (ko) 가중치 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR101841352B1 (ko) 참조 프레임 선택 방법 및 그 장치
KR20090103663A (ko) 움직임 벡터 정보의 부호화/복호화 방법 및 장치
WO2011122659A1 (ja) 符号化装置および復号装置
JP5750191B2 (ja) 画像復号化方法
JP2013017085A (ja) 画像符号化装置及び画像符号化方法
JP2018026726A (ja) 符号化装置及びプログラム
JP2015111925A (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
KR20110058677A (ko) 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120502

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4990927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees