JP2008522537A - 多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置 - Google Patents

多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置 Download PDF

Info

Publication number
JP2008522537A
JP2008522537A JP2007544257A JP2007544257A JP2008522537A JP 2008522537 A JP2008522537 A JP 2008522537A JP 2007544257 A JP2007544257 A JP 2007544257A JP 2007544257 A JP2007544257 A JP 2007544257A JP 2008522537 A JP2008522537 A JP 2008522537A
Authority
JP
Japan
Prior art keywords
prediction
image
block
intra
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007544257A
Other languages
English (en)
Other versions
JP5270166B2 (ja
Inventor
ウ−ジン・ハン
サン−チャン・チャ
ホ−ジン・ハ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2005/003916 external-priority patent/WO2006059848A1/en
Publication of JP2008522537A publication Critical patent/JP2008522537A/ja
Application granted granted Critical
Publication of JP5270166B2 publication Critical patent/JP5270166B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • EFIXED CONSTRUCTIONS
    • E03WATER SUPPLY; SEWERAGE
    • E03FSEWERS; CESSPOOLS
    • E03F5/00Sewerage structures
    • E03F5/10Collecting-tanks; Equalising-tanks for regulating the run-off; Laying-up basins
    • EFIXED CONSTRUCTIONS
    • E03WATER SUPPLY; SEWERAGE
    • E03FSEWERS; CESSPOOLS
    • E03F5/00Sewerage structures
    • E03F5/04Gullies inlets, road sinks, floor drains with or without odour seals or sediment traps
    • E03F5/06Gully gratings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、ビデオ圧縮方法に関し、より詳しくはビデオフレームの重複を効率的に除去するための予測方法、及びこれを利用したビデオ圧縮方法並びに装置に関するものである。
本発明による多階層基盤のビデオエンコーディング方法は、カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるステップと、カレントイントラブロックと対応する下位階層のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるステップと、前記2つの予測差分のうち符号化効率がより高い方を選択するステップと、前記選択された予測差分を符号化するステップと、を含む。

Description

本発明は、ビデオ圧縮方法に関し、より詳しくはビデオフレームの重複を効率的に除去するための予測方法、及びこれを利用したビデオ圧縮方法並びに装置に関するものである。
インターネットを含む情報通信技術の発達につれて文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式では消費者の多様な欲求を充足させることができないため、文字、映像、音楽など多様な形態の情報を収容することができるマルチメディアサービスが増加している。マルチメディアデータはその量が膨大であるため、大容量の保存媒体を必要とし、伝送時に広い帯域幅を必要とする。したがって文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を使用するのが必須である。
データを圧縮する基本的な原理はデータの重複要素を除去する過程である。イメージで同じ色やオブジェクトが繰り返されるような空間的重複や動画フレームで隣接フレームがほとんど変化しない場合、及びオーディオで同じ音が引き続き繰り返されるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した心理視覚の重複を除去することによってデータを圧縮することができる。
このような動画圧縮方法として最近、MPEG−4に比べて圧縮効率を一層向上させたH.264ないしAVCに関する関心が高まっている。圧縮効率を向上させるためのスキームの1つとして、H.264は一フレーム内の空間的な類似性を除去するために、方向的イントラ予測を使用する。
方向的イントラ予測は1つのイントラブロックに対し上方向、左方向の隣接ピクセルを利用して決められた方向にコピーすることによって、カレントイントラブロックの値を予測し、その差分のみ符号化する方法である。
H.264において、カレントイントラブロックに対する予測ブロックは先コーディング順序を有する他のブロックを基盤として生成される。そして、前記カレントイントラブロックと前記予測ブロックを引いた値がコーディングされる。輝度成分に対して、予測ブロックはそれぞれの4×4ブロックまたは16×16マクロブロック単位で生成される。それぞれの4×4ブロックに対する選択可能な予測モードは9種類存在し、それぞれの16×16ブロックに対しては4種類存在する。H.264によるビデオエンコーダはそれぞれのブロックに対して、前記予測モードのうちカレントイントラブロックと予測ブロックとの差が最小になる予測モードを選択する。
前記4×4ブロックに対する予測モードとして、H.264では図1に示すように、総計8つの方向性を有するモード(0、1、3ないし8)と、隣接した8つのピクセルの平均値を使用するDCモード2を含む9種類の予測モードを使用する。
図2は前記9種類の予測モードを説明するためのラベリングの例を示す図面である。この場合、予めデコーディングされるサンプル(AないしM)を利用してカレントイントラブロックに対する予測ブロック(aないしpを含む領域)を生成する。ここでE、F、G、Hが予めデコーディングできない場合であれば、それらの位置にDをコピーすることによってE、F、G、Hを仮想で生成することができる。
図3を参照して9種類の予測モードについて詳しく説明すれば、モード0の場合、予測ブロックのピクセルは上位サンプル(A、B、C、D)を利用して垂直方向に外挿推定され、モード1の場合、左側サンプル(I、J、K、L)を利用して水平方向に外挿推定される。また、モード2の場合、予測ブロックのピクセルは上位サンプル(A、B、C、D)及び左側サンプル(I、J、K、L)の平均で同一に代置される。
一方、モード3の場合、予測ブロックのピクセルは左下及び右上の間で45°に内挿推定され、モード4の場合、右下方向に45°に外挿推定される。また、モード5の場合、予測ブロックのピクセルは垂直から右方に約26.6°(幅/高さ=1/2)に外挿推定される。
一方、モード6の場合、予測ブロックのピクセルは水平から約26.6°下方に外挿推定され、モード7の場合、垂直から左方に約26.6°に外挿推定される。最後にモード8の場合、予測ブロックのピクセルは水平から約26.6°上方に内挿推定される。
図3の矢印は各モードで予測方向を示す。モード3ないしモード8で予測ブロックのサンプルは予めデコーディングされる参照サンプルAないしMの加重平均から生成できる。例えば、モード4の場合、予測ブロックの右上段に位置するサンプル(d)は下記数式1のように推定できる。ここで、round()関数は整数の位に四捨五入する関数である。
d=round(B/4+C/2+D/4) ・・・(1)
一方、輝度成分に対する16×16予測モデルには0、1、2、3の4種類のモードがある。モード0の場合、予測ブロックのピクセルは上位サンプル(H)から外挿推定され、モード1の場合、左側サンプル(V)から外挿推定される。そして、モード2の場合、予測ブロックのピクセルは上位サンプル(H)及び左側サンプル(V)の平均で計算される。最後に、モード3の場合、上位サンプル(H)及び左側サンプル(V)に適する線形「平面(plane)」関数を利用する。このモードは輝度がスムーズに変わる領域により適する。
一方、このようにビデオコーディングの効率を向上させようとする努力と共に、多様なネットワーク環境に応じて伝送ビデオデータの解像度、フレーム率、及びSNRを可変的に調節し得るようにする、すなわちスケーラビリティをサポートするビデオコーディング方法に関する研究も活発に進んでいる。
このようなスケーラブルビデオコーディング技術に関して、既にMPEG−21 PART−13でその標準化作業を進行している。このようなスケーラビリティをサポートする方法のうち多階層基盤のビデオコーディング方法が有効な方式として認識されている。例えば、基礎階層、第1向上階層1、第2向上階層2を含む多階層を置き、それぞれの階層は互いに異なる解像度(QCIF、CIF、2CIF)、または互いに異なるフレーム率を有するように構成することができる。
このような多階層ビデオコーディングの特性によって、前記イントラ予測以外にもカレントフレーム10と同じ時間的位置に存在する下位階層のテクスチャ情報を利用した予測方法(以下、「BL予測」という)を使用し得るようになった。BL予測モードは大半適度な予測性能を示すが、イントラ予測モードは良い性能を示したり悪い性能を示したりする場合もある。これによって既存のH.264標準ではマクロブロック別にイントラ予測モードとBL予測モードのうち有利な方式を選択し、選択された方式にしたがって各マクロブロックを符号化する方式を提示している。
図4のようにフレーム内にある映像が存在し、前記映像はBL予測モードがより適する領域(陰影領域)とイントラ予測モードがより適する領域(白色領域)に分けられると仮定する。図4で点線は4×4ブロックの境界を示し、実線はマクロブロックの境界を示す。
このような場合に既存のH.264方式を適用すれば、図5のようにマクロブロック別にイントラ予測モードで符号化されるものと選択されたマクロブロック10bとBL予測モードで符号化されるものと選択されたマクロブロック10aに分けられる。しかし、この結果は図4のようにマクロブロック内でも繊細なエッジを有する映像では適さない結果である。それは、1つのマクロブロック内でもイントラ予測モードが適する領域と、BL予測モードが適する領域が共存するためである。それにもかかわらず、マクロブロック単位として両者のモードのうち1つを任意に選択すれば、良い符号化性能を期待するのは難しい。
本発明は前記した問題点を鑑みて創案したものであって、マクロブロック単位より小さい領域単位としてイントラ予測モード及びBL予測モードのうち有利なほうを選択する方法を提供することを目的とする。
また、本発明は既存のイントラ予測モードに前記BL予測モードを追加して統一した「修正イントラ予測モード」を提示することを目的とする。
さらに、本発明は時間的予測モードでもこのようなスキームを利用してモーションブロック別に、時間的差分を求めるモードとBL予測モードのうち有利なほうを選択する方法を提供することをさらなる目的とする。
前記した目的を達成するために、本発明による多階層基盤のビデオエンコーディング方法は、カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるステップと、カレントイントラブロックと対応する下位階層のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるステップと、前記2つの予測差分のうち符号化効率がさらに高い方を選択するステップと、前記選択された予測差分を符号化するステップとを含む。
前記目的を達成するために、本発明による多階層基盤のビデオデコーディング方法は、イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出するステップと、前記テクスチャデータから前記イントラブロックの差分イメージを生成するステップと、前記修正イントラ予測モードによって予め復元された周辺イントラブロック、または予め復元された対応する下位階層のイメージからカレントイントラブロックの予測ブロックを生成するステップと、前記生成された差分イメージ及び前記予測ブロックを加算して前記カレントイントラブロックのイメージを復元するステップとを含む。
前記した目的を達成するために、本発明による多階層基盤のビデオエンコーディング方法は、参照フレームのうちカレントモーションブロックと対応する領域のイメージから前記カレントモーションブロックに対する時間的予測を行って予測差分を求めるステップと、前記カレントモーションブロックと対応する下位階層領域のイメージから前記カレントモーションブロックに対する予測を行って予測差分を求めるステップと、前記2つの予測差分のうち符号化効率がより高い方を選択するステップと、前記選択された予測差分を符号化するステップとを含む。
前記した目的を達成するために、本発明による多階層基盤のビデオデコーディング方法は、モーションブロック別に選択モード、モーションデータ、及びテクスチャデータを抽出するステップと、前記テクスチャデータから前記モーションブロックの差分イメージを生成するステップと、前記選択モードによって予め復元された参照フレームのうち対応する領域のイメージ、または予め復元された対応する下位階層のイメージのうち1つを選択するステップと、前記生成された差分イメージ及び前記選択されたイメージを加算して前記モーションブロックのイメージを復元するステップとを含む。
前記した目的を達成するために、本発明による多階層基盤のビデオエンコーダは、カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるユニットと、カレントイントラブロックと対応する下位階層領域のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるユニットと、前記2つの予測差分のうち符号化効率がより高い方を選択するユニットと、前記選択された予測差分を符号化するユニットとを含む。
前記した目的を達成するために、本発明による多階層基盤のビデオデコーダは、イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出するユニットと、前記テクスチャデータから前記イントラブロックの差分イメージを生成するユニットと、前記修正イントラ予測モードによって予め復元された周辺イントラブロック、または予め復元された対応する下位階層のイメージからカレントイントラブロックの予測ブロックを生成するユニットと、前記生成された差分及び前記予測ブロックを加算して前記イントラブロックのイメージを復元するユニットとを含む。
本発明によれば、入力されるビデオ特性に、より適する方式で多階層ビデオコーディングを行うことができる。また、本発明によれば多階層ビデオコーデックの性能を向上させることができる。
以下、添付する図面を参照して本発明の好ましい実施形態を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は添付する図面とともに詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下に開示される実施形態に限定されず、相異なる多様な形態によって具現でき、単に本実施形態は本発明の開示を完全なものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであって、本発明は請求項の範疇によってのみ定義される。明細書全体にわたって同じ参照符号は同じ構成要素を示す。
図6は本発明によるイントラブロック(例えば、4×4ブロック)別にイントラ予測モードとBL予測モードのうち有利な方式を選択した結果を示す図面である。図6を参照すれば、図5のように既存のH.264で提示する方法と比較すれば、両者のモードのうちより繊細な単位で選択を行うことができる。このような選択単位はマクロブロックより小さいサイズの単位を任意に選択することもできるが、イントラ予測モードを行うサイズに合わせるのがより好ましい。
既存のイントラ予測モードは輝度成分に対して4×4モード及び16×16モードが存在し、色差成分に対して8×8モードが存在する。このうち16×16モードを使用する場合には既にそのサイズがマクロブロックと同一であるので除外され、4×4モードと8×8モードに対して本発明を適用することができる。以下では、例えば4×4モードを基準にして本発明を説明する。
4×4ブロック単位でイントラ予測モードとBL予測モードのうちから選択すると想定すれば、前記選択は結局4×4ブロック単位で行われるため、既存イントラ予測モードとBL予測モードを別に区分する必要なく、BL予測モードを既存のイントラ予測モードのうち1つの細部モードとして追加することが考えられる。このように、BL予測モードをイントラ予測モードの1つの細部モードとして追加したものを本発明による「修正イントラ予測モード」という。
修正イントラ予測モードによるそれぞれの細部モードは下記表1のように表される。
Figure 2008522537
既存のイントラ予測モードでモード2はDCモードであるが、表1によれば修正イントラ予測モードでは前記モード2をBL予測モードに代替すると示されている。これは他の方向性を有するモードに比べてDCモードは方向性がないのでDCモードによって表現できるイントラブロックはBL予測モードによって十分に表現できると推測されるためである。また、これは新しいモードを追加することによって生じるオーバーヘッドを防止するためでもある。
表1のように定義された修正イントラ予測モードは図7のように図式的に示すことができる。修正イントラ予測モードは既存の方向性を有する8つの予測モードと1つのBL予測モードを含む。この場合、BL予測モードも下方(基礎階層方向)への方向性を有するものとみなされるので、修正イントラ予測モードは全体的に総計9つの方向的予測モードを有することになる。
しかし、必ずDCモードをBL予測モードに代替可能とは言えないため、下記表2のように既存の予測モードをそのまま維持しつつBL予測モードを「モード9」として追加することもできる。但し、本発明の以下の説明では表1の場合を基準に説明する。
Figure 2008522537
図8は本発明の一実施形態によるビデオエンコーダ1000の構成を示すブロック図である。ビデオエンコーダ1000は大きく基礎階層エンコーダ100と向上階層エンコーダ200を含んで構成されるが、まず向上階層エンコーダ200の構成について説明する。
ブロック分割部210は入力フレームを単位イントラブロックに分割する。前記単位イントラブロックはマクロブロックより小さい任意のサイズを有することができるが、本発明の実施形態では前記単位イントラブロックは4×4ピクセルサイズを有するものとして説明する。前記分割された単位イントラブロックは差分器205で入力される。
予測ブロック生成部220は逆空間的変換部251から提供される復元された向上階層ブロック及び基礎階層エンコーダ100から提供される復元された基礎階層のイメージを利用して、修正イントラ予測モード各々に対してカレントイントラブロックの予測ブロックを生成する。前記復元された向上階層ブロックを利用して予測ブロックを生成する場合には図3で説明したような計算過程を利用する。但し、DCモードをBL予測モードに代替する場合は図3でDCモードは除外される。そして、前記復元された基礎階層のイメージを利用して予測ブロックを生成する場合には、前記復元された基礎階層のイメージを直接利用したり、または向上階層の解像度に合わせてアップサンプリングした後に予測ブロックとして利用したりする。
図9を参照すれば、予測ブロック生成部220はカレントイントラブロックの予測ブロック32を生成するのにおいて、既に復元された周辺の向上階層ブロック33、34、35、36、特にカレントイントラブロックと隣接するピクセル情報を利用して、予測モード0、1、3ないし8各々に対して予測ブロックを生成する。そして、予測モード2に対しては既に復元された基礎階層のイメージ31を直接利用したり(基礎階層及び向上階層の解像度が同じ場合)、または向上階層のアップサンプリングした後に予測ブロックとして利用したり(基礎階層及び向上階層の解像度が異なる場合)する。もちろん、復元された基礎階層のイメージを予測ブロックとして利用する前にブロックアーティファクトを多少減少させるために、非ブロック過程をさらに経ることもできるのは当業者には自明なことである。
差分器205はブロック分割部210から入力されたカレントイントラブロックから予測ブロック生成部220で生成された予測ブロックを差分することによって、前記カレントイントラブロックが有する重複性を除去する。
この後、前記差分した結果は空間的変換部231及び量子化部232を経て損失符号化され、さらにエントロピ符号化部233によって無損失符号化される。
空間的変換部231は差分器205によって時間的重複性が除去されたフレームに対して空間的変換を行う。このような空間的変換方法としては、DCT、ウェーブレット変換などが使用できる。空間的変換の結果、変換係数が得られるが、空間的変換方法としてDCTを使用する場合はDCT係数、ウェーブレット変換を使用する場合はウェーブレット係数が得られる。
量子化部232は空間的変換部231で求めた変換係数を量子化して量子化係数を生成する。量子化とは、任意の実数値で表される前記変換係数を一定区間に分けて不連続的な値で表わす作業をいう。このような量子化方法としては、スカラー量子化、ベクトル量子化などがあるが、このうち簡単なスカラー量子化方法は変換係数を量子化テーブルの該当値で割った後に整数の位に四捨五入する過程によって行われる。
一方、空間的変換方法としてウェーブレット変換を利用する場合には、量子化方法として主に埋め込み量子化方法を利用する。このような埋め込み量子化方法はしきい値を変更させて(1/2に変更)、そのしきい値を超える変換係数を優先して符号化する方式であって、空間的関連性を利用して効率的な量子化を行う。このような埋め込み量子化方法としては、EZW、SPIHT、EZBCなどがある。
エントロピ符号化部233は量子化部232によって生成された量子化された係数と、モード選択部240によって選択された予測モードを無損失符号化して向上階層のビットストリームを生成する。このような無損失符号化方法としては、算術符号化、可変長符号化などが使用できる。
モード選択部240は修正イントラ予測モード各々に対してエントロピ符号化部233による無損失符号化を行った結果を比較して符号化効率がより高いモードを選択する。ここで符号化効率は与えられたビット率に対してより優れた画質を示すものを基準とすることができるが、このような基準としてレート歪みに基づく費用関数が主に利用される。前記費用関数の計算結果がより小さければ、より低い費用で符号化されるとみなされるため、修正イントラ予測モードの中から最小費用を示す予測モードを選択すれば良い。
前記費用関数での費用(C)は数式2で計算できる。ここで、Eは符号化されたビットをデコーディングして復元された信号と元信号との差を意味し、Bは各予測モードを行うのに所要されるビット量を意味する。また、λはラグランジュ係数であって、EとBの反映比率を調節し得る係数を意味する。
C=E+λB ・・・(2)
前記所要されるビット量は単にテクスチャデータに所要されるビットだけを意味するものと定義できるが、各予測モードとそれに対応するテクスチャデータに所要されるビット量と定義するのがより正確な方法である。それは、それぞれの予測モード別に割り当てられた予測モードの数字もエントロピ符号化部233によって符号化された結果は同一でないこともあり得、特に既存のH.264でも前記予測モードを周辺イントラブロックの予測モードからの推定によって、省略された結果だけを符号化するので推定の効率性によって符号化結果は異なり得るためである。
モード選択部240はこのようにブロック単位でモード選択を行った結果、図10に示すように、マクロブロック10を構成する各ブロック別に最適の予測モードをすべて決定するようになる。ここで、陰影ブロックはBL予測モードを意味し、白色ブロックは既存の方向性を有するイントラ予測モードを意味する。
但し、本発明による修正イントラ予測モードが適用されるブロックの倍数はマクロブロックのサイズになるのが好ましいが、必ずしもこれに限定されず前記倍数とマクロブロックのサイズが一致しない場合、すなわち1つのフレームを任意に分割した領域を単位で本発明を適用することもできる。
モード選択部240はこのような比較、選択過程によって選択された予測モードをエントロピ符号化部233に伝達すれば、エントロピ符号化部233は前記修正イントラ予測モード各々に対して求めたビットストリームの中から前記選択された予測モードに該当するビットストリームを出力するようになる。
ビデオエンコーダ1000がエンコーダ段とデコーダ段の間のドリフト誤差を減少させるために閉ループエンコーディングをサポートする場合には、ビデオエンコーダ1000は逆量子化部252、逆空間的変換部251をさらに含むことができる。
逆量子化部252は量子化部232で量子化された係数を逆量子化する。このような逆量子化過程は量子化過程の逆に該当する過程である。
逆空間的変換部251は前記逆量子化結果を逆空間的変換して、カレントイントラブロックを復元し、これを予測ブロック生成部220に提供する。
一方、ダウンサンプラ110は入力フレームを基礎階層の解像度になるようにダウンサンプリングする。このようなダウンサンプラとしてはMPEGダウンサンプラ、ウェーブレットダウンサンプラ、その他多様なダウンサンプラを利用することができる。
基礎階層エンコーダ100は前記ダウンサンプリングされた基礎階層フレームを符号化して基礎階層ビットストリームが生成される一方、前記符号化された結果をまた復号化する。前記復号化過程によって復元された基礎階層フレームのうち、向上階層のカレントイントラブロックに対応する領域のテクスチャ情報は予測ブロック生成部220に提供される。もちろん、基礎階層と向上階層の解像度が異なれば、予測ブロック生成部220に提供される前にアップサンプラ120によるアップサンプリング過程をさらに経なければならない。このようなアップサンプリング過程は前記ダウンサンプリング方式に対応する方式で行われるのが好ましいが、必ずしもこれに限定されない。
このような基礎階層エンコーダ100も向上階層エンコーダ200と同様な過程で動作できるが、これに限定されず基礎階層エンコーダ100は従来のイントラ予測過程、時間的予測過程、その他、他の予測過程を含んで基礎階層フレームを符号化/復号化しても良い。
図11は本発明の一実施形態によるビデオデコーダ2000の構成を示すブロック図である。ビデオデコーダ2000は大きく基礎階層デコーダ300と向上階層デコーダ400を含んで構成される。まず向上階層デコーダ400の構成は次の通りである。
エントロピ復号化部411はエントロピ符号化方式の逆に無損失復号化を行って、各単位イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出する。そして、前記予測モードは予測ブロック生成部420に提供し、テクスチャデータは逆量子化部412に提供する。
逆量子化部412はエントロピ復号化部411から伝達されたテクスチャデータを逆量子化する。逆量子化過程はエンコーダ1000の量子化部232で行われた過程の逆に行われる。例えば、スカラー量子化の場合、前記テクスチャデータと対応する量子化テーブル(エンコーダ1000で利用した量子化テーブルと同一)の値を掛ける方式で行われる。
逆空間的変換部413は空間的変換を逆に行って、前記逆量子化の結果、生成された係数からカレントイントラブロックの差分イメージを生成する。例えば、ビデオエンコーダ1000段でウェーブレット方式によって空間的変換された場合には逆空間的変換部413は逆ウェーブレット変換を行い、ビデオエンコーダ段でDCT方式によって空間的変換された場合には逆DCT変換を行う。
予測ブロック生成部420は復号化部411で提供された予測モードによって、加算器215から出力される既に復元されたカレントイントラブロックの周辺イントラブロックまたは基礎階層デコーダ300で復元されたカレントイントラブロックに対応する基礎階層のイメージを利用して予測ブロックを生成する。例えば、モード0、1、3ないし8の場合には周辺イントラブロックから予測ブロックを生成し、モード2の場合には基礎階層のイメージから予測ブロックを生成することができる。
加算器215は逆空間的変換部413で提供される復元された差分ブロックと前記予測ブロックを加算することによって、カレントイントラブロックのイメージを復元する。加算器215の出力は予測ブロック生成部420及びブロック組立部430に入力される。
最後に、ブロック組立部430は前記復元された差分ブロックを組み立てて1つのフレームを復元する。
一方、基礎階層デコーダ300は基礎階層ビットストリームから基礎階層フレームを復元する。前記復元された基礎階層フレームのうち、向上階層のカレントイントラブロックに対応する領域のテクスチャ情報は予測ブロック生成部420に提供される。もちろん、基礎階層と向上階層の解像度が異なれば予測ブロック生成部420に提供される前にアップサンプラ310によるアップサンプリング過程をさらに経なければならない。
このような基礎階層デコーダ300も向上階層デコーダ400と同様な過程で動作できるが、これに限定されず基礎階層デコーダ300は従来のイントラ予測過程、時間的予測過程、その他、他の予測過程を含んで基礎階層フレームを復号化しても良い。
以上、BL予測モードをイントラ予測モードの1つのモードとして含ませる実施形態(第1実施形態)について説明した。以下では本発明の他の実施形態(第2実施形態)として、BL予測モードを時間的予測過程に含ませて使用する方式について説明する。図12によれば、既存のH.264は各マクロブロックの時間的重複性を除去するために、階層的可変サイズブロック整合(HVSBM)を利用する。まず、1つのマクロブロック10は4つのモードを有するサブブロックに分割できる。すなわち、マクロブロック10は16×16モード、8×16モード、16×8モード、及び8×8モードに分割できる。そして8×8サイズのサブブロックは4×8モード、8×4モード、及び4×4モードにさらに分割できる(分割できなければ8×8モードをそのまま使用する)。したがって、1つのマクロブロック10は最大7種類のサブブロックの組み合わせで構成される。
1つのマクロブロック10を構成する最適サブブロックの組み合わせの選択は、多様な組み合わせ可能な場合のうち最も費用が小さい場合を選択することによって行われる。マクロブロック10を細分化するほどより正確なブロック整合が行われる反面、それだけモーションデータ(モーションベクトル、サブブロックモードなど)の数は増加するので、両者の間で最適の接合点を探すことができる。例えば、複雑な変化がない単純な背景イメージはより大きいサイズを有するサブブロックモードが選択される可能性が大きく、複雑で繊細なエッジが存在するイメージはより小さいサイズを有するサブブロックモードが選択される可能性が大きい。
本発明の第2実施形態は図13のように前記最適のサブブロックの組み合わせで構成されたマクロブロック10に対して、各サブブロック別に従来のようにそのまま時間的差分を求めるか、時間的差分を求める代りにBL予測モードを適用するかを判断することを特徴とする。図13でI11は時間的差分を適用するサブブロックを、BL12はBL予測モードを適用するサブブロックの一例を示す。
1つのサブブロックに対して両者のいずれかを選択するために、下記数式3のようなレート歪みに基づく費用関数式を利用することができる。ここで、Cは時間的差分を適用する場合の費用を、CはBL予測モードを適用する場合の費用を各々示す。そして、Eは時間的差分を適用するとき、元信号と復元された信号の差を、Bは時間的予測によるモーションデータ及び前記時間的差分で求められるテクスチャ情報を符号化するのに所要されるビット量を意味する。また、EはBL予測モードを使用するとき、元信号と復元された信号の差を、BはBL予測モードを示す情報及び前記BL予測モードによるテクスチャ情報を符号化するのに所要されるビット量を意味する。
=E+λB
=E+λB ・・・(3)
数式3で前記C及びCのうち小さい値に該当する方法をそれぞれのサブブロック別に選択すれば図13のように表わすことができる。
一方、H.264標準では時間的予測(モーション推定及びモーション補償を含む)過程を行うのにおいて、前記のような階層的可変サイズブロック整合方法を利用するが、MPEGなど他の標準では固定サイズブロック整合を利用する場合もある。本発明の第2実施形態はマクロブロックを可変ブロックに分割したり、または固定ブロックに分割したりすることにかかわらず、まず分割されたブロック各々に対してBL予測モードを使用するか、または他の参照フレームとの差分を求めるかを選択するのが主眼点である。以下では前記可変サイズブロック、または固定サイズブロックなどモーションベクトルを求める基本単位となるブロックを「モーションブロック」という。
図14は本発明の第2実施形態によるビデオエンコーダ3000の構成を示すブロック図である。ビデオエンコーダ3000は大きく基礎階層エンコーダ100と向上階層エンコーダ500を含んで構成されるが、まず向上階層エンコーダ500の構成について説明する。
モーション推定部290は参照フレームを基準にカレントフレームのモーション推定を行ってモーションベクトルを求める。このようなモーション推定はマクロブロック単位で行われ、階層的可変ブロック整合アルゴリズム、または固定ブロック整合アルゴリズムなどによって行われる。ここでブロック整合とは、与えられたモーションブロックを参照フレームの特定探索領域内でピクセル単位で動作して、その誤差が最低になる場合の変位を動作ベクトルと推定することを意味する。モーション推定部290はモーション推定の結果、求められるモーションベクトル、モーションブロックの種類、参照フレーム番号などのモーション情報をエントロピ符号化部233に提供する。
モーション補償部280は前記求めたモーションベクトルを利用して、前記参照フレームに対してモーション補償を行ってモーション補償フレームを生成する。このようなモーション補償フレームは参照フレームのうちカレントフレームの各ブロックに対応するブロックで生成された仮想のフレームを意味する。前記モーション補償フレームはスイッチング部295に提供される。
スイッチング部295はモーション補償部280から提供されるモーション補償フレームと、基礎階層エンコーダ100から提供される基礎階層フレームを受信して、モーションブロック単位で前記フレームのテクスチャを各々差分器205に提供する。もちろん、向上階層と基礎階層が同一でなければ、基礎階層エンコーダ100で生成される基礎階層フレームはアップサンプラ120によってアップサンプリングされた後、スイッチング部295に提供されなければならない。
差分器205は入力フレームの所定のモーションブロック(カレントモーションブロック)からスイッチング部295で提供されるテクスチャを差分することによって、前記カレントモーションブロックが有する重複性を除去する。すなわち、差分器205はスイッチング部295で入力される信号に応じて、カレントモーションブロックとこれと対応するモーション補償フレームのモーションブロックとの差分(以下、第1予測差分という)を求め、かつカレントモーションブロックとこれと対応する基礎階層フレームの領域との差分(以下、第2予測差分という)を求める。
この後、前記第1予測差分及び第2予測差分は空間的変換部231及び量子化部232を経て損失符号化され、さらにエントロピ符号化部233によって無損失符号化される。
モード選択部270はエントロピ符号化部233によって符号化された第1予測差分及び第2予測差分のうち符号化効率がより高い方を選択する。このような選択基準の一例として、前記数式3の説明での判断方法を利用することができる。第1予測差分及び第2予測差分はいずれもモーションブロック単位で計算されたものであるので、モード選択部270は全体モーションブロックに対して前記選択を繰り返して行う。
モード選択部270はこのような比較、選択過程によって選択された結果(例えば、インデックス0または1で表わすことができる)をエントロピ符号化部233に伝達すれば、エントロピ符号化部233は前記選択された結果に該当するビットストリームを出力するようになる。
ビデオエンコーダ3000がエンコーダ段とデコーダ段の間のドリフト誤差を減少させるために閉ループエンコーディングをサポートする場合には、ビデオエンコーダ3000は逆量子化部252、逆空間的変換部251、及び加算器215をさらに含むことができる。加算器215はモーション補償部280から出力されるモーション補償フレームと逆空間的変換部251によって復元される差分フレームを加算して参照フレームを復元し、これをモーション推定部290に提供する。
一方、ダウンサンプラ110、アップサンプラ120、及び基礎階層エンコーダ100の動作は第1実施形態と同様であるのでその説明を省略する。
図15は本発明の一実施形態によるビデオデコーダ4000の構成を示すブロック図である。ビデオデコーダ4000は大きく基礎階層デコーダ300と向上階層デコーダ600を含んで構成される。
エントロピ復号化部411はエントロピ符号化方式の逆に無損失復号化を行って、各モーションブロック単位で選択モード、モーションデータ、及びテクスチャデータを抽出する。ここで選択モードとは、ビデオエンコーダ3000でモーションブロック単位で計算される、時間的差分(第3予測差分)及び基礎階層との差分(第4予測差分)のうち選択された結果を示すインデックス(例えば、0または1と表わすことができる)を意味する。そして、エントロピ復号化部411は前記選択モードをスイッチング部450に、前記モーションデータをモーション補償部440に、前記テクスチャデータを逆量子化部412に各々提供する。
逆量子化部412はエントロピ復号化部411から伝達されたテクスチャデータを逆量子化する。逆量子化過程はエンコーダ(図14の500)の量子化部(図14の232)で行われた過程の逆に行われる。
逆空間的変換部413は空間的変換を逆に行って、前記逆量子化の結果、生成された係数から前記モーションブロック別に差分イメージを生成する。
一方、モーション補償部440はエントロピ復号化部411から提供されるモーションデータを利用して、既に復元されたビデオフレームをモーション補償してモーション補償フレームを生成し、この中でカレントモーションブロックに該当するイメージ(第1イメージ)をスイッチング部450に提供する。
そして、基礎階層デコーダ300は基礎階層ビットストリームから基礎階層フレームを復元し、この中でカレントモーションブロックに該当するイメージ(第2イメージ)をスイッチング部450に提供する。もちろん、この場合、必要時にアップサンプラ310によるアップサンプリング過程をさらに経ることもできる。
スイッチング部450は復号化部411から提供される選択モードによって、前記第1イメージと前記第2イメージのいずれかを選択し、これを予測ブロックとして加算器215に提供する。
加算器215は逆空間的変換部413から提供される生成された差分イメージとスイッチング部450によって選択されて前記予測ブロックを加算することによって、カレントモーションブロックに対するイメージを復元する。このような過程でモーションブロック別イメージを繰り返して復元すれば、結局1つのフレームを復元することができる。
以上、図8、図11、図14、及び図15の各構成要素はソフトウェアまたはFPGAやASICのようなハードウェアを意味する。しかし、前記構成要素はソフトウェアまたはハードウェアに限定されずアドレッシング可能な保存媒体にあるように構成されることもでき、1つまたはそれ以上のプロセッサを実行させるように構成されることもできる。前記構成要素内で提供される機能はさらに細分化された構成要素によって具現でき、複数の構成要素を合わせて特定機能を行う1つの構成要素で具現することもできる。
以上、添付する図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態によって実施できることを理解することができる。したがって前述した実施形態はすべての面で例示的なものであって、限定的なものではないことを理解しなければならない。
既存H.264のイントラ予測モードを図式的に示す図面である。 図1のモードを説明するためのラベリングを示す図面である。 図1のイントラ予測モード各々をより詳しく説明する図面である。 入力映像の例を示す図面である。 既存方法により、両モードのうち1つを選択した結果を示す図面である。 本発明により、ブロック別に両モードのうち1つを選択した結果を示す図面である。 本発明による修正イントラ予測モードを図式的に示す図面である。 本発明の第1実施形態によるビデオエンコーダの構成を示すブロック図である。 修正イントラ予測モードで参照する領域を示す図面である。 ブロック別に最適の予測モードを決定してマクロブロックを形成した例を示す図面である。 本発明の第1実施形態によるビデオデコーダの構成を示すブロック図である。 階層的可変ブロックサイズの整合例を図式的に示す図面である。 モーションブロック別にモードを決定して構成したマクロブロックを示す図面である。 本発明の第2実施形態によるビデオエンコーダの構成を示すブロック図である。 本発明の第2実施形態によるビデオデコーダの構成を示すブロック図である。
符号の説明
100 基礎階層エンコーダ
200、500 向上階層エンコーダ
300 基礎階層デコーダ
400、600 向上階層デコーダ
1000、3000 ビデオエンコーダ
2000、4000 ビデオデコーダ
110 ダウンサンプラ
120 アップサンプラ
205 差分器
210 ブロック分割部
215 加算器
220 予測ブロック生成部
231 空間的変換部
232 量子化部
233 エントロピ符号化部
240、270 モード選択部
251 逆空間的変換部
252 逆量子化部
280 モーション補償部
290 モーション推定部
295 スイッチング部
310 アップサンプラ
411 エントロピ復号化部
412 逆量子化部
413 逆空間的変換部
420 予測ブロック生成部
430 ブロック組立部
440 モーション補償部
450 スイッチング部

Claims (23)

  1. カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるステップと、
    カレントイントラブロックと対応する下位階層のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるステップと、
    前記2つの予測差分のうち符号化効率がより高い方を選択するステップと、
    前記選択された予測差分を符号化するステップと、を含む多階層基盤のビデオエンコーディング方法。
  2. イントラ予測は、8つの方向性を有するイントラ予測モードによって行われる請求項1に記載の多階層基盤のビデオエンコーディング方法。
  3. 前記イントラブロックは、4×4ピクセルサイズを有する請求項1に記載の多階層基盤のビデオエンコーディング方法。
  4. 前記イントラ予測は、前記8つのイントラ予測モードに、前記下位階層のイメージから予測差分を求めるステップの予測を追加して、全体的に9つのイントラ予測モードを有する請求項2に記載の多階層基盤のビデオエンコーディング方法。
  5. 前記下位階層領域のイメージは、符号化された下位階層フレームを復号化して復元されるフレームのうち前記カレントイントラブロックに対応する領域のイメージを意味する請求項1に記載の多階層基盤のビデオエンコーディング方法。
  6. 前記周辺イントラブロックのイメージは、符号化された周辺イントラブロックを復号化して復元されるイメージを意味する請求項1に記載の多階層基盤のビデオエンコーディング方法。
  7. 前記符号化効率はレート歪みに基づく費用関数によって判断される請求項1に記載の多階層基盤のビデオエンコーディング方法。
  8. 前記符号化するステップは、
    前記選択された差分を空間的変換して変換係数を生成するステップと、
    前記生成された変換係数を量子化して量子化係数を生成するステップと、
    前記量子化係数を無損失符号化するステップと、を含む請求項1に記載の多階層基盤のビデオエンコーディング方法。
  9. イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出するステップと、
    前記テクスチャデータから前記イントラブロックの差分イメージを生成するステップと、
    前記修正イントラ予測モードによって予め復元された周辺イントラブロック、または予め復元された対応する下位階層のイメージからカレントイントラブロックの予測イメージを生成するステップと、
    前記生成された差分イメージ及び前記予測イメージを加算して前記カレントイントラブロックのイメージを復元するステップと、を含む多階層基盤のビデオデコーディング方法。
  10. 前記差分イメージを生成するステップは、
    前記テクスチャデータを逆量子化するステップと、
    前記逆量子化結果を逆空間的変換するステップと、を含む請求項9に記載の多階層基盤のビデオデコーディング方法。
  11. 前記修正イントラ予測モードは、8つの方向性を有するイントラ予測モードと、対応する下位階層の領域から予測するモードと、を含む請求項9に記載の多階層基盤のビデオデコーディング方法。
  12. 参照フレームのうちカレントモーションブロックと対応する領域のイメージから前記カレントモーションブロックに対する時間的予測を行って予測差分を求めるステップと、
    前記カレントモーションブロックと対応する下位階層領域のイメージから前記カレントモーションブロックに対する予測を行って予測差分を求めるステップと、
    前記2つの予測差分のうち符号化効率がより高い方を選択するステップと、
    前記選択された予測差分を符号化するステップと、を含む多階層基盤のビデオエンコーディング方法。
  13. 前記モーションブロックは、階層的可変サイズブロック整合によって生成される請求項12に記載の多階層基盤のビデオエンコーディング方法。
  14. 前記モーションブロックは、固定サイズブロック整合によって生成される請求項12に記載の多階層基盤のビデオエンコーディング方法。
  15. 前記符号化効率はレート歪みに基づく費用関数によって判断される請求項12に記載の多階層基盤のビデオエンコーディング方法。
  16. 前記下位階層領域のイメージは、符号化された下位階層フレームを復号化して復元されるフレームのうち前記カレントモーションブロックに対応する領域のイメージを意味する請求項12に記載の多階層基盤のビデオエンコーディング方法。
  17. 前記参照フレームは、前記カレントモーションブロックと異なる時間的位置に存在するフレームを符号化した後、復号化して復元されるフレームを意味する請求項12に記載の多階層基盤のビデオエンコーディング方法。
  18. モーションブロック別に選択モード、モーションデータ、及びテクスチャデータを抽出するステップと、
    前記テクスチャデータから前記モーションブロックの差分イメージを生成するステップと、
    前記選択モードによって予め復元された参照フレームのうち対応する領域のイメージ、または予め復元された対応する下位階層のイメージのうち1つを選択するステップと、
    前記生成された差分イメージ及び前記選択されたイメージを加算して、前記モーションブロックのイメージを復元するステップと、を含む多階層基盤のビデオデコーディング方法。
  19. 前記差分イメージを生成するステップは、
    前記テクスチャデータを逆量子化するステップと、
    前記逆量子化結果を逆空間的変換するステップと、を含む請求項18に記載の多階層基盤のビデオデコーディング方法。
  20. カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるユニットと、
    カレントイントラブロックと対応する下位階層領域のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるユニットと、
    前記2つの予測差分のうち符号化効率がより高い方を選択するユニットと、
    前記選択された予測差分を符号化するユニットと、を含む多階層基盤のビデオエンコーダ。
  21. イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出するユニットと、
    前記テクスチャデータから前記イントラブロックの差分イメージを生成するユニットと、
    前記修正イントラ予測モードによって予め復元された周辺イントラブロック、または予め復元された対応する下位階層のイメージからカレントイントラブロックの予測イメージを生成するユニットと、
    前記生成された差分及び前記予測イメージを加算して、前記イントラブロックのイメージを復元するユニットと、を含む多階層基盤のビデオデコーダ。
  22. カレントモーションブロックに対応する参照フレームのイメージを利用して、前記カレントモーションブロックに対する時間的予測を行って第1予測差分を求めるユニットと、
    カレントモーションブロックに対応する下位階層領域のイメージを利用して、前記カレントモーションブロックに対する予測を行って第2予測差分を求めるユニットと、
    前記第1予測差分及び第2予測差分のうち符号化効率がより高い方を選択するユニットと、
    前記選択された予測差分を符号化するユニットと、を含む多階層基盤のビデオエンコーダ。
  23. それぞれのモーションブロック別に選択モード、モーションデータ及びテクスチャデータを抽出するユニットと、
    前記テクスチャデータから前記モーションブロックの差分イメージを生成するユニットと、
    前記選択モードによって予め復元された下位階層イメージ及び前記モーションブロックに対応する予め復元された参照フレームのイメージのうち1つを選択するユニットと、
    前記選択されたイメージを前記差分イメージに加算して、前記モーションブロックのイメージを復元するユニットと、を含む多階層基盤のビデオデコーダ。
JP2007544257A 2004-12-03 2005-11-18 多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置 Expired - Fee Related JP5270166B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US63254504P 2004-12-03 2004-12-03
US60/632,545 2004-12-03
KR10-2005-0006804 2005-01-25
KR1020050006804A KR100679031B1 (ko) 2004-12-03 2005-01-25 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
PCT/KR2005/003916 WO2006059848A1 (en) 2004-12-03 2005-11-18 Method and apparatus for multi-layered video encoding and decoding

Publications (2)

Publication Number Publication Date
JP2008522537A true JP2008522537A (ja) 2008-06-26
JP5270166B2 JP5270166B2 (ja) 2013-08-21

Family

ID=37159515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007544257A Expired - Fee Related JP5270166B2 (ja) 2004-12-03 2005-11-18 多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置

Country Status (4)

Country Link
US (1) US20060120450A1 (ja)
JP (1) JP5270166B2 (ja)
KR (1) KR100679031B1 (ja)
CN (1) CN101069429B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009523395A (ja) * 2006-01-11 2009-06-18 クゥアルコム・インコーポレイテッド 精細粒度空間スケーラビリティによるビデオ符号化
JP2012518940A (ja) * 2009-02-23 2012-08-16 コリア アドバンスド インスティテュート オブ サイエンス アンド テクノロジー ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100888962B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 bl 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
EP1977607A4 (en) * 2006-01-09 2014-12-17 Lg Electronics Inc INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL
US8340179B2 (en) * 2006-03-21 2012-12-25 Canon Kabushiki Kaisha Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method
US8687691B1 (en) * 2006-04-17 2014-04-01 Motorola Mobility Llc Image sliced high definition scalable array encoding system and method
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
US20080056367A1 (en) * 2006-08-30 2008-03-06 Liu Wenjin Multi-step directional-line motion estimation
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
KR101365571B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
US7705889B2 (en) * 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation
KR102139535B1 (ko) 2007-10-16 2020-07-30 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2009054920A2 (en) * 2007-10-19 2009-04-30 Thomson Licensing Combined spatial and bit-depth scalability
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
US8170097B2 (en) * 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
KR101431543B1 (ko) * 2008-01-21 2014-08-21 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
TWI500308B (zh) * 2008-03-09 2015-09-11 Lg Electronics Inc 視訊訊號之編碼或解碼方法及其裝置
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
KR101353301B1 (ko) * 2008-04-11 2014-01-21 에스케이 텔레콤주식회사 인트라 예측 모드 결정 방법 및 그 장치와 이를 이용한영상 부호화/복호화 방법 및 그 장치
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
EP2485489A4 (en) 2009-10-01 2014-01-15 Sk Telecom Co Ltd METHOD AND DEVICE FOR CODING AND DECODING IMAGES THROUGH VARIABLE SIZE MACROBLOCKS
HUE026080T2 (en) * 2009-10-01 2016-05-30 Sk Telecom Co Ltd Process and apparatus for encoding / decoding an image using a distributed layer
CN104661026B (zh) * 2009-10-21 2018-03-27 Sk电信有限公司 图像编码和解码装置和方法
KR101491864B1 (ko) 2009-11-30 2015-02-11 한국전자통신연구원 엔트로피 부호화를 위한 하이브리드 예측 장치 및 그 방법
KR101623124B1 (ko) 2009-12-03 2016-05-24 에스케이 텔레콤주식회사 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
USRE47243E1 (en) * 2009-12-09 2019-02-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP5544996B2 (ja) * 2010-04-09 2014-07-09 ソニー株式会社 画像処理装置および方法
US8902978B2 (en) 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
KR101677480B1 (ko) * 2010-09-07 2016-11-21 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
JP6327435B2 (ja) 2011-03-03 2018-05-23 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、及び、画像復号装置
US10123008B2 (en) * 2011-06-17 2018-11-06 Hfi Innovation Inc. Method and apparatus for coding of intra prediction mode
CA3208227A1 (en) * 2011-06-24 2012-12-27 Mitsubishi Electric Corporation Intra prediction of a processing block using a predicted value which is proportional to the amount of change in the horizontal direction of the signal value of a pixel adjacent to the left of the processing block
KR101974952B1 (ko) 2011-10-06 2019-05-07 인텔렉추얼디스커버리 주식회사 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
CN107222744B (zh) 2011-10-28 2020-10-27 三星电子株式会社 用于视频的帧内预测的方法和设备
EP2774360B1 (en) * 2011-11-04 2017-08-02 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
US9749633B2 (en) * 2012-01-19 2017-08-29 Vid Scale, Inc. System and method of video coding quantization and dynamic range control
US9210438B2 (en) 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
WO2013143103A1 (en) * 2012-03-29 2013-10-03 Mediatek Singapore Pte. Ltd. Methods and apparatuses of intra mode coding for scalable extension of high efficiency video coding (hevc)
EP2829065B1 (en) * 2012-03-21 2020-05-13 MediaTek Singapore Pte Ltd. Method and apparatus for intra mode derivation and coding in scalable video coding
US9420285B2 (en) 2012-04-12 2016-08-16 Qualcomm Incorporated Inter-layer mode derivation for prediction in scalable video coding
US9491458B2 (en) * 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
CN103391433B (zh) * 2012-05-09 2017-07-18 腾讯科技(深圳)有限公司 视频编码帧内预测扫描方法及视频编码方法
CN104380745B (zh) * 2012-06-22 2018-04-27 联发科技股份有限公司 图层间与视图间自适应帧内预测方法及其装置
EP2911397A1 (en) * 2012-09-28 2015-08-26 Intel Corporation Inter-layer pixel sample prediction
KR20220131366A (ko) * 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
JP6210375B2 (ja) * 2012-12-28 2017-10-11 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
KR20150009424A (ko) 2013-07-15 2015-01-26 한국전자통신연구원 시간적 서브 레이어 정보에 기반한 계층간 예측을 이용한 영상 부, 복호화 방법 및 그 장치
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US9106888B2 (en) 2013-09-25 2015-08-11 Apple Inc. Reducing quantization artifacts using neighbor-based weighted dithering
CN103731670B (zh) * 2013-12-25 2017-02-01 同观科技(深圳)有限公司 一种图像的帧内预测算法
WO2015180139A1 (zh) * 2014-05-30 2015-12-03 富士通株式会社 图像编码方法、装置以及图像处理设备
DE112015004764T5 (de) * 2014-10-20 2017-10-19 Google Inc. Kontinuierlicher prädiktionsbereich
CN105632503B (zh) * 2014-10-28 2019-09-03 南宁富桂精密工业有限公司 信息隐藏方法及系统
CN105812798A (zh) * 2014-12-31 2016-07-27 深圳中兴力维技术有限公司 图像编解码方法及其装置
CN104702959B (zh) * 2015-03-20 2019-03-26 上海国茂数字技术有限公司 一种视频编码的帧内预测方法及系统
FR3051309A1 (fr) * 2016-05-10 2017-11-17 Bcom Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
GB2554065B (en) 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
US10999604B2 (en) * 2018-04-13 2021-05-04 Mediatek Inc. Adaptive implicit transform setting
CN115988205B (zh) * 2018-06-15 2024-03-01 华为技术有限公司 用于帧内预测的方法、装置
CN109660794B (zh) * 2018-11-07 2020-07-07 北京达佳互联信息技术有限公司 帧内预测模式的决策方法、决策装置和计算机可读存储介质
US11323731B2 (en) * 2019-03-08 2022-05-03 Tencent America LLC Method and apparatus for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0622289A (ja) * 1992-06-30 1994-01-28 Hitachi Ltd 多解像度画像信号符号化装置及び復号装置
US20020150158A1 (en) 2000-12-15 2002-10-17 Feng Wu Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148026A (en) * 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
KR100255754B1 (ko) * 1997-08-30 2000-05-01 전주범 이진 형상 신호 부호화 방법
US6037987A (en) * 1997-12-31 2000-03-14 Sarnoff Corporation Apparatus and method for selecting a rate and distortion based coding mode for a coding system
PT2268039E (pt) * 2001-11-21 2015-10-26 Google Technology Holdings LLC Codificação adaptativa de quadro/campo ao nível dos macroblocos para o conteúdo de vídeo digital
US7170937B2 (en) * 2002-05-01 2007-01-30 Texas Instruments Incorporated Complexity-scalable intra-frame prediction technique
US7386048B2 (en) * 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
US7289562B2 (en) * 2003-08-01 2007-10-30 Polycom, Inc. Adaptive filter to improve H-264 video quality
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0622289A (ja) * 1992-06-30 1994-01-28 Hitachi Ltd 多解像度画像信号符号化装置及び復号装置
US20020150158A1 (en) 2000-12-15 2002-10-17 Feng Wu Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
JP2009523395A (ja) * 2006-01-11 2009-06-18 クゥアルコム・インコーポレイテッド 精細粒度空間スケーラビリティによるビデオ符号化
US9485512B2 (en) 2009-02-23 2016-11-01 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
JP2012518940A (ja) * 2009-02-23 2012-08-16 コリア アドバンスド インスティテュート オブ サイエンス アンド テクノロジー ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
US11659210B2 (en) 2009-02-23 2023-05-23 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
US11076175B2 (en) 2009-02-23 2021-07-27 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
US10462494B2 (en) 2009-02-23 2019-10-29 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
US9888259B2 (en) 2009-02-23 2018-02-06 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
US9838720B2 (en) 2009-02-23 2017-12-05 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
US9838721B2 (en) 2009-02-23 2017-12-05 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
US9838722B2 (en) 2009-02-23 2017-12-05 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
US9838719B2 (en) 2009-02-23 2017-12-05 Korea Advanced Institute Of Science And Technology Video encoding method for encoding division block, video decoding method for decoding division block, and recording medium for implementing the same
KR101458794B1 (ko) * 2011-05-20 2014-11-07 주식회사 케이티 화면 내 예측 방법 및 장치
US9432695B2 (en) 2011-05-20 2016-08-30 Kt Corporation Method and apparatus for intra prediction within display screen
US9584815B2 (en) 2011-05-20 2017-02-28 Kt Corporation Method and apparatus for intra prediction within display screen
US9749640B2 (en) 2011-05-20 2017-08-29 Kt Corporation Method and apparatus for intra prediction within display screen
US9749639B2 (en) 2011-05-20 2017-08-29 Kt Corporation Method and apparatus for intra prediction within display screen
US9756341B2 (en) 2011-05-20 2017-09-05 Kt Corporation Method and apparatus for intra prediction within display screen
US9432669B2 (en) 2011-05-20 2016-08-30 Kt Corporation Method and apparatus for intra prediction within display screen
US9445123B2 (en) 2011-05-20 2016-09-13 Kt Corporation Method and apparatus for intra prediction within display screen
US9288503B2 (en) 2011-05-20 2016-03-15 Kt Corporation Method and apparatus for intra prediction within display screen
US9154803B2 (en) 2011-05-20 2015-10-06 Kt Corporation Method and apparatus for intra prediction within display screen
US9843808B2 (en) 2011-05-20 2017-12-12 Kt Corporation Method and apparatus for intra prediction within display screen
KR101453899B1 (ko) 2011-05-20 2014-10-23 주식회사 케이티 화면 내 예측 방법 및 장치
US10158862B2 (en) 2011-05-20 2018-12-18 Kt Corporation Method and apparatus for intra prediction within display screen
KR101453897B1 (ko) 2011-05-20 2014-10-23 주식회사 케이티 화면 내 예측 방법 및 장치
KR101453898B1 (ko) * 2011-05-20 2014-10-23 주식회사 케이티 화면 내 예측 방법 및 장치
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치

Also Published As

Publication number Publication date
CN101069429A (zh) 2007-11-07
JP5270166B2 (ja) 2013-08-21
KR20060063532A (ko) 2006-06-12
US20060120450A1 (en) 2006-06-08
CN101069429B (zh) 2010-12-08
KR100679031B1 (ko) 2007-02-05

Similar Documents

Publication Publication Date Title
JP5270166B2 (ja) 多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置
KR100703748B1 (ko) 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
KR100679025B1 (ko) 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
KR100772873B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100772883B1 (ko) 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP4891234B2 (ja) グリッド動き推定/補償を用いたスケーラブルビデオ符号化
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100763194B1 (ko) 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
JP4922391B2 (ja) 多階層基盤のビデオエンコーディング方法および装置
EP1842379A1 (en) Method of effectively predicting multi-layer based video frame, and video coding method and apparatus using the same
WO2006059848A1 (en) Method and apparatus for multi-layered video encoding and decoding
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100929

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111107

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111110

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120406

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120416

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20120622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees