JP2000050270A - 映像信号符号化方法 - Google Patents

映像信号符号化方法

Info

Publication number
JP2000050270A
JP2000050270A JP10182506A JP18250698A JP2000050270A JP 2000050270 A JP2000050270 A JP 2000050270A JP 10182506 A JP10182506 A JP 10182506A JP 18250698 A JP18250698 A JP 18250698A JP 2000050270 A JP2000050270 A JP 2000050270A
Authority
JP
Japan
Prior art keywords
information
cbpy
dct
bits
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10182506A
Other languages
English (en)
Other versions
JP4086966B2 (ja
Inventor
Seok-Won Han
錫源 韓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WiniaDaewoo Co Ltd
Original Assignee
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US09/097,740 priority Critical patent/US6031872A/en
Application filed by Daewoo Electronics Co Ltd filed Critical Daewoo Electronics Co Ltd
Priority to JP18250698A priority patent/JP4086966B2/ja
Priority to CNB981028039A priority patent/CN1166203C/zh
Publication of JP2000050270A publication Critical patent/JP2000050270A/ja
Application granted granted Critical
Publication of JP4086966B2 publication Critical patent/JP4086966B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 CBPY情報を用いて、映像信号のテキス
チャー情報を効果的に符号化する映像信号符号化方法を
提供する。 【解決手段】 処理マクロブロックに対する形状情報
に基づいて、所定のCBPYビット数を発生し、テキス
チャ情報に基づいて、処理マクロブロックに対するDC
Tタイプを決定してDCT情報を発生し、DCTタイプ
に応じて、処理マクロブロックに対するテキスチャ情報
を変換して、変換テキスチャ情報を発生し、変換テキス
チャ情報に基づいて、処理マクロブロックに対するCB
PY情報を発生し、所定のCBPYビット数に基づい
て、ビット拡張処理を行ってCBPY情報を符号化して
符号化CBPY情報を発生し、変換テキスチャ情報を符
号化して符号化テキスチャ情報を発生する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像信号符号化方
法に関し、特に、テキスチャ情報及び該当形状情報に基
づいてテキスチャ情報の符号化条件を決定することによ
って、映像信号のテキスチャー情報を効果的に符号化す
る映像信号符号化方法に関する。
【0002】
【従来の技術】通常、テレビ電話及び電子会議のような
ディジタルビデオシステムにおいて、映像フレーム信号
が「画素」と呼ばれる一連のディジタルデータからなっ
ているため、各映像フレーム信号を表現するのには大量
のディジタルデータが必要である。しかしながら、通常
の伝送チャネル上の利用可能な周波数帯域幅は制限され
ているので、そのチャネルを通じて大量のディジタルデ
ータを伝送するためには、特に、テレビ電話及び電子会
議のような低ビットレートの映像信号符号化システムの
場合、様々なデータ圧縮技法を用いて伝送すべきデータ
の量を圧縮するか減らさなければならない。
【0003】低ビットレートの映像信号符号化システム
において、映像信号を符号化する方法の1つに、所謂、
オブジェクト指向分析/合成符号化方法(Object
−oriented analysis−synthe
sis coding technique)がある。
このオブジェクト指向分析/合成符号化技法によれば、
入力映像は複数の物体(オブジェクト)に分けられ、各
オブジェクトの動き、輪郭線及び画素データを規定する
3つの組よりなるパラメータが異なる符号化チャネルを
通じて取り扱われる。
【0004】このオブジェクト指向符号化方法の一例と
しては、いわゆるMPEG−4(Moving Pic
ture Experts Group−4)がある
が、この技法は内容ベース相互対話を許容する視聴覚符
号化の標準案を提供し、低ビットレート通信、相互対話
式マルチメディア(例えば、ゲーム、相互対話式TVな
ど)及び領域監視用の機構のようなアプリケーション分
野で符号化の効率性及び/または汎用アクセシビリティ
を向上させる(例えば、MPEG−4 Video V
erification Model Version
7.0,International Organi
zation for Standardizatio
n, ISO/IEC JTC1/SC29/WG 1
1 MPEG97/N1642, Bristol,
April 1997参照)。
【0005】このMPEG−4によれば、入力映像フレ
ームは、ビットストリーム内でユーザがアクセスし得る
か、または操作し得るエンティティに対応する複数の映
像物体平面(VOP)に分割される。VOPは、各物体
を取り囲む、幅及び高さが16画素(マクロブロックの
大きさ)の最小倍数である境界四角形により表すことが
できる。従って、エンコーダは入力ビデオ映像をVOP
単位に、即ち、物体単位に処理することになる。
【0006】MPEG−4に開示されたVOPは、VO
P上で複数のマクロブロック(例えば、16×16個の
画素)で表現される物体の形状情報及びテキスチャー情
報を含む。VOP上の各マクロブロックは、背景マクロ
ブロック、境界マクロブロックまたは物体マクロブロッ
クのうちの何れか1つに分類され得る。ここで、背景マ
クロブロックはVOPにおいて物体の外部に位置する背
景画素のみを有し、境界マクロブロックは少なくとも1
つの背景画素と物体の内部に位置する少なくとも1つの
物体画素とを有し、物体マクロブロックは物体画素のみ
を有する。また、形状情報は、例えば、内容ベース算術
符号化(context−basedarithmet
ic encoding:CAE)技法のような通常の
ビットマップベース形状符号化法によってマクロブロッ
ク単位で符号化することができ、テキスチャー情報は離
散的コサイン変換(DCT)、量子化及び可変長符号化
(VLC)技法のような通常の符号化技法によってマク
ロブロック単位で符号化され得る。詳述すると、テキス
チャー情報を変換するDCTプロセスは、DCTブロッ
ク単位で行われる。この場合、マクロブロックは各々が
8×8個の画素よりなる4つのDCTブロックに分けら
れる。
【0007】上記のDCT及び量子化過程の結果とし
て、各DCTブロックに対して1つのDC成分及び複数
のAC成分が生成される。しかし、DCTブロックに対
するテキスチャー情報の全ての値が一定である場合、該
当DCTブロックに対するゼロでないAC成分は存在し
ない。従って、DCTブロックが少なくとも1つのゼロ
でないAC成分を有するか否かを表すために、CBPY
(coded block pattern typ
e)情報が提案されていた。詳述すると、DCTブロッ
クに対応する少なくとも1つのゼロでないAC成分が存
在する場合は、CBPY情報は、例えば「1」ビットを
有するようになり、そうでない場合には、「0」ビット
を有するようになる。従って、該当DCTブロックに対
する他の付加的な情報の必要とせず、また、該当DCT
ブロックに対する符号化テキスチャー情報が伝送される
前に、伝送チャネルを通じて伝送されたCBPY情報の
みを検出することによって、該当DCTブロックに対す
るゼロでないAC成分の存在が予測できる。
【0008】従来通りに、VOPに対するテキスチャー
情報を符号化して符号化の効率を向上させるためには、
各マクロブロックに対するテキスチャー情報はプログレ
ッシブ符号化技法及びインタレース符号化技法を適応的
に用いて処理される。従って、テキスチャ情報の符号化
条件(例えば、DCTタイプ)を表すDCTタイプ情報
が用いられ、このDCTタイプはテキスチャー情報に基
づいてマクロブロック単位で決定される。例えば、映像
信号エンコーダは、プログレッシブ符号化技法またはイ
ンタレース符号化技法によってプログレッシブブロック
またはインタレースブロックに再形成されるマクロブロ
ックにおいて、画素行の間の空間的相関度を比較して、
マクロブロックに対する適当なDCTタイプを決定す
る。この場合、プログレッシブ符号化技法がより効果的
であると決定される場合は、マクロブロックに対するD
CTタイプ情報は0ビットを有し、そうでない場合に
は、1ビットを有する。
【0009】マクロブロックに対するDCTタイプがテ
キスチャー情報に基づいて決定された後、該当DCTタ
イプの通りのマクロブロックに対するテキスチャー情報
をDCT及び量子化処理して得られる量子化DCT結果
に基づいて、マクロブロックに対するCBPY情報が得
られる。
【0010】例えば、マクロブロックが背景マクロブロ
ックである場合は、テキスチャー情報の符号化は行われ
ず、DCTタイプ情報及びCBPY情報は発生されな
い。
【0011】また、マクロブロックが物体マクロブロッ
クである場合には、マクロブロックに対するテキスチャ
ー情報に基づいてプログレッシブ符号化技法またはイン
タレース符号化技法が選択可能であるので、選択された
符号化技法を表す物体マクロブロックのDCTタイプ情
報が生成される。また、物体マクロブロックが4つの非
透過性のDCTブロックを有するので、物体マクロブロ
ックのCBPY情報は、各ビットがマクロブロックにお
ける4つのDCTブロック各々に対応する4ビットのデ
ータを有するようになる。ここで、非透過性のDCTブ
ロックはDCTブロックの大きさを有し、少なくとも1
つの符号化されるべき物体画素を有する。
【0012】一方、マクロブロックが境界マクロブロッ
クである場合は、マクロブロックのテキスチャ情報に基
づいてプログレッシブ符号化技法またはインタレース符
号化技法が選択される。また、境界マクロブロックは、
背景画素のみを有し、符号化される必要のない透過性の
DCTブロックと、非透過性のDCTブロックとを共に
含むことができる。従って、境界マクロブロックに対応
するCBPY情報はiビットのデータ(iは1〜4まで
の正の整数)を有することになる。ここで、各ビットは
マクロブロックにおける非透過性のDCTブロックの各
々に対応する。
【0013】図4〜図6を参照すると、2つの異なるタ
イプのマクロブロック(即ち、プログレッシブマクロブ
ロック及びインタレースマクロブロック)に分類される
境界マクロブロックの様々な例が示されている。各図に
おいて、マクロブロック(例えば、プログレッシブマク
ロブロック)P1、P2、P3は、各々上部及び下部フ
ィールドDCTブロックIT1、IB1と、IT2、I
B2と、IT3、IB3とに再形成される。従って、プ
ログレッシブ符号化技法においては、マクロブロックは
プログレッシブマクロブロックに基づいて符号化され、
インタレース符号化技法においては、マクロブロックは
上部及び下部フィールドDCTブロックを有するインタ
レースマクロブロックに基づいて符号化される。
【0014】図4に示したように、プログレッシブマク
ロブロックP1及びそのインタレースマクロブロックI
1は非透過性のDCTブロックのみを含むので、該当C
BPY情報はマクロブロックのDCTタイプに関わらず
4ビットのデータを有することになる。
【0015】しかし、図5及び図6において、プログレ
ッシブ及びインタレースマクロブロックにおける非透過
性のDCTブロックの数は、それらのDCTタイプに応
じて互いに異なるため、それらのCBPY情報のビット
数もDCTタイプに基づいて変わる。詳述すると、図5
においてプログレッシブマクロブロックP2が選択され
て符号化される場合、2ビットのCBPY情報が発生さ
れ、そうでない場合には4ビットのCBPY情報が発生
される。また図6において、プログレッシブマクロブロ
ックP3が選択されて符号化される場合、2ビットのC
BPY情報が発生され、そうでない場合には1ビットの
CBPY情報が生成される。
【0016】上述したように、処理されるマクロブロッ
クが境界マクロブロックである場合は、CBPY情報の
ビット数、即ち、非透過性のDCTブロックの数は該当
DCTタイプに従って決定される。
【0017】しかし、CBPY情報及びDCTタイプ情
報を用いる従来の符号化方法において、復号化側に伝送
されるデータストリームは、図7に示すようなシーケン
スを有する。即ち、符号化形状情報がまず復号化側に伝
送され、他の符号化情報はCBPY情報、DCTタイプ
情報及びテキスチャー情報の順に符号化形状情報の次に
伝送される。
【0018】従って、処理マクロブロックが境界マクロ
ブロックであり、符号化情報が上記シーケンスの通り復
号化側に伝送される場合、復号化側では処理ブロック内
のCBPY情報のビット数、即ち、非透過性のDCTブ
ロックの数を正確に予測することが困難であり、また、
符号化CBPY情報の次に復号化側に伝送されたDCT
タイプ情報に応じてCBPY情報が決定されるので、C
BPY情報を正確に再構成できないという不都合もあ
る。
【0019】
【発明が解決しようとする課題】従って、本発明の主な
目的は、映像信号エンコーダに用いられ、ビット数が映
像信号の形状情報に基づいて決定されるCBPY情報を
用いて、映像信号のテキスチャー情報を符号化する映像
信号符号化方法を提供することにある。
【0020】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明の好適実施例によれば、プログレッシブ符
号化技法またはインターレース符号化技法を選択的に用
いて映像信号を符号化する映像信号エンコーダに用いら
れ、各々がM×M個の画素を有し、P個の同一大きさの
離散的コサイン変換(DCT)ブロックに分割可能な複
数のマクロブロックに対する、テキスチャ情報及び形状
情報を有する前記映像信号のテキスチャ情報を符号化す
る映像信号符号化方法(M及びPは各々正の整数)であ
って、目標マクロブロックに対する形状情報に基づい
て、予め定められたCBPYビット数を発生する第a過
程であって、前記予め定められたCBPYビット数がプ
ログレッシブマクロブロック及びインタレースマクロブ
ロックにおける、各々がDCTブロックの大きさを有
し、少なくとも1つの物体画素を有する複数の非透過性
のDCTブロックのうちより大きい数として決定され、
前記プログレッシブマクロブロックは前記プログレッシ
ブ符号化技法によって前記目標マクロブロックに対する
形状情報を再形成して生成され、前記インタレースマク
ロブロックは前記インタレース符号化技法によって前記
目標マクロブロックに対する形状情報を再形成して生成
される、前記第a過程と、前記目標マクロブロックに対
する前記テキスチャ情報に基づいて、前記目標マクロブ
ロックに対して、前記プログレッシブ符号化技法または
前記インターレース符号化技法のうちの何れが前記テキ
スチャ情報を符号化するのにより効果的であるかを表す
DCTタイプを決定して、該当DCTタイプを表すDC
T情報を発生する第b過程と、前記DCTタイプに応じ
て、前記目標マクロブロックに対する前記テキスチャ情
報を変換して、変換テキスチャ情報を発生する第c過程
と、前記変換テキスチャ情報に基づいて、前記目標マク
ロブロックに対するCBPY情報を発生する第d過程
と、前記予め定められたCBPYビット数に基づいて、
ビット拡張処理を行って前記CBPY情報を符号化する
ことによって、符号化CBPY情報を発生する第e過程
と、前記変換テキスチャ情報を符号化して、符号化テキ
スチャ情報を発生する第f過程とを含むことを特徴とす
る映像信号符号化方法が提供される。
【0021】
【発明の実施の形態】以下、本発明の好適実施例につい
て図面を参照しながらより詳しく説明する。
【0022】映像信号は、複数のマクロブロックに対す
る形状情報及びテキスチャー情報を有し、テキスチャー
情報は、プログレッシブ符号化技法またはインタレース
符号化技法によってマクロブロック単位で適応的に符号
化される。各マクロブロックは,M×M個(例えば、1
6×16個)の画素を有し、同数の画素(例えば、8×
8個の画素)を有する4つの離散的コサイン変換(DC
T)ブロックに分割可能である。従来通りの、マクロブ
ロックを符号化するのに適した符号化法、即ち、プログ
レッシブ符号化技法またはインタレース符号化技法がテ
キスチャー情報に基づいて決定される。
【0023】図1は、本発明の実施例による映像信号エ
ンコーダ10の概略的なブロック図である。
【0024】処理マクロブロックに対するテキスチャー
情報は、DCTタイプ決定部120及び変更DCT部1
30に各々入力され、それに対応する形状情報は形状符
号化部110に入力される。
【0025】形状符号化部110は周知の形状符号化方
法、例えば、MPEG−4に開示されたCAE技法を用
いて、受け取った形状情報を符号化して、符号化形状情
報をラインL20を介してマルチプレクサ(MUX)2
00に供給する。また、形状符号化部110は処理マク
ロブロックに対する再構成形状情報を、ラインL10を
介してCBPYビット数予測部110及び変更DCT部
130に各々供給する。この再構成形状情報は、符号化
形状情報を復号化することによって得られるCBPYビ
ット数予測部110は形状符号化部110から受け取っ
た再構成形状情報を、図4〜図6に例示したようなプロ
グレッシブ符号化技法及びインタレース符号化技法によ
って、プログレッシブマクロブロック及びインタレース
マクロブロックに再形成する。ここで、プログレッシブ
マクロブロックは処理マクロブロックと同一である。そ
の後、CBPYビット数予測部110はプログレッシブ
マクロブロック及びインタレースマクロブロックにおけ
る非透過性のDCTブロックの数を計算する。この非透
過性のDCTブロックの各々はDCTブロックの大きさ
を有し、少なくとも1つの物体画素を含む。
【0026】例えば、図4において、プログレッシブマ
クロブロックP1及びインタレースマクロブロックI1
における非透過性のDCTブロックの個数は、各々4で
ある。図5においては、プログレッシブマクロブロック
P2における非透過性のDCTブロックの個数が2であ
り、インタレースマクロブロックI2における非透過性
のDCTブロックの個数は4である。図6においては、
プログレッシブマクロブロックP3における非透過性の
DCTブロックの個数は2であり、インタレースマクロ
ブロックI3における非透過性のDCTブロックの個数
は1である。
【0027】その後、CBPYビット数予測部110
は、プログレッシブマクロブロック及びインタレースマ
クロブロックにおける非透過性のDCTブロックの個数
を互いに比較する。
【0028】比較の結果、図5及び図6に示したよう
に、両方の非透過性のDCTブロックの個数が互いに異
なる場合、CBPYビット数予測部110はその中より
大きい数を予測CBPYビット数として決定してライン
L50を介してCBPY符号化部180に供給する。従
って、図5においてインタレースマクロブロックI2に
おける非透過性のDCTブロックの数(即ち、2)が予
測CBPYビット数として決定され、同様に、図6にお
いてプログレッシブマクロブロックP3における非透過
性のDCTブロックの数(即ち、2)が予測CBPYビ
ット数として決定される。
【0029】一方、図4に示したように、プログレッシ
ブマクロブロック及びインタレースマクロブロックにお
ける非透過性のDCTブロックの数が互いに同一である
場合(ゼロは除き)、CBPYビット数予測部110は
4を予測CBPYビット数としてラインL50を介して
CBPY符号化部180に供給する。
【0030】上記において、プログレッシブマクロブロ
ック及びインタレースマクロブロックにおける非透過性
のDCTブロックの数がゼロである場合は、処理マクロ
ブロックが、背景画素のみを含む境界マクロブロックで
あることを表す。従って、CBPYビット数予測部11
0は何れのプロセスも行わないので、CBPY符号化部
180への出力データはない。
【0031】一方、DCTタイプ決定部120は、テキ
スチャー情報情報のみに基づく従来のDCTタイプ決定
方法を用いて、処理マクロブロックのDCTタイプを決
定する。このDCTタイプは、プログレッシブ符号化技
法またはインタレース符号化技法のうちの何れか1つが
テキスチャ情報の符号化により効果的であるかを表す。
その後、DCTタイプ決定部120は、処理マクロブロ
ックのDCTタイプを表すDCTタイプ情報をラインL
30を介してMUX200及び変更DCT部130に供
給する。
【0032】上記のDCTタイプ決定過程において、処
理マクロブロックが背景マクロブロックである場合、D
CTタイプ決定部120は、DCTディスエーブル信号
を変更DCT部130のみに供給する。
【0033】この変更DCT部130は処理マクロブロ
ックに対するDCTタイプ情報に基づいて、処理マクロ
ブロックに対する再構成形状情報及びテキスチャー情報
に基づいて、通常の離散的コサイン変換技法を用いて非
透過性のDCTブロックに対するDCT係数の組を発生
する。一方、DCTディスエーブル信号が変更DCT部
130に入力される場合には、変更DCT部130は何
れのプロセスも行わないので、出力データはない。
【0034】反対に、従来の符号化方法においては、処
理マクロブロックが背景マクロブロックとして決定され
る場合、映像信号エンコーダ10には該当テキスチャ情
報が入力されないので、結果として、映像信号エンコー
ダ10は背景マクロブロックに対する何れのプロセスも
行わなくなる。
【0035】図2は、本発明による変更DCT部130
の詳細なブロック図であって、形状再形成部132、テ
キスチャ再形成部134、選択部136及びDCT部1
38から構成される。
【0036】形状再形成部132は、ラインL30を介
してDCTタイプ決定部120から入力されるプログレ
ッシブ符号化タイプを表すDCTタイプ情報に応じて、
形状符号化部100から供給された再構成形状情報を直
ちに選択部136に供給する。一方、形状再形成部13
2はインタレース符号化タイプを表すDCTタイプ情報
を受け取る場合、インタレース符号化技法を用いて再構
成形状情報を再形成して得られる再形成形状情報を選択
部136に供給する。
【0037】同様に、テキスチャ再形成部134は、ラ
インL30を介してDCTタイプ決定部120から入力
されるプログレッシブ符号化タイプを表すDCTタイプ
情報に応じて、受け取ったテキスチャー情報を直ちに選
択部136に供給する。一方、テキスチャ再形成部13
4はインタレース符号化タイプを表すDCTタイプ情報
を受け取る場合、インタレース符号化技法にてテキスチ
ャ情報を再形成して得られる再形成テキスチャ情報を選
択部136に供給する。
【0038】上記において、DCTディスエーブル信号
がラインL30を介して形状再形成部132及びテキス
チャ再形成部134に入力される場合は、両再形成部1
32、134は何れのプロセスも行わない。
【0039】選択部136は、形状再形成部132から
供給される再構成(または、再形成)形状情報に基づい
て、処理マクロブロックに対応するプログレッシブ(ま
たは、インタレース)マクロブロックにおけるDCTブ
ロックのうち、少なくとも1つの非透過性のDCTブロ
ックを検出する。その後、選択部136は各非透過性の
DCTブロックに対応するテキスチャ情報または再形成
テキスチャ情報をDCT部138に供給する。
【0040】DCT部138は、各非透過性のDCTブ
ロックに対応するテキスチャ情報または再形成テキスチ
ャー情報をDCT係数の組に変換して、図1中の量子化
部(Q)部140に供給する。
【0041】Q部140は変更DCT部130から供給
されたDCT係数の組を量子化して、量子化DCT係数
の組を統計的符号化部150及びAC成分検出部160
に供給する。
【0042】統計的符号化部150は、例えば、可変長
符号化技法を用いて、量子化部140からの量子化DC
T係数の組を圧縮して符号化テキスチャー情報を発生し
てMUX200に供給する。
【0043】AC成分検出部160は、量子化部140
から供給された量子化DCT係数の組のうち少なくとも
1つのゼロでないAC成分が存在するか否かを判断し、
該当判断結果をCBPY発生部170に供給する。
【0044】判断の結果、量子化DCT係数の組に少な
くとも1つのゼロでないAC成分が含まれている場合
は、CBPY発生部170は量子化DCT係数の組に対
応する、例えば1のCBPYビットを発生し、そうでな
い場合には、例えば、0のCBPYビットを発生する。
上記プロセスによって、処理マクロブロックに対応する
全てのDCT係数の組(即ち、全ての非透過性のDCT
ブロック)に対するCBPYビットが決定される場合、
CBPY発生部170はそのCBPYビットをCBPY
情報としてラインL40を介してCBPY符号化部18
0に供給する。
【0045】例えば、図4において、プログレッシブマ
クロブロックP1及びそのインタレースマクロブロック
I1は非透過性のDCTブロックのみを含むので、該当
CBPY情報はマクロブロックのDCTタイプに関わら
ず4ビットのデータを有することになる。
【0046】一方、図5においてプログレッシブマクロ
ブロックP2が選択されて符号化される場合、2ビット
のCBPY情報が発生され、そうでない場合には4ビッ
トのCBPY情報が発生される。また図6において、プ
ログレッシブマクロブロックP3が選択されて符号化さ
れる場合、2ビットのCBPY情報が発生され、そうで
ない場合には1ビットのCBPY情報が生成される。
【0047】CBPY符号化部180は、VLCテーブ
ル部190に格納されているVLCテーブルのうち、C
BPY発生部170からラインL40を介して供給され
たCBPY情報に対応するVLCコードを検出して、符
号化CBPY情報としてMUX200に供給する。この
VLCテーブル部190は図8、図9及び図10に示す
ように、CBPY情報のビット数及びフレームタイプ
(例えば、Iフレーム及びPフレーム)に依存する様々
なVLCテーブルを備えている。
【0048】図3は、本発明によって、図1中のCBP
Y符号化部180の詳細なブロック図である。
【0049】CBPY情報及び予測CBPYビット数が
ラインL40、L50を介してCBPY拡張部182に
供給される場合、CBPY拡張部182はCBPY情報
のビット数を計算した後、計算されたCBPY情報のビ
ット数と予測CBPYビット数とを比較する。
【0050】比較の結果、CBPY情報のビット数と予
測CBPYビット数とが同一である場合、CBPY拡張
部182は何れのプロセスも行うことなく、CBPY情
報をVLCコード決定部184に直ちに供給する。
【0051】一方、CBPY情報のビット数が予測CB
PYビット数より小さい場合は、CBPY拡張部182
は1つまたは複数のダミービットをCBPY情報に加算
して、予測CBPYビット数と同一のビット数を有する
拡張されたCBPY情報を生成する。このダミービット
の数は、CBPY情報のビット数と予測CBPYビット
数との間の差分によって決定される。
【0052】以下では、図4〜図6を参照してCBPY
拡張部182にて行われるプロセスに対して説明する。
【0053】CBPYビット数予測部110において、
プログレッシブマクロブロック及びインタレースマクロ
ブロックにおける非透過性のDCTブロックの数のうち
より大きい数が予測CBPYビット数として決定される
ので、前述したように、図4〜図6における予測CBP
Yビット数は、各々4、4、2として決定される。
【0054】従って、図4において、マクロブロックの
DCTタイプに関わらず、CBPY情報のビット数と該
当予測CBPYビット数とが4として同一であるので、
CBPY情報はVLCコード決定部184に直ちに供給
される。
【0055】反対に、図5において、プログレッシブマ
クロブロックP2が選択されて符号化される場合、CB
PY情報は2ビットを有し、該当予測CBPYビット数
は4である。従って、CBPY拡張部182は2つのダ
ミービットを2ビットのCBPY情報に加算して、4ビ
ットの拡張CBPY情報を発生することとなる。一方、
インタレースマクロブロックI2が選択されて符号化さ
れる場合には、CBPY拡張部182は予測CBPYビ
ット数と同一のビット数(即ち、4)を有するCBPY
情報を発生して、VLCコード決定部184に直ちに供
給する。
【0056】図6において、プログレッシブマクロブロ
ックP3が選択されて符号化される場合は、CBPY拡
張部182は予測CBPYビット数と同一のビット数
(即ち、2)を有するCBPY情報を発生して、何れの
拡張も無しにVLCコード決定部184に直ちに供給す
る。一方、インタレースマクロブロックI3が選択され
て符号化される場合は、1ビットのCBPY情報が発生
されるので、CBPY拡張部182は1つのダミービッ
トを1ビットのCBPY情報に加算して、2ビットの拡
張CBPY情報を発生する。
【0057】以下、図8〜図9を参照してVLCコード
決定部184にて行われるビット拡張過程及びVLCコ
ード決定過程を説明する。
【0058】図5に示したように、2ビットのCBPY
情報が4ビットの拡張CBPY情報に変わるとき、本発
明の好適実施例によって、CBPY情報における2ビッ
ト(例えば、11)は4ビットシーケンスで左側に位置
する。従って、2つのダミービットを有する拡張CBP
Y情報、即ち、11XXがVLCコード決定部184に
入力される。ここで、各Xはダミービットであり、"d
on't care"を表す。
【0059】VLCコード決定部184は、拡張CBP
Y情報11XXに対応するVLCコードのうち最短のV
LCコードを処理マクロブロックの符号化CBPY情報
として取決める。
【0060】図8、図9及び図10は、各々、2ビッ
ト、3ビット及び4ビットのCBPY情報に対応するV
LCコードを含むVLCテーブルを表す。例えば、処理
マクロブロックがIフレームである場合、VLCコード
決定部184はまず、図10中のVLCコードのうち拡
張CBPY情報11XXに対応するVLCコードを検出
する。即ち、拡張CBPY情報11XXが1100、1
101、1110、1111と読出可能であるので、0
100、1000、0110、11のVLCコードが検
出される。検出されたVLCコードのうち最短のVLC
コード、即ち、11が処理マクロブロックの符号化CB
PY情報として決定される。
【0061】一方、処理マクロブロックがPフレームで
ある場合、VLCコード決定部184はまず、各拡張C
BPY情報1100、1101、1110、1111に
対応する各VLCコード、即ち、1001、0010
0、00101、001を検出する。検出されたVLC
コードのうちで、同一のコード長さを有する2つのより
短いVLCコード、即ち、1100、1101が存在す
ることとなる。この場合、2つのより短いVLCコード
のうちの何れか1つが、処理マクロブロックの符号化C
BPY情報として決定され得る。
【0062】同様に、図6において、1ビットのCBP
Y情報が2ビットの拡張CBPY情報に変わるとき、前
述したように、CBPY情報における1ビット(例え
ば、0)は2ビットシーケンスで左側に位置する。従っ
て、1つのダミービットを有する拡張CBPY情報、即
ち、0XがVLCコード決定部184に入力される。
【0063】処理マクロブロックがIフレームである場
合、VLCコード決定部184は、図8中のVLCコー
ドのうち拡張CBPY情報0Xに対応するVLCコード
を検出する。即ち、拡張CBPY情報0Xが00、01
と読出可能であるので、111、110のVLCコード
が検出される。前述したように、検出された2つのVL
Cコードが同一のコード長さを有するので、2つのVL
Cコードのうちの何れか1つが処理マクロブロックの符
号化CBPY情報として決定され得る。
【0064】一方、処理マクロブロックがPフレームで
ある場合は、VLCコード決定部184は、各拡張CB
PY情報00、01に対応する各VLCコード、即ち、
0、10を検出する。検出されたVLCコードのうちよ
り短いVLCコード、即ち、0が処理マクロブロックの
符号化CBPY情報として決定される。
【0065】上記において、CBPY情報のビットが拡
張シーケンスで左側に位置しているが、本発明の他の実
施例によって、それらの位置は変更され得る。さらに、
上記のビット拡張プロセスは、拡張を要する何れのCB
PY情報にも適用されることができる。
【0066】こうして発生された符号化CBPY情報は
MUX200に入力される。
【0067】このMUX200は、受け取ったDCTタ
イプ情報、符号化テキスチャー情報、符号化CBPY情
報及び符号化形状情報を多重化して、図7に示したよう
なシーケンスの通り、処理マクロブロックに対するデー
タストリームをその伝送のために送信器(図示せず)に
送り出す。
【0068】符号化情報が図7に示したようなシーケン
スの通り復号化側に伝送される場合、映像信号デコーダ
は受け取った符号化形状情報を復号化して、再構成形状
情報を発生する。もし、再構成形状情報が発生される場
合、デコーダはこの再構成形状情報に基づいて、処理マ
クロブロックに対応するプログレッシブマクロブロック
及びインタレースマクロブロックにおける非透過性のD
CTブロックの数を検出し、それらを互いに比較するこ
とによって、CBPY情報のビット数、即ち、処理マク
ロブロックにおける非透過性のDCTブロックの数を予
測することができる。
【0069】比較の結果、CBPY情報のビット数が4
である場合、デコーダは符号化CBPY情報、即ち、図
10のVLCコードのうち映像信号エンコーダ10によ
って決定されたVLCコードに対応するCBPY情報を
探し出す。CBPY情報、例えば、1100が求められ
る場合、このCBPY情報1100はDCTタイプ情報
が伝送されるまで、保持される。
【0070】伝送されたDCTタイプ情報がプログレッ
シブ符号化タイプを表し、処理マクロブロックに対応す
るプログレッシブマクロブロックにおける非透過性のD
CTブロックの数が、例えば、2である場合、CBPY
情報1100において右側に位置する2つのビット(即
ち、00)が無効ビットとして取除かれ、CBPY情報
は11と再構成される。
【0071】従って、図7に示したようなシーケンスの
データストリームに示したように、DCTタイプ情報が
CBPY情報の次に伝送されても、デコーダはエラー無
しにCBPY情報を再構成することができる。
【0072】本発明の実施例において、再構成形状情報
の代わりに、符号化されるべき形状情報が利用可能であ
るということは、当技術分野における通常の知識を有す
る者が容易に分かる。
【0073】上記において、本発明の好適な実施の形態
について説明したが、本発明の請求範囲を逸脱すること
なく、当業者は種々の改変をなし得るであろう。
【0074】
【発明の効果】従って、本発明によれば、DCTタイプ
情報がCBPY情報の次に伝送されても、これらのCB
PY情報及びDCTタイプ情報の以前に再構成形状情報
を用いて、CBPY情報をエラー無しに正確に再構成す
ることによって、映像信号の符号化効率を向上させるこ
とができる。
【図面の簡単な説明】
【図1】本発明による映像信号エンコーダの概略的なブ
ロック図である。
【図2】図1中の変更DCT部の詳細なブロック図であ
る。
【図3】図1中のCBPY符号化部の詳細なブロック図
である。
【図4】2つの他の形態に分類される境界マクロブロッ
クの例を示す模式図である。
【図5】同じく、2つの他の形態に分類される境界マク
ロブロックの例を示す模式図である。
【図6】同じく、2つの他の形態に分類される境界マク
ロブロックの例を示す模式図である。
【図7】復号化器に伝送されるデータストリームのシー
ケンスを示す模式図である。
【図8】2ビットのCBPY情報に対するVLCテーブ
ルである。
【図9】3ビットのCBPY情報に対するVLCテーブ
ルである。
【図10】4ビットのCBPY情報に対するVLCテー
ブルである。
【符号の説明】
10 映像信号符号化器 100 形状符号化部 110 CBPYビット数予測部 120 DCTタイプ決定部 130 DCT部 132 形状再形成部 134 テキスチャ再形成部 136 選択部 138 DCT部 140 量子化(Q)部 150 統計的符号化部 160 AC成分検出部 170 CBPY発生部 180 CBPY符号化部 182 CBPY拡張部 184 VLCコード決定部 190 VLCテーブル部 200 MUX P1、P2、P3 プログレッシブマクロブロック IT1、IT2、IT3 上部フィールドDCTブロッ
ク IB1、IB2、IB3 下部フィールドDCTブロッ
ク I1、I2、I3 インタレースマクロブロック
フロントページの続き Fターム(参考) 5B057 CA16 CB18 CG02 CG05 CG07 5C059 LA05 MA23 MB14 MB16 MB24 MC11 MC31 MC38 ME01 ME17 PP04 RB02 RC07 RC12 SS07 TA13 TA17 TC04 TD07 UA02 UA05 5C078 AA04 BA53 BA66 CA02 DA01 DA02 DA21 DB01 EA07

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 プログレッシブ符号化技法またはイン
    ターレース符号化技法を選択的に用いて映像信号を符号
    化する映像信号エンコーダに用いられ、各々がM×M個
    の画素を有し、P個の同一大きさの離散的コサイン変換
    (DCT)ブロックに分割可能な複数のマクロブロック
    に対する、テキスチャ情報及び形状情報を有する前記映
    像信号のテキスチャ情報を符号化する映像信号符号化方
    法(M及びPは各々正の整数)であって、 目標マクロブロックに対する形状情報に基づいて、予め
    定められたCBPYビット数を発生する第a過程であっ
    て、前記予め定められたCBPYビット数がプログレッ
    シブマクロブロック及びインタレースマクロブロックに
    おける、各々がDCTブロックの大きさを有し、少なく
    とも1つの物体画素を有する複数の非透過性のDCTブ
    ロックのうちより大きい数として決定され、前記プログ
    レッシブマクロブロックは前記プログレッシブ符号化技
    法によって前記目標マクロブロックに対する形状情報を
    再形成して生成され、前記インタレースマクロブロック
    は前記インタレース符号化技法によって前記目標マクロ
    ブロックに対する形状情報を再形成して生成される、前
    記第a過程と、 前記目標マクロブロックに対する前記テキスチャ情報に
    基づいて、前記目標マクロブロックに対して、前記プロ
    グレッシブ符号化技法または前記インターレース符号化
    技法のうちの何れが前記テキスチャ情報を符号化するの
    により効果的であるかを表すDCTタイプを決定して、
    該当DCTタイプを表すDCT情報を発生する第b過程
    と、 前記DCTタイプに応じて、前記目標マクロブロックに
    対する前記テキスチャ情報を変換して、変換テキスチャ
    情報を発生する第c過程と、 前記変換テキスチャ情報に基づいて、前記目標マクロブ
    ロックに対するCBPY情報を発生する第d過程と、 前記予め定められたCBPYビット数に基づいて、ビッ
    ト拡張処理を行って前記CBPY情報を符号化すること
    によって、符号化CBPY情報を発生する第e過程と、 前記変換テキスチャ情報を符号化して、符号化テキスチ
    ャ情報を発生する第f過程とを含むことを特徴とする映
    像信号符号化方法。
  2. 【請求項2】 前記第e過程が、 前記CBPY情報のビット数と前記予め定められたCB
    PYビット数とを比較する第e1過程と、 前記CBPY情報のビット数が前記予め定められたCB
    PYビット数と同一である場合、前記CBPY情報を発
    生する第e2過程と、 前記CBPY情報のビット数が前記予め定められたCB
    PYビット数と異なる場合、1つまたは複数のダミービ
    ットを前記CBPY情報に加えて、前記予め定められた
    CBPYビット数と同一のビット数を有する拡張CBP
    Y情報を発生する第e3過程であって、前記各ダミービ
    ットは2値のうちの何れか1つであり、前記ダミービッ
    トの数は前記CBPY情報のビット数と前記予め定めら
    れたCBPYビット数との間の差分によって求められ
    る、前記第e3過程と、 前記第e2過程にて求められた前記CBPY情報、また
    は前記第e3過程にて求められた前記拡張CBPY情報
    のうちの何れか1つを符号化して、前記符号化CBPY
    情報を発生する第e4過程とを備えることを特徴とする
    請求項1に記載の映像信号符号化方法。
  3. 【請求項3】 前記CBPY情報または前記拡張CB
    PY情報のうちの何れか1つが、可変長符号化(VL
    C)技法によって符号化されることを特徴とする請求項
    2に記載の映像信号符号化方法。
  4. 【請求項4】 前記拡張CBPY情報が前記第e4過
    程にて符号化される場合、前記第e4過程が前記拡張C
    BPY情報に対応するVLCコードのうち最短のVLC
    コードを検出して、前記目標マクロブロックに対する前
    記符号化CBPY情報として発生することを特徴とする
    請求項3に記載の映像信号符号化方法。
  5. 【請求項5】 前記第c過程が、 前記DCTタイプに応じて、前記テキスチャ情報及び前
    記形状情報を再形成する第c1過程と、 前記再形成された形状情報に基づいて、前記目標マクロ
    ブロックに対する1つまたは複数の非透過性のDCTブ
    ロックを検出する第c2過程と、 前記各非透過性のDCTブロックに対応する前記再形成
    されたテキスチャ情報をDCT係数の組に変換する第c
    3過程と、 前記DCT係数の組を量子化して、量子化DCT係数の
    組を発生する第c4過程と、 前記非透過性のDCTブロック全体に対する前記量子化
    DCT係数の組を前記変換テキスチャ情報として発生す
    る第c5過程とを備えることを特徴とする請求項4に記
    載の映像信号符号化方法。
  6. 【請求項6】 前記第d過程が、 前記変換テキスチャ情報として発生された前記量子化D
    CT係数の組で少なくとも1つのゼロでないAC成分が
    存在するかをチェックする第d1過程と、 iが1よりPまでの正の整数であるとき、前記第d1過
    程の結果に応じて、各ビットが、該当量子化DCT係数
    の組が少なくとも1つのゼロでないAC成分を有するこ
    とを表すiビットのデータを有する前記CBPY情報を
    発生する第d2過程とを備えることを特徴とする請求項
    5に記載の映像信号符号化方法。
  7. 【請求項7】 前記第a過程の前に、前記目標マクロ
    ブロックに対する入力形状データを符号化して符号化形
    状情報を発生し、前記符号化形状情報を復号化して前記
    目標マクロブロックに対する前記形状情報を発生する過
    程を、さらに含むことを特徴とする請求項6に記載の映
    像信号符号化方法。
  8. 【請求項8】 一連の前記符号化形状情報、前記符号
    化CBPY情報、前記DCTタイプ情報及び前記符号化
    テキスチャ情報を有する伝送すべきデータストリームを
    発生する過程を、さらに含むことを特徴とする請求項7
    に記載の映像信号符号化方法。
JP18250698A 1998-06-16 1998-06-29 映像信号符号化装置 Expired - Fee Related JP4086966B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US09/097,740 US6031872A (en) 1998-06-16 1998-06-16 Method and apparatus for encoding a video signal
JP18250698A JP4086966B2 (ja) 1998-06-16 1998-06-29 映像信号符号化装置
CNB981028039A CN1166203C (zh) 1998-06-16 1998-07-02 对视频信号进行编码的方法及装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/097,740 US6031872A (en) 1998-06-16 1998-06-16 Method and apparatus for encoding a video signal
JP18250698A JP4086966B2 (ja) 1998-06-16 1998-06-29 映像信号符号化装置
CNB981028039A CN1166203C (zh) 1998-06-16 1998-07-02 对视频信号进行编码的方法及装置

Publications (2)

Publication Number Publication Date
JP2000050270A true JP2000050270A (ja) 2000-02-18
JP4086966B2 JP4086966B2 (ja) 2008-05-14

Family

ID=27179177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18250698A Expired - Fee Related JP4086966B2 (ja) 1998-06-16 1998-06-29 映像信号符号化装置

Country Status (3)

Country Link
US (1) US6031872A (ja)
JP (1) JP4086966B2 (ja)
CN (1) CN1166203C (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100281463B1 (ko) * 1998-03-14 2001-02-01 전주범 물체 기반 부호화 시스템의 보조 정보 부호화 장치
US6195088B1 (en) * 1998-12-04 2001-02-27 France Telecom Method and system for controlling multimedia streams using dynamic prototypes
WO2000044177A1 (en) * 1999-01-21 2000-07-27 Koninklijke Philips Electronics N.V. Method and arrangement for encoding video images
EP2369842B1 (en) 2000-03-13 2015-08-19 Sony Corporation Supplying, generating, converting and reading video content
CN1321533C (zh) * 2003-12-31 2007-06-13 中国科学院计算技术研究所 最大宏块类型与编码块模式联合编/解码的方法
US7664176B2 (en) 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US7309838B2 (en) * 2004-07-15 2007-12-18 Oki Electric Industry Co., Ltd. Multi-layered circuit board assembly with improved thermal dissipation
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
JP5251758B2 (ja) * 2009-07-01 2013-07-31 ヤマハ株式会社 圧縮符号化装置、および画像表示制御装置
US9788019B2 (en) 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5500678A (en) * 1994-03-18 1996-03-19 At&T Corp. Optimized scanning of transform coefficients in video coding
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
KR100235347B1 (ko) * 1996-09-19 1999-12-15 전주범 윤곽선 영상신호 부호화 방법 및 장치
US6035070A (en) * 1996-09-24 2000-03-07 Moon; Joo-Hee Encoder/decoder for coding/decoding gray scale shape data and method thereof
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US5973743A (en) * 1997-12-02 1999-10-26 Daewoo Electronics Co., Ltd. Mode coding method and apparatus for use in an interlaced shape coder
US5946043A (en) * 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks

Also Published As

Publication number Publication date
CN1166203C (zh) 2004-09-08
US6031872A (en) 2000-02-29
CN1241094A (zh) 2000-01-12
JP4086966B2 (ja) 2008-05-14

Similar Documents

Publication Publication Date Title
JP4357506B2 (ja) クロミナンス形状情報発生装置
US6094225A (en) Method and apparatus for encoding mode signals for use in a binary shape coder
AU749227B2 (en) Method and apparatus for encoding a video signal
US6307885B1 (en) Device for and method of coding/decoding image information
JP3935613B2 (ja) 映像信号符号化方法
JP2000050270A (ja) 映像信号符号化方法
CN1248508C (zh) 视频解码方法
KR100281322B1 (ko) 이진 형상 신호 부호화 및 복호화 장치와 그 방법
JP3636983B2 (ja) 符号化装置
EP1104627B1 (en) Method and apparatus for encoding a video signal
KR100285592B1 (ko) 영상 신호 부호화 방법 및 장치
JPH11155143A (ja) 画像圧縮符号化・復号化方法、画像圧縮符号化・復号化装置、画像圧縮符号化伝送方法、画像圧縮符号化伝送システムおよび画像圧縮符号化・復号化プログラムを記録した記録媒体
KR100310774B1 (ko) 영상부호화장치
KR100239309B1 (ko) 변형된 정점 부호화를 이용한 윤곽선 부호화 방법 및 그 장치
KR20050089868A (ko) 비디오 코딩 및 디코딩 방법
MXPA00008746A (en) Method and apparatus for encoding a video signal
KR20050065557A (ko) 디지털 비디오 신호 처리를 위한 방법 및 시스템
MXPA00012278A (en) Method and apparatus for encoding a video signal
MXPA00008675A (es) Metodo y aparato para codificar una señal de video
JPH11187394A (ja) 2値形状信号符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061030

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120229

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120229

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees