JP2000004440A - 動画像復号化方法および動画像復号化装置 - Google Patents

動画像復号化方法および動画像復号化装置

Info

Publication number
JP2000004440A
JP2000004440A JP16987398A JP16987398A JP2000004440A JP 2000004440 A JP2000004440 A JP 2000004440A JP 16987398 A JP16987398 A JP 16987398A JP 16987398 A JP16987398 A JP 16987398A JP 2000004440 A JP2000004440 A JP 2000004440A
Authority
JP
Japan
Prior art keywords
image data
reproduced image
reference image
generating
reproduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP16987398A
Other languages
English (en)
Other versions
JP3568392B2 (ja
Inventor
Katsunori Hirase
勝典 平瀬
Shinichi Matsuura
信一 松浦
Hiroshi Murashima
弘嗣 村島
Akihiko Yamashita
昭彦 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP16987398A priority Critical patent/JP3568392B2/ja
Priority to EP98124620A priority patent/EP0926899A3/en
Priority to KR1019980058669A priority patent/KR100568649B1/ko
Publication of JP2000004440A publication Critical patent/JP2000004440A/ja
Priority to US10/847,356 priority patent/US7139315B2/en
Application granted granted Critical
Publication of JP3568392B2 publication Critical patent/JP3568392B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 この発明は、メモリ容量の低減化が図れる動
画像復号化装置を提供することを目的とする。 【解決手段】 逆DCTを行って得た画像データに基づ
いて、または得られた上記画像データと参照画像データ
とに基づいて第1の再生画像データを生成する第1ステ
ップ、第1の再生画像データに対してアダマール変換符
号化を行って、第1の再生画像データに対してビット方
向にデータ量が削減された第2の再生画像データを生成
する第2ステップ、第2ステップによって得られた第2
の再生画像データのうち参照画像データを生成するため
に必要な第2の再生画像データを参照画像用メモリに記
憶させる第3ステップを備えている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、例えばMPEG
方式で圧縮符号化された信号を復号化して、原画像の解
像度より低い解像度の再生画像を得るのに適した動画像
復号化方法および動画像復号化装置に関する。
【0002】
【従来の技術】従来から、デジタルTVなどの分野にお
いて画像データを圧縮符号化するための画像符号化方式
として、MPEG(Moving Picture Expert Group)方式
が知られている。
【0003】MPEG方式の代表的なものに、MPEG
1とMPEG2とがある。MPEG1では、順次走査
(ノンインターレース)の画像のみ扱われていたが、M
PEG2では、順次走査の画像だけでなく、飛び越し走
査(インターレース走査)の画像も扱われるようになっ
た。
【0004】これらのMPEGの符号化には、動き補償
予測(時間的圧縮)、DCT(空間的圧縮)及びエント
ロピー符号化(可変長符号化)が採用されている。MP
EGの符号化では、まず、マクロブロック単位ごとに、
時間軸方向の予測符号化(MPEG1ではフレーム予測
符号化が、MPEG2ではフレーム予測符号化またはフ
ィールド予測符号化)が行われる。
【0005】マクロブロックは、たとえば、16(水平
方向画素数)×16(垂直方向画素数)の大きさのY信
号(輝度信号)と、8(水平方向画素数)×8(垂直方
向画素数)の大きさのCb信号(色差信号)と、8(水
平方向画素数)×8(垂直方向画素数)の大きさのCr
信号(色差信号)とからなる。
【0006】ここでは、説明の便宜上、Y信号について
のみ説明する。予測符号化方式に対応してIピクチャ、
Pピクチャ、Bピクチャの3種類の画像タイプが存在す
る。以下においては、フレーム予測符号化を例にとって
説明する。
【0007】(1)Iピクチャ:フレーム内の情報のみ
から符号化された画面で、フレーム間予測を行わずに生
成される画面であり、Iピクチャ内の全てのマクロブロ
ック・タイプは、フレーム内情報のみで符号化するフレ
ーム内予測符号化である。
【0008】(2)Pピクチャ:IまたはPピクチャか
らの予測を行うことによってできる画面であり、一般的
に、Pピクチャ内のマクロブロック・タイプは、フレー
ム内情報のみで符号化するフレーム内符号化と、過去の
再生画像から予測する順方向フレーム間予測符号化との
両方を含んでいる。
【0009】(3)Bピクチャ:双方向予測によってで
きる画面で、一般的に、以下のマクロブロック・タイプ
を含んでいる。 a.フレーム内情報のみで符号化するフレーム内予測符
号化 b.過去の再生画像から予測する順方向フレーム間予測
符号化 c.未来から予測する逆方向フレーム間予測符号化 d.前後両方の予測による内挿的フレーム間予測符号化 ここで、内挿的フレーム間予測とは、順方向予測と逆方
向予測の2つの予測を対応画素間で平均することをい
う。
【0010】MPEG符号器では、原画像の画像データ
は、16(水平方向画素数)×16(垂直方向画素数)
の大きさのマクロブロック単位に分割される。マクロブ
ロック・タイプがフレーム内予測符号化以外のマクロブ
ロックに対しては、マクロブロック・タイプに応じたフ
レーム間予測が行われ、予測誤差データが生成される。
【0011】マクロブロック単位毎の画像データ(マク
ロブロック・タイプがフレーム内予測符号化である場
合)または予測誤差データ(マクロブロック・タイプが
フレーム間予測符号化である場合)は、8×8の大きさ
の4つのサブブロックに分割され、各サブブロックの画
像データに直交変換の1種である2次元離散コサイン変
換(DCT:Discrete Cosine Transform )が数式5に
基づいて行われる。つまり、図8に示すように、8×8
の大きさのブロック内の各データf(i,j)に基づい
て、uv空間(u:水平周波数,v:垂直周波数)にお
ける各DCT(直交変換)係数F(u,v)が得られ
る。
【0012】
【数5】
【0013】MPEG1では、DCTには、フレームD
CTモードのみであるが、MPEG2のフレーム構造で
は、マクロブロック単位でフレームDCTモードとフィ
ールドDCTモードに切り換えることができる。ただ
し、MPEG2のフィールド構造では、フィールドDC
Tモードのみである。
【0014】フレームDCTモードでは、16×16の
マクロブロックが、4分割され左上の8×8のブロッ
ク、右上の8×8のブロック、左下の8×8のブロッ
ク、右下の8×8のブロック毎にDCTが行われる。
【0015】一方、フィールドDCTモードでは、16
×16のマクロブロックの左半分の8(水平方向画素
数)×16(垂直方向画素数)のブロック内の奇数ライ
ンのみからなる8×8のデータ群、左半分の8×16の
ブロック内の偶数ラインのみからなる8×8のデータ
群、右半分の8(水平方向画素数)×16(垂直方向画
素数)のブロック内の奇数ラインのみからなる8×8の
データ群および右半分の8×16のブロック内の偶数ラ
インのみからなる8×8のデータ群の各データ群毎にD
CTが行われる。
【0016】上記のようにして得られたDCT係数に対
して量子化が施され、量子化されたDCT係数が生成さ
れる。量子化されたDCT係数は、ジグザグスキャンま
たはオルタネートスキャンされて1次元に並べられ、可
変長符号器によって符号化される。MPEG符号器から
は、可変長符号器によって得られた変換係数の可変長符
号とともに、マクロブロック・タイプを示す情報を含む
制御情報および動きベクトルの可変長符号が出力され
る。
【0017】図7は、MPEG復号器の構成を示すブロ
ック図である。
【0018】変換係数の可変長符号は、可変長復号化器
101に送られる。マクロブロック・タイプを含む制御
信号はCPU110に送られる。動きベクトルの可変長
符号は、可変長復号化器109に送られて復号化され
る。可変長復号化器109によって得られた動きベクト
ルは、第1参照画像用メモリ106および第2参照画像
用メモリ107に、参照画像の切り出し位置を制御する
ための制御信号として送られる。
【0019】可変長復号化器101は、変換係数の可変
長符号を復号化する。逆量子化器102は、可変長復号
化器101から得られた変換係数(量子化されたDCT
係数)を逆量子化してDCT係数に変換する。
【0020】逆DCT回路103は、逆量子化器102
で生成されたDCT係数列を8×8のサブブロック単位
のDCT係数に戻すとともに、数式6に示す逆変換式に
基づいて8×8の逆DCTを行う。つまり、図8に示す
ように、8×8のDCT係数F(u,v)に基づいて、
8×8のサブブロック単位のデータf(i,j)が得ら
れる。また、4つのサブブロック単位のデータf(i,
j)に基づいて1つのマクロブロック単位の再生画像デ
ータまたは予測誤差データを生成する。
【0021】
【数6】
【0022】逆DCT回路103によって生成されたマ
クロブロック単位の予測誤差データには、そのマクロブ
ロック・タイプに応じた参照画像データが加算器104
によって加算されて、再生画像データが生成される。参
照画像データは、スイッチ112を介して加算器104
に送られる。ただし、逆DCT回路103から出力され
たデータがフレーム内予測符号に対する再生画像データ
である場合には、参照画像データは加算されない。
【0023】逆DCT回路103または加算器104に
よって得られたマクロブロック単位の画像データが、B
ピクチャに対する再生画像データである場合には、その
再生画像データはスイッチ113に送られる。
【0024】逆DCT回路103または加算器104に
よって得られたマクロブロック単位の再生画像データ
が、IピクチャまたはPピクチャに対する再生画像デー
タである場合には、その再生画像データはスイッチ11
1を介して第1参照画像用メモリ106または第2参照
画像用メモリ107に格納される。スイッチ111は、
CPU110によって制御される。
【0025】平均化部108は、メモリ106、107
から読出された再生画像データを平均して、内挿的フレ
ーム間予測符号化に用いられる参照画像データを生成す
る。
【0026】スイッチ112は、CPU110によって
次のように制御される。逆DCT回路103から出力さ
れたデータがフレーム内予測符号に対する再生画像デー
タである場合には、スイッチ112の共通端子が接地端
子に切り換えられる。
【0027】逆DCT回路103から出力されたデータ
が順方向フレーム間予測符号に対する予測誤差データで
ある場合または逆方向フレーム間予測符号に対する予測
誤差データである場合には、スイッチ112の共通端子
が第1参照画像用メモリ106の出力が送られる端子ま
たは第2参照画像用メモリ107の出力が送られる端子
のいずれか一方を選択するように切り換えられる。な
お、参照画像用メモリ106、107から参照画像が読
み出される場合には、可変長復号化器109からの動き
ベクトルに基づいて、参照画像の切り出し位置が制御さ
れる。
【0028】逆DCT回路103から出力されたデータ
が内挿的フレーム間予測符号に対する予測誤差データで
ある場合には、スイッチ112の共通端子が平均化部1
08の出力が送られる端子を選択するように切り換えら
れる。
【0029】スイッチ113は、加算器104から送ら
れてくるBピクチャに対する再生画像データ、参照画像
用メモリ106に格納されたIピクチャまたはPピクチ
ャに対する再生画像データ、参照画像用メモリ107に
格納されたIピクチャまたはPピクチャに対する再生画
像データが原画像の順序と同じ順番で出力されるように
CPU110によって制御される。復号器から出力され
た画像データはモニタ装置に与えられ、モニタ装置の表
示画面に原画像が表示される。
【0030】
【発明が解決しようとする課題】上記従来のMPEG復
号器では、参照画像用として2画面分のメモリが必要で
あり、メモリ容量が大きいという問題があった。
【0031】この発明は、メモリ容量の低減化が図れる
動画像復号化方法および動画像復号化装置を提供するこ
とを目的とする。
【0032】
【課題を解決するための手段】この発明による第1の動
画像復号化方法は、MPEG方式によって圧縮符号化さ
れた信号を復号化する動画像復号化方法であって、逆D
CTを行って得た画像データに基づいて、または得られ
た上記画像データと参照画像データとに基づいて第1の
再生画像データを生成する第1ステップ、第1の再生画
像データに対してアダマール変換符号化を行って、第1
の再生画像データに対してビット方向にデータ量が削減
された第2の再生画像データを生成する第2ステップ、
第2ステップによって得られた第2の再生画像データの
うち参照画像データを生成するために必要な第2の再生
画像データを参照画像用メモリに記憶させる第3ステッ
プ、ならびに参照画像用メモリに格納された第2の再生
画像データに基づいて、第1の再生画像データに対応し
た参照画像データを生成する第4ステップを備えている
ことを特徴とする。
【0033】この発明による第2の動画像復号化方法
は、MPEG方式によって圧縮符号化された信号を復号
化する動画像復号化方法であって、DCT係数の一部を
除去した後に逆DCTを行って得た画像データに基づい
て、または得られた上記画像データと参照画像データと
に基づいて第1の再生画像データを生成する第1ステッ
プ、第1の再生画像データに対してアダマール変換符号
化を行って、第1の再生画像データに対してビット方向
にデータ量が削減された第2の再生画像データを生成す
る第2ステップ、第2ステップによって得られた第2の
再生画像データのうち参照画像データを生成するために
必要な第2の再生画像データを参照画像用メモリに記憶
させる第3ステップ、ならびに参照画像用メモリに格納
された第2の再生画像データに基づいて、第1の再生画
像データに対応した参照画像データを生成する第4ステ
ップを備えていることを特徴とする。
【0034】この発明による第3の動画像復号化方法
は、MPEG方式によって圧縮符号化された信号を復号
化する動画像復号化方法であって、DCT係数のうちの
一部を0に置換した後に逆DCTを行って得た画像デー
タに基づいて、または得られた上記画像データと参照画
像データとに基づいて第1の再生画像データを生成する
第1ステップ、第1の再生画像データに対してアダマー
ル変換符号化を行って、第1の再生画像データに対して
ビット方向にデータ量が削減された第2の再生画像デー
タを生成する第2ステップ、第2ステップによって得ら
れた第2の再生画像データのうち参照画像データを生成
するために必要な第2の再生画像データを参照画像用メ
モリに記憶させる第3ステップ、ならびに参照画像用メ
モリに格納された第2の再生画像データに基づいて、第
1の再生画像データに対応した参照画像データを生成す
る第4ステップを備えていることを特徴とする。
【0035】この発明による第4の動画像復号化方法
は、MPEG方式によって圧縮符号化された信号を復号
化する動画像復号化方法であって、逆DCTを行って得
た画像データに基づいて、または得られた上記画像デー
タと参照画像データとに基づいて第1の再生画像データ
を生成する第1ステップ、 第1の再生画像に対して水
平方向間引きおよび垂直方向間引きのうち、少なくとも
一方の間引きを行って、第2の再生画像を生成する第2
ステップ、第2の再生画像データに対してアダマール変
換符号化を行って、第2の再生画像データに対してビッ
ト方向にデータ量が削減された第3の再生画像データを
生成する第3ステップ、第3ステップによって得られた
第3の再生画像データのうち参照画像データを生成する
ために必要な第3の再生画像データを参照画像用メモリ
に記憶させる第4ステップ、ならびに参照画像用メモリ
に格納された第3の再生画像データに基づいて、第1の
再生画像データに対応した参照画像データを生成する第
5ステップを備えていることを特徴とする。
【0036】この発明による第5の動画像復号化方法
は、MPEG方式によって圧縮符号化された信号を復号
化する動画像復号化方法であって、DCT係数の一部を
除去した後に逆DCTを行って得た画像データに基づい
て、または得られた上記画像データと参照画像データと
に基づいて第1の再生画像データを生成する第1ステッ
プ、第1の再生画像に対して水平方向間引きおよび垂直
方向間引きのうち、少なくとも一方の間引きを行って、
第2の再生画像を生成する第2ステップ、第2の再生画
像データに対してアダマール変換符号化を行って、第2
の再生画像データに対してビット方向にデータ量が削減
された第3の再生画像データを生成する第3ステップ、
第3ステップによって得られた第3の再生画像データの
うち参照画像データを生成するために必要な第3の再生
画像データを参照画像用メモリに記憶させる第4ステッ
プ、ならびに参照画像用メモリに格納された第3の再生
画像データに基づいて、第1の再生画像データに対応し
た参照画像データを生成する第5ステップを備えている
ことを特徴とする。
【0037】この発明による第6の動画像復号化方法
は、MPEG方式によって圧縮符号化された信号を復号
化する動画像復号化方法であって、DCT係数のうちの
一部を0に置換した後に逆DCTを行って得た画像デー
タに基づいて、または得られた上記画像データと参照画
像データとに基づいて第1の再生画像データを生成する
第1ステップ、第1の再生画像に対して水平方向間引き
および垂直方向間引きのうち、少なくとも一方の間引き
を行って、第2の再生画像を生成する第2ステップ、第
2の再生画像データに対してアダマール変換符号化を行
って、第2の再生画像データに対してビット方向にデー
タ量が削減された第3の再生画像データを生成する第3
ステップ、第3ステップによって得られた第3の再生画
像データのうち参照画像データを生成するために必要な
第3の再生画像データを参照画像用メモリに記憶させる
第4ステップ、ならびに参照画像用メモリに格納された
第3の再生画像データに基づいて、第1の再生画像デー
タに対応した参照画像データを生成する第5ステップを
備えていることを特徴とする。
【0038】この発明による動画像復号化装置は、入力
信号から得られた所定の大きさのブロック単位の直交変
換係数のうち、水平周波数の高域部分の係数を除去して
変換係数を半分に削減する係数削減回路、係数削減回路
によって削減された変換係数を用いて逆直交変換を行う
ことにより、ブロック単位毎に水平方向が1/2に圧縮
された再生画像データまたは時間軸予測誤差データを得
る逆直交変換回路、逆直交変換回路によって得られた時
間軸予測誤差データと所定の参照画像データとに基づい
て、水平方向が1/2に圧縮された第1の再生画像デー
タを生成する加算器、逆直交変換回路または加算器によ
って得られた第1の再生画像データに対してアダマール
変換を行って量子化することにより、第1再生画像デー
タに比べてビット方向にデータ量が1/2に削減された
第2の再生画像データを生成するアダマール符号化回
路、ならびにアダマール符号化回路によって得られた第
2の再生画像データのうち参照画像データを生成するた
めに必要な第2の再生画像データを記憶する1または複
数の参照画像用メモリを備え、参照画像用メモリに格納
された第2の再生画像データに基づいて、第1の再生画
像データに対応した参照画像データが生成されることを
特徴とする。
【0039】上記所定のブロック単位が、水平方向画素
数がMで、垂直方向画素数がNのM×Nの大きさのブロ
ック単位であり、原画像の符号化時において直交変換が
数式7に基づいて行われたとすると、逆直交変換回路と
しては数式8に基づいて逆直交変換を行うものが用いら
れる。
【0040】
【数7】
【0041】
【数8】
【0042】上記所定のブロック単位が、水平方向画素
数が8で、垂直方向画素数が8の8×8の大きさのブロ
ック単位であり、原画像の符号化時において直交変換が
数式9に基づいて行われたとすると、逆直交変換回路と
しては数式10に基づいて逆直交変換を行うものが用い
られる。
【0043】
【数9】
【0044】
【数10】
【0045】
【発明の実施の形態】以下、図1〜図6を参照して、こ
の発明をMPEG復号器に適用した場合の実施の形態に
ついて説明する。主としてY信号に対す復号化処理につ
いて説明する。
【0046】図1は、MPEG復号器の構成を示してい
る。
【0047】変換係数の可変長符号は、可変長復号化器
1に送られる。マクロブロック・タイプを含む制御信号
はCPU20に送られる。動きベクトルの可変長符号
は、可変長復号化器10に送られて復号化される。可変
長復号化器10によって得られた動きベクトルは、ベク
トル値変換回路11に送られ、動きベクトルの水平方向
の大きさが1/2になるように変換される。ベクトル値
変換回路11によって水平方向の大きさが1/2になる
ように変換された動きベクトルは、第1参照画像用メモ
リ7および第2参照画像用メモリ8に、参照画像の切り
出し位置を制御するための制御信号として送られる。
【0048】可変長復号化器1は、変換係数の可変長符
号を復号化する。逆量子化器2は、可変長復号化器1か
ら得られた変換係数(量子化されたDCT係数)を逆量
子化してDCT係数に変換する。水平高域係数除去回路
(係数削減回路)3は、図2(a)に示すように、逆量
子化器2で生成されたDCT係数列を8(水平方向画素
数)×8(垂直方向画素数)のサブブロック単位に対応
する8×8のDCT係数F(u,v)(ただし、u=
0,1,…7、v=0,1,…7)に戻すとともに、各
サブブロックの水平周波数の高域部分のDCT係数を除
去して、図2(b)に示すように4(水平周波数方向
u)×8(垂直周波数方向v)の数のDCT係数F
(u,v)(ただし、u=0,1,…3、v=0,1,
…7)に変換する。
【0049】逆DCT回路4は、水平高域係数除去回路
3で生成された4×8の数のDCT係数に、数式11で
示すような4×8の逆DCTを施して、図2(c)に示
すような元のサブブロック単位のデータが水平方向に1
/2に圧縮された4(水平方向画素数)×8(垂直方向
画素数)のデータ数からなるデータf(i,j)(ただ
し、i=0,1,…3、j=0,1,…7)を生成す
る。
【0050】
【数11】
【0051】また、このようにして得られた1つのマク
ロブロックを構成する4つのサブブロック単位に対応す
る画像データに基づいて水平方向が1/2に圧縮された
8×16の1つのマクロブロック単位の再生画像データ
または予測誤差データを生成する。したがって、逆DC
T回路4によって得られるマクロブロック単位のデータ
量は、原画像のマクロブロック単位の画像データ量の半
分となる。
【0052】逆DCT回路4によって生成された水平方
向が1/2に圧縮された8×16のマクロブロック単位
の予測誤差データには、そのマクロブロック・タイプに
応じた参照画像データ(水平方向が1/2に圧縮された
8×16のマクロブロック単位の参照画像データ)が加
算器5によって加算され、再生画像データが生成され
る。参照画像データは、スイッチ13を介して加算器5
に送られる。ただし、逆DCT回路4から出力された画
像データがフレーム内予測符号に対する再生画像データ
である場合には、参照画像データは加算されない。
【0053】逆DCT回路4または加算器5によって得
られた水平方向が1/2に圧縮された8×16のマクロ
ブロック単位の第1の再生画像データは、アダマール変
換符号化回路21に送られる。
【0054】アダマール変換符号化回路21は、4次ア
ダマール変換処理および量子化処理を行う。アダマール
変換符号化回路21は、8×16のマクロブロック単位
の再生画像データをブロック分割する。
【0055】入力画像信号がインターレース画像の場合
には、図3(a)に示すように、奇数ラインどうしの隣
り合う2つのラインと水平方向に隣合う2画素からなる
2×2のブロックおよび偶数ラインどうしの隣り合う2
つのラインと水平方向に隣合う2画素からなる2×2の
ブロックに、第1の再生画像データが分割される。
【0056】入力画像信号がプログレッシブ画像の場合
には、図3(b)に示すように、垂直方向の隣合う2つ
のラインと水平方向に隣合う2画素からなる2×2のブ
ロックに、第1の再生画像データが分割される。入力画
像信号の種類に応じたブロック分割の切り替えは、CP
U20からの制御信号に基づいて行われる。
【0057】なお、入力される画像がプログレッシブ画
像の場合には、図3(d)に示すように、垂直方向の隣
合う4つの画素からなる4×1のブロックに第1の再生
画像データを分割し、入力される画像がインターレース
画像の場合には、図3(a)に示すような2×2のブロ
ックに第1の再生画像データを分割してもよい。また、
入力される画像がインターレース画像の場合には、図3
(c)に示すように、奇数ラインどうしのライン間にお
いて垂直方向の隣合う4つの画素からなる4×1のブロ
ックおよび偶数ラインどうしのライン間において垂直方
向の隣合う4つの画素からなる4×1のブロックに、第
1の再生画像データを分割してもよい。
【0058】各ブロック内の各画素の画素値(8ビッ
ト)を、図3(a)または図3(b)に示すように、
a、b、c、dとすると、各ブロック毎に、次式で表さ
れるようなアダマール変換が行われる。
【0059】
【数12】
【0060】本来のアダマール変換では係数は1/(4
×21/2 )であるが、ここでは、処理を簡単にするため
に係数を1/4としている。
【0061】次に、量子化が行われる。ここでは、ビッ
ト方向に1/2に圧縮するために、1ブロック内の4画
素の画素値の合計に対して、16ビットが割り当てられ
る。
【0062】各係数K0、K1、K2、K3に対するビ
ット割り当て方法としては、たとえば、次の表1に示す
ように、3つの割り当て方法(1)、(2)、(3)が
考えられる。ここでは、方法(1)を採用する。
【0063】
【表1】
【0064】つまり、K0には、8ビットが、K1およ
びK2には4ビットが、K3には0ビットが割り当てら
れる。したがって、K0は、上記数式12によって算出
された値がそのまま採用される。また、K3は、上記数
式12にかかわらず、無視される。
【0065】K1またはK2については、上記数式12
で求められた8ビットの値(−128〜+127)が、
図4の量子化・逆量子化テーブルに基づいて、4ビット
の値(−8〜+7)に変換される。
【0066】なお、表1の方法3が採用される場合に
は、8ビットの係数K1およびK2の値が、たとえば、
図5の量子化・逆量子化テーブルに基づいて、3ビット
の値(量子化値)に変換される。また、8ビットの係数
K3の値が、たとえば、図6の量子化・逆量子化テーブ
ルに基づいて、2ビットの値(量子化値)に変換され
る。
【0067】K0、K1、K2に対する量子化値を、K
0’、K1’、K2’で表すことにする。上記4次アダ
マール変換処理および量子化処理によって、8×16の
マクロブロック単位の第2の再生画像データが得られ
る。第2の再生画像データのデータ量は、第1の再生画
像データのデータ量の1/2となる。したがって、アダ
マール変換符号化回路21によって得られるマクロブロ
ック単位の第2の再生画像データのデータ量は、原画像
のマクロブロック単位の画像データ量の1/4となる。
【0068】アダマール変換符号化回路21によって得
られたマクロブロック単位の第2の再生画像データが、
Bピクチャに対する再生画像データである場合には、そ
の再生画像データはスイッチ14に送られる。
【0069】アダマール変換符号化回路21によって得
られたマクロブロック単位の第2の再生画像データが、
IピクチャまたはPピクチャに対する再生画像データで
ある場合には、その再生画像データはスイッチ12を介
して第1参照画像用メモリ7または第2参照画像用メモ
リ8に格納される。第1参照画像用メモリ7または第2
参照画像用メモリ8に格納される画像データ量は従来の
1/4となる。スイッチ12は、CPU20によって制
御される。
【0070】第1アダマール変換復号化回路22は、第
1参照画像用メモリ7から読み出された8×16のマク
ロブロック単位の第2の再生画像データに対して、逆量
子化処理およびアダマール逆変換処理を行って、第1の
再生画像に対応する参照画像データを生成する。
【0071】つまり、まず、第1参照画像用メモリ7か
ら読み出された第2の再生画像データを構成する各量子
化値K0’、K1’、K2’が、逆量子化値K0”、K
1”、K2”に変換される。具体的には、K0’に対す
る逆量子化値K0”はK0’と等しい。
【0072】K1’およびK2’に対する逆量子化値K
1”およびK2”は、図4の量子化・逆量子化テーブル
に基づいて求められる。第1参照画像用メモリ7から読
み出された第2の再生画像データが、輝度信号(Y信
号)に対する再生画像データである場合には、図4の量
子化・逆量子化テーブル内のY信号に対する逆量子化値
のうち、K1’およびK2’に対応するものがその逆量
子化値K1”およびK2”として求められる。第1参照
画像用メモリ7から読み出された再生画像データが、色
差信号(Cb,Cr信号)に対する再生画像データであ
る場合には、図4の量子化・逆量子化テーブル内のC信
号に対する逆量子化値のうち、K1’およびK2’に対
応するものがその逆量子化値K1”およびK2”として
求められる。
【0073】このようにして、得られた逆量子化値K
0”、K1”、K2”が得られると、次の数式13に基
づいて、アダマール逆変換処理が行われる。ただし、こ
の例では、K3”は0として取り扱われる。
【0074】
【数13】
【0075】これにより、第1参照画像用メモリ7から
読み出されたマクロブロック単位の第2の再生画像デー
タが、第1の再生画像データに対応した参照画像データ
に変換される。
【0076】第2アダマール変換復号化回路23は、第
2参照画像用メモリ8から読み出された8×16のマク
ロブロック単位の再生画像データに対して、上述したと
同様な逆量子化処理およびアダマール逆変換処理を行っ
て、第1の再生画像データに対応した参照画像データを
生成する。
【0077】平均化部9は、第1アダマール変換復号化
回路22および第2アダマール変換復号化回路23から
読出された画像データを平均して、内挿的フレーム間予
測符号化に用いられる8×16のマクロブロック単位の
参照画像データを生成する。
【0078】スイッチ13は、CPU20によって次の
ように制御される。逆DCT回路4から出力されたデー
タがフレーム内予測符号化に対する再生画像データであ
る場合には、スイッチ13の共通端子が接地端子に切り
換えられる。
【0079】逆DCT回路4から出力されたデータが順
方向フレーム間予測符号に対する予測誤差データである
場合または逆方向フレーム間予測符号に対する予測誤差
データである場合には、スイッチ13の共通端子が第1
アダマール変換復号化回路22からの参照画像データが
送られる端子または第2アダマール変換復号化回路23
からの参照画像データが送られる端子のいずれか一方を
選択するように切り換えられる。
【0080】なお、参照画像用メモリ7、8から参照画
像が読み出される場合には、ベクトル値変換回路11か
らの動きベクトルに基づいて、その切り出し位置が制御
される。ベクトル値変換回路11によって動きベクトル
の水平方向の大きさが1/2に変換されているのは、ア
ダマール変換符号化回路21から参照画像用メモリ7、
8に送られるマクロブロック単位の画像データが水平方
向に1/2に圧縮されたものとなっているためである。
【0081】逆DCT回路4から出力されたデータが内
挿的フレーム間予測符号に対する予測誤差データである
場合には、スイッチ13の共通端子が平均化部9の出力
が送られる端子を選択するように切り換えられる。
【0082】スイッチ14は、アダマール変換符号化回
路21からスイッチ14に送られてきたBピクチャに対
する第2の再生画像データ、参照画像用メモリ7に格納
されたIピクチャまたはPピクチャに対する第2の再生
画像データ、参照画像用メモリ8に格納されたIピクチ
ャまたはPピクチャに対する第2の再生画像データが原
画像の順序と同じ順番で出力されるようにCPU20に
よって制御される。
【0083】スイッチ14から出力された第2の再生画
像データは、第3アダマール変換復号化回路15によっ
て、上述したと同様な逆量子化処理およびアダマール逆
変換処理が行われることにより、第1の再生画像データ
に対応した画像データに変換された後、フォーマット変
換回路16に送られる。
【0084】フォーマット変換回路16は、第3アダマ
ール変換復号化回路15から送られてきた画像データを
モニタ装置の水平および垂直走査線数に対応するように
フォーマット変換する。フォーマット後の画像データ
は、モニタ装置に送られる。
【0085】上記実施の形態によれば、第1参照画像用
メモリ7および第2参照画像用メモリ8として、従来の
それらの容量の1/4のものを用いることができる。
【0086】ところで、逆量子化器2から得られるサブ
ブロック毎の8×8の変換係数のうち、水平周波数の高
域部分のみならず垂直周波数の広域部分を除去し、水平
および垂直周波数が共に低い領域の4×4の変換係数の
みを用いて4×4の逆変換を行って水平および垂直方向
に1/2に圧縮されたデータを生成することが考えられ
る。このようにすると、第1参照画像用メモリ7および
第2参照画像用メモリ8の容量を、上記実施の形態と同
様に従来の1/4にすることができる。
【0087】しかしながら、水平周波数の高域部分のみ
ならず垂直周波数の高域部分をも除去して、4×4の逆
変換を行った場合には、復号しようとする画像がインタ
ーレース画像である場合には、空間軸と時間軸とが混合
されて画像劣化が生じるという問題がある。このような
画像劣化が生じるのを防止するため、上記実施の形態で
は、水平周波数の高域部分の係数のみを除去し、垂直周
波数の高域部分の係数を残して、4×8の逆変換を行っ
た後に、アダマール変換符号化を行っているのである。
【0088】上記実施の形態では、DCT係数の一部を
除去した後に逆DCTを行って得た画像に基づいて第1
の再生画像を生成しているが、DCT係数の一部を除去
することなく通常通りの逆DCT(8×8の逆DCT)
を行って得た画像に基づいて第1の再生画像を生成し、
得られた第1の再生画像に対してアダマール変換符号化
を行うようにしてもよい。
【0089】また、DCT係数の一部を除去することな
く通常通りの逆DCT(8×8の逆DCT)を行って得
た画像に基づいて第1の再生画像を生成し、得られた第
1の再生画像に対して水平方向間引きおよび垂直方向間
引きのうちの少なくとも一方の間引き処理を行った後
に、アダマール変換符号化を行うようにしてもよい。
【0090】上記実施の形態では、DCT係数の一部を
除去した後に、逆DCTを行って得た画像に基づいて第
1の再生画像を生成しているが、DCT係数の一部を0
に置換した後に、逆DCT(8×8の逆DCT)を行っ
て得た画像に基づいて第1の再生画像を生成し、得られ
た第1の再生画像に対してアダマール変換符号化を行う
ようにしてもよい。
【0091】また、DCT係数の一部を0に置換した後
に、逆DCT(8×8の逆DCT)を行って得た画像に
基づいて第1の再生画像を生成し、得られた第1の再生
画像に対して水平方向間引きおよび垂直方向間引きのう
ちの少なくとも一方の間引き処理を行った後に、アダマ
ール変換符号化を行うようにしてもよい。
【0092】
【発明の効果】この発明によれば、メモリ容量の低減化
が図れるようになる。
【図面の簡単な説明】
【図1】MPEG復号器の構成を示すブロック図であ
る。
【図2】水平高域係数除去回路によって水平空間周波数
の高域部分が除去された後のDCT係数を示すととも
に、逆DCT回路によって逆変換された後のデータを示
す模式図である。
【図3】アダマール変換処理を行うためのブロック化を
説明するための模式図である。
【図4】量子化・逆量子化テーブルの例を示す模式図で
ある。
【図5】量子化・逆量子化テーブルの例を示す模式図で
ある。
【図6】量子化・逆量子化テーブルの例を示す模式図で
ある。
【図7】従来のMPEG復号器の構成を示すブロック図
である。
【図8】MPEG符号器で行われるDCTおよび従来の
MPEG復号器で行われる逆DCTを説明するための模
式図である。
【符号の説明】
1 可変長復号化器 2 逆量子化器 3 水平高域係数除去回路 4 逆DCT回路 5 加算器 7 第1参照画像用メモリ 8 第2参照画像用メモリ 9 平均化部 10 可変長復号化器 11 ベクトル値変換回路 12、13、14 スイッチ 15、22、23 アダマール変換復号化回路 16 フォーマット変換回路 20 CPU 21 アダマール変換符号化回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 村島 弘嗣 大阪府守口市京阪本通2丁目5番5号 三 洋電機株式会社内 (72)発明者 山下 昭彦 大阪府守口市京阪本通2丁目5番5号 三 洋電機株式会社内 Fターム(参考) 5B056 AA01 BB17 FF05 HH03 5C057 AA06 CC04 CE10 EA02 EA07 EB12 EB18 ED07 EJ02 EK03 EK04 EM04 EM08 EM09 EM13 EM14 GF07 GG01 5C059 KK08 LB05 MA00 MA05 MA22 MA23 MC14 MC22 PP05 PP06 PP07 TA06 TA30 TA49 TA58 TC03 TD03 UA02 UA05 UA33

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 MPEG方式によって圧縮符号化された
    信号を復号化する動画像復号化方法であって、 逆DCTを行って得た画像データに基づいて、または得
    られた上記画像データと参照画像データとに基づいて第
    1の再生画像データを生成する第1ステップ、 第1の再生画像データに対してアダマール変換符号化を
    行って、第1の再生画像データに対してビット方向にデ
    ータ量が削減された第2の再生画像データを生成する第
    2ステップ、 第2ステップによって得られた第2の再生画像データの
    うち参照画像データを生成するために必要な第2の再生
    画像データを参照画像用メモリに記憶させる第3ステッ
    プ、ならびに参照画像用メモリに格納された第2の再生
    画像データに基づいて、第1の再生画像データに対応し
    た参照画像データを生成する第4ステップ、 を備えていることを特徴とする動画像復号化方法。
  2. 【請求項2】 MPEG方式によって圧縮符号化された
    信号を復号化する動画像復号化方法であって、 DCT係数の一部を除去した後に逆DCTを行って得た
    画像データに基づいて、または得られた上記画像データ
    と参照画像データとに基づいて第1の再生画像データを
    生成する第1ステップ、 第1の再生画像データに対してアダマール変換符号化を
    行って、第1の再生画像データに対してビット方向にデ
    ータ量が削減された第2の再生画像データを生成する第
    2ステップ、 第2ステップによって得られた第2の再生画像データの
    うち参照画像データを生成するために必要な第2の再生
    画像データを参照画像用メモリに記憶させる第3ステッ
    プ、ならびに参照画像用メモリに格納された第2の再生
    画像データに基づいて、第1の再生画像データに対応し
    た参照画像データを生成する第4ステップ、 を備えていることを特徴とする動画像復号化方法。
  3. 【請求項3】 MPEG方式によって圧縮符号化された
    信号を復号化する動画像復号化方法であって、 DCT係数のうちの一部を0に置換した後に逆DCTを
    行って得た画像データに基づいて、または得られた上記
    画像データと参照画像データとに基づいて第1の再生画
    像データを生成する第1ステップ、 第1の再生画像データに対してアダマール変換符号化を
    行って、第1の再生画像データに対してビット方向にデ
    ータ量が削減された第2の再生画像データを生成する第
    2ステップ、 第2ステップによって得られた第2の再生画像データの
    うち参照画像データを生成するために必要な第2の再生
    画像データを参照画像用メモリに記憶させる第3ステッ
    プ、ならびに参照画像用メモリに格納された第2の再生
    画像データに基づいて、第1の再生画像データに対応し
    た参照画像データを生成する第4ステップ、 を備えていることを特徴とする動画像復号化方法。
  4. 【請求項4】 MPEG方式によって圧縮符号化された
    信号を復号化する動画像復号化方法であって、 逆DCTを行って得た画像データに基づいて、または得
    られた上記画像データと参照画像データとに基づいて第
    1の再生画像データを生成する第1ステップ、 第1の再生画像に対して水平方向間引きおよび垂直方向
    間引きのうち、少なくとも一方の間引きを行って、第2
    の再生画像を生成する第2ステップ、 第2の再生画像データに対してアダマール変換符号化を
    行って、第2の再生画像データに対してビット方向にデ
    ータ量が削減された第3の再生画像データを生成する第
    3ステップ、 第3ステップによって得られた第3の再生画像データの
    うち参照画像データを生成するために必要な第3の再生
    画像データを参照画像用メモリに記憶させる第4ステッ
    プ、ならびに参照画像用メモリに格納された第3の再生
    画像データに基づいて、第1の再生画像データに対応し
    た参照画像データを生成する第5ステップ、 を備えていることを特徴とする動画像復号化方法。
  5. 【請求項5】 MPEG方式によって圧縮符号化された
    信号を復号化する動画像復号化方法であって、 DCT係数の一部を除去した後に逆DCTを行って得た
    画像データに基づいて、または得られた上記画像データ
    と参照画像データとに基づいて第1の再生画像データを
    生成する第1ステップ、 第1の再生画像に対して水平方向間引きおよび垂直方向
    間引きのうち、少なくとも一方の間引きを行って、第2
    の再生画像を生成する第2ステップ、 第2の再生画像データに対してアダマール変換符号化を
    行って、第2の再生画像データに対してビット方向にデ
    ータ量が削減された第3の再生画像データを生成する第
    3ステップ、 第3ステップによって得られた第3の再生画像データの
    うち参照画像データを生成するために必要な第3の再生
    画像データを参照画像用メモリに記憶させる第4ステッ
    プ、ならびに参照画像用メモリに格納された第3の再生
    画像データに基づいて、第1の再生画像データに対応し
    た参照画像データを生成する第5ステップ、 を備えていることを特徴とする動画像復号化方法。
  6. 【請求項6】 MPEG方式によって圧縮符号化された
    信号を復号化する動画像復号化方法であって、 DCT係数のうちの一部を0に置換した後に逆DCTを
    行って得た画像データに基づいて、または得られた上記
    画像データと参照画像データとに基づいて第1の再生画
    像データを生成する第1ステップ、 第1の再生画像に対して水平方向間引きおよび垂直方向
    間引きのうち、少なくとも一方の間引きを行って、第2
    の再生画像を生成する第2ステップ、 第2の再生画像データに対してアダマール変換符号化を
    行って、第2の再生画像データに対してビット方向にデ
    ータ量が削減された第3の再生画像データを生成する第
    3ステップ、 第3ステップによって得られた第3の再生画像データの
    うち参照画像データを生成するために必要な第3の再生
    画像データを参照画像用メモリに記憶させる第4ステッ
    プ、ならびに参照画像用メモリに格納された第3の再生
    画像データに基づいて、第1の再生画像データに対応し
    た参照画像データを生成する第5ステップ、 を備えていることを特徴とする動画像復号化方法。
  7. 【請求項7】 入力信号から得られた所定の大きさのブ
    ロック単位の直交変換係数のうち、水平周波数の高域部
    分の係数を除去して変換係数を半分に削減する係数削減
    回路、 係数削減回路によって削減された変換係数を用いて逆直
    交変換を行うことにより、ブロック単位毎に水平方向が
    1/2に圧縮された再生画像データまたは時間軸予測誤
    差データを得る逆直交変換回路、 逆直交変換回路によって得られた時間軸予測誤差データ
    と所定の参照画像データとに基づいて、水平方向が1/
    2に圧縮された第1の再生画像データを生成する加算
    器、 逆直交変換回路または加算器によって得られた第1の再
    生画像データに対してアダマール変換を行って量子化す
    ることにより、第1の再生画像データに比べてビット方
    向にデータ量が1/2に削減された第2の再生画像デー
    タを生成するアダマール符号化回路、ならびにアダマー
    ル符号化回路によって得られた第2の再生画像データの
    うち参照画像データを生成するために必要な第2の再生
    画像データを記憶する1または複数の参照画像用メモリ
    を備え、 参照画像用メモリに格納された第2の再生画像データに
    基づいて、第1の再生画像データに対応した参照画像デ
    ータが生成される動画像復号化装置。
  8. 【請求項8】 上記所定のブロック単位は、水平方向画
    素数がMで、垂直方向画素数がNのM×Nの大きさのブ
    ロック単位であり、原画像の符号化時において直交変換
    が数式1に基づいて行われたとすると、逆直交変換回路
    は数式2に基づいて逆直交変換を行うものである請求項
    7に記載の動画像復号化装置。 【数1】 【数2】
  9. 【請求項9】 上記所定のブロック単位は、水平方向画
    素数が8で、垂直方向画素数が8の8×8の大きさのブ
    ロック単位であり、原画像の符号化時において直交変換
    が数式3に基づいて行われたとすると、逆直交変換回路
    は数式4に基づいて逆変換を行うものである請求項7に
    記載の動画像復号化装置。 【数3】 【数4】
JP16987398A 1997-12-25 1998-06-17 動画像復号化装置 Expired - Lifetime JP3568392B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP16987398A JP3568392B2 (ja) 1998-06-17 1998-06-17 動画像復号化装置
EP98124620A EP0926899A3 (en) 1997-12-25 1998-12-23 An apparatus and process for decoding motion pictures
KR1019980058669A KR100568649B1 (ko) 1997-12-25 1998-12-24 동화상복호화장치및동화상복호화방법
US10/847,356 US7139315B2 (en) 1997-12-25 2004-05-18 Apparatus and process for decoding motion pictures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16987398A JP3568392B2 (ja) 1998-06-17 1998-06-17 動画像復号化装置

Publications (2)

Publication Number Publication Date
JP2000004440A true JP2000004440A (ja) 2000-01-07
JP3568392B2 JP3568392B2 (ja) 2004-09-22

Family

ID=15894547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16987398A Expired - Lifetime JP3568392B2 (ja) 1997-12-25 1998-06-17 動画像復号化装置

Country Status (1)

Country Link
JP (1) JP3568392B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7024052B2 (en) 2001-02-28 2006-04-04 Sanyo Electric Co., Ltd. Motion image decoding apparatus and method reducing error accumulation and hence image degradation
US8073269B2 (en) 2006-05-09 2011-12-06 Kabushiki Kaisha Toshiba Image decoding apparatus and image decoding method
WO2012160614A1 (ja) * 2011-05-25 2012-11-29 パナソニック株式会社 動画像復号装置
US8553767B2 (en) 2006-03-28 2013-10-08 Kabushiki Kaisha Toshiba Video decoding method and apparatus
US9386310B2 (en) 2010-10-07 2016-07-05 Panasonic Intellectual Property Management Co., Ltd. Image reproducing method, image reproducing device, image reproducing program, imaging system, and reproducing system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267689A (ja) * 2008-04-24 2009-11-12 Panasonic Corp 動画像符号化装置、及び動画像符号化方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7024052B2 (en) 2001-02-28 2006-04-04 Sanyo Electric Co., Ltd. Motion image decoding apparatus and method reducing error accumulation and hence image degradation
US8553767B2 (en) 2006-03-28 2013-10-08 Kabushiki Kaisha Toshiba Video decoding method and apparatus
US8073269B2 (en) 2006-05-09 2011-12-06 Kabushiki Kaisha Toshiba Image decoding apparatus and image decoding method
US9386310B2 (en) 2010-10-07 2016-07-05 Panasonic Intellectual Property Management Co., Ltd. Image reproducing method, image reproducing device, image reproducing program, imaging system, and reproducing system
WO2012160614A1 (ja) * 2011-05-25 2012-11-29 パナソニック株式会社 動画像復号装置

Also Published As

Publication number Publication date
JP3568392B2 (ja) 2004-09-22

Similar Documents

Publication Publication Date Title
JP3686436B2 (ja) 映像信号の復号化方法
US7787541B2 (en) Dynamic pre-filter control with subjective noise detector for video compression
US6956899B2 (en) Precise bit control apparatus with look-ahead for MPEG encoding
EP1449384A2 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
JPH07264580A (ja) 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置
US8903196B2 (en) Video presentation at fractional speed factor using time domain interpolation
JPH08154249A (ja) 画像再生装置及び画像再生方式
KR100568649B1 (ko) 동화상복호화장치및동화상복호화방법
JPH0775111A (ja) デジタル信号符号化装置
JP3568392B2 (ja) 動画像復号化装置
JP3643777B2 (ja) 動画像復号装置および動画像復号方法
JPH08102908A (ja) 再生装置
JP4264811B2 (ja) 画像復号化装置及び画像復号化方法
JPH07131793A (ja) 映像信号高能率符号化装置
JP3481112B2 (ja) 動画像復号化装置
JP3416505B2 (ja) 動画像復号化方法
JP3384739B2 (ja) 動画像復号化方法
JP3481111B2 (ja) 動画像復号化装置
JP3481118B2 (ja) 動画像復号化方法
JP3384738B2 (ja) 動画像復号化方法
JP3416509B2 (ja) 動画像復号化装置
JP3166835B2 (ja) 動画像の高能率符号化方法及び装置
JP3384740B2 (ja) 動画像復号化方法
JPH11243550A (ja) 動画像復号化方法
JP4211023B2 (ja) 動画像処理方法及び動画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080625

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 9

EXPY Cancellation because of completion of term