JP2000032473A - 画像復号化方法および画像復号化装置 - Google Patents

画像復号化方法および画像復号化装置

Info

Publication number
JP2000032473A
JP2000032473A JP11159177A JP15917799A JP2000032473A JP 2000032473 A JP2000032473 A JP 2000032473A JP 11159177 A JP11159177 A JP 11159177A JP 15917799 A JP15917799 A JP 15917799A JP 2000032473 A JP2000032473 A JP 2000032473A
Authority
JP
Japan
Prior art keywords
image
decoding
identifier
address
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11159177A
Other languages
English (en)
Other versions
JP4879381B2 (ja
Inventor
Richard Bramley
リチャード・ブラムレー
Patrice Woodmard
パトリス・ウッドワード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ST MICROELECTRONICS
Original Assignee
ST MICROELECTRONICS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ST MICROELECTRONICS filed Critical ST MICROELECTRONICS
Publication of JP2000032473A publication Critical patent/JP2000032473A/ja
Application granted granted Critical
Publication of JP4879381B2 publication Critical patent/JP4879381B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/427Display on the fly, e.g. simultaneous writing to and reading from decoding memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 2度の復号化を必要とする圧縮画像につい
てメモリのアドレッシングの誤りをなくす。 【解決手段】圧縮画像データの復号化において、圧縮デ
ータのデータ・パケットが読み込まれ、そのパケット内
に双方向画像のような2度の復号化を必要とする画像が
識別されると、そのパケットのアドレス(@1)およびその
画像を特定する一時参照(TR2)がレジスタ(RG1,RG3)に格
納される。該画像の1回目の復号化が実施される間、ア
ドレスポインタはインクリメントされて次のアドレスを
指す。該画像の1回目の復号化が終了すると、記憶され
たアドレス(@1)がアドレスポインタにセットされ、再び
上記パケットを読み出し、そのビットを調べてレジスタ
内の一時参照と比較する。格納された一時参照が検出さ
れると、該画像の2回目の復号化が実施される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、MPEG標準に従っ
て圧縮された画像の復号化およびそれらの表示に関し、
特に双方向画像の復号化に関する。
【0002】
【従来の技術】多様な画像圧縮標準、特にMPEG(「Motio
n Pictures Experts Group」)によれば、画像は、概し
て16×16画素の正方形またはマクロブロックで復号化さ
れる。マクロブロックは、多様な形式でありえる。最も
一般的に使用される形式は、4:2:0と呼ばれるものであ
り、それによると、それぞれのマクロブロックは、8ビ
ットの8×8輝度画素の4ブロック、および8ビットの8×8
クロミナンス画素の2ブロックを含む。
【0003】処理される画像は、本質的に3タイプであ
り、すなわちいわゆる「イントラ(intra)」タイプ、い
わゆる「予測(predicted)」タイプ、およびいわゆる
「双方向(bidirectional)」タイプである。当業者であ
れば、「イントラ」画像のマクロブロックは、動き補償
を受けないことが分かる。予測画像では、それぞれのマ
クロブロックは、既に復号化された画像からフェッチさ
れる「予測子(predictor)」と呼ばれる別のマクロブロ
ックと当該マクロブロックを組み合わせることから成る
動き補償を受けることができる。双方向画像のそれぞれ
のマクロブロックは、2つの既に復号化された画像から
それぞれフェッチされる2つの他の予測子マクロブロッ
クと当該マクロブロックを組み合わせることから成る動
き補償を行うことができる。予測子マクロブロックの位
置は、動きベクトルによって判断される。
【0004】MPEG復号化システム(以後、より簡単に「M
PEG復号器」と呼ぶ)は、復号化および復号化された画像
の表示を実施するためダイナミックメモリと通信しなけ
ればならない。そのようなメモリは、これらの画像の復
号化および表示において重要な役割を果たす。
【0005】ある動作モード(例えばフリーズ・フレー
ム)で、ある画像を何度か復号化する必要がある。
【0006】これらの複数の復号化は、処理を待つ圧縮
画像データを格納する画像メモリの領域に対して、繰り
返しのアクセスを必要とする。メモリのアドレッシング
から生じる誤りのリスクなく、すでに既に復号化された
画像に実際に対応する正しい圧縮データを再び復号化で
きることが特に重要である。
【0007】
【発明が解決しようとする課題】この発明は、実現し、
具体化するのが簡単なこの問題の解決法を提供すること
を目的とする。
【0008】
【課題を解決するための手段】この発明は、限定的では
ないが特に双方向画像の「実行中(on-the-fly)」の復号
化に適用される。その復号化は、実際に、その画像の2
つのフレームが直接表示される間の2度のランによって
行われて、復号化された双方向画像を画像メモリに格納
する必要がないので、その大きさを低減させる。
【0009】この発明は、従って、例えば双方向画像の
ような到着画像を復号化する方法を提案する。その方法
において、ダイナミック・メモリのメモリ領域に、連続
する圧縮データ・グループを含む圧縮データ・ストリー
ムを格納し、該圧縮データ・グループは、それぞれ連続
する到着画像に関連し、その中のある画像は、2つの連
続する復号化を必要とする。画像に関連するそれぞれの
圧縮データ・グループは、画像開始識別子(またはピク
チャ開始コード)、上記画像を特定する識別子(例えばこ
の画像の一時参照)を含むヘッダ、および有用なデータ
を含む。圧縮データ・ストリームは、上記メモリ領域の
連続するアドレスに位置するビット・パケットで読み出
される。上記メモリ領域から読み出される各パケットに
ついて、画像開始識別子の有無が検出される。検出され
た画像開始識別子に対応する画像が、2度の連続する復
号化を必要とする場合、関連するパケットのアドレス
が、画像を特定する識別子と共に記憶される。その画像
の有用なデータの1回目の復号化が実施され、それが終
了すると、記憶されたアドレスによって指し示されるパ
ケットがメモリ領域から再び読み出される。上記画像を
特定する識別子の検出後、上記画像の2回目の復号化
が、パケット内のデータを復号化することによって実施
され、上記画像を特定する識別子に先行する該パケット
内のデータは、復号化されない。
【0010】MPEGデータストリームの中で、同じ画像の
2度の連続する復号化を実施する際の1つの問題は、多
様な画像の多様な画像開始識別子の間の間隔は、一定で
はなく、画像の内容に依存するという事実にある。さら
に画像メモリは、実際にメモリの連続するアドレスに位
置するビットのパケットで読み込まれる。
【0011】従って、この発明の第1の特徴は、例えば
双方向画像のような2度の連続する復号化を必要とする
画像開始識別子が検出されたビット・パケットのアドレ
スを記憶することにある。
【0012】こうして、第1の復号化が実施されると、
メモリ領域に戻って画像開始識別子を含むビット・パケ
ットを再び指し示す。この画像開始識別子の位置は、パ
ケットの中で正確には分からず、さらにパケットが以前
の画像に対応する他の画像開始識別子を含まないという
ことも確かではない。言い換えると、位置決めのために
返されるアドレスに位置するパケットから生じるデータ
の第2の復号化が、事前の対応なく実施される場合、画
像の第2の間違った復号化を得ることになる。
【0013】この発明は、前述した第1の特徴と組み合
わせて、シーケンス内で1対1の対応で画像を見つける
ことを可能にする特定の識別子(例えば画像の一時参照)
を格納することにある第2の特徴を提供することによっ
て、これらの更なる困難を解決する。従って、戻って、
再び復号化されようとする画像の画像開始識別子を含む
パケットを再び読み出した後、復号化されようとする双
方向画像を特定する識別子の存在が再び検出されるま
で、パケットのビットが順次に分析される。この後にの
み、MPEG復号器内で従来使用されるパイプライン回路が
この画像の有用なデータを考慮し、第2の復号化を実施
することができる。
【0014】この発明は、到着画像を復号化する装置を
提供することであり、その装置は、連続する圧縮データ
・グループを含む圧縮データ・ストリームを格納するメ
モリ領域を含み、該圧縮データ・グループは、それぞれ
連続する到着画像に関連し、その中のある画像は、2つ
の連続する復号化を必要とし、画像に関連するデータ・
グループは、画像開始識別子、上記画像の特定の識別子
を含むヘッダ、有用なデータを含むダイナミック・メモ
リと、それぞれがビット・パケットでメモリ領域から読
出しすることを可能にする第1アドレスポインタおよび
第2アドレスポインタと、第1アドレスポインタによっ
て指し示されるアドレスで読み出されるそれぞれのビッ
ト・パケットの中の画像開始識別子の有無を検出する画
像開始識別子検出器と、2つの連続する復号化を必要と
する現在の画像の存在を表わす第1制御信号が存在する
とき、上記現在の画像の画像開始識別子を含むパケット
の特定のアドレスを格納する第1記憶手段(例えばレジ
スタ)と、第1制御信号が存在するとき、上記現在の画
像を特定する識別子を記憶する第2記憶手段(例えば第
2レジスタ)と、画像開始識別子検出器に接続され、第
1制御信号を送り出す処理手段(例えばマイクロプロセ
ッサ)と、第2アドレスポインタによって指し示される
各パケットのビットを復号化する復号化回路(パイプラ
イン回路)と、復号化回路によって伝送され、上記現在
の画像の1回目の復号化の終了を表す第2制御信号に応
答して、上記第2アドレスポインタに上記第1記憶手段
に格納された特定のアドレスをセットするポインタ管理
手段と、上記特定のアドレスに位置するパケットに含ま
れる情報と上記第2記憶手段に記憶された内容を比較
し、上記画像を特定する識別子(一時参照)が再び検出さ
れない限り、復号化回路をディスエーブルにする復号化
禁止(復号化ディスエーブル)手段を備える。
【0015】この発明の他の利点および特徴は、全く限
定的でない実現のモードおよび実施例の詳細な記述なら
びに添付の図面を考察することによって明らかになるで
あろう。
【0016】
【発明の実施の形態】ここで詳細に記述される実施例お
よび実現のモードは、特に双方向画像の実行中の復号化
およびこれらの画像の表示、さらに、復号化されブロッ
ク/ライン変換を経由して画像メモリに格納される「イ
ントラ(intra)」および「予測(predicted)」画像の表示
に関連する。そうであると、前述したように、この発明
は、この実施例に限定されるものではなく、一般に、画
像が少なくとも2つの連続する復号化を要求する全ての
ケースに関連し、それらは、例えばフリーズ・フレー
ム、または、早送りもしくは巻戻し動作モード(「トリ
ック・モード」としても知られる)にある双方向画像、
「イントラ」または「予測」画像である。
【0017】さらに、格納された画像を表示する間のペ
ージ・オープニング(ページを開くこと)の数を最小限に
するため、ブロック/ライン変換と協力する後述のダイ
ナミック・メモリのページへの編成は、限定されない単
なる典型的な実施例にすぎない。
【0018】図1で、参照符号SYは、一般に、例えば衛
星(サテライト)復号器および/またはテレビを組み入れ
たデジタル画像を処理するシステムを示す。
【0019】このシステムSYの中で、入力手段IFEは、
例えば衛星アンテナまたはデジタル・ディスク(簡潔に
するため図示せず)から、例えばMPEG標準に従って圧縮
されたデータ・ストリームを受信する。
【0020】この発明に従って画像を処理する装置DCD
またはMPEG復号器は、表示スクリーンAFF上に表示する
ため、これらの圧縮されたデータに基づいて符号化され
た画像を復号化する。
【0021】さらにシステムSYは、例えば多様な衛星チ
ャンネルの復号化を管理することができるマイクロプロ
セッサCPU、および、例えばテレビの遠隔制御を作動さ
せることによって得られる対話式メニューのようなビデ
オ画像上に重ねられ画面上にはめ込まれるグラフィック
情報の生成器OSD-GENを含む。
【0022】最後に、このシステムSYの別の要素は、こ
れらの多様な要素間で共有されるダイナミックメモリMM
Pである。使用されるメモリ通過帯域を制限して、シス
テムSYの多様な要素ができるだけ頻繁にメモリにアクセ
スすることができるようにすることが有利である。
【0023】図1の要素の集まりは、双方向バスBBSを
介して互いに通信する。
【0024】図2で、復号器DCDは、本質的に、MDCと参
照を付されたいわゆる「復号化」手段、およびMAFと参
照を付されたいわゆる「表示管理」手段を含む。
【0025】復号化手段MDCは、本質的に、64ビット・
バスを介して圧縮データを受信し、処理されたマクロブ
ロックの輝度およびクロミナンス・ブロックをFF1と参
照を付された「先入れ先出し」(FIFO)タイプのメモリを
経由して加算器に送り出す「パイプライン」回路PPLを
含む。さらに、加算器は、メモリMMPから抽出される予
測子マクロブロックに基づいて予測回路FPRによって送
り出されるフィルタリングされた予測子マクロブロック
の対応するブロックを受信する。
【0026】いわゆるパイプライン回路PPLは、従来の
ように、可変長復号化(VDL)、ゼロ復号化のラン(RLD)、
線形走査変換に対するジグザグ・スキャン、および逆離
散コサイン変換(DCT-1)を実施する。MPEG標準による
と、予測回路FPRは、本質的にいわゆる「半画素」フィ
ルタを含み、それは、予測子マクロブロックをフェッチ
することを可能にする動きベクトルがインテグラル(int
egral:整数、一体化)でない場合に、この予測子マクロ
ブロックを半画素ずつ垂直および/または水平にシフト
するためのものである。復号化手段MDCは、バスを経由
して主記憶装置MMPと通信し、このメモリと復号器DCDの
多様な要素との間のやり取りは、主制御手段LMCによっ
て管理される。
【0027】表示管理手段MAFは、ここでマルチプレク
サMUXを含み、その第1入力は、復号化手段MDCの加算器
の出力に接続され、その第2入力は、メモリMMPの出力
に接続される。マルチプレクサの出力は、FF2と参照を
付されたFIFOタイプの第2バッファメモリに接続され
る。このバッファ・メモリFF2の出力は、ブロック/ライ
ン変換器BRCに接続され、その構造および機能は、以下
で更に詳細に述べる。ブロックBRCの出力は、表示画面A
FFの管理を提供するビデオ・コントローラVDCTLに接続
される。
【0028】マルチプレクサMUXの出力は、表示される
画像のタイプすなわちこの例では双方向画像か、イント
ラ画像または予測画像を表す制御信号STYに依存してそ
の2つの入力の一方または他方に接続される。
【0029】MPEG標準は、メモリMMPが、処理を待つ圧
縮データが書き込まれる少なくとも2.6メガビットの圧
縮データZCDの領域、ならびに画像および音声データ上
に重ねられ表示される情報を格納し、その容量が約1メ
ガビットに及ぶ領域ZXを含むことを支持する。
【0030】これらの領域とは別に、メモリMMPは、こ
こで記述され双方向画像の実行中の復号化に対応する例
で、画像ZM1およびZM2のための2つの追加の領域を含
む。これらの領域ZM1およびZM2はそれぞれ、720×576画
素のPAL画像(国際標準による最大)を格納することがで
きなければならない。マクロブロックの4:2:0形式を使
用することによって、画素は、12ビットであり、画像全
体の大きさは、約4.9メガビットである。
【0031】ここで記述される実施例で、復元を受けて
いる双方向画像をメモリMMPのメモリ領域に格納してそ
れを後で表示する代わりに、この双方向画像は、実行中
に表示され、すなわち復号化されている間に表示され
る。これは、メモリMMPの大きさを低減することがで
き、「イントラ」または「予測」タイプの2つの既に復
号化された画像を格納するため2つのメモリ領域ZM1お
よびZM2を用意するだけでよい。この場合、メモリMMPの
必要な大きさは、メモリ領域のサイズによって低減さ
れ、それは、特に(最も強制的な)PAL標準について、16
ビットの256kワードの非同期ダイナミックメモリ(DRAM)
から、または16メガビットの同期ダイナミックメモリ(S
DRAM)から、容易に構築することができる。
【0032】表示に先行する処理は、概して画像全体に
ついてすなわちラインの順に実施されるが、復号化を受
けている双方向画像を実行中に表示することが望まれる
場合、画像の奇数のラインから成る第1フレームを最初
に表示し、それから画像の偶数のラインから成る第2フ
レームを表示することが必要とされる。これは、復号化
手段MDCが表示されるレートでラインを復号化する場
合、復号化手段MDCがK番目のラインを復号化しているち
ょうどそのときに、(2K-1)番目のラインが表示されなけ
ればならないことを示す。言い換えると、第1フレーム
が表示されなければならないとき、復号器は、このフレ
ームの半分しか復号化を終えていない。
【0033】従って、この画像の表示の持続時間にそれ
ぞれの双方向画像を2度復号化するように対応がなされ
る。このケースで、2K-1番目のラインが表示されようと
するとき、2Kのラインは、すでに復号化され終わってい
る。より詳しく述べると、第1フレームが表示されると
き、画像全体従ってこの画像の両方のフレームの復号化
が終えられている。
【0034】表示は実行中に実施されるので、復号化さ
れたが表示されなかった第2フレームは失われる。画像
が2度目に復号化されている間、この第2フレームが表
示される。
【0035】図3は、一群の画像の復号化および表示の
タイムチャートを示す。連続して表示されようとする画
像が、PO、B1、B2、P3、B4、B5、P6によって示されてお
り、文字Pは、予測画像を示し、文字Bは、双方向画像を
示す。そのような一連の画像は、MPEG標準に従って従来
どおりである。
【0036】それぞれの予測画像Pの復元は、それに先
行する予測画像(または図示しない「イントラ」画像)か
らフェッチされる予測子マクロブロックを必要とする。
それぞれの双方向画像Bの復元は、その両側に位置する
2つの予測画像からフェッチされる予測子マクロブロッ
クを必要とする。従って、画像に対応する圧縮されたデ
ータは、表示のものとは異なる順序で復号器DCDに到達
する。ここで、これら圧縮されたデータは、P0、P3、B
1、B2、P6、B4、B5の順に到達する。
【0037】最初に、画像P0が復号化され、メモリ例え
ば領域ZM1に格納される。画像P3が復号化され、領域ZM2
に格納されている間、画像P0が表示される。次に、画像
B1の1回目の復号化が2倍のスピードで行われ、一方で
画像B1の第1フレームが実行中に表示される。それか
ら、画像B1の2度目の復号化が2倍のスピードで行わ
れ、一方で画像B1の第2フレームが表示される。手段MD
Cによる画像B1のそれぞれの復号化は、領域ZM1およびZM
2に格納された画像P0およびP3からフェッチされる予測
子マクロブロックを使用する。同じ演算が、双方向画像
B2について行われる。次に、画像P6が復号化され、画像
P0に代わって領域ZM1に格納され、一方で画像P3が表示
される。画像B4およびB5は、画像B1およびB2と同様に、
2倍のスピードで2回復号化が行われ、その一方で表示
される。画像B4およびB5の復号化は、予測子マクロブロ
ックを使用して、領域ZM2およびZM1に格納された画像P3
およびP6の中を調べる。
【0038】双方向画像の実行中の復号化を実施するた
め、制御手段LMCは、それぞれの双方向画像に対応する
領域ZCDに格納された圧縮データをパイプライン回路PPL
に転送するタスクを2度実施するよう再びプログラムさ
れる。これに関連して、制御手段は、典型的に25.5MHz
でクロックされ、パイプライン回路は、典型的にそれ自
体34MHzでクロックされる。これらのスピードで動作す
る回路は、通常の技術の範囲内で完全に実現可能であ
る。
【0039】制御手段LMCがパイプライン化された回路P
PLに圧縮データを2度送り出すことを可能にする特に容
易な実施例および実現の形態を、図4および図5を参照
して説明する。
【0040】従来、メモリ領域ZCDに格納されるMPEG圧
縮データのストリームは、連続する到来画像IM1、IM2等
にそれぞれ関連する圧縮データの連続する複数のグルー
プを含む。
【0041】1つの画像に関連付けられたそれぞれのデ
ータ・グループは、画像開始識別子PSC(すなわち「Pict
ure Start Code」)と、その後に続くヘッダETを含む。
このヘッダは、上記画像に対する特定の識別子を含み、
画像シーケンス内の上記画像の1対1の識別を可能にす
る。この特定の識別子は、例えば画像の一時参照TR(Tem
poral Reference)である。さらにヘッダは、例えば「イ
ントラ」、「予測」または「双方向」の画像のタイプを
識別する手がかり(cue)ITを含む。
【0042】ヘッダの後に、画像の有用なデータCDUが
続く。
【0043】それぞれが連続するアドレス@1、@2等のメ
モリ領域をビットのパケットで読み込むことを可能にす
る第1アドレスポインタPTAおよび第2アドレスポイン
タPTBについて対応がなされる。
【0044】処理手段MPを中核にして構築され、本質的
にマイクロプロセッサから成る手段LMCは、例えばハー
ドワイヤード(hard-wired)形式で具体化される画像開始
識別子検出器SCDを含み、それは、第1アドレスポイン
タPTAによって指し示されるアドレスで読み出されるそ
れぞれのビット・パケット内の画像開始識別子PSCの有
無を検出することができる。
【0045】さらに、第2ポインタPTBの位置を制御す
ることができるポインタ管理手段が処理手段MPに接続さ
れる。これらのポインタ管理手段は、例えば第1レジス
タRG1を含み、その出力は、画像の2回目の復号化の制
御を表す制御信号RDCによって制御されるマルチプレク
サMUX2を経由して、第2レジスタRG2の入力に接続され
る。さらにレジスタRG2の出力は、アドレス・インクリ
メント手段およびマルチプレクサMUX2を経由して、その
入力にループバックされる。従って、レジスタRG2は、
実際にアドレスポインタPTBの現在のアドレスを含む。
【0046】第3レジスタRG3は、画像の一時参照TRを
格納することができ、第4レジスタRG4は、復号化され
る画像のタイプを表わす手がかりITを格納することがで
き、パイプライン回路PPLの多様な手段が現在の画像を
適切に復号化することを可能にする。
【0047】実際に、それぞれのレジスタRG3およびRG4
は、回路PPL内で復号化を受けている現在の画像および
次の画像の手がかりTRおよびITを格納することができ
る。
【0048】最後に、簡潔にするためブロックPPL内に
表したが、もちろん外に位置付けることができる復号化
禁止(decoding disabling)手段MHDは、一方で、ポイン
タPTBによって指し示され、メモリから読み出されるパ
ケット内に含まれるビットを受け取り、他方で、レジス
タRG3の内容を受け取る。ハードワイヤードまたはソフ
トウェア形式で具体化することができるこれらの手段MH
Dの機能を以下でより詳細に説明する。
【0049】図4に関して述べた手段の動作態様につい
て図5を参照して説明する。
【0050】画像IM1の復号化が、パイプライン回路PPL
内で進行中であり(ステップ700)、2つのアドレスポイ
ンタPTAおよびPTBは、アドレス@1を指すものとする。
【0051】アドレス@1に位置し、メモリ領域ZCDから
読み出されるビット・パケットが検出器SCDによって読
み込まれる(ステップ701)。
【0052】検出器SCDは、画像IM2について画像開始識
別子PSC2の存在を検出する(ステップ702)。この検出を
表わす信号は、マイクロプロセッサMPに送信され、マイ
クロプロセッサMPは、パケットのビット・ストリング、
およびその画像について特定の識別子ET2およびタイプI
T2を受け取る(ステップ703)。画像IM2は、双方向タイプ
であり、従って再度の復号化を必要とするので、マイク
ロプロセッサMPは、画像IM2に対する画像開始識別子PSC
2を含むパケットのアドレス@1をレジスタRG1に記憶する
(ステップ704)。さらに、画像IM2の一時参照TR2がレジ
スタRG3に記憶され(ステップ705)、この画像のタイプIT
2がレジスタRG4に格納される(ステップ706)。
【0053】第2アドレスポインタPTBもまたアドレス@
1にあるので、画像IM2の最初の復号化が、同じパケット
から生じる有用なデータCDU2を利用してパイプライン回
路PPL内で始まる。
【0054】次にレジスタRG2は、アドレス@2を含むよ
うにインクリメントされ、この結果、アドレスポインタ
PTBは、この新しいアドレス@2を指すようになる(ステッ
プ708)。さらにアドレスポインタPTAもインクリメント
され、アドレス@2を指す。
【0055】双方向画像IM2の最初の復号化が、データC
DU2を残りのものを使って続けられる(ステップ709)。
【0056】この最初の復号化の終了時、手段PPLに含
まれる回路VLDは、復号化終了信号を送り出し、その信
号は、マイクロプロセッサMPによって発行される制御信
号RDCの動作下で(ステップ710)、マルチプレクサMUX2を
その第1入力に位置付け、レジスタRG2の内容をアドレ
ス@1にする(ステップ711)。
【0057】それに応じて、第2のアドレスポインタPT
Bは、再びアドレス@1を指すようになる。問題は、MPEG
データストリームの中で、多様な画像に関する多様な画
像開始識別子PSCの間の間隔が、一定ではなく画像の内
容に依存することにある。従って、この問題は、メモリ
領域ZCDのパケット単位の読込みによって、画像IM2の開
始がパケット内で位置する場所を正確に確かめることが
できない。
【0058】この発明は、再び復号化されようとする画
像について画像開始識別子PSC2を含むパケットのアドレ
スにポインタPTBが戻ることと組み合わせて、再び復号
化されようとする画像の一時参照TR2を使用することに
よってこの問題を解決する。
【0059】より詳しく述べると、復号化禁止手段MHD
は、アドレス@1で読み込まれるパケットの多様なビット
を順次に調べて、この情報をレジスタRG3に記憶された
画像IM2の特定の識別子(一時参照)TR2と比較する。
【0060】この比較が、肯定(positive)でない限り、
すなわち、この一時参照TR2の存在が再び検出されない
限り、パケットによって与えられるデータは、パイプラ
イン回路PPLによって考慮されず、従ってパイプライン
回路を実際に非活動(inactive)にする(ステップ713)。
【0061】比較結果が肯定であるときだけ、すなわち
一時参照TR2の存在が再び検出されたときだけ、手段MHD
は、回路PPLが圧縮データを考慮することを許可し、双
方向画像の2回目の復号化を許す(ステップ714)。この
第2の復号化中に、レジスタRG2が再びインクリメント
され、ポインタPTBをアドレス@2にして(ステップ715)、
画像IM2の2回目の復号化が終わりまで続けられる(ステ
ップ716)。
【0062】復号器DCDの演算の一般的な方法に戻り、
「イントラ」および「予測」画像は、問合せの従来のメ
カニズムによって、加算器の出力でメモリMMPに送り出
され、一方で、それぞれの復号化された双方向画像B
は、制御手段LMCによって発行された信号STYによって制
御されるマルチプレクサを経由して、バッファ・メモリ
FF2にマクロブロック単位に転送される。メモリMMP内に
格納された「イントラ」または「予測」画像が表示され
ようとするとき、マルチプレクサMUXは、信号STYによっ
て、その第2入力上で、メモリMMPから連続して読み出
された画像のマクロブロックをバッファ・メモリFF2に
格納するよう命令される。
【0063】マルチプレクサMUXによって出力される画
像は、マクロブロック単位に順次にバッファ・メモリFF
2に格納される。他方、ビデオ・コントローラVDCTLは、
画像の画素のライン毎の受信を必要とする。この理由か
ら、ブロック/ライン変換器BRCが、バッファ・メモリFF
2とビデオ・コントローラVDCTLとの間に挿入される。
【0064】図6に詳しく示されるように、この変換器
BRCは、バッファ・メモリFF2に格納されたそれぞれのマ
クロブロックの多様な輝度およびクロミナンス・ブロッ
クを受信する入力インタフェースINBを含む。これらの
手段INBは、入力コントローラINCによって問合せRQおよ
び承認ACK信号で制御される。データは、補助記憶装置M
MAに連続して書き込まれ、そのアドレスAi,jは、アドレ
ス・シーケンサADSによって連続して判断される。輝度
YおよびクロミナンスUおよびVの多様な値は、メモリMM
Aからライン毎に抽出され、フィルタリング回路FVに送
り出され、フィルタリング回路FVは、それが活動状態に
なると、例えばこれらのラインの画素の多様な値の間の
加重平均のような垂直フィルタリングをこれらのライン
上に実施して、輝度およびクロミナンスのフィルタリン
グされた値を送り出すことを可能にする。変換器BRC
は、ビデオ・コントローラVDCTLによって供給されるフ
レーム同期化信号VSYNCを受信する一般的なコントロー
ラMCTLによって一般的な方法で制御される。この信号VS
YNCは、パリティ選択を実施することを可能にする。こ
れは、それぞれの復号化によって、ただ1つのフレー
ム、すなわち偶数のラインのみまたは奇数のラインのみ
を表示するからである。このように、変換器BRCは、バ
ッファ・メモリFF2から受信するブロックのライン間
で、そのパリティが表示されようとするフレームのもの
に対応するラインをソートする。補助記憶装置MMAへの
半マクロブロック単位の格納について述べたのはこの理
由のためである(それぞれの半マクロブロックは8本のラ
インに対応する)。従って、マクロブロックは、16本の
ラインに対応するが、この変換器BRCの容量は、8本のラ
インである。言い換えると、メモリMMAは、表示されよ
うとするフレームの所定のライン数(この場合8本)に対
応する半マクロブロックの少なくとも1行(例えば45個
の半マクロブロックの1行)を格納することができる。
【0065】メモリMMAがライン単位で読み込まれ、ブ
ロック単位で(半マクロブロックで)書き込まれるため、
アクセスが連続的でないということを除いて、このメモ
リは、大きいサイズのFIFOと考えることができるダイナ
ミックメモリである。実際に、表示プロシージャによっ
てメモリ内に十分な空間が解放されるとすぐに、半マク
ロブロックのデータの順次の書込みを許すよう制御手段
MCTLおよびアドレス・シーケンサがプログラムされる。
【0066】より詳しく述べると、アドレス・シーケン
サは、以下の規則によって半マクロブロックの現在のデ
ータと置き換えられる前に、表示しようとする現在のデ
ータが読み込まれる補助記憶装置の現在のアドレスAi,j
を計算する。
【0067】Ai+1,j = (Ai,j + xj) modulo (MN-1) xj+1 = N.xj modulo (MN-1) この規則の中で、x1=1であり、Mは、補助記憶装置のラ
イン数を示し、Nは、ライン当たりのデータ数であり、n
は、それぞれのフレームのラインの総数である。さら
に、0<1<MN-1および1<j<nである。
【0068】変換器BRCのこの補助記憶装置を使用する
ことによって、主記憶装置MMPに格納された「イント
ラ」または「予測」画像を表示するためのページ・オー
プニングの数を制限することが可能である。
【0069】これは、メモリMMPが、メモリ・ページ(図
7)で編成されるものとする場合、例えば領域ZM1内に格
納された画像のそれぞれのマクロブロックMBが、メモリ
領域ZM1のページPAに完全に格納されるからである。単
純にするため、図7ではページあたり1マクロブロック
しか示されていないが、実際には、それぞれのメモリ・
ページは、2つのマクロブロックを含むと理解される。
それゆえ、領域ZM1に格納された画像の最初の16本のラ
インに対応するマクロブロックMB1-MBkの第1行RMB1
は、メモリ・ページPA1-PAk上に広がる。従って、同じ
パリティの8本のラインに対応する半マクロブロックの
行の補助記憶装置MMAへの記憶は、k回のページ・オープ
ニングを必要とする。従って、メモリMMAに格納された8
本のラインを順次にライン毎に表示するために、それ以
上のページ・オープニングは必要ない。従って、メモリ
MMPに格納された画像の各フレームの完全な表示のため
に必要なページ変更サイクルの総数は、各フレームの画
素がメモリMMPから直接ライン毎に読み出される特定の
場合と比べて特に低減される。これは、そのような特定
のケースで、フレーム・ライン当たりk回のページ・オ
ープニングが必要であるからである。
【0070】従って、当業者であれば、使用されるメモ
リ通過帯域のかなりの低減を得ることができることが分
かるであろう。さらに、同じ変換ブロックBRCおよび同
じ補助記憶装置MMAを使用して、メモリMMPに格納された
「イントラ」および「予測」画像を表示し、実行中の復
号化される双方向画像を直接表示する。
【0071】最後に、補助記憶装置MMAは、この場合は
8本の所定の数のラインを含むので、メモリMMAの出力
にフィルタリング手段FVを直接接続し、従って、(フレ
ームのデータがメモリMMPからライン毎に直接読み出さ
れる場合のように)遅延ラインを使用することなく、メ
モリMMAに含まれる少なくとも2本のラインの垂直フィ
ルタリングをコマンドに応じて実施することができる。
【0072】
【発明の効果】本発明によれば、メモリに格納された圧
縮画像データを2回復号化する必要がある場合、メモリ
のアドレッシングによる誤りを生じることなく、対応す
る圧縮画像データを再び復号化することができる。
【図面の簡単な説明】
【図1】この発明に従う画像復号化装置を組み入れた高
精細度画像を処理するシステムの概略の全体図。
【図2】この発明に従う復号化装置の詳細な概略図。
【図3】実行中の復号化および双方向画像の表示を示す
図。
【図4】この発明に従って、特に双方向画像の2重復号
化に適用される実施例および実現のモードを詳細に示す
図。
【図5】この発明に従って、特に双方向画像の2重復号
化に適用される実施例および実現のモードを詳細に示す
図。
【図6】図2の装置に属するこの発明に従うブロック/ラ
イン変換器の詳細な概略図。
【図7】ダイナミック・メモリからページへの組み立て
を示す図。
【符号の説明】
DCD 復号器 LMC 制御手段 MP マイクロプロセッサ PPL パイプライン回路 RG1,RG2,RG3,RG4 レジスタ

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】到着画像を復号化する方法であって、 ダイナミック・メモリのメモリ領域に、連続する複数の
    圧縮データ・グループを含む圧縮データ・ストリームを
    格納し、 上記圧縮データ・グループは、それぞれ連続する到着画
    像に関連しており、その中のある画像は、2度の連続す
    る復号化を必要とし、画像に関連するそれぞれのデータ
    ・グループは、画像開始識別子、上記画像を特定する識
    別子をもつヘッダ、および有用なデータを含んでおり、 上記圧縮データ・ストリームは、上記メモリ領域の連続
    するアドレスに位置するビット・パケットごとに読み出
    され、上記メモリ領域から読み出されるそれぞれのパケ
    ットについて上記画像開始識別子の有無が検出され、 検出された画像開始識別子に対応する画像が、2度の連
    続する復号化を必要とする場合、関連するパケットのア
    ドレスを、上記画像を特定する識別子と共に記憶すると
    ともに、上記画像の有用なデータの1回目の復号化を実
    施し、その終了時、上記記憶されたアドレスに位置する
    上記パケットを上記メモリ領域から再び読み出し、上記
    画像を特定する識別子の検出後、上記画像の2回目の復
    号化を上記パケット内のデータを復号化することによっ
    て実施し、上記画像を特定する識別子に先行するパケッ
    ト内のデータは、復号化されない、画像復号化方法。
  2. 【請求項2】上記画像を特定する識別子は、上記ヘッダ
    に含まれる上記画像の一時識別子である、請求項1に記
    載の画像復号化方法。
  3. 【請求項3】到着画像を復号化する装置であって、 連続する圧縮データ・グループを含む圧縮データ・スト
    リームを格納するメモリ領域を含み、該圧縮データ・グ
    ループは、それぞれ連続する到着画像に関連し、その中
    のある画像は、2度の連続する復号化を必要とし、画像
    に関連するそれぞれの圧縮データ・グループは、画像開
    始識別子、画像を特定する識別子を含むヘッダ、および
    有用なデータを含むダイナミック・メモリと、 上記メモリ領域をビット・パケットで読み出すことを可
    能にする第1アドレスポインタおよび第2アドレスポイ
    ンタと、 上記第1アドレスポインタによって指し示されるアドレ
    スによって読み出されるそれぞれのビット・パケット内
    の画像開始識別子の有無を検出する画像開始識別子検出
    器と、 2度の連続する復号化を必要とする画像の存在を表わす
    第1制御信号が存在するとき、該画像の画像開始識別子
    を含む上記パケットのアドレスを記憶する第1記憶手段
    と、 上記第1制御信号が存在するとき、上記画像を特定する
    識別子を記憶する第2記憶手段と、 上記画像開始識別子検出器に接続され、上記第1制御信
    号を送り出す処理手段と、 上記第2アドレス・ポインタによって指し示される各パ
    ケットのビットを復号化する復号化回路と、 上記復号化回路によって送信され、上記画像の1回目の
    復号化の終了を表す第2制御信号に応答して、上記第1
    記憶手段に記憶されたアドレスを上記第2アドレスポイ
    ンタにセットするポインタ管理手段と、 上記記憶されたアドレスによって読み出されるパケット
    に含まれる情報と、上記第2記憶手段に記憶された内容
    を比較し、上記画像を特定する識別子が再び検出されな
    い限り、上記復号化回路をディスエーブルにする復号化
    禁止手段と、を備える画像復号化装置。
  4. 【請求項4】上記画像を特定する識別子は、上記ヘッダ
    に含まれる上記画像の一時識別子である、請求項3に記
    載の画像復号化装置。
JP15917799A 1998-06-23 1999-06-07 画像復号化方法および画像復号化装置 Expired - Fee Related JP4879381B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9807934 1998-06-23
FR9807934A FR2780186B1 (fr) 1998-06-23 1998-06-23 Procede et dispositif de decodage d'une image, comprimee notamment selon les normes mpeg, en particulier une image bidirectionnelle

Publications (2)

Publication Number Publication Date
JP2000032473A true JP2000032473A (ja) 2000-01-28
JP4879381B2 JP4879381B2 (ja) 2012-02-22

Family

ID=9527750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15917799A Expired - Fee Related JP4879381B2 (ja) 1998-06-23 1999-06-07 画像復号化方法および画像復号化装置

Country Status (4)

Country Link
US (1) US6275535B1 (ja)
EP (1) EP0969672A1 (ja)
JP (1) JP4879381B2 (ja)
FR (1) FR2780186B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275535B1 (en) * 1998-06-23 2001-08-14 Stmicroelectronics S.A. Method and device for decoding an image compressed in particular according to the MPEG standards, especially a bidirectional image

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1079632A1 (en) * 1999-03-08 2001-02-28 Sony Corporation Digital signal processing device and method, and providing medium
EP1110326B1 (en) * 1999-07-02 2005-11-23 Koninklijke Philips Electronics N.V. Compressed storage of information
JP3407872B2 (ja) * 1999-09-29 2003-05-19 日本電気株式会社 付加情報検出方法及び装置
TW476066B (en) * 1999-11-09 2002-02-11 Winbond Electronics Corp OSD generation method and structure using dynamic random access memory
US20020124259A1 (en) * 2000-09-27 2002-09-05 Chang Edward Y. Client-based interactive digital television architecture
DE10225434B4 (de) * 2002-06-07 2004-12-30 Siemens Ag Verfahren und Vorrichtung zur Videocodierung
KR100586669B1 (ko) * 2003-08-27 2006-06-08 닛뽕빅터 가부시키가이샤 전송 시스템
JP2008217851A (ja) * 2007-02-28 2008-09-18 Toshiba Corp 情報記録媒体、情報記録方法、情報再生方法、情報記録装置、情報再生装置
US8300704B2 (en) * 2008-07-22 2012-10-30 International Business Machines Corporation Picture processing via a shared decoded picture pool
US9299126B2 (en) * 2013-09-12 2016-03-29 Arm Limited Image processing apparatus and a method of storing encoded data blocks generated by such an image processing apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759084A (ja) * 1993-05-27 1995-03-03 Sgs Thomson Microelectron Sa 画像処理システム
JPH08294115A (ja) * 1995-03-14 1996-11-05 Sgs Thomson Microelectron Sa Mpeg復号化器及びその復号化方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0166935B1 (ko) * 1994-11-23 1999-03-20 구자홍 엠펙2 트랜스포트 디코더 장치
JP3491365B2 (ja) * 1995-01-31 2004-01-26 ソニー株式会社 符号化データ復号方法および復号装置
JP3744017B2 (ja) * 1995-02-09 2006-02-08 ヤマハ株式会社 画像デコーダ
US5517250A (en) * 1995-02-28 1996-05-14 General Instrument Corporation Of Delaware Acquisition of desired data from a packetized data stream and synchronization thereto
US5936670A (en) * 1995-09-20 1999-08-10 U.S. Philips Corporation Method and device for decoding coded digital video signals
JP3330797B2 (ja) * 1995-10-02 2002-09-30 富士通株式会社 動画像データ格納方式および動画像データ復号方式
US5701158A (en) * 1996-03-04 1997-12-23 Mitsubishi Denki Kabushiki Kaisha Digital image decoding apparatus
JP2848326B2 (ja) * 1996-03-28 1999-01-20 日本電気株式会社 Mpeg符号化画像復号装置
FR2780186B1 (fr) * 1998-06-23 2000-08-11 St Microelectronics Sa Procede et dispositif de decodage d'une image, comprimee notamment selon les normes mpeg, en particulier une image bidirectionnelle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759084A (ja) * 1993-05-27 1995-03-03 Sgs Thomson Microelectron Sa 画像処理システム
JPH08294115A (ja) * 1995-03-14 1996-11-05 Sgs Thomson Microelectron Sa Mpeg復号化器及びその復号化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275535B1 (en) * 1998-06-23 2001-08-14 Stmicroelectronics S.A. Method and device for decoding an image compressed in particular according to the MPEG standards, especially a bidirectional image

Also Published As

Publication number Publication date
FR2780186A1 (fr) 1999-12-24
EP0969672A1 (fr) 2000-01-05
FR2780186B1 (fr) 2000-08-11
JP4879381B2 (ja) 2012-02-22
US6275535B1 (en) 2001-08-14

Similar Documents

Publication Publication Date Title
TW245871B (en) Method and apparatus for efficient addressing of dram in a video decompression processor
US6917652B2 (en) Device and method for decoding video signal
JP3302939B2 (ja) 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置
JPH10509569A (ja) 3:2のプルダウンで映像をデコードしそして表示するメモリ利用法
EP0729276B1 (en) Memory control system and video decoder using the same
US20030133506A1 (en) Image processor controlling b-picture memory
US6353633B1 (en) Device and methods for transposing matrix of video signal and T.V. receiver employing the same
WO2000059219A1 (en) Digital video decoding, buffering and frame-rate converting method and apparatus
JP4879381B2 (ja) 画像復号化方法および画像復号化装置
US20030026342A1 (en) Decoding apparatus, decoding method, decoding program, and decoding program storage medium
JP4526145B2 (ja) Mpegビデオ復号器およびmpegビデオ復号方法
US6567556B1 (en) Method and device for decoding images, allowing a reduced number of openings of memory pages in the prediction processing
JP3141772B2 (ja) Mpeg復号化器及びその復号化方法
JP3123938B2 (ja) 映像フレームデータを一メモリに貯蔵する方法
US7421026B2 (en) Multiplexing video decoding apparatus and method
EP1089567A1 (en) Video processing device and method, and medium
US6335764B1 (en) Video output apparatus
US6104752A (en) Apparatus and method of decoding high efficiency coded picture data with picture size resizing
US6064803A (en) Image information decoder with a reduced capacity frame memory
US20030190144A1 (en) Recording apparatus, special playback system, medium and information object
KR19980018884A (ko) 화상처리장치 (Image Processor)
JP3258300B2 (ja) Dma転送装置および画像復号装置
JP2863096B2 (ja) 並列処理による画像復号装置
EP0831661B1 (en) Apparatus for decoding variable length coded data
JP3356677B2 (ja) 非同期に実行すべきタスクが多数あっても、非同期イベントタスクを効率良く実行することができるプロセッサ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100330

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100402

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100422

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100929

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101222

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111012

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees