JP2002525693A - パケット部分の反復送信を利用するオーディオコーダ - Google Patents
パケット部分の反復送信を利用するオーディオコーダInfo
- Publication number
- JP2002525693A JP2002525693A JP2000571603A JP2000571603A JP2002525693A JP 2002525693 A JP2002525693 A JP 2002525693A JP 2000571603 A JP2000571603 A JP 2000571603A JP 2000571603 A JP2000571603 A JP 2000571603A JP 2002525693 A JP2002525693 A JP 2002525693A
- Authority
- JP
- Japan
- Prior art keywords
- data
- signal
- output
- coder
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/08—Arrangements for detecting or preventing errors in the information received by repeating transmission, e.g. Verdan system
Abstract
Description
信に関するものであるが、他の種類の信号、例えばビデオ信号にも応用できるも
のと考えられる。より特定すると、本発明はディジタルにコード化されたオーデ
ィオ信号の送信に関し、オーディオ信号の連続フレームに関する情報は、送られ
る信号の連続するディスクリートなパケットで送られ、次に受信機ではこれを使
用して、元の信号の複製を生成する(開示の目的上、オーディオフレームと送信
パケットとは1対1で対応していると仮定されるが、これは実際には本質的では
ない)。本発明では、送信された情報が損失または破損し、受信機がパケットの
1つ(またはそれ以上)を得られないときに生じる問題に対処しようとしている
。この種の損失は、例えばノイズまたは(無線システムでは)フェーディングの
ために発生する。いくつかのタイプのシステム−例えばインターネットのような
コネクションレスサービスにおいて−異なるパケットは異なる経路上を送られ、
したがって異なる遅延を受け、このためにパケットが送られた順番とは異なる順
番で到達することがある。通常これは、受信機にバッファを用意して遅延させる
ことによって許されており:受信機は受け取ったパケットをバッファ内に記憶し
、パケットが送信機において番号を付されていると、受信機はバッファの外部で
元の順序でパケットを読みることができる。多くの応用では、この遅延は全体的
な送信遅延を超えないという条件の下で適度に短く維持されなければならないが
、パケットがバッファ遅延期間を超えて遅延される可能性が残る。このような場
合に、受信機がバッファを使用できないので、パケットは事実上損失される。ま
た、信号に冗長度を与え、このとき各パケットはオーディオ信号のフレームに属
するデータだけでなく、オーディオ信号の先行するフレームに関するデータとし
て、より低いビットレートのコーディングアルゴリズムを使用してコード化され
たデータも保持しているので、信号フレームが失われたときは、この冗長データ
が後続のフレームからデコードされ、デコードされたオーディオ信号内で発生す
ることになるギャップを埋めるのに使用される応用も提案されている(文献、例
えば、J.Bolot およびA. Garcia, “Control Mechanisms for Packet Audio in
the Internet”, Proceedings od IEEE INFOCOM ’96, Conferencen on Compute
r Communications, March 1996, p 232-9、およびV.Hardman, M.Sasse, M. Hand
ley and A. Watson, “Reliable Audio for use over the Internet”, Proceed
ings of INET’95, June 1995, p27-30参照)。しかしながらこのプロセスは複
雑であり、断続的な不連続のデコーダの動作のために問題が発生し、歪みを生じ
ることがある。
タを供給する第2の出力とを生成するように動作可能なコーダであって、第1の
データからはデコーダが再構成された信号を生成でき、それによってデコーダは
第1および第2のデータの両者を受け取って、より高い品質の再構成された信号
を生成することができるようになるコーダと; (b)各データパケットが、信号の時間部分に関する第1のデータと信号の
同じ部分に関する第2のデータとを含む一次データと; 信号の異なる時間部分に関する第1のデータを含むが、その部分に関する
第2のデータが含まれていない二次データとから成るデータパケットを、送信の
ために、アセンブルするように動作可能な手段とを含む装置を提供する。
例えば一次データによって表わされる部分の直後の部分か、または一次データに
よって表わされる部分よりも前の部分であってもよい。アセンブリ手段は、パケ
ット内に含まれる一次データの時間的な順番を示すシーケンスコードを各パケッ
ト内に含むようにされていることが好ましい。好ましい構成では、コーダはエン
ハンスメントデータを供給する複数の出力を生成するように動作することができ
、連続するエンハンスメントデータの組は再構成された信号品質に対する連続的
な改良を表わしており、一次データは全てのこのような出力を含み、二次データ
は信号の類似した複数の異なる時間部分に関係する第1のデータと、これらの部
分に関する次第に数が減る第2のデータの組とを含む。
ンドコーダであり、サブバンドコーダでは第1のデータはより低い周波数のコー
ダサブバンドのデータに関係するデータを含み、第2のエンハンスメントデータ
はより高い周波数のサブバンドに関係するデータを含む。
タル値の二値表示を含み、第2のデータは前記ディジタル値のより細かい分解能
を表わす追加のビットを含む。
ブバンドコーダは: (a)サンプル取りされたオーディオ信号を受取り、この信号を、各々が周
波数のサブバンドにそれぞれ対応している複数のサブバンド信号に分割するフィ
ルタ手段と; (b)サブバンド信号を量子化する量子化装置と; (c)信号特徴に依存して量子化装置によって使用されることになる量子化
レベル数を適応して判断するビット割り当て手段とを含み; ここで量子化装置は、前記第1のデータを供給する第1の出力をもち、前記
第1のデータはいくつかの前記サブバンドについての量子化値を含み;さらに前
記第2のデータを供給する第2の出力とをもち、前記第2のデータは、第1の出
力において供給される量子化された値に関する少なくとも1つのサブバンドにつ
いて、このサブバンドについてよりも粗度の低い量子化された値を表わす追加の
エンハンスメントビットを含み;またここでビット割り当て手段が第1の割り当
て動作を実行するように動作可能であり、第1の割り当て動作では第1の出力に
ついての第1の所定のビット割り当て分がサブバンド間で割り当てられ、次に続
く第2の割り当て動作では、第2の出力における追加のビットについての第2の
所定のビット割り当て分がサブバンド間で割り当てられる。望むのであれば、第
2の出力(後出の図5におけるサブストリーム2)はまた、第1の出力(図5に
おけるサブストリーム1)でどの量子化された値が用意されないかに関して、少
なくとも1つのサブバンドについての量子化された値を用意できる。好ましい構
成では、量子化装置は少なくとも1つの別の出力(図5のサブストリーム3)を
もち、第2およびその他の出力(図5のサブストリーム4)は各場合においてよ
り低い順番の出力(注)では表わされないサブバンドに対する値を与えるか、ま
たはより低い順番の出力において表わされるサブバンドに追加のビットを与える
か、あるいはこの両者を行い、ビット割り当て手段は出力数に等しい数の割り当
て動作を実行するように動作可能であり、各割り当て動作では、サブバンド間の
各ビット割り当て分を各出力について、割り当てるようにサービスする[注:第
2の出力(すなわちサブストリーム2)を考えるときには、低い順番の出力は第
1の出力となり、また、第1の別の出力(サブストリーム3)を考えるときには
、低い順番の出力は第1と第2の出力となる]。
る第2のエンハンスメントデータを含む一次データと、 信号の異なる時間部分に関する第1のデータを含む二次データとを各々が
含んでいるデータパケットを受け取る手段; (b)受け取ったパケットを記憶するバッファ; (c)第1のデータのみから再構成された信号を生成でき、かつ第1および
第2のデーダから一緒により高い品質の再構成された信号を生成することができ
るデコーダ;および、 (d)バッファから信号の継続する時間部分に関して一次データを読み取り
、それらをデコーダへ送り、言語の時間部分に関する一次データがバッファから
なくなる場合に、その代わりにその時間部分に関する二次データを読取り、それ
をデコーダへ送るように動作可能な制御手段を含む装置を提供する。
記場合には、言語信号の異なる時間部分に関係する第2のエンハンスメントデー
タを読み取り、それをデコーダへ送るように動作可能であることが好ましい。
ケンスコードを含み、制御手段は、パケットの実際の受取り順序とは無関係にシ
ーケンスコードを参照してパケットの時間シーケンスを判断するようにしてもよ
い。
ことにする。
ーダを示している。入力オーディオ信号は、ディジタルサンプルのシーケンスの
形態で入力1において受信される。一般的に入力オーディオ信号は、16キロヘ
ルツのサンプリングレートのビットであり、各サンプル当り16ビットである。
入力オーディオ信号は、フィルタバンク2によって、それぞれが250ヘルツの
バンド幅をもつ32のサブバンドへ分割される。したがって最低のサブバンドは
0ないし250ヘルツの範囲をカバーし、最高のサブバンドは7.75ないし8
キロヘルツをカバーする。各サブバンドは参照符号3において500ヘルツのサ
ンプリングレートでサブサンプルをとられる。
的な品質に対する異なるサブバンドの相対的な重要度が異なり、したがって知覚
重要度が評価するのと同数のサンプル当りのビット数だけ各サブバンドに割り当
てることによって圧縮を達成することができる。このコーダではサブバンドへの
ビットの割り当ては固定されており、したがって例えば最も低いサブバンドが常
にサンプル当り8ビットを割り当てられ、一方でおそらく15番目のサブバンド
が常にサンプルごとに4ビットを割り当てられる。この固定された割り当ては言
語信号の既知の特徴に基いて行われる。ビット割り当ては図1においてボックス
4に記載されているが、実際には単に適切な数の最小桁のビットをサンプルから
引き抜くことから成る。既に記載したように、この構成は全体的に従来型である
。このコーダは、言語に特定の固定されたビット割り当てを行うために、上述で
言語コーダとして採用されており:後述で開示されるように、より精巧な適応性
ビット割り当て方式を使用して、向上した言語圧縮を得て、他のタイプのオーデ
ィオ信号に適応できることに注意すべきである。さらに、このコーダを簡素化す
ると、コーダは本質的にフレーミング構造が必要ないが;1152のサンプルの
到来する言語フレームは、16キロヘルツのサンプリングレートで72ミリ秒の
継続期間を意味すると仮定される。
プ化され、第1のグループは下位から16のサブバンドB0…B15のサンプル
から成り、第2のグループは上位から16のサブバンドB16…B31のサンプ
ルから成る。明らかに、各流れ内のフレームごとの実際のビット数は割り当てら
れた実際のビット数に依存する。
バンドB0…B31は5において16キロヘルツへ戻ってアップサンプル(upsa
mple、上方へ向かったサンプリング)され、フィルタバンク6へ供給され、その
出力は加算器7において一緒に加算される。
幅の言語信号を回復することができる。第2の流れは4ないし8キロヘルツの周
波数範囲内の信号の一部のみについての情報を含むことが明らかである。したが
って第2の流れが捨てられてしまうと、バンドが0ないし4キロヘルツに制限さ
れていたとしても、依然として第1の流れのみがデコードされて、有益な言語信
号を生成する。したがってコーダは層状(layered)であると考えられ、このコ
ーダは入力オーディオ信号を受け取り、コード化された形式の信号を伝送する第
1の出力と、第1の出力と一緒にデコードされて、より高い品質のデコードされ
た信号を生成することができるエンハンスメント情報を送る第2の出力とをもっ
ている。本明細書では、第1の流れのみが第1の層と呼ばれ、2つの流れを一緒
にして第2の層と呼ばれることにする。
のアナログ言語信号は、クロック発生器12から16キロヘルツのクロックパルス
ψsの制御のもとでアナログ対ディジタルコンバータ(ADC)11によって16
キロヘルツのサンプリングレートでディジタル形式に変換され、図1を参照して
既に記載したサブバンドコーダ13へ供給される。サブバンドコーダ13は2つの出
力をもち、これらの出力はそれぞれコード化されたビットの第1の流れ(“スト
リーム1”)および第2の流れ(“ストリーム2”)を通す。これらの流れは遅
延部14、15によって1フレーム期間(72ミリ秒)だけ遅延され、送るためのパ
ケットのアセンブリ用に、72ミリ秒ごとに13.89ヘルツのフレームクロッ
クψFの制御のもとで“÷1152”回路17から並列入力直列出力レジスタ16へ
ロードされる。同時に後続のフレームに対するストリーム1のビットは、遅延部
15を通らずにコーダ13から送られ、さらにレジスタ16へロードされる。したがっ
て各送られたパケット(もちろん、第1のパケットを除く)は、ストリーム1の
情報の複製を含む1パケットだけ先行している。望むのであれば、遅延部を適切
に再配置することによってこの複製は後続のパケットか、または問題のパケット
から2以上のパケット分だけ離間して先行または後続するパケット内に保持され
ることになる。フレームカウンタ18は、0ないし225を循環的に計数し、ψF によってクロックされ、フレーム数fnを生成し、さらにシフトレジスタへもロ
ードされる。シフトレジスタの内容(コンテンツ)はラインクロックψLのもと
で出力19へ向かって所望のレートで直列にクロックアウトされる。明らかにこの
クロックレートは、レジスタに記憶された全パケットが72ミリ秒以下で(もち
ろん、上限はない)クロックされるほど十分に高くなければならない。実際には
、送信されたパケットはフレーミング(フレーム形成用の)コードを含まなけれ
ばならず、アドレッシング情報を含む必要があるが、しかしながらこれらは従来
のものである。フレームnの第1および第2の流れは後の記述ではそれぞれS1
(n)、S2(n)とされている。 図4は、図3の送信機からの送信を受け取る受信機を示しており、ここでは受
信されたパケットは(ラインクロックおよびフレーミング情報の図示していない
手段による回復後に)直列入力、並列出力シフトレジスタ30へ入力される。送信
遅延における変化に順応するために、受取られた流れは“ビルドアウト(build-
out)”遅延をもつ循環バッファ31内に記憶されることになる。(注:セッショ
ンの第1のパケットを受取り、処理をするが、その再生前に空のバッファ(これ
をビルドアウトバッファと呼んでいる)を再生し、それから処理したパケットを
再生する。データ再生が同期しているとブランクバッファを先ず再生することは
処理したパケットの再生前に遅延を与えることになる。ジッタ除去バッファと呼
部のもこれに類する。)書き込み制御ユニット32はレジスタ30の内容を受け取り
、バッファ31へパケットを書込むように働く。パケットはバッファ内にシーケン
ス番号によって判断される順序でバッファ内に配置される。期待されているパケ
ットが受け取られないときは、ギャップが残るので、正しいシーケンスになるよ
うにパケットが挿入され、このパケットは後で、しかしビルドアウト期間内に到
達することになることを条件としている。
したフレームカウンタ33を採用して実行され、ローカルクロック34によって72
ミリ秒ごとにインクリメントされる。フレームカウンタ33は到来フレームをビル
ドアウト期間(接続特性および遅延が許容される範囲に依存して、通常1ないし
10フレーム、例えば6フレーム)だけロードによって、受取り期間の開始時に
、受信したフレーム数fnから6(または他のビルドアウト値)を減算して遅延
する。72ミリ秒のクロックと送信機クロックψFとの間のドリフトによって、
バッファのオーバーフローまたはアンダーフローが発生するとすると、このシス
テムはカウンタに再びロードすることによってリセットされる。通常は、読取り
制御ユニット35がカウンタ33にアクセスして、現在のカウント値fnrを得て、
バッファから、そのフレーム数をもつパケットからS1(n)およびS2(n)
を読み取り、それらを図2を参照して既に記載した言語デコーダ36へ送る。パケ
ットが損失されておらず、また何れのパケットも既に送られたパケットに対して
6×72=432ミリ秒より長くは遅延されていないときは、これがデコーダ36
3へのデータの連続的な供給を保証することになる。
フレーム数fnをもつ所望のパケットはバッファ内に存在しないことになる。こ
の場合に読取り制御ユニット34はバッファからフレーム数(fnr−1)をもつ
パケットからのS1(n)データを、言い換えると直前のパケット内に保持され
ていたフレームfnrに関する複製のストリーム1の情報を読み取り、これをデ
コーダへ送る。このやり方ではデコーダは、このフレームに関するストリーム2
のデータを受け取らないことを除けば、正規に動作し続けるので、1フレーム期
間ごとにバンド幅が時間的に低減することになる。読取り制御ユニット35はこの
情報を接続部37を介してデコーダ36へ知らせ、デコーダは上位の16のサブバン
ドをディスエーブルする。
復する−すなわち読み取り制御ユニットがS1(n)およびS2(n−1)をパ
ケット(fnr−1)から読み取ることによって緩和することができる。
よりも高い周波数成分に関する情報を表わしていることは本質的でないことに注
意すべきである。原理的に、他の層状のコーダは、例えばPCM(パルスコード
変調)コーダを使用してもよく、PCMでは第1の流れは粗く量子化されたサン
プルから構成されており、第2の流れは同じサンプルの追加の、より低い桁のビ
ットから成り、したがってもちろん第1の流れのみを受け取るデコーダによって
生成される量子化ノイズのレベルを低減するように働くことになる。しかしなが
らさらに、先行するフレームデータが損失した第2の流れのデータと十分な相関
関係をもつときのみ、失った上流に対して先行するフレームからの代用の可能性
が存在し;これは上述のサブバンドシステムに当てはまるが、PCMの例にはな
いことに注意すべきである。
る完全な情報を保持しているパケットに先行するパケット内に保持されているが
、これは本質的でなく、例えば流れは後続のフレーム内に保持されていてもよく
、すなわちパケットnはS1(n)、S2(n)、およびS1(n−1)を保持
できることも認識されるであろう。したがって同様の性能に対して、受信機ビル
ドアウト遅延は前よりも1つ大きい。このために受信機における信号遅延は72
ミリ秒だけ増加するが、他方で送信機における信号遅延は72ミリ秒だけ低減す
る。さらに特定のフレームにおける複製のストリーム1は、そのフレームに関す
る完全な情報を保持しているパケットに連続するパケット内に必ずしも保持され
ていなくてもよい。遅延のオフセットは、特定の送信チャンネルまたはネットワ
ークの特性に適するように選択され;例えば2以上のフレームの遅延は、バース
トエラーを受け易い無線システムに適している。
いる。これは、エムペグ(Moving Pictures Expert Group, (MPEG))規格ISO
13813‐3において規定されたコーダに基づき、かつ類似している。この規格と異
なるコーダの様相のみを詳細に記載することにする。MPEG規格は多数の異な
る入力オーディオサンプリングレートにおける動作を考慮しており;後の記述で
はサンプリングレートを16キロビット/秒と仮定しているが、もちろん望むの
であれば、他のサンプリングレートに尺度を調整してもよい。多層解析フィルタ
40は1152の入力サンプルのフレームを受け取り、それぞれ36サンプルの3
2サブバンドの解析フレームを生成する。これらのサンプルは、スケールファク
タ計算部42によって制御される可変スケールファクタを使用して量子化装置41に
よって量子化される。スケールファクタはMPEG規格に記載されているように
計算され、同じやり方でコード化することができるが、簡略化するために、規格
によって考慮された可変長のスケールファクタ表示を使用するのではなく、(各
フレームごとに)1サブバンド当り一定の12ビットでスケースファクタをコー
ド化することを選択する。(固定長を使用するとき、図5のボックス42からボッ
クス45への接続は必要ない)。
ビット割り当てにしたがって量子化されて、同期マスキングはサンプルの量子化
の可聴効果を最小にするために、同時マスキングの現象を使用する。低レベルの
信号成分が近接する周波数で同時に発生するより強い成分によって不可聴になる
ときに発生する。ユニット43は高速フーリエ変換(FFT)を信号に適用して、
その結果をマスキングユニット44に供給し、各オーディオフレームのマスキング
特性は心理音響モデルを使用して(MPEG規格に記載されているように)評価
され、k番目のサブバンド(k=0…31)についてマスキング関数mask(k)に
よって表示される。このマスキング関数はサブバンドkに対する信号レベルの推
定値を与え、kよりも低いときはこの信号は不可聴になり、高いときはノイズは
可聴になる。これは32のサブバンドの各々における信号対マスク比smrを判
断するのに使用される: smr(k)=sig(k)−mask(k) なお、sig(k)はサブバンドk内の信号エネルギーである。全てのこれら
の量子はデシベルで表わされる。
ビット割り当てユニット45によって実行される。実際のビット割り当ては割り当
てを反復プロセスによって実行し、反復プロセスでは有効ビットキャパシティは
段階的に割り当てられ、これまでそれに対して行われていたビットキャパシティ
の割り当てに基いて、最低のマスク対ノイズ比mnrをもっているどのサブバン
ドにも別のキャパシティを割り当てる。しかしながら割り当てられた多数のビッ
トとして割り当てを表わすのではなく、規格−および図5の装置は−対応するビ
ット割り当て表によって変換される整数ビット割り当てコードを使用し;別のキ
ャパシティの割り当ては単にコードをインクリメントすることを含んでいる。
当てられるビット数を単に6デシベルだけ乗算するか(すなわち、割り当てられ
たビットの数がxであるとsmr(k)=6x[dB])、または適切なルックア
ップ表を使用することによって、合理的な精度で推定できる。その代わりに信号
対雑音比はサブバンドkにおける実際の信号およびそれを表わすために割り当て
られたビット数を考慮に入れて計算することができる。
る。しかしながら図5のコーダにおいて、より高い流れは、より低い流れには存
在しない別のサブバンドに役立つことに加えて、既に記載したサブバンドに対し
て別のビットを保持することができる。したがってビット割り当て手続きは(こ
の例では4つの流れについて)ここで記載するやり方で4回行わなければなず、
したがって、(例えば)第1のサブバンドはストリーム1において20レベルに
量子化され、その結果ストリーム1はこのサブバンドに対して4.3ビットを保
持するが、次の層では80レベルに量子化され、その結果ストリーム2はこのサ
ブバンドに対して別の2ビットを保持する。この手続きの結果は1組のコードで
あり、各コードは、ビット割り当てユニット45内に含まれているルックアップ表
(その内容は次の表1参照)にしたがって、各サブストリームに対するサンプル
の量子化を規定していることに注意すべきである。したがって流れによって保持
されている実際のビット数は、その流れに示したビット数とその後の流れに示し
たビット数との差である。
合される流れ(レイヤ)jおよびより低い流れ)(この例では値は表2に与えら
れている); BitsAvailable 現在の流れに対する割り当てに現在使用可能なビット数 SFLen スケールファクタの(ビットの)長さ(この例では12); AllocBNumj(k) サブバンドkにおいて流れj内で使用されるビット割り当て
コードの(ビットの)長さ; AllocMaxj(k) (=2AllocBNum j (k)−1)サブバンドkにおいて流れjに
対する割り当てコードの最大許容値 AllocLimj サブバンドkにおいて、層j内で使用される最大数のサブバ
ンド; AllocCode(k) 層のサブバンドKに対する割り当てコードの現在の値; AllocCodej(k) サブバンドkにおいて層jに対する割り当てコードの結果; Qlevelj(k) サブバンドkにおいて、流れjに対して使用される量子化レ
ベル数; Bitsj(k) コードQlevelj(k)レベルに対するビット要求数。
に対するsmr(k)を計算する。 1.全てのkにおいてAllocCode(k)およびsnr(k)をゼロに設定する。 2.全てのkにおいてmnr(k)=snr(k)-smr(k)を初期設定する。 3.j=1に設定する 4.
信に必要なオーバーヘッドにだけ低減される)。 5.全てのkにおいてFullFlag(k)を初期設定し、AllocCode(k)<AllocMaxj(k)
のとき、FullFlag(k)=0、またはFullFlag(k)=1である。FullFlag(k)=0を設定す
ると、現在の流れjにおいてビットをサブバンドkに割り当てることができ、Fu
llFlag(k)=1ではこのような割り当てを防ぐ。 6.全てのkにおいてFullFlag(k)=1であるとき、段階19へ進む。 7.k≠kmにおいてmnrの最小値(すなわち、mnr(km)≦mnr(k))に対応するk
の値kmを識別する(FullFlag(k)=1が無視されるkの値に注意すべきである)
。 8.表1における割り当てコード(AllodCode(km))の提案されたインクリメン
トに対応するビットBの数を一覧(ルックアップ)する。 9.BitsRemaining=BitsAvailable-B*36を設定する。 10.AllocCode(km)=0のとき、BitsRemaining=BitsRemaining-SFLen(最初にサ
ブバンドに対して割り当てを行うとき、量子化器スケールファクタを送る必要が
あるという事実を許可しなければならない)。 11.BitsRemaining<0のとき、FullFlag(km)=1を設定し、段階7へ進むか継続
する(サブバンドkmに対する割り当てをインクリメントするのに十分なビットが
あるときは、FullFlag(km)はこのサブバンドにさらに割り当てるのを防ぐように
設定される)。 12.allocCode(km)を1だけインクリメントする。 13.BitsAvailable=BitsRemainingを設定する。 14.(測定または推定によって)新しいsnr(km)を判断する。 15.mnr(km)=snr(km)-smr(km)によって新しい割り当てに対するmnr(km)を計算
する。 16.AllocCode(km)=AllocMaxj(km)のとき、FullFlag(km)を1に設定して、別
の割り当てを防ぐ。 17.段階7へ進む。 18.全てのkにおいてAllocCodej(k)=AllocCode(k)を設定する(これは流れj
におけるビット割り当ての組である)。 19.次の流れにおいてjをインクリメントし、段階5から全ての流れが処理さ
れるまで反復する。AllocCode(k)がリセットされないことにとくに注意すべきで
ある。
ト数を各流れに出力する。したがって、ストリーム1において、量子化器41はk
番目のサブバンドに対してBits1(k)を生成し、一方でより高い流れにおいて量子
化器41はBitsj(k)-Bitsj-1(k)ビット/サンプルを生成する。これらのビットは
、スケールファクタおよびビット割り当てコードと一緒にユニット46によってコ
ード化されて、乗算される。ここではストリーム1において、ビット/サンプル
の非整数(non-integer number)が使用されるとき、量子化器は必然的にビット
/フレームの整数を出力する。量子化器は、1(5レベル)の割り当てコードで
は、ないし4の範囲の数字を表わすqcod5(3ビット)を出力し;割り当てコード
2(10レベル)ではqcod5と追加ビットqbit10との和を出力し、一方で割り当
てコード3(20レベル)では、この和に別のビットqbit20を加算したものを出
力する、などである。1フレームにおける36の値qcod5(n),(n=0…35)がグ
ループ3において結合され12の値を与える: grp5(i)=qcod5(3*i)+5*qcod5(3*i+1)+25*qcod5(3*i+2) なお、(i=0…11)およびオペレータ*は乗算を示す。これらの値は0な
いし124の範囲をもち、7ビットを使用してコード化される。
子化器の分解能を規定することによって開始する。得られた量子化されたサンプ
ルコードは次に一連の4ビット割り当てコードにしたがってコード化される。最
初に層4および層3の割り当てコードが比較される。層3の割り当てがゼロのと
きは、量子化されたサンプルは、上述の5レベルにグループ化された+nビット
エンハンスメントスキームを使用して、層4の流れに対して完全にコード化され
る。層3の割り当てが0以外のときは、割り当てコードの差を使用して、層4の
流れに対してコード化されるエンハンスメントビット数を判断する。このプロセ
スは層3および2に対して反復され、対応する向上した流れを生成する。層1に
おいて、ゼロ以外の割り当ては5レベルにグループ化されたエンコーディングで
始まらなければならない。
はコーダ内で組立てられて、4つの必要とされるエンコードされたサンプルシー
ケンスを生成することができ、各エンコードされたサンプルシーケンスはサブバ
ンドサンプルの特定の層を与えるようにデコードする。
、および量子化されたサンプルパラメータから構成する。生成されたサブストリ
ームの割り当ては、ビットが全ての使用可能なサブバンドに割り当てられている
という仮定に基づいてスケールファクタに関する数値と共に表3に示した。サブ
バンドサンプルの量子化が全ての割り当てられたビットを使用できないとき、マ
ルチプレクサはゼロのビット値でパッキングを実行する。
ーム1はサブバンド0ないし4に対する全ての層1のビット割り当てコードを含
み、ストリーム2はサブバンド0ないし9に対する層2のビット割り当てコード
を含む。層2をストリーム1および2からデコードする際に、層1のビット割り
当てコードは使用されず、これは10ビット/フレームのオーバーヘッドと考え
ることができる(表3参照)。同様に、合計84ビット/フレームの層1、2、
および3へのビット割り当ては、層4のデコーディングにおけるオーバーヘッド
である。ビット割り当てにおけるビットの流れ間の先のコーディングを使用して
、層2、3、および4のオーバーヘッドを低減し、したがって予備の1または2
ビット/フレームを層4のサブバンドサンプルエンコーディングに適用すること
ができる。
ンコーダからストリーム1を(送信または記録後に)受け取る。レジスタ50は、
ストリーム2、3、4が使用可能なとき、実際にはいくつの入力が受け取られる
かを示す層コードと一緒に、これらを受け取るための入力ももっている。層コー
ドは、スイッチ51を介して適切なビット割り当てコードを選択し、これはサンプ
ルのデクオンタイザ(dequantizer、量子化解除器)52を制御して、各サブバン
ドにおいて選択された組の対応するビット割り当てコードによって示される量子
化レベル数にしたがって動作する。
る合成フィルタ53を通る。
のコーダを使用しており、このコーダは参照符号60で示され、ディジタルオーデ
ィオ信号を受け取る。コーダから出力された4つの出力のストリームS1、S2
、S3、S4は、それぞれフレームごとに576、576、1152、および2
304ビットをもつ。これらの流れは遅延61、62、63によって3つの72ミリ秒
のステージで遅延される。遅延63の出力からの全ての4つの流れはマルチプレク
サ64において結合され、4608ビット/フレームの層4の信号Enc4(n)を生成
して、図3のシフトレジスタ16に類似したシフトレジスタ65へロードされる。遅
延62の出力からのストリームS1ないしS3は、マルチプレクサ66において結合
され、2304ビットの層3の信号Enc3(n+1)を生成して、シフトレジスタ65へ
ロードされる;遅延が1つ少なく、したがってデータが次のフレームに含まれる
ので、指標n+1を記載する。同様に遅延61からのストリームS1、S2は参照
符号66において結合され、1152ビットのEnc2(n+2)およびストリームS1を
与え、576ビットのEnc1(n+3)は遅延されない。これらの全ては、上述の8ビ
ットフレーム数fnと一緒にレジスタ65においてアセンブルされ(合計して46
08+2304+1152+576=8648ビットと所望の監視情報との和)
、上述のようにラインレートでクロックアウトされる。将来の参照とするために
、シフトレジスタにおいてアセンブルされるパケットのフィールドはF0ないし
F4に分類される。この構成は専用のディスクリートなハードウエアにおいて生
成されるように示されているが、もちろんこれらは適切にプログラムされたディ
ジタル信号処理デバイスによって実行することができる。
動作するが、ここではレジスタ30の内容は図7のレジスタ50の内容に対応し、読
取り制御ユニット34の動作はより複雑になることが異なる。通常読み取り制御ユ
ニット34はバッファ31から、フレーム数fnrを保持しているパケットからEnc4(n)
データを読み取る。フレームfnrがバッファ内にないときは、読取り制御ユニッ
ト34はバッファからフレーム数(fnr-1)をもつパケットからEnc3(n)データを読
み取る。しかしながらこのパケットもないときは、バッファからフレーム数(fn
r-2)をもつパケットからEnc2(n)データを読み取り、一方で3つのパケットが連
続するオーディオフレームを失った際は、フレーム数(fnr-3)をもつパケット
からEnc1(n)データを読み取る。以前のように、これはデコーダ35から出力され
た信号のバンド幅を低減し、先行するオーディオから流れを代用することによっ
て緩和することができ、これを次の表4に示した:
a)別のサブバンドに関する情報、および(b)データがより低い流れに既に存
在しているサブバンド内の量子化エラーを低減する追加のビットを含む。先行す
るフレームに関するデータの代用(表4において“*”のマークを付されている
)は(a)のみに適しており、追加のビット(b)はその値が失っているビット
とほとんど相関関係をもたないので有益でない。図6に示したデコーダはこのよ
うな代用を作り、わずかなノイズを加えるだけで動作する。ノイズを避けるため
に、読取り制御ユニット35は、先行するオーディオフレーム情報を上流に代用す
るとき、この事実をデコーダに知らせるようにすることができる。代用された流
れのみによって保持されているサブバンドにおいて、選択装置51がストリーム4
からビット割り当て情報をとるが、サブバンドが情報が代用されていない流れに
含まれているときは、最も高い代用されていない流れからビット割り当て情報を
とるように、選択装置51を変更しなければならない。
図。
図。
Claims (16)
- 【請求項1】 信号送信装置であって: (a)第1のデータを供給する第1の出力と、第2のエンハンスメントデー
タを供給する第2の出力とを生成するように動作可能なコーダであって、第1の
データからはデコーダが再構成された信号を生成でき、それによってデコーダは
第1および第2のデータの両者を受け取って、より高品質の再構成された信号を
生成することができるようになるコーダと; (b)各データパケットが、信号の時間部分に関する第1のデータと信号の
同じ部分に関する第2のデータとを含む一次データと; 信号の異なる時間部分に関する第1のデータを含むが、その部分に関する
第2のデータが含まれていない二次データとから成るデータパケットを、送信の
ために、アセンブルするように動作可能な手段とを含む装置。 - 【請求項2】 前記異なる時間部分が、一次データによって表わされる部分
より後の部分である請求項1記載の装置。 - 【請求項3】 前記異なる時間部分が、一次データによって表わされる部分
の直後の部分である請求項2載の装置。 - 【請求項4】 前記異なる時間部分が、一次データによって表わされる部分
に先行する部分である請求項1記載の装置。 - 【請求項5】 アセンブリ手段は、パケット内に含まれる一次データの時間
的な順番を示すシーケンスコードを各パケット内に含むようにされている請求項
1ないし4の何れか1項記載の装置。 - 【請求項6】 コーダはエンハンスメントデータを供給する複数の出力を生
成するように動作することができ、エンハンスメントデータの連続する組は再構
成された信号品質に対する連続的な改良を表わしており、一次データは全てのこ
のような出力を含み、二次データは信号の同じ複数の異なる時間部分に関する第
1のデータと、これらの部分に関する次第に数が減る第2のデータの組とを含む
請求項1ないし5の何れか1項記載の装置。 - 【請求項7】 信号がオーディオ信号であり、コーダがオーディオ信号コー
ダである請求項1ないし6の何れか1項記載の装置。 - 【請求項8】 コーダはサブバンドコーダであり、第1のデータはより低い
周波数のコーダサブバンドのデータに関係するデータを含み、第2のエンハンス
メントデータはより高い周波数のサブバンドに関するデータを含む請求項7記載
の装置。 - 【請求項9】 第1のデータはディジタル値の二値表示を含み、第2のデー
タは前記ディジタル値のより細かい分解能を表わす追加のビットを含む請求項1
ないし8の何れか1項記載の装置。 - 【請求項10】 前記サブバンドオーディオコーダは: (a)サンプルされたオーディオ信号を受取り、かつこの信号を、各々が周
波数のサブバンドにそれぞれ対応している複数のサブバンド信号に分けるフィル
タ手段と; (b)サブバンド信号を量子化する量子化装置と; (c)信号特徴に依存して量子化装置によって使用されることになる量子化
レベル数を適応して判断するビット割り当て手段とを含み; ここで、量子化装置は、前記第1のデータを供給する第1の出力をもち、前
記第1のデータはいくつかの前記サブバンドについての量子化値を含み;さらに
前記第2のデータを供給する第2の出力をもち、前記第2のデータは、第1の出
力において供給される量子化された値に関する少なくとも1つのサブバンドにつ
いて、このサブバンドについてよりも粗度の低い量子化された値を表わす追加の
エンハンスメントビットを含み;またここで、ビット割り当て手段が第1の割り
当て動作を実行するように動作可能であり、第1の割り当て動作では第1の出力
についての第1の所定のビット割り当て分がサブバンド間で割り当てられ、次に
第2の割り当て動作では、第2の出力における追加のビットについての第2の所
定のビット割り当て分がサブバンド間で割り当てられる請求項8記載の装置。 - 【請求項11】 前記第2の出力ではさらに、第1の出力では与えられない
量子化された値に関する少なくとも1つのサブバンドについての量子化された値
を供給する請求項10記載のコーダ。 - 【請求項12】 前記量子化装置は少なくとも1つの別の出力をもち、第2
およびその他の出力は各場合においてより低い順番の出力では表わされないサブ
バンドに対する値を与えるか、またはより低い順番の出力において表わされるサ
ブバンドに追加のビットを与えるか、あるいはこの両方を行い、ビット割り当て
手段は出力数に等しい数の多数の割り当て動作を実行するように動作可能であり
、各割り当て動作では、サブバンド間の各ビット割り当て分を各出力に割り当て
るようにサービスする請求項10または11記載のコーダ。 - 【請求項13】 信号受信装置であって: (a)信号の時間部分に関する第1のデータ、および信号の同じ部分に関す
る第2のエンハンスメントデータを含む一次データと、 信号の異なる時間部分に関する第1のデータを含む二次データとを各々が
含んでいるデータパケットを受け取る手段; (b)受け取ったパケットを記憶するバッファ; (c)第1のデータのみから再構成された信号を生成でき、かつ第1および
第2のデーダから一緒により高品質の再構成された信号を生成することができる
デコーダ;および、 (d)バッファから信号の継続する時間部分に関して一次データを読み取り
、それらをデコーダへ送り;言語の時間部分に関する一次データがバッファから
なくなる場合は、その代わりにその時間部分に関する二次データを読取り、それ
をデコーダへ送るように動作可能な制御手段を含む装置。 - 【請求項14】 制御手段は、言語の時間部分に関する二次データがバッフ
ァからなくなる前記場合には、言語信号の異なる時間部分に関する第2のエンハ
ンスメントデータを読み取り、それをデコーダへ送るように動作可能である請求
項13記載の装置。 - 【請求項15】 各パケットは、その中に含まれている一次データの時間シ
ーケンスを示すシーケンスコードを含み、前記制御手段は、パケットの実際の受
取り順序とは無関係にシーケンスコードを参照してパケットの時間シーケンスを
判断するように動作することができる請求項13または14記載の装置。 - 【請求項16】 信号がオーディオ信号であり、デコーダがオーディオ信号
デコーダである請求項13ないし15の何れか1項記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB9820655.0A GB9820655D0 (en) | 1998-09-22 | 1998-09-22 | Packet transmission |
GB9820655.0 | 1998-09-22 | ||
PCT/GB1999/003043 WO2000018057A1 (en) | 1998-09-22 | 1999-09-14 | Audio coder utilising repeated transmission of packet portion |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002525693A true JP2002525693A (ja) | 2002-08-13 |
JP2002525693A5 JP2002525693A5 (ja) | 2006-11-16 |
JP4447782B2 JP4447782B2 (ja) | 2010-04-07 |
Family
ID=10839284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000571603A Expired - Lifetime JP4447782B2 (ja) | 1998-09-22 | 1999-09-14 | パケット部分の反復送信を利用するオーディオコーダ |
Country Status (12)
Country | Link |
---|---|
US (1) | US6957182B1 (ja) |
EP (1) | EP1116354B1 (ja) |
JP (1) | JP4447782B2 (ja) |
CN (1) | CN1144411C (ja) |
AT (1) | ATE311703T1 (ja) |
AU (1) | AU751077B2 (ja) |
CA (1) | CA2344259C (ja) |
DE (1) | DE69928682T2 (ja) |
ES (1) | ES2253912T3 (ja) |
GB (1) | GB9820655D0 (ja) |
HK (1) | HK1040336B (ja) |
WO (1) | WO2000018057A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010532876A (ja) * | 2007-07-06 | 2010-10-14 | フランス・テレコム | デジタルオーディオ信号の階層符号化 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6757654B1 (en) * | 2000-05-11 | 2004-06-29 | Telefonaktiebolaget Lm Ericsson | Forward error correction in speech coding |
JP4016709B2 (ja) | 2002-04-26 | 2007-12-05 | 日本電気株式会社 | オーディオデータの符号変換伝送方法と符号変換受信方法及び装置とシステムならびにプログラム |
US20040064308A1 (en) * | 2002-09-30 | 2004-04-01 | Intel Corporation | Method and apparatus for speech packet loss recovery |
EP1746751B1 (en) * | 2004-06-02 | 2009-09-30 | Panasonic Corporation | Audio data receiving apparatus and audio data receiving method |
US7706415B2 (en) * | 2004-07-29 | 2010-04-27 | Microsoft Corporation | Packet multiplexing multi-channel audio |
US20070174061A1 (en) * | 2004-12-22 | 2007-07-26 | Hideyuki Kakuno | Mpeg audio decoding method |
JP5142723B2 (ja) * | 2005-10-14 | 2013-02-13 | パナソニック株式会社 | スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法 |
DE102010005702A1 (de) * | 2010-01-26 | 2011-07-28 | Fachhochschule Kaiserslautern, 67657 | Codieren und Decodieren von Daten zur Übertragung über einen fehlerhaften Übertragungskanal |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2681727B1 (fr) | 1991-09-20 | 1993-11-05 | Thomson Tubes Electroniques | Tube intensificateur d'image a correction de brillance. |
US5384793A (en) * | 1992-01-28 | 1995-01-24 | Ericsson Ge Mobile Communications Inc. | Fading and random pattern error protection method for dynamic bit allocation sub-band coding |
JPH09502581A (ja) * | 1993-08-26 | 1997-03-11 | エヌ・ティー・ピー インコーポレイテッド | 情報送信システムおよびその運用方法 |
US5692102A (en) * | 1995-10-26 | 1997-11-25 | Motorola, Inc. | Method device and system for an efficient noise injection process for low bitrate audio compression |
US5956674A (en) * | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
JP2907104B2 (ja) * | 1996-03-27 | 1999-06-21 | 日本電気株式会社 | 時間ダイバーシティ通信方法及び通信装置 |
JP3622365B2 (ja) * | 1996-09-26 | 2005-02-23 | ヤマハ株式会社 | 音声符号化伝送方式 |
EP0861001B1 (en) * | 1997-02-07 | 2012-05-23 | Texas Instruments Incorporated | Error resilient video encoding |
-
1998
- 1998-09-22 GB GBGB9820655.0A patent/GB9820655D0/en not_active Ceased
-
1999
- 1999-09-14 AT AT99946330T patent/ATE311703T1/de not_active IP Right Cessation
- 1999-09-14 CA CA2344259A patent/CA2344259C/en not_active Expired - Fee Related
- 1999-09-14 WO PCT/GB1999/003043 patent/WO2000018057A1/en active IP Right Grant
- 1999-09-14 US US09/763,466 patent/US6957182B1/en not_active Expired - Lifetime
- 1999-09-14 JP JP2000571603A patent/JP4447782B2/ja not_active Expired - Lifetime
- 1999-09-14 ES ES99946330T patent/ES2253912T3/es not_active Expired - Lifetime
- 1999-09-14 AU AU58745/99A patent/AU751077B2/en not_active Ceased
- 1999-09-14 CN CNB998112275A patent/CN1144411C/zh not_active Expired - Lifetime
- 1999-09-14 DE DE69928682T patent/DE69928682T2/de not_active Expired - Lifetime
- 1999-09-14 EP EP99946330A patent/EP1116354B1/en not_active Expired - Lifetime
-
2002
- 2002-01-09 HK HK02100153.1A patent/HK1040336B/zh not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010532876A (ja) * | 2007-07-06 | 2010-10-14 | フランス・テレコム | デジタルオーディオ信号の階層符号化 |
Also Published As
Publication number | Publication date |
---|---|
JP4447782B2 (ja) | 2010-04-07 |
DE69928682T2 (de) | 2006-07-20 |
EP1116354B1 (en) | 2005-11-30 |
HK1040336A1 (en) | 2002-05-31 |
ATE311703T1 (de) | 2005-12-15 |
CA2344259A1 (en) | 2000-03-30 |
DE69928682D1 (de) | 2006-01-05 |
AU751077B2 (en) | 2002-08-08 |
AU5874599A (en) | 2000-04-10 |
HK1040336B (zh) | 2006-08-11 |
CA2344259C (en) | 2011-06-21 |
CN1319292A (zh) | 2001-10-24 |
WO2000018057A1 (en) | 2000-03-30 |
EP1116354A1 (en) | 2001-07-18 |
CN1144411C (zh) | 2004-03-31 |
GB9820655D0 (en) | 1998-11-18 |
US6957182B1 (en) | 2005-10-18 |
ES2253912T3 (es) | 2006-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US4831624A (en) | Error detection method for sub-band coding | |
US4703480A (en) | Digital audio transmission | |
CA2222501C (en) | A method to evaluate the hangover period in a speech decoder in discontinuous transmission, and a speech encoder and a transceiver | |
US7460629B2 (en) | Method and apparatus for frame-based buffer control in a communication system | |
US4713776A (en) | System for simultaneously coding and decoding a plurality of signals | |
US4907277A (en) | Method of reconstructing lost data in a digital voice transmission system and transmission system using said method | |
CA1203031A (en) | Bit compression multiplexing | |
US4622680A (en) | Hybrid subband coder/decoder method and apparatus | |
KR101061404B1 (ko) | 가변 레이트로 오디오를 인코딩 및 디코딩하는 방법 | |
JPS5915544B2 (ja) | デイジタル信号多重伝送方式 | |
US5519779A (en) | Method and apparatus for inserting signaling in a communication system | |
JP2001044844A (ja) | サブバンド符号化方式 | |
JPS58154948A (ja) | デイジタル伝送方法 | |
JPS6251536B2 (ja) | ||
JP4447782B2 (ja) | パケット部分の反復送信を利用するオーディオコーダ | |
JP2001044845A (ja) | サブバンド符号化方式 | |
JPS63110830A (ja) | 帯域分割符号化復号化装置 | |
KR100783298B1 (ko) | 디지털 오디오 방송 및 다른 응용들을 위한 결합 다중프로그램 코딩 방법 및 장치 | |
JPH0242258B2 (ja) | ||
JPH0335300A (ja) | 音声符号・復号化伝送方式 | |
JP2003015698A (ja) | オーディオ信号符号化装置およびオーディオ信号復号装置 | |
Goldberg | 2400/16,000 Bps Multirate voice processor | |
JPH0242835A (ja) | 帯域分割形附号復号化方法および装置 | |
Varma et al. | Transmitting Digital Speech in a Portable Radio Environment | |
JPH03191627A (ja) | パケット伝送用帯域分割符号化方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060913 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4447782 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140129 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |