JP2004163696A - 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体 - Google Patents

音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
JP2004163696A
JP2004163696A JP2002330024A JP2002330024A JP2004163696A JP 2004163696 A JP2004163696 A JP 2004163696A JP 2002330024 A JP2002330024 A JP 2002330024A JP 2002330024 A JP2002330024 A JP 2002330024A JP 2004163696 A JP2004163696 A JP 2004163696A
Authority
JP
Japan
Prior art keywords
white noise
noise component
encoding
music information
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002330024A
Other languages
English (en)
Other versions
JP4657570B2 (ja
Inventor
Shiro Suzuki
志朗 鈴木
Minoru Tsuji
実 辻
Shigesuke Higashiyama
恵祐 東山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002330024A priority Critical patent/JP4657570B2/ja
Priority to US10/534,175 priority patent/US7583804B2/en
Priority to EP03754092A priority patent/EP1564724A4/en
Priority to CN200380102961A priority patent/CN100592388C/zh
Priority to KR1020057007168A priority patent/KR20050074501A/ko
Priority to PCT/JP2003/013084 priority patent/WO2004044891A1/ja
Publication of JP2004163696A publication Critical patent/JP2004163696A/ja
Application granted granted Critical
Publication of JP4657570B2 publication Critical patent/JP4657570B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】白色雑音成分を含む音楽情報を効率的に符号化すると共に、フレーム間での再生帯域の変動による雑音の発生を防止する。
【解決手段】音楽情報符号化装置では、白色雑音成分を含む音楽信号を符号化する際に、白色雑音成分のエネルギレベルのインデックスiLと乱数テーブルの開始インデックスを指定するインデックスiRを符号列に含める。音楽情報復号装置20では、白色雑音発生部25において、符号列Cに含まれたインデックスiL,iRを用いてその白色雑音と同等のレベルをもつ時間軸上の白色雑音信号S(t)を発生させ、加算器26において、復号した時間軸上の音楽信号S(t)と加算し、出力音楽信号S(t)として出力する。
【選択図】 図7

Description

【0001】
【発明の属する技術分野】
本発明は、白色雑音成分を含む音楽情報を符号化する音楽情報符号化装置及びその方法、この音楽情報符号化装置及び方法によって生成された符号列の記録された記録媒体、この音楽情報符号化装置及び方法によって生成された符号列を復号する音楽情報復号装置及びその方法、並びにこの音楽情報符号化処理又は音楽情報復号処理をコンピュータに実行させるプログラムに関する。
【0002】
【従来の技術】
従来より、入力音楽信号を符号化する際には、時間軸上の音楽信号を一定の時間区間(フレーム)毎にブロック化し、フレーム毎に改良離散コサイン変換(Modified Discrete Cosine Transformation;MDCT)等を行うことで、時間軸上の時系列信号を周波数軸上のスペクトル信号に変換(スペクトル変換)して符号化することが行われている。
【0003】
また、スペクトル信号を符号化する際には、フレーム毎の時系列信号をスペクトル変換したスペクトル信号毎に所定のビット配分、或いは適応的なビット割当(ビットアロケーション)が行われる。すなわち、例えば、MDCT処理されて得られた係数データをビットアロケーションによって符号化する際には、ブロック毎の時間軸信号をMDCT処理して得られるMDCT係数データに対して、適応的にビット数が割り当てられて符号化が行われる。
【0004】
なお、このビットアロケーションについては、例えば、文献「音声信号の適応変換符号化」(”Adaptive Transform Coding of Speech Signals”, R.Zelinski and P.Noll, IEEE Transactions of Accoustics, Speech and Signal Processing, vol.ASSP−25, No.4, August 1977)や、文献「臨界帯域符号化 −聴覚システムの知覚の要求に関するディジタル符号化」(ICASSP 1980, ”The critical band coder digital encoding of the perceptual requirements of the auditory system”, M.A.Kransner MIT)等にその詳細が記載されている。
【0005】
ところで、符号化装置への入力音楽信号には、楽器、声等の様々な成分が存在している。例えば、声やピアノの音のみをマイクロホンにて録音した場合においても、純粋にそれらの音のみが記録されている訳ではなく、背景雑音や録音機器の動作音、或いは録音機器自体の電気的雑音が多少なりとも記録されるのが普通である。
【0006】
符号化装置からみれば、それらの雑音も声もピアノの音も1次元の波形情報でしかなく、雑音成分をも周波数変換して符号化しようとする。これは、波形再現性という観点からは正しいアプローチであるが、人間の聴覚特性を考慮した場合には効率的な符号化手法とはいえない。
【0007】
そこで、聴覚心理モデルに基づくビットアロケーションによって、例えば絶対的に聞こえないレベルである最低可聴レベル又は符号化装置にて任意に設定できる最低符号化閾値よりも小さい周波数成分に対してビット割当を行わないようにすることができる。
【0008】
このようなビットアロケーションを行う従来の符号化装置の概略構成を図8に示す。図8に示すように、符号化装置100において、時間周波数変換部101は、入力音楽信号S(t)をスペクトル信号F(f)に変換し、このスペクトル信号をビット配分周波数帯域決定部102に供給する。ビット配分周波数帯域決定部102は、スペクトル信号F(f)を分析し、ビット割当を行う周波数成分、すなわち最低可聴レベル又は最低符号化閾値以上である周波数成分F(f0)と、ビット割当を行わない周波数成分F(f1)とに分割し、周波数成分F(f0)のみを正規化・量子化部103に供給し、周波数成分F(f1)を切り捨てる。
【0009】
正規化・量子化部103は、周波数成分F(f0)に対して正規化及び量子化を施し、生成された量子化値Fqを符号化部104に供給する。符号化部104は、この量子化値Fqを符号化して符号列Cを生成し、記録・伝送部105は、この符号列Cを図示しない記録媒体に記録し、又はビットストリームBSとして伝送する。
【0010】
この符号化装置100で生成される符号列Cの一例を図9に示す。図9に示すように、符号列Cは、ヘッダH、正規化情報SF、量子化精度情報WL及び周波数情報SPからなる。
【0011】
続いて、符号化装置100に対応する復号装置の概略構成を図10に示す。図10に示すように、復号装置120において、受信・読込部121は、符号化装置100から受信したビットストリームBS又は図示しない記録媒体から符号列Cを復元し、この符号列Cを復号部122に供給する。復号部122は、符号列Cを復号して量子化値Fqを生成し、逆量子化・逆正規化部123は、この量子化値Fqに逆量子化、逆正規化を施し、周波数成分F(f0)を生成する。そして、周波数時間変換部124は、この周波数成分F(f0)を出力音楽信号S(t)に変換して出力する。
【0012】
ここで、符号化装置において、全てのフレームで最低可聴レベルA未満の周波数成分に対してビット割当を行わないようにする場合の一例を図11に示す。図11に示すように、(n−1)番フレームにおいては0.60f以下の周波数成分のみが符号化され、n番フレームにおいては1.00fまでの全ての周波数成分が符号化され、(n+1)番フレームにおいては、0.55f以下の周波数成分のみが符号化されることになる。この結果、フレームによって特定の周波数が符号列に含まれたり含まれなかったりするが、この符号列に含まれない周波数は人間の聴覚上、絶対的に聞こえないものであるため、全てのフレームにおいて全ての周波数成分を符号列に含めることと等価であり、後に再生した場合に聴覚心理的な違和感は生じない。
【0013】
但し、このように最低可聴レベル以上の周波数成分を全て符号化する場合、本来重要でない周波数成分や聞こえなくともよい白色雑音まで符号化されるため、非効率的である。また、各フレームに同一のビット数を割り当てる固定ビットレートの符号化を行う場合には、ビットレートが低くなるに従って、満足な音質を達成するために必要なビット数を確保することができないフレームが出てくる虞がある。
【0014】
一方、符号化装置において、フレーム毎に設定された最低符号化閾値a未満の周波数成分に対してビット割当を行わないようにする場合の一例を図12に示す。図12に示すように、(n−1)番フレームでは、符号化装置によって決定される最低符号化閾値がa(n−1)というレベルに設定されている。このa(n−1)という最低符号化閾値は、この値より小さい周波数であれば音質上それほど重要な成分でないため、(n−1)番フレーム中においては記録しなくとも音質に与える影響は少ないと判定されるような値である。この結果、(n−1)番フレームにおいては0.60f以下の周波数成分のみが符号化される。
【0015】
このような符号化されない周波数成分が全てのフレームで一定であれば、低域通過フィルタを通してから全ての周波数成分を符号化するのとほぼ等価であるため、聴覚上は帯域感が狭まるように感じる場合があるが、元の周波数分布と聴覚特性とを考慮すれば、狭帯域感は大きな問題にはならない。
【0016】
しかしながら、続くn番フレームでは全体のエネルギが低いため、(n−1)番フレームよりも符号化しない周波数成分が増えている。また、(n+1)番フレームでは全体のエネルギが高いため、符号化装置において全ての周波数成分が聴覚上重要であると判定され、全ての周波数成分が符号化されている。
【0017】
このように、符号列に含める周波数成分がフレーム間で変動すると、後に再生する際に周波数成分のフレーム間の連続性がなくなり、明らかな聴覚上の雑音を感じることがある。その雑音は、FM放送の背景雑音が電波状況の変動によって刻々と変化するようなものに似ており、音楽以外に一定の変調雑音が加算されているような感覚を受け、聴覚心理的な違和感が生じる。
【0018】
そこで、本件出願人が先に提案した下記の特許文献1では、先行するフレームにおいてビット割当を行った帯域幅を記憶保持し、その帯域幅から大きく変動しないようにして現在のフレームにおいてビット割当を行う帯域幅を決定することにより、再生帯域の変動を抑制し、雑音の発生を防止する技術が開示されている。
【0019】
【特許文献1】
特開平8−166799号公報
【0020】
【発明が解決しようとする課題】
しかしながら、この特許文献1に記載の技術は、再生帯域の安定化に寄与するとはいえ、再生帯域の変動自体は許可しているため、聴覚上の問題を完全に解決するものではない。
【0021】
また、再生帯域を安定化するために、本来不必要と判定された帯域の周波数が記録されたり、本来必要と判定された帯域の周波数が記録されなかったりするため、符号化効率の観点から不利なものである。
【0022】
この他に、数フレームまたは数十フレームに亘って全ての周波数を分析し、ビット割当を行う周波数を全てのフレーム間で揃えるということも考えられるが、実時間処理や民生用ハードウェアにおけるメモリ・プロセッサのコストを考慮すると実現は困難であり、また、符号化効率の向上も見込めない。
【0023】
本発明は、このような従来の実情に鑑みて提案されたものであり、白色雑音成分を含む音楽情報を効率的に符号化すると共に、フレーム間での再生帯域の変動による雑音の発生を防止する音楽情報符号化装置及びその方法、この音楽情報符号化装置及び方法によって生成された符号列の記録された記録媒体、この音楽情報符号化装置及び方法によって生成された符号列を復号する音楽情報復号装置及びその方法、並びにこの音楽情報符号化処理又は音楽情報復号処理をコンピュータに実行させるプログラムを提供することを目的とする。
【0024】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る音楽情報符号化装置及びその方法は、時間軸上の音楽信号を所定の時間区間毎にブロック化し、ブロック毎に周波数変換して符号化する際に、音楽信号中の白色雑音成分を分析し、分析した白色雑音成分のエネルギレベルを表すインデックスを符号化する。
【0025】
ここで、ブロック内の高域側のエネルギ分布に基づいて白色雑音成分を分析するようにしてもよく、ブロック全体のエネルギ分布に基づいて白色雑音成分を分析するようにしてもよい。
【0026】
また、復号側で白色雑音成分を生成するために用いる乱数テーブルのインデックスをさらに符号化することもできる。
【0027】
また、上述した目的を達成するために、本発明に係る記録媒体は、時間軸上の音楽信号を所定の時間区間毎にブロック化し、ブロック毎に周波数変換して符号化すると共に、上記音楽信号中の白色雑音成分を分析し、該白色雑音成分のエネルギレベルを表すインデックスを符号化して生成された符号列が記録されたものである。
【0028】
また、上述した目的を達成するために、本発明に係る音楽情報復号装置及びその方法は、符号化された周波数信号を復号し、逆周波数変換して時間軸上の音楽信号を生成する際に、符号化された白色雑音成分のエネルギレベルを表すインデックスに基づいて、時間軸上の白色雑音成分を生成し、逆周波数変換して得られる時間軸上の音楽信号と時間軸上の白色雑音成分とを加算する。
【0029】
ここで、符号化された乱数テーブルのインデックスに基づいて白色雑音成分を生成するようにしてもよく、符号列中の所定の値に基づいて白色雑音成分を生成するようにしてもよい。
【0030】
このような音楽情報符号化装置及びその方法、並びに音楽情報復号装置及びその方法では、白色雑音成分を含む音楽信号を符号化する際に、符号化側において白色雑音成分のエネルギレベルのインデックスを符号列に含め、復号側においてその白色雑音と同等のレベルをもつ白色雑音を発生させ、復号した音楽信号と時間軸上で加算する。
【0031】
また、本発明に係るプログラムは、上述した音楽情報符号化処理又は音楽情報復号処理をコンピュータに実行させるものである。
【0032】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、白色雑音成分を含む音楽情報を効率的に符号化すると共に、再生帯域の時間的な変動による雑音の発生を防止する音楽情報符号化装置及びその方法、並びにこの音楽情報符号化装置及び方法によって生成された符号列を復号する音楽情報復号装置及びその方法に適用したものである。以下では、先ず、本実施の形態における音楽情報符号化方法及び音楽情報復号方法の原理について説明し、次いで本実施の形態における音楽情報符号化装置及び音楽情報復号装置の構成について説明する。
【0033】
本実施の形態における音楽情報符号化方法では、時間軸上の入力音楽信号を一定の時間区間(フレーム)毎にブロック化し、フレーム毎に改良離散コサイン変換(Modified Discrete Cosine Transformation;MDCT)等を行うことで、時間軸上の時系列信号を周波数軸上のスペクトル信号に変換(スペクトル変換)して符号化する。この際、人間の聴覚特性を考慮して効率的に符号化するために、聴覚心理モデルに基づくビットアロケーションによって、フレーム毎に設定可能な最低符号化閾値aよりも小さい周波数成分に対してビット割当を行わないものとする。
【0034】
例えば図1に示すように、(n−1)番フレームでは、最低符号化閾値aがa(n−1)というレベルに設定される。このa(n−1)という最低符号化閾値は、この値より小さい周波数であれば音質上それほど重要な成分でないため、(n−1)番フレーム中においては記録しなくとも音質に与える影響は少ないと判定されるような値である。この結果、(n−1)番フレームにおいては0.60f以下の周波数成分に対してのみビット割当が行われる。
【0035】
続くn番フレームでは、最低符号化閾値aがa(n)というレベルに設定され、0.50f以下の周波数成分に対してのみビット割当が行われる。
【0036】
また、(n+1)番フレームでは、最低符号化閾値aがa(n+1)というレベルに設定され、1.0fまでの全ての周波数成分に対してビット割当が行われる。
【0037】
ここで、最低符号化閾値a未満の周波数成分を切り捨てて符号列に含めない場合には、後に再生する際の再生帯域がフレーム間で変動し、フレーム間の連続性がなくなるため、聴覚心理的な違和感が生じてしまう。
【0038】
そこで、本実施の形態では、最低符号化閾値a未満である高域側の周波数成分から白色雑音成分を分析し、
(a)領域内のエネルギ分布が十分小さく、かつ平坦である。
(b)領域内の周波数成分がノイズ性である。
という2つの条件を満たす領域の平均エネルギレベルを量子化したインデックスを符号列に含める。
【0039】
なお、ある領域内の周波数分布が平坦であり、周波数成分の最大値fmaxと平均値faveとの比(fmax/fave)が3.0程度以下の場合に、その領域の周波数成分には周期性がなく、ノイズ性といえることが経験的に分かっている。
【0040】
図1の例では、(n−1)番フレーム、n番フレーム及び(n+1)番フレームについて、それぞれ高域の平坦な周波数のエネルギレベルに一致するような白色雑音レベルb(n−1)、b(n)、b(n+1)を検出し、それらをインデックス化して符号列に含める。
【0041】
一方、本実施の形態における音楽情報復号方法では、符号列に含まれた周波数成分をフレーム毎に時間軸上の信号に逆スペクトル変換して復号すると共に、インデックスが示すエネルギレベルの白色雑音を発生させる。
【0042】
この結果、図2に示すように、符号列に含まれた周波数成分の再生帯域はフレーム間で変動するものの、白色雑音によって擬似的に高域まで周波数を発生させることで、聴覚上の違和感を効果的に抑制することが可能となる。
【0043】
なお、符号化側で符号列に含めないと判定された周波数成分のエネルギレベルと、復号側で発生させた白色雑音のエネルギレベルにはギャップがあるが、聴覚上の違和感の主たる原因は、ある周波数帯域のエネルギが全くなくなってしまうことであるため、そのギャップが聴覚上悪影響を与えるようなことはない。
【0044】
以上のような処理を行う本実施の形態における音楽情報符号化装置の概略構成を図3に示す。図3に示すように、音楽情報符号化装置10において、時間周波数変換部11は、入力音楽信号S(t)をスペクトル信号F(f)に変換し、このスペクトル信号F(f)をビット配分周波数帯域決定部12に供給する。
【0045】
ビット配分周波数帯域決定部12は、スペクトル信号F(f)を分析し、ビット割当を行う周波数成分、すなわち最低符号化閾値a以上である周波数成分F(f0)と、ビット割当を行わない周波数成分F(f1)とに分割する。そして、ビット配分周波数帯域決定部12は、周波数成分F(f0)を正規化・量子化部13に供給し、周波数成分F(f1)を白色雑音レベル決定部14に供給する。
【0046】
正規化・量子化部13は、周波数成分F(f0)に対して正規化及び量子化を施し、生成された量子化値Fqを符号化部15に供給する。
【0047】
白色雑音レベル決定部14は、周波数成分F(f1)から白色雑音成分を分析し、上述した2つの条件を満たす領域の平均エネルギレベル、すなわち白色雑音レベルを量子化したインデックスiLを生成する。このインデックスiLを3ビットで表す場合、インデックスiLを生成するための白色雑音レベルテーブルは、例えば図4に示すようになる。この例では、白色雑音レベルが約8dBである場合、インデックスiLは3となる。
【0048】
また、白色雑音レベル決定部14は、復号側で白色雑音を発生させるために必要な乱数テーブルの開始インデックスiRTを指定するためのインデックスiRを生成する。このインデックスiRを3ビットで表す場合、インデックスiRを生成するための乱数インデックステーブルは、例えば図5に示すようになる。
【0049】
符号化部15は、正規化・量子化部13から供給された量子化値Fqと、白色雑音レベル決定部14から供給されたインデックスiL,iRとを符号化して符号列Cを生成し、記録・伝送部16は、この符号列Cを図示しない記録媒体に記録し、又はビットストリームBSとして伝送する。
【0050】
この音楽情報符号化装置10で生成される符号列Cの一例を図6に示す。図6に示すように、符号列Cは、ヘッダH、正規化情報SF、量子化精度情報WL、及び周波数情報SPの他に、白色雑音フラグFL及び白色雑音情報WNからなる。また、白色雑音情報WNは、インデックスiL及びインデックスiRからなる。ここで、白色雑音フラグFLが“1”の場合、白色雑音情報WNが符号列Cに含まれる。一方、白色雑音フラグFLが“0”の場合、白色雑音情報WNは符号列Cに含まれず、余ったビットは周波数成分F(f0)の符号化にまわされる。
【0051】
なお、白色雑音フラグFLを設けず、例えばフレーム内の全ての周波数成分が最低符号化閾値a以上である場合には、前フレームのインデックスiL,iRを符号列Cに含めるようにしても構わない。
【0052】
続いて、音楽情報符号化装置10に対応する音楽情報復号装置の概略構成を図7に示す。図7に示すように、音楽情報復号装置20において、受信・読込部21は、音楽信号符号化装置10から受信したビットストリームBS又は図示しない記録媒体から符号列Cを復元し、この符号列Cを復号部22に供給する。
【0053】
復号部22は、符号列Cを復号して量子化値FqとインデックスiL,iRとを生成し、量子化値Fqを逆量子化・逆正規化部23に供給すると共に、インデックスiL,iRを白色雑音発生部25に供給する。
【0054】
逆量子化・逆正規化部23は、量子化値Fqに逆量子化、逆正規化を施して周波数成分F(f0)を生成し、この周波数成分F(f0)を周波数時間変換部24に供給する。
【0055】
周波数時間変換部24は、この周波数成分F(f0)を時間軸上の音楽信号S(t)に変換し、この音楽信号S(t)を加算器26に供給する。
【0056】
白色雑音発生部25は、インデックスiL,iRから、以下の式(1)に従って周波数成分F(f1)に相当する時系列信号である白色雑音信号S(t)を発生し、この白色雑音信号S(t)を加算器26に供給する。
【0057】
【数1】
Figure 2004163696
【0058】
式(1)において、LEV(iL)は、インデックスiLを引数とする白色雑音レベルテーブルLEV()の値を示し、符号化側と共通の値である。また、RND(iRT+t)は、乱数インデックステーブルにおいてインデックスiRで指定される開始インデックスiRTに周波数成分番号tを加えた値を引数とする乱数テーブルRND()の値を示す。この乱数テーブルRND()の値は、例えば−1.0以上1.0以下に正規化されている。
【0059】
このように、符号列中のインデックスiRにより乱数テーブルの開始インデックスiRTを生成することで、毎回異なる白色雑音が生成されることを防止することができる。
【0060】
ここで、乱数テーブルRND()では、iRT+tの値が配列数Nrndを超える場合がある。このような場合には、例えばiRT+tから配列数Nrndを減算した値を乱数テーブルRND()の引数とする。つまりiRT+tの値は0以上Nrnd以下としなければならない。
【0061】
なお、本実施の形態では、符号列中のインデックスiRにより乱数テーブルの開始インデックスiRTを生成するものとしたが、これに限定されるものではなく、符号化側でインデックスiRを生成せず、符号列中の所定の値、例えば1フレーム分の正規化情報SF又は量子化精度情報WLを全て加算した値に基づいて開始インデックスiRTを生成するようにしても構わない。この場合にも、毎回異なる白色雑音が生成されることを防止することができる。
【0062】
また、毎回異なる白色雑音が生成されることを許容する場合には、復号側で乱数を発生させて開始インデックスiRTを生成するようにしても構わない。
【0063】
加算器26は、周波数時間変換部24から供給された音楽信号S(t)と白色雑音発生部25から供給された白色雑音信号S(t)とを時系列上で加算し、出力音楽信号S(t)として出力する。
【0064】
なお、周波数成分F(f0)と白色雑音信号S(t)に相当する周波数成分Fwとを周波数軸上で加算した後、周波数時間変換を施して出力音楽信号S(t)を生成することも考えられるが、この場合、例えば特開平7−221648号公報や特開平7−221649号公報等に記載されているようなプリエコー発生等を防止する利得制御・補償手法と組み合わせた際に問題が発生する。すなわち、周波数軸上で白色雑音に相当する周波数成分Fwを加算したとしても、その後に利得補償回路で時間軸上での利得が変化するため、白色雑音信号が生成できないという問題が発生する。このため、本実施の形態では、白色雑音は時間軸上にて生成するものとする。
【0065】
以上のように、本実施の形態における音楽信号符号化装置及び音楽情報復号装置によれば、白色雑音成分を含む入力音楽情報を符号化する際に、符号化側において白色雑音全ての周波数成分を符号化するのではなく、白色雑音レベルのインデックスiLや乱数インデックステーブルのインデックスiRを符号列Cに含め、復号側において入力音楽信号の白色雑音と同等のレベルをもつ白色雑音を発生させることで、効率的な符号化を可能にすると共に、フレーム間での再生帯域の変動による雑音の発生を防止することが可能となる。
【0066】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【0067】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【0068】
また、上述の実施の形態では、フレーム毎の音楽信号に白色雑音が含まれる場合について説明したが、本発明は、1フレーム全体が白色雑音のみの場合にも適用可能である。この場合には、各フレームの周波数成分を分析し、
(C)全帯域のエネルギの分散が小さい(±6dB程度)。
(D)全帯域の周波数成分がノイズ性である。
という2つの条件を満たすフレームの平均エネルギレベルを量子化したインデックスiLや乱数インデックステーブルのインデックスiRを符号列に含めるようにする。
【0069】
また、白色雑音を「周波数成分」+「白色雑音レベルのインデックスiL及び乱数インデックステーブルのインデックスiR」の和として表現することも可能である。すなわち、エネルギの大きい周波数成分からビット割当を行うことで最低限必要とされる波形再現性を保証し、エネルギの小さい周波数成分は白色雑音レベルのインデックスiLと乱数インデックステーブルのインデックスiRとで置き換えることも可能である。これにより、波形再現性と符号化効率の向上とを両立させることができる。この際、ビットレートに十分な余裕があり波形再現性も必要であれば「周波数成分」に重点的にビットを配分し、ビットレートが非常に低い場合には「白色雑音レベルのインデックスiL及び乱数インデックステーブルのインデックスiR」を用いて低レート符号化を実現する、という切り替えを行うようにしても構わない。
【0070】
【発明の効果】
以上詳細に説明したように本発明に係る音楽情報符号化装置及びその方法は、時間軸上の音楽信号を所定の時間区間毎にブロック化し、ブロック毎に周波数変換して符号化する際に、音楽信号中の白色雑音成分を分析し、分析した白色雑音成分のエネルギレベルを表すインデックスを符号化する。
【0071】
また、本発明に係る記録媒体は、時間軸上の音楽信号を所定の時間区間毎にブロック化し、ブロック毎に周波数変換して符号化すると共に、上記音楽信号中の白色雑音成分を分析し、該白色雑音成分のエネルギレベルを表すインデックスを符号化して生成された符号列が記録されたものである。
【0072】
また、本発明に係る音楽情報復号装置及びその方法は、符号化された周波数信号を復号し、逆周波数変換して時間軸上の音楽信号を生成する際に、符号化された白色雑音成分のエネルギレベルを表すインデックスに基づいて、時間軸上の白色雑音成分を生成し、逆周波数変換して得られる時間軸上の音楽信号と時間軸上の白色雑音成分とを加算する。
【0073】
このような音楽情報符号化装置及びその方法、並びに音楽情報復号装置及びその方法によれば、白色雑音成分を含む音楽信号を符号化する際に、符号化側において白色雑音成分のエネルギレベルのインデックスを符号列に含め、復号側においてその白色雑音と同等のレベルをもつ白色雑音を発生させ、復号した音楽信号と時間軸上で加算することにより、効率的な符号化を実現すると共に、ブロック間での再生帯域の変動による雑音の発生を防止することができる。
【0074】
また、本発明に係るプログラムは、上述した音楽情報符号化処理又は音楽情報復号処理をコンピュータに実行させるものである。
【0075】
このようなプログラムによれば、上述した音楽情報符号化処理及び音楽情報復号処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図1】符号化側における各フレームの最低符号化閾値及び白色雑音レベルの一例を示す図である。
【図2】復号側で生成される白色雑音の一例を示す図である。
【図3】本実施の形態における音楽情報符号化装置の概略構成を説明する図である。
【図4】インデックスiLを生成するための白色雑音レベルテーブルの一例を示す図である。
【図5】インデックスiRを生成するための乱数インデックステーブルの一例を示す図である。
【図6】同音楽情報符号化装置で生成される符号列の一例を示す図である。
【図7】本実施の形態における音楽情報復号装置の概略構成を説明する図である。
【図8】従来の符号化装置の概略構成を説明する図である。
【図9】同符号化装置せ生成される符号列の一例を示す図である。
【図10】従来の復号装置の概略構成を説明する図である。
【図11】同符号化装置において、最低可聴レベル未満の周波数成分に対してビット割当を行わない場合の例を示す図である。
【図12】同符号化装置において、最低符号化閾値未満の周波数成分に対してビット割当を行わない場合の例を示す図である。
【符号の説明】
10 音楽情報符号化装置、11 時間周波数変換部、12 ビット配分周波数帯域決定部、13 正規化・量子化部、14 白色雑音レベル決定部、15 符号化部、16 記録・伝送部、20 音楽情報復号装置、21 受信・読込部、22 復号部、23 逆量子化・逆正規化部、24 周波数時間変換部、25白色雑音発生部、26 加算器

Claims (18)

  1. 時間軸上の音楽信号を所定の時間区間毎にブロック化し、ブロック毎に周波数変換して符号化する音楽情報符号化装置において、
    上記音楽信号中の白色雑音成分を分析する白色雑音分析手段と、
    上記白色雑音分析手段によって分析した上記白色雑音成分のエネルギレベルを表すインデックスを符号化する白色雑音符号化手段と
    を備えることを特徴とする音楽情報符号化装置。
  2. 上記白色雑音分析手段は、上記ブロック内の高域側のエネルギ分布に基づいて上記白色雑音成分を分析することを特徴とする請求項1記載の音楽情報符号化装置。
  3. 上記白色雑音分析手段は、上記ブロック全体のエネルギ分布に基づいて上記白色雑音成分を分析することを特徴とする請求項1記載の音楽情報符号化装置。
  4. 上記白色雑音符号化手段は、復号側で白色雑音成分を生成するために用いる乱数テーブルのインデックスをさらに符号化することを特徴とする請求項1記載の音楽情報符号化装置。
  5. 上記時間軸上の音楽信号の利得を制御する利得制御手段をさらに備えることを特徴とする請求項1記載の音楽情報符号化装置。
  6. 時間軸上の音楽信号を所定の時間区間毎にブロック化し、ブロック毎に周波数変換して符号化する音楽情報符号化方法において、
    上記音楽信号中の白色雑音成分を分析する白色雑音分析工程と、
    上記白色雑音分析工程にて分析した上記白色雑音成分のエネルギレベルを表すインデックスを符号化する白色雑音符号化工程と
    を有することを特徴とする音楽情報符号化方法。
  7. 上記白色雑音符号化工程では、復号側で白色雑音成分を生成するために用いる乱数テーブルのインデックスがさらに符号化されることを特徴とする請求項6記載の音楽情報符号化方法。
  8. 時間軸上の音楽信号を所定の時間区間毎にブロック化し、ブロック毎に周波数変換して符号化する音楽情報符号化処理をコンピュータに実行させるプログラムにおいて、
    上記音楽信号中の白色雑音成分を分析する白色雑音分析工程と、
    上記白色雑音分析工程にて分析した上記白色雑音成分のエネルギレベルを表すインデックスを符号化する白色雑音符号化工程と
    を有することを特徴とするプログラム。
  9. 上記白色雑音符号化工程では、復号側で白色雑音成分を生成するために用いる乱数テーブルのインデックスがさらに符号化されることを特徴とする請求項8記載のプログラム。
  10. 時間軸上の音楽信号を所定の時間区間毎にブロック化し、ブロック毎に周波数変換して符号化すると共に、上記音楽信号中の白色雑音成分を分析し、該白色雑音成分のエネルギレベルを表すインデックスを符号化して生成された符号列が記録されたことを特徴とする記録媒体。
  11. 上記符号列には、復号側で白色雑音成分を生成するために用いる乱数テーブルのインデックスがさらに符号化されて含まれていることを特徴とする請求項10記載の記録媒体。
  12. 符号化された周波数信号を復号し、逆周波数変換して時間軸上の音楽信号を生成する音楽情報復号装置において、
    符号化された白色雑音成分のエネルギレベルを表すインデックスに基づいて、時間軸上の白色雑音成分を生成する白色雑音生成手段と、
    上記逆周波数変換して得られる上記時間軸上の音楽信号と上記時間軸上の白色雑音成分とを加算する加算手段と
    を備えることを特徴とする音楽情報復号装置。
  13. 上記白色雑音生成手段は、符号化された乱数テーブルのインデックスに基づいて上記白色雑音成分を生成することを特徴とする請求項12記載の音楽情報復号装置。
  14. 上記白色雑音生成手段は、符号列中の所定の値に基づいて上記白色雑音成分を生成することを特徴とする請求項12記載の音楽情報復号装置。
  15. 上記所定の値は、正規化情報又は量子化精度情報であることを特徴とする請求項14記載の音楽情報復号装置。
  16. 上記逆周波数変換して得られる上記時間軸上の音楽信号の利得の補償を行う利得補償手段をさらに備え、
    上記加算手段は、利得補償後の上記時間軸上の音楽信号と上記時間軸上の白色雑音成分とを加算すること
    を特徴とする請求項12記載の音楽情報復号装置。
  17. 符号化された周波数信号を復号し、逆周波数変換して時間軸上の音楽信号を生成する音楽情報復号方法において、
    符号化された白色雑音成分のエネルギレベルを表すインデックスに基づいて、時間軸上の白色雑音成分を生成する白色雑音生成工程と、
    上記逆周波数変換して得られる上記時間軸上の音楽信号と上記時間軸上の白色雑音成分とを加算する加算工程と
    を有することを特徴とする音楽情報復号方法。
  18. 符号化された周波数信号を復号し、逆周波数変換して時間軸上の音楽信号を生成する音楽情報復号処理をコンピュータに実行させるプログラムにおいて、
    符号化された白色雑音成分のエネルギレベルを表すインデックスに基づいて、時間軸上の白色雑音成分を生成する白色雑音生成工程と、
    上記逆周波数変換して得られる上記時間軸上の音楽信号と上記時間軸上の白色雑音成分とを加算する加算工程と
    を有することを特徴とするプログラム。
JP2002330024A 2002-11-13 2002-11-13 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体 Expired - Fee Related JP4657570B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2002330024A JP4657570B2 (ja) 2002-11-13 2002-11-13 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体
US10/534,175 US7583804B2 (en) 2002-11-13 2003-10-10 Music information encoding/decoding device and method
EP03754092A EP1564724A4 (en) 2002-11-13 2003-10-10 DEVICE AND METHOD FOR MUSIC INFORMATION CODING AND MUSIC INFORMATION DECODING
CN200380102961A CN100592388C (zh) 2002-11-13 2003-10-10 音乐信息编码设备及方法和音乐信息解码设备及方法
KR1020057007168A KR20050074501A (ko) 2002-11-13 2003-10-10 음악 정보 부호화 장치 및 방법, 음악 정보 복호 장치 및방법
PCT/JP2003/013084 WO2004044891A1 (ja) 2002-11-13 2003-10-10 音楽情報符号化装置及び方法、並びに音楽情報復号装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002330024A JP4657570B2 (ja) 2002-11-13 2002-11-13 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2004163696A true JP2004163696A (ja) 2004-06-10
JP4657570B2 JP4657570B2 (ja) 2011-03-23

Family

ID=32310587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002330024A Expired - Fee Related JP4657570B2 (ja) 2002-11-13 2002-11-13 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体

Country Status (6)

Country Link
US (1) US7583804B2 (ja)
EP (1) EP1564724A4 (ja)
JP (1) JP4657570B2 (ja)
KR (1) KR20050074501A (ja)
CN (1) CN100592388C (ja)
WO (1) WO2004044891A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270375A (ja) * 2005-03-23 2006-10-05 Fuji Xerox Co Ltd 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
KR100884225B1 (ko) 2001-10-26 2009-02-17 모토로라 인코포레이티드 임베딩된 디바이스들에서의 타악기 소리 발생
WO2009087923A1 (ja) * 2008-01-11 2009-07-16 Nec Corporation 信号分析制御、信号分析、信号制御のシステム、装置、方法及びプログラム
JP2013539068A (ja) * 2010-08-17 2013-10-17 クゥアルコム・インコーポレイテッド ノイズ注入のためのシステム、方法、装置、および、コンピュータ読取可能媒体
US8665914B2 (en) 2008-03-14 2014-03-04 Nec Corporation Signal analysis/control system and method, signal control apparatus and method, and program
US8924222B2 (en) 2010-07-30 2014-12-30 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coding of harmonic signals
JP5773124B2 (ja) * 2008-04-21 2015-09-02 日本電気株式会社 信号分析制御及び信号制御のシステム、装置、方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411900B1 (ko) * 2007-05-08 2014-06-26 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 장치
JP5609737B2 (ja) * 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US9008811B2 (en) 2010-09-17 2015-04-14 Xiph.org Foundation Methods and systems for adaptive time-frequency resolution in digital data coding
US9015042B2 (en) * 2011-03-07 2015-04-21 Xiph.org Foundation Methods and systems for avoiding partial collapse in multi-block audio coding
WO2012122303A1 (en) 2011-03-07 2012-09-13 Xiph. Org Method and system for two-step spreading for tonal artifact avoidance in audio coding
US9009036B2 (en) 2011-03-07 2015-04-14 Xiph.org Foundation Methods and systems for bit allocation and partitioning in gain-shape vector quantization for audio coding
US9626772B2 (en) * 2012-01-18 2017-04-18 V-Nova International Limited Distinct encoding and decoding of stable information and transient/stochastic information
US9640190B2 (en) * 2012-08-29 2017-05-02 Nippon Telegraph And Telephone Corporation Decoding method, decoding apparatus, program, and recording medium therefor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2581696B2 (ja) 1987-07-23 1997-02-12 沖電気工業株式会社 音声分析合成器
JPS6428700U (ja) 1987-08-12 1989-02-20
US5115240A (en) * 1989-09-26 1992-05-19 Sony Corporation Method and apparatus for encoding voice signals divided into a plurality of frequency bands
JP3133353B2 (ja) 1991-02-13 2001-02-05 日本電気株式会社 音声符号化装置
US5692102A (en) 1995-10-26 1997-11-25 Motorola, Inc. Method device and system for an efficient noise injection process for low bitrate audio compression
JP3519859B2 (ja) 1996-03-26 2004-04-19 三菱電機株式会社 符号器及び復号器
JP3318825B2 (ja) 1996-08-20 2002-08-26 ソニー株式会社 デジタル信号符号化処理方法、デジタル信号符号化処理装置、デジタル信号記録方法、デジタル信号記録装置、記録媒体、デジタル信号伝送方法及びデジタル信号伝送装置
DE19730130C2 (de) 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
US6779015B1 (en) * 2000-06-22 2004-08-17 Sony Corporation Method for implementation of power calculation on a fixed-point processor using table lookup and linear approximation
JP3508850B2 (ja) 2000-08-11 2004-03-22 株式会社ケンウッド 疑似背景雑音生成方法
DE60233032D1 (de) * 2001-03-02 2009-09-03 Panasonic Corp Audio-kodierer und audio-dekodierer
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100884225B1 (ko) 2001-10-26 2009-02-17 모토로라 인코포레이티드 임베딩된 디바이스들에서의 타악기 소리 발생
JP2006270375A (ja) * 2005-03-23 2006-10-05 Fuji Xerox Co Ltd 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
US8014617B2 (en) 2005-03-23 2011-09-06 Fuji Xerox Co., Ltd. Decoding apparatus, dequantizing method, distribution determining method, and program thereof
US8355586B2 (en) 2005-03-23 2013-01-15 Fuji Xerox Co., Ltd. Decoding apparatus, dequantizing method, distribution determining method, and program thereof
WO2009087923A1 (ja) * 2008-01-11 2009-07-16 Nec Corporation 信号分析制御、信号分析、信号制御のシステム、装置、方法及びプログラム
JPWO2009087923A1 (ja) * 2008-01-11 2011-05-26 日本電気株式会社 信号分析制御、信号分析、信号制御のシステム、装置、方法及びプログラム
JP5668923B2 (ja) * 2008-03-14 2015-02-12 日本電気株式会社 信号分析制御システム及びその方法と、信号制御装置及びその方法と、プログラム
US8665914B2 (en) 2008-03-14 2014-03-04 Nec Corporation Signal analysis/control system and method, signal control apparatus and method, and program
JP5773124B2 (ja) * 2008-04-21 2015-09-02 日本電気株式会社 信号分析制御及び信号制御のシステム、装置、方法及びプログラム
US8924222B2 (en) 2010-07-30 2014-12-30 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coding of harmonic signals
US9236063B2 (en) 2010-07-30 2016-01-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dynamic bit allocation
JP2013539068A (ja) * 2010-08-17 2013-10-17 クゥアルコム・インコーポレイテッド ノイズ注入のためのシステム、方法、装置、および、コンピュータ読取可能媒体
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection

Also Published As

Publication number Publication date
EP1564724A1 (en) 2005-08-17
US20060153402A1 (en) 2006-07-13
CN100592388C (zh) 2010-02-24
CN1711588A (zh) 2005-12-21
JP4657570B2 (ja) 2011-03-23
US7583804B2 (en) 2009-09-01
WO2004044891A1 (ja) 2004-05-27
KR20050074501A (ko) 2005-07-18
EP1564724A4 (en) 2007-08-29

Similar Documents

Publication Publication Date Title
US7050972B2 (en) Enhancing the performance of coding systems that use high frequency reconstruction methods
JP6531649B2 (ja) 符号化装置および方法、復号化装置および方法、並びにプログラム
JP3881943B2 (ja) 音響符号化装置及び音響符号化方法
KR100986924B1 (ko) 정보 신호 인코딩
US7277849B2 (en) Efficiency improvements in scalable audio coding
JP4168976B2 (ja) オーディオ信号符号化装置及び方法
KR101162275B1 (ko) 오디오 신호 처리 방법 및 장치
JP5175028B2 (ja) デジタル信号の符号化方法及び装置ならびに復号化方法及び装置
JP4296752B2 (ja) 符号化方法及び装置、復号方法及び装置、並びにプログラム
JP4657570B2 (ja) 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体
JP2009530685A (ja) Mdct係数を使用する音声後処理
KR20010021226A (ko) 디지털 음향 신호 부호화 장치, 디지털 음향 신호 부호화방법 및 디지털 음향 신호 부호화 프로그램을 기록한 매체
JP4628861B2 (ja) 複数のルックアップテーブルを利用したデジタル信号の符号化方法、デジタル信号の符号化装置及び複数のルックアップテーブル生成方法
US20110015933A1 (en) Signal encoding apparatus, signal decoding apparatus, signal processing system, signal encoding process method, signal decoding process method, and program
JP2001343997A (ja) デジタル音響信号符号化装置、方法及び記録媒体
JP4603485B2 (ja) 音声・楽音符号化装置及び音声・楽音符号化方法
JP3519859B2 (ja) 符号器及び復号器
JP3923783B2 (ja) 符号化装置及び復号化装置
JP3344944B2 (ja) オーディオ信号符号化装置,オーディオ信号復号化装置,オーディオ信号符号化方法,及びオーディオ信号復号化方法
US20080228500A1 (en) Method and apparatus for encoding/decoding audio signal containing noise at low bit rate
JP4317355B2 (ja) 符号化装置、符号化方法、復号化装置、復号化方法および音響データ配信システム
JP3437421B2 (ja) 楽音符号化装置及び楽音符号化方法並びに楽音符号化プログラムを記録した記録媒体
JP2006047561A (ja) オーディオ信号符号化装置およびオーディオ信号復号化装置
US20130197919A1 (en) "method and device for determining a number of bits for encoding an audio signal"
JP4573670B2 (ja) 符号化装置、符号化方法、復号化装置及び復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090525

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090601

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4657570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees