JP2006153908A - 音声データエンコード装置および音声データデコード装置 - Google Patents

音声データエンコード装置および音声データデコード装置 Download PDF

Info

Publication number
JP2006153908A
JP2006153908A JP2004339955A JP2004339955A JP2006153908A JP 2006153908 A JP2006153908 A JP 2006153908A JP 2004339955 A JP2004339955 A JP 2004339955A JP 2004339955 A JP2004339955 A JP 2004339955A JP 2006153908 A JP2006153908 A JP 2006153908A
Authority
JP
Japan
Prior art keywords
audio data
encoding
audio
loop
end position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004339955A
Other languages
English (en)
Other versions
JP4256332B2 (ja
Inventor
Hiromitsu Matsuura
弘充 松浦
Takehiro Tominaga
丈博 冨永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2004339955A priority Critical patent/JP4256332B2/ja
Priority to US11/284,426 priority patent/US7479594B2/en
Publication of JP2006153908A publication Critical patent/JP2006153908A/ja
Application granted granted Critical
Publication of JP4256332B2 publication Critical patent/JP4256332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/571Waveform compression, adapted for music synthesisers, sound banks or wavetables
    • G10H2250/575Adaptive MDCT-based compression, e.g. using a hybrid subband-MDCT, as in ATRAC
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/641Waveform sampler, i.e. music samplers; Sampled music loop processing, wherein a loop is a sample of a performance that has been edited to repeat seamlessly without clicks or artifacts

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 ループ部分を含む音声データの再生時における音質を向上させる。
【解決手段】
音声データエンコード装置は、連続する複数のブロックを組としてエンコードを行なう。音声スタート位置がループスタート位置の場合は、音声スタート位置前のサンプルとして、音声スタート位置の音声データと楽曲上つながりのある音声データ(例えば、ループエンドの直前の音声データ)のサンプルを用いてエンコードを行う。音声エンド位置がループエンド位置の場合は、音声エンド位置後のサンプルとして、音声エンド位置の音声データと楽曲上つながりのある音声データ(例えば、ループスタートの直後の音声データ)のサンプル用いてエンコードを行う。
【選択図】 図1

Description

本発明は、音声データの記録および再生に係り、特に、ループ部分を含む音声データの再生時の処理負荷を軽減する記録および再生技術に関する。
パーソナルコンピュータ、ゲーム機、音楽再生装置等のデジタル音声データ再生機能を備えた情報処理装置では、符号化された音声データを再生時にアナログ音声データに変換して音声出力を行なうことが行なわれている。
符号化された音声データは、音楽用CDのように非圧縮のものもあるが、多くは、圧縮された状態で読み出され、再生時に伸長して音声出力される。
音声圧縮方式としては、種々の方式が提案され実用化されているが、時系列に並んだサンプルデータを複数のブロックに分割し、直交変換、例えば、DCT(Discrete Cosine Transform)、MDCT(Modified Discrete Cosine Transform)を施して圧縮を行なう方式が広く知られている。このとき、音声波形の連続性を高めるため、隣り合う複数のブロックを組みにして、ブロックをオーバラップさせながら順次圧縮することが行なわれている。このような圧縮方式の代表的なものとして、いわゆるミニディスク(MD)等で採用されているATRAC(Adaptive TRans form Acoustic Coding)が挙げられる(特許文献1参照)。
図3は、ブロック単位で音声データの圧縮を行なう様子を示す図である。本図では、時系列に並んだサンプルデータが所定個数毎に区切られてブロック(オリジナルブロック)「A」「B」「C」「D」「E」…が生成されている。
そして、連続する2つのブロックを組として、ブロックをオーバラップさせながら圧縮処理を行ない、エンコードブロックが生成される。なお、音声データのスタート位置(DS)の前には音声データがなく、ブロック「A」と組となるブロックがない。そこで、ブロック「A」と組を作るために、無音データ等のダミーデータで構成されるブロック「A0」が付加される。同様に、音声データのエンド位置(不図示)の後ろには音声データがなく、最後のブロックと組となるブロックがない。そこで、最後のブロックと組を作るために、音声データの最後尾に無音データ等のダミーデータで構成されるブロックが付加される。
そして、ここでは、オリジナルブロック「A0」「A」からエンコードブロック「X1」が生成され、オリジナルブロック「A」「B」からエンコードブロック「X2」が生成される。
音声データの再生時には、エンコードブロック「X1」「X2」からデコードブロック「a」が生成される。そして、デコードブロック「a」のサンプルをD/A変換して音声を再生することができる。以下同様にして、デコードブロック「b」「c」…を得ることができるため、音声が連続的に再生される。なお、図3の(d)は、エンコード時およびデコード時にオーディオコーデックディレイが発生する場合のデコードブロックの様子を示している。図示するように、オーディオコーデックディレイ分、デコードされたデータの出力位置がずれている。
特開平8−287612号公報
ところで、音声データにループ部分(リピート部分)が含まれている場合がある。例えば、図3の(a)に示すように、サンプルデータの所定の位置(LS)から所定の位置(LE)までの音声を、ある条件が満たされるまで繰り返すような場合である。ここでは、ループのスタート位置であるLSがオリジナルブロック「A」に含まれ、ループのエンド位置であるLEがオリジナルブロック「D」に含まれているものとする。
この場合、再生時には、図4に示すように、デコードブロック「d」のLEに対応する位置まで再生を行なうと、続けて、デコードブロック「a」のLSに対応する位置から再生を行なうことになる。なお、図4は、エンコード時およびデコード時にオーディオコーデックディレイが発生する場合のデコードブロックの様子を示している。図示するように、オーディオコーデックディレイ分、データの出力が後方にずれている。
従来、以上のようにして、ループ部分を含む音声データを再生していたが、このような方法では、ループ部分において音声が乱れることがあった。
そこで、本発明は、ループ部分を含む音声データの再生時における音質向上を目的とする。
上記課題を解決すべく、本発明の第1の態様によれば、
音声データをエンコードする音声データエンコード装置であって、
音声データをブロックに分割するブロック分割手段と、
連続する複数のブロックを組としてエンコードを行なうエンコード手段とを有し、
前記エンコード手段は、
ループスタート位置とループエンド位置とが指定され、前記ループスタート位置が音声スタート位置である音声データの場合、
音声スタート位置前の音声データのサンプルとして、ループエンド位置直前の音声データのサンプルを用いてエンコードを行う
ことを特徴とする音声データエンコード装置が提供される。
また、本発明の第2の態様によれば、
音声データをエンコードする音声データエンコード装置であって、
音声データをブロックに分割するブロック分割手段と、
連続する複数のブロックを組としてエンコードを行なうエンコード手段とを有し、
前記エンコード手段は、
ループスタート位置とループエンド位置とが指定され、前記ループエンド位置が音声エンド位置である音声データの場合、
音声エンド位置後の音声データのサンプルとして、ループスタート位置直後の音声データのサンプルを用いてエンコードを行うことを特徴とする音声データエンコード装置が提供される。
また、本発明の第3の態様によれば、
音声データをエンコードする音声データエンコード装置であって、
音声データをブロックに分割するブロック分割手段と、
連続する複数のブロックを組としてエンコードを行なうエンコード手段とを有し、
前記エンコード手段は、
音声スタート位置と音声エンド位置との間でループ部分が構成される音声データの場合、
音声スタート位置前の音声データのサンプルとして、音声エンド位置直前の音声データのサンプルを用いてエンコードを行い、
音声エンド位置後の音声データのサンプルとして、音声スタート位置直後の音声データのサンプルを用いてエンコードを行う
ことを特徴とする音声データエンコード装置が提供される。
また、本発明の第4の態様によれば、前記音声データエンコード装置によりエンコードされたエンコード音声データを順次読み込み、連続する複数のブロックを組としてデコードを行なうことを特徴とする音声データデコード装置が提供される。
また、前記音声データデコード装置は、デコードされたデータを出力する際、ループスタート位置を含むブロックにおいて、ルーブスタート位置より前のデータの出力をカットしたり、ループエンド位置を含むブロックにおいてループエンド位置より後ろのデータの出力をカットしなくてもよい。
また、前記音声データデコード装置は、ループスタート位置と音声スタート位置が一致する場合には、ループスタート位置を含むブロックのデコードを行った際、ループスタート位置の前に、ループエンド位置以前のデータに対応するデータを出力することがある。
また、ループエンド位置と音声エンド位置が一致する場合には、ループエンド位置を含むブロックのデコードを行った際、ループエンド位置の後に、ループスタート位置以降のデータに対応するデータを出力することがある。したがって、ループ再生時には、これらのデータを、ルーブスタート以降のデータ、ルーブエンド以前のデータとして出力することも可能である。例えば、ループエンド位置を含むブロックのデコードを行った際に、ルーブエンド位置の後に続くループスタート位置以降のデータに対応するデータを出力することができる。そうすることにより、ループエンド位置を含むブロックでの出力サンプル数が増え、次のブロックのデコードの出力が必要になるまでの時間を増やすことが可能になる。





















本発明の実施の形態について図面を参照して説明する。図1は、本発明の実施形態の構成の概要を示す図である。本図に示すように、本実施形態は、音声データエンコード装置100がエンコードした音声データを、音声データ再生装置200がデコードして再生する処理を行なう。
具体的には、音声データエンコード装置100は、記録対象の音声データ11を読み込み、エンコード処理部110を用いて圧縮等の処理を施して、エンコードデータ20に変換する。ここで、音声データ11は、あらかじめ所定のレートでサンプリングされているものとする。もちろん、アナログ音声データとして音声データエンコード装置100に入力し、音声データエンコード装置100においてA/D変換するようにしてもよい。
本実施形態において、音声データ11は、ループ部分を含んでおり、あらかじめループスタート位置とループエンド位置が指定されている。ループスタート位置とループエンド位置とは、例えば、音声データ11におけるアドレスあるいはサンプル番号等で示されており、ループ情報12として音声データ11とともに読み込まれる。なお、ループ情報12は、音声データ11のヘッダ部分等に付加するようにしてもよいし、音声データ11とは別個に存在するようにしてもよい。
ループ部分は、音声データ再生装置200での音声データ11の再生時において、ある条件にしたがってループの有無が判断される。
ループ有無の判断の結果、ループを行なうと判断された場合には、ループ情報12にしたがってループを行なう。すなわち、ループエンド位置まで再生するとループスタート位置まで戻って再生を続ける。一方、ループを行なわないと判断された場合には、ループ情報12に関わらず、ループは行なわない。すなわち、ループエンド位置まで再生すると、それ以降の音声データ11の再生を続ける。
音声データ11のどの範囲についてループ部分とするかは、音声データ11の内容に基づいて、開発者が任意に定めることができる。
音声データエンコード装置100のエンコード処理部110は、音声データ11を複数のブロックに分割して、連続する所定数のブロックを一単位として、MDCT(Modified Discrete Cosine Transform)を用いたエンコードを行ない、ブロックをオーバラップさせ、順次エンコードデータを生成する。なお、エンコード処理部110の具体的な処理については、後述する。
エンコードデータ20は、音声データ11のループ処理を制御する制御用プログラム30とともにCD−ROM等の記録媒体300に記録される。記録媒体300への記録処理は、音声データエンコード装置100で行なうようにしてもよいし、他の装置で行なうようにしてもよい。
なお、エンコードデータ20と制御用プログラム30とは、別々の記録媒体300に記録するようにしてもよい。また、記録媒体300は、CD−ROMに限られず、DVD−ROM等の光ディスク、磁気ディスク、半導体記録装置等であってもよい。あるいは、インターネット等の通信回線を介して音声データエンコード装置100から音声データ再生装置200にエンコードデータ20を出力するようにしてもよい。
制御用プログラム30は、音声データ再生装置200で実行されるプログラムである。音声データ再生装置200は、制御用プログラム30に基づいて、例えば、ユーザからの操作に応じて、エンコードデータ20の再生方法を決定する。具体的な例としては、ユーザからキー入力等の所定の操作を受け付けるまで、ループ部分を繰り返し再生し、所定の操作を受け付けると、ループ再生を終了し、ループ部分以降のデータを再生することが挙げられる。
音声データ再生装置200は、制御用プログラム30等を実行するプログラム実行部210と、エンコードデータ20のデコードを行なうデコード処理部220と、デコードされた音声データをスピーカを通じて音声出力する再生処理部230とを備えている。これにより、音声データ再生装置200は、エンコードデータ20をほぼリアルタイムでデコードし、再生することができる。デコード処理部220の具体的な処理については後述する。
なお、音声データエンコード装置100は、音声処理機能を備えたパーソナルコンピュータ、ワークステーション、その他の一般的な情報処理装置を用いて構成することができる。もちろん、音声データ記録に特化した専用のシステムを用いて構成するようにしてもよい。
音声データ再生装置200も、音声処理機能を備えたパーソナルコンピュータ、ワークステーション、その他の一般的な情報処理装置を用いて構成することができる。もちろん、音声データ再生に特化した専用のシステムを用いて構成するようにしてもよい。
なお、本発明は、音声データ再生装置200として、PDA(Personal Digital Assistant)、携帯型ゲーム機、ポータブル音楽再生装置のように携帯性が重視され、処理速度に制約のある情報処理装置を用いた場合に特に効果的に適用することができる。
情報処理装置は、音声データ記録用あるいは音声データ再生用に開発されたアプリケーションプログラムを中央処理装置(CPU)が実行することにより、音声データエンコード装置100あるいは音声データ再生装置200として機能することができる。これらのアプリケーションプログラムは、CD−ROM等の記録媒体に記録させることで市場に流通させることができる。また、インターネット等のコンピュータネットワークを介して流通させることもできる。
つぎに、音声データエンコード装置100における音声データのエンコード処理について図2のフロー図を参照して説明する。
まず、音声データエンコード装置100は、オリジナルデータとして、音声データ11とループ情報12とを読み込む(S101)。ここで、音声データ11は、図3(a)に示すように、サンプルデータが時系列に並んだものであり、ループ情報12によりループスタート(LS)位置と、ループエンド(LE)位置とが指定されている。
つぎに、エンコード処理部110は、音声データ11をブロックに分割する(S102)。
従来、図3の(b)に示すように、音声データスタート位置(DS)から、順番に音声データ11をブロックに分割していた。そのため、図4に示すように、デコードデータのループエンド位置を含むブロック「d」において、ループエンド位置がブロックの最終部分(例えば、最後)にくるとは限らなかった。
これに対して、本実施形態では、図5の(b)に示すように、音声データの先頭に入力遅延用ダミーデータを付加して分割する。そして、図7に示すように、デコードデータのループエンド位置を含むブロック「d」において、ループエンド位置がブロックの最終部分(例えば最後)にくるようにする。
具体的には、エンコード処理部110は、図3(b)に示すように、従来通り、音声データ11を、先頭から所定のサンプル数毎に仮に分割する。このように分割された音声データ11が、エンコードされ、さらにデコードされると、図4に示すようなデコードデータのブロックとなる。ここで、エンコード処理部110は、ループエンド位置を含むブロック「d」について、ループエンド位置からブロックの最後までのサンプル数を求める。そして、このサンプル数を、入力遅延用ダミーデータサンプル数とする。
次に、図5(b)に示すように、求めた入力遅延用ダミーデータサンプル数のダミーデータ(例えば、無音データ)を音声データ11の先頭に付加する。
ここで、1ブロックのサンプル数がLである場合について説明する。オリジナルの音声データを、先頭から分割した場合、ループエンド位置がX(1≦X≦L)番目であったとする。かかる場合、デコードデータのブロックにおいて、ループエンド位置を、L番目(ブロックの最後)にするために、付加すべき入力遅延用ダミーデータのサンプル数は、
L−X である。
ただし、オーディオコーデックディレイが発生する場合、エンコードディレイ分のサンプル数をED、デコードディレイ分のサンプル数をDDとすると、付加すべき入力遅延用ダミーデータのサンプル数は、
L−1−(X−1+ED+DD)%L(%は剰余算を表す。)である。
なお、オーディオコーデックディレイ(ED及びDD)のサンプル数は、音声データエンコード装置100の記憶装置に予め記憶されている。
つぎに、エンコード処理部110は、音声データ11の先頭に、エンコード時に、ブロック「A」と組を作るためのブロック「A0」を付加する。ブロック「A0」は、1ブロック分のダミーデータ(以下、「先頭ブロック用ダミーデータ」という)で構成されている。この先頭ブロック用ダミーデータは、無音データ等である。
図5(b)では、音声データ11に、入力遅延用ダミーデータ及び先頭ブロック用ダミーデータが付加された後、ブロック(オリジナルブロック)に分割された様子を示している。ここでは、音声データ11のスタート位置(DS)はオリジナルブロック「A」に含まれている。ループスタート位置はオリジナルブロック「B」に含まれている。ループエンド位置はオリジナルブロック「D」に含まれている。
なお、ここでは、各ブロックのサンプル数は一定とするが、所定の規則にしたがって可変とするようにしてもよい。
つぎに、エンコード処理部110は、連続するオリジナルブロックを単位として音声圧縮(エンコード)を行なう(S103)。ここでは、ループ情報の有無にかかわらず、時系列に並ぶオリジナルブロックそれぞれについてエンコード処理を行なう。
エンコード処理では、連続する2つのオリジナルブロックから1つのエンコードブロックを生成するものとする。ただし、それぞれのオリジナルブロックはオーバラップされ、前後のエンコードブロック生成に用いられる。
すなわち、図5(c)に示すように、連続するオリジナルブロック「A0」「A」とからエンコードブロック「X1」を生成し、オリジナルブロック「A」「B」とからエンコードブロック「X2」を生成する。以下同様にして、エンコードブロック「X3」「X4」「X5」…を生成する。
このような圧縮方式としては、ATRAC(Adaptive TRans form Acoustic Coding)が代表的であるが、本発明は、これに限られない。また、連続する3以上のオリジナルブロックから1つのエンコードブロックを生成するようにしてもよい。
次に、音声データエンコード装置100は、時系列に並んだエンコードブロックをエンコードデータ20として出力する(S105)。このとき、エンコードデータ20の付加情報として、ループ情報も生成し、あわせて出力する。
ループ情報には、エンコードデータをデコードして出力されるデコードデータにおける、音声データスタート位置、音声データエンド位置、ループスタート位置及びループエンド位置が特定可能な情報がふくまれている。
ループ情報としては、例えば、エンコードデータをデコードして出力されるデコードデータにおける、音声データスタート位置、音声データエンド位置、ループスタート位置及びループエンド位置そのものの情報が含まれていてもよい。
また、ループ情報は、オリジナルの音声データにおける、音声データスタート位置、音声データエンド位置、ループスタート位置、ループエンド位置の情報を含んでいてもよい。かかる場合、デコードデータにおけるこれらの位置が特定できるように、さらに、入力遅延用ダミーデータのサンプル数、エンコードディレイ分のサンプル数、デコードディレイ分のサンプル数を含んでいる。なお、入力遅延用ダミーデータのサンプル数と、エンコードディレイ分のサンプル数と、デコードディレイ分のサンプル数とが、別個に含まれていてもよいし、これらのサンプル数を足し合わせたサンプル数が含まれていてもよい。また、エンコードディレイ分のサンプル数が音声データ再生装置200に記憶されている場合は、ループ情報に含めなくてもよい。また、デコードディレイ分のサンプル数が音声データ再生装置200に記憶されている場合は、ループ情報に含めなくてもよい。
上述のように、音声データエンコード装置100が出力したエンコードデータ20は、制御用プログラム30とともに記録媒体300に記録され、市場に流通される。
つぎに、音声データ再生装置200における再生処理について、図6フロー図を参照して説明する。
なお、音声データ再生装置200は、ループ情報に基づいて、デコードデータにおける音声データスタート位置、音声データエンド位置、ループスタート位置、ループエンド位置を特定するが、この特定の方法は以下の通りである。
例えば、ループ情報に、デコードデータにおける、音声データスタート位置、音声データエンド位置、ループスタート位置及びループエンド位置そのものの情報が含まれている場合は、これらの情報からそれぞれの位置が特定できる。
また、ループ情報に、オリジナルの音声データにおける音声データスタート位置、音声データエンド位置、ループスタート位置、ループエンド位置の情報が含まれている場合、ループ情報には、さらに、入力遅延用ダミーデータサンプル数、エンコードディレイ分のサンプル数、デコードディレイ分のサンプル数が含まれている。あるいは、エンコードディレイ分及び/又はデコードディレイ分のサンプル数が音声データ再生装置200に記憶されている場合もある。かかる場合、デコードデータにおける音声データスタート位置、音声データエンド位置、ループスタート位置、ループエンド位置は、オリジナルの音声データのそれぞれ位置より、入力遅延用ダミーデータサンプル数とエンコードディレイ分のサンプル数とデコードディレイ分のサンプル数がとの合計分、後方に位置にあると特定できる。
図6のフローについて説明する。このフローは、ユーザの操作等に基づいて記録媒体300に記録された音声データの再生要求を受け付けたときに開始される(S201)。
まず、デコード処理部220は、エンコードデータ20の先頭のエンコードブロックおよびループ情報を読み込む(S202)。
まず、ループを行なわない場合の再生について説明する。ループを行なわない場合とは、再生対象のブロック(デコード後のブロック:デコードブロック)にループエンド位置が含まれていない場合(S203:N)、あるいは、ループエンド位置が含まれていても(S203:Y)、ループを行なわない状態の場合(S208:N)である。なお、ループを行なうかどうかは、上述のように、制御用プログラム30にしたがって、プログラム実行部210が判断する。また、デコード後のブロックにループエンド位置が含まれているかどうかは、再生済のブロック数とブロックに含まれるサンプル数とループ情報とから判断することができる。
ループを行なわない場合には、従来どおり、デコード処理部220は、つぎのエンコードブロックを読み込み(S204)、連続するエンコードブロックを用いてデコードを行ない、デコードブロックを生成する(S205)。
すなわち、図5(d)に示すように、エンコードブロック「X1」「X2」からデコードブロック「a」を生成し、エンコードブロック「X2」「X3」からデコードブロック「b」を生成していく。なお、デコードブロック「a」「b」…は、オリジナルブロック「A」「B」…に対応する音声データである。ただし、オーディオコーデックディレイが発生する場合は、そのサンプル数分ずれが生じている。
再生処理部230は、デコードブロックを順次D/A変換し、音声出力することで音声データを再生する(S206)。なお、再生処理部230は、音声データのスタート位置を含むデコードブロックを生成して再生する際、音声データ11の先頭に付加された入力遅延用ダミーデータおよびオーディオコーデックディレイのサンプルの部分はカットして、音声データのスタート位置から再生するようにする。また、再生処理部230は、音声データのエンド位置を含むデコードブロックを再生する際、エンド位置までのサンプルを再生し、エンド位置以降のサンプルはカットして再生しない。以上の処理は、エンコードブロックが終了するまで続けられる(S207、S215)。
つぎに、ループを行なう場合の再生について説明する。ループを行なう場合とは、再生対象のデコードブロックにループエンド位置が含まれており(S203:Y)、かつ、ループを行なう状態の場合(S208:Y)である。
この場合、デコード処理部220は、次のエンコードブロックを読み込む。図7を用いて説明する。ここでは、再生対象がデコードブロック「d」の場合にリピートが発生する。デコードブロック「c」の処理の際には、すでにエンコードブロック「X4」を読み込んでいるため、ここでは、エンコードブロック「X5」を読み込むことになる(S209)。
次に、デコード処理部220は、「X4」と「X5」とからデコードブロック「d」を生成する(S210)。再生処理部230は、「d」の再生を開始する(S211)。
ここで、再生処理部230は、ループエンド位置のサンプルまでを再生し、それ以降のサンプルはカットして再生しない。なお、図7の例では、ループエンド位置はブロック「d」の最後なので、再生処理部230は、ブロック「d」に含まれるサンプルの全てを再生することになる。
デコード処理部220は、デコードブロック「d」を生成すると、直ちに、ループスタート位置を含むデコードブロック「b」を得るためにエンコードブロック「X2」及び「X3」を読み込む(S212)。そして、「X2」と「X3」とからデコードブロック「b」を生成する(S213)。なお、図4では、ループスタート位置は、ブロック「a」に含まれていたが、図5では、エンコード時に音声データに入力遅延用ダミーデータを付加したために、ループスタート位置は、ブロック「b」に含まれることとなっている。
再生処理部230は、デコードブロック「b」を再生する。ただし、デコードブロック「b」のうち、再生すべきデータはループスタート位置以降のサンプルデータである。したがって、再生処理部230は、ループスタート位置までのサンプルをカットして、ループスタート位置のサンプルデータから再生する(S214)。なお、再生処理部230は、ループスタート位置について、上述のように、ループ情報を参照し判断する。
以上、本発明の一実施形態について説明した。上記実施形態によれば、デコードデータのブロックにおいて、ループエンド位置がブロックの最後になる。したがって、ループエンド位置のブロックには、再生すべきデータ(音声出力可能サンプル)が十分に含まれている。すなわち、音声データ再生装置200は、ループ再生される場合でも、ループスタート位置のデコードデータを生成する時間を十分とることができる。したがって、ループの際の処理負荷は、軽減される。
また、上記実施形態によれば、ループに関係するブロックを減少させ、処理負担が軽減することがある。例えば、図3(b)に示すように音声データを分割した場合、図3(d)に示すように、ループ部分のデコードブロックは、「a」「b」「c」「d」の4つである。これらのデコードブロックを得るためには、「X1」「X2」「X3」「X4」「X5」の5つのエンコードブロックを処理しなければならない。一方、上記実施形態では、図5(b)に示すように入力遅延用ダミーデータを付加して音声データを分割した。これにより、図5(d)に示すように、ループ部分のデコードブロックは、「b」「c」「d」の3つとなった。すなわち、これらのデコードブロックを得るためには、「X2」「X3」「X4」「X5」の4つのエンコードブロックを処理すればよいこととなる。
上記実施形態は、様々な変形が可能である。
例えば、上記実施形態では、音声データのブロック分割の際、ループエンド位置が、ブロックの最後になるように分割している。しかし、音声データの分割の仕方は、これに限られない。ループエンド位置が、ブロックの最後でなくてもよい。少なくとも、デコードデータのブロックにおいて、ループエンド位置が、ブロックの後方向に移動するように分割されればよい。音声データ再生装置200におけるループ時の処理において、ループスタート位置のブロックをデコード処理するための時間が、十分とれるようにすればよい。すなわち、ループエンド位置を含むブロックに、再生すべきデータ(音声出力可能サンプル)が十分に含まれていればよい。ループエンド位置のブロック中の、ループの際に再生されるべきサンプル数(ループエンドサンプル条件数)は、音声データ再生装置200の処理能力によって適宜選択できる。
音声データエンコード装置100は、音声データ再生装置200の処理能力を考慮したループエンドサンプル条件数を自身の記憶装置に記憶しておくようにする。
具体的には、エンコード処理部110は、図3(b)に示すように、音声データ11を、先頭から所定のサンプル数毎に仮に分割する。
このように分割された音声データ11が、エンコードされ、さらにデコードされると図8に示すようなデコードデータのブロックとなる。ここで、エンコード処理部110は、ループエンド位置を含むブロックについて、ループエンド位置までのサンプル数(出力可能サンプル数)が、ループエンドサンプル条件数以上か否か判定する。出力可能サンプル数が、ループエンドサンプル条件数以上である場合、入力遅延用ダミーデータを付加することなく、音声データ11を分割してエンコードする。
一方、ループエンド位置までのサンプル数(音声出力可能サンプル数)が、ループエンドサンプル条件数未満である場合、ループエンドサンプル条件数と音声出力可能サンプル数の差分を求める。そして、求めた差分を入力遅延用ダミーデータサンプル数とする。
次に、図9(b)に示すように、求めた入力遅延用ダミーデータサンプル数のダミーデータを音声データ11の先頭に付加する。
ここで、1ブロックのサンプリング数がLである場合で、オリジナルの音声データの先頭から分割した場合、ループエンド位置がX(1≦X≦L)番目のサンプルになる場合について考える。なお、ループエンドサンプル条件数をNとする。X≧Nの場合、ブロックの分割をし直す必要はない。一方、X<Nの場合、先頭に入力遅延用ダミーデータを付加する。付加する入力遅延用ダミーデータのサンプル数は、
N−X である。
ただし、オーディオコーデックディレイ(エンコードディレイ及びデコードディレイ)が発生する場合、音声データの先頭に付加する入力遅延用ダミーデータのサンプル数は、
N−1−(X−1+ED+DD)%L(%は剰余算を表す。)である。なお、この式により求めたダミーデータサンプル数が0以下になる場合は、入力遅延用ダミーデータを付加することなく、音声データ11を分割してエンコードする。
つぎに、エンコード処理部110は、音声データ11の先頭に、エンコード時に、ブロック「A」と組を作るためのブロック「A0」を付加する。ブロック「A0」は、1ブロック分のダミーデータ(以下、「先頭ブロック用ダミーデータ」という)で構成されている。この先頭ブロック用ダミーデータは、無音データ等である。
こうして分割された音声データは、上述したように、エンコードされ、エンコードデータとなる。
このようなエンコードデータによるループ時の再生の様子を図10に示した。図示するように、ループエンド位置LEは、デコードブロック「d」の最後ではない。しかし、デコードブロック「d」は、出力可能サンプル数を十分含んでいる。したがって、ループ時の処理負担が軽減される。
上記の例では、先頭ブロック用ダミーデータとして、無音データを用いたが、本実施形態は、これに限らない。先頭ブロック用ダミーデータとして、組となるブロックと相関性のあるデータを用いるようにしてもよい。また、音声データの先頭と同様に、終了部に付加されるダミーデータ(終了ブロック用ダミーデータ)として、組となるブロックと相関性のあるデータを用いるようにしてもよい。こうすれば、音声データのスタート及びエンド位置での音質の向上が図られる。
また、音声データのスタート位置とループスタート位置とが重なる場合、先頭用ブロックダミーデータとして、ループスタート位置の音声データとある程度連続性のあるデータを用いてもよい。
具体的には、先頭用ブロックダミーデータとして、ループエンド位置の直前の音声データを用いる。通常、ループエンドからループスタートへは、楽曲が滑らかに繋がるように構成されている。したがって、ループエンド位置とループスタート位置の音声データは、ある程度連続性がある場合が多い。
かかる場合を、図11を用いて説明する。図11の音声データは、そのスタート位置とループスタート位置とが一致している。
かかる場合、エンコード処理部110は、音声データを次のように分割した後、エンコードする。
まず、上記で説明したように、必要な入力遅延用ダミーデータのサンプル数を求める。つぎに、入力遅延用ダミーデータのサンプル数と、先頭ブロック用ダミーデータのサンプル数(1ブロック分のサンプル数)の和を求める。次に、そのサンプル数分の音声データを、ループエンド位置の前から抽出する。そして、抽出したデータを音声データの先頭に付加した後、先頭からブロックに分割する(図11(b)参照)。
また、音声データのエンド位置とループエンド位置とが重なる場合、終了ブロック用ダミーデータとして、ループエンド位置の音声データとある程度連続性のあるデータを用いてもよい。
具体的には、終了ブロック用ダミーデータとして、ループスタート位置の直後の音声データを用いる。かかる場合を、図12を用いて説明する。図12の音声データは、そのエンド位置(DE)とループエンド位置とが一致している。
かかる場合、エンコード処理部110は、音声データを次のように分割した後、エンコードする。
まず、上記で説明したように、必要な終了ブロック用ダミーデータのサンプル数を求める。音声データのエンド位置(ループエンド位置)がブロックの最後である場合、必要なダミーデータのサンプル数は、1ブロック分のサンプル数である。次に、求めたサンプル数分の音声データを、ループスタート位置の後ろから抽出する。そして、抽出したデータを音声データの最後に付加した後、先頭からブロックに分割する。
なお、上記の実施形態では、連続する2つのオリジナルブロックを用いて1ブロックのエンコードデータを生成するエンコード方式を用いた場合について主に説明したが、3つ以上のオリジナルブロックを用いて1ブロックのエンコードデータを生成するエンコード方式の場合にも、本発明を適用できる。
また、連続する3つの以上のエンコードブロックを用いて1ブロックのデコードデータを生成するデコード方式の場合にも本発明を適用できる。
本発明の実施形態の構成の概要を示す図である。 音声データエンコード装置100におけるエンコード処理について説明するフロー図である。 音声データ11のブロックの分割方法について説明する図である。 ループの際のブロック単位の処理を説明する図である。 音声データ11のブロックの分割方法について説明する図である。 音声データ再生装置200における再生処理について説明するフロー図である。 ループの際のブロック単位の処理を説明する図である。 変形例にかかる入力遅延用ダミーデータサンプル数を求める様子を説明する図である。 変形例にかかる音声データ11のブロックの分割方法について説明する図である。 変形例にかかるループの際のブロック単位の処理を説明する図である。 変形例にかかる音声データ11のブロックの分割方法について説明する図である。 変形例にかかる音声データ11のブロックの分割方法について説明する図である。
符号の説明
11…音声データ
12…ループ情報
20…エンコードデータ
30…制御用プログラム
100…音声データエンコード装置
110…エンコード処理部
200…音声データ再生装置
210…プログラム実行部
220…デコード処理部
230…再生処理部
300…記録媒体

Claims (13)

  1. 音声データをエンコードする音声データエンコード装置であって、
    音声データをブロックに分割するブロック分割手段と、
    連続する複数のブロックを組としてエンコードを行なうエンコード手段とを有し、
    前記エンコード手段は、
    ループスタート位置とループエンド位置とが指定され、前記ループスタート位置が音声スタート位置である音声データの場合、
    音声スタート位置前の音声データのサンプルとして、ループエンド位置直前の音声データのサンプルを用いてエンコードを行う
    ことを特徴とする音声データエンコード装置。
  2. 音声データをエンコードする音声データエンコード装置であって、
    音声データをブロックに分割するブロック分割手段と、
    連続する複数のブロックを組としてエンコードを行なうエンコード手段とを有し、
    前記エンコード手段は、
    ループスタート位置とループエンド位置とが指定され、前記ループエンド位置が音声エンド位置である音声データの場合、
    音声エンド位置後の音声データのサンプルとして、ループスタート位置直後の音声データのサンプルを用いてエンコードを行う
    ことを特徴とする音声データエンコード装置。
  3. 音声データをエンコードする音声データエンコード装置であって、
    音声データをブロックに分割するブロック分割手段と、
    連続する複数のブロックを組としてエンコードを行なうエンコード手段とを有し、
    前記エンコード手段は、
    音声スタート位置と音声エンド位置との間でループ部分が構成される音声データの場合、
    音声スタート位置前の音声データのサンプルとして、音声エンド位置直前の音声データのサンプルを用いてエンコードを行い、
    音声エンド位置後の音声データのサンプルとして、音声スタート位置直後の音声データのサンプルを用いてエンコードを行う
    ことを特徴とする音声データエンコード装置。
  4. 請求項1〜3のいずれか一項に記載の音声データエンコード装置によりエンコードされたエンコード音声データを順次読み込み、連続する複数のブロックを組としてデコードを行なうことを特徴とする音声データデコード装置。
  5. 音声データをエンコードする音声データエンコード装置としてコンピュータを機能させるためのプログラムであって、
    音声データをブロックに分割するブロック分割手段と、
    連続する複数のブロックを組としてエンコードを行なうエンコード手段として情報処理装置を機能させ、
    ループスタート位置とループエンド位置とが指定され、前記ループスタート位置が音声スタート位置である音声データの場合、
    音声スタート位置前の音声データのサンプルとして、ループエンド位置直前の音声データのサンプルを用いてエンコードを行う
    ことを特徴とするプログラム。
  6. 音声データをエンコードする音声データエンコード装置としてコンピュータを機能させるためのプログラムであって、
    音声データをブロックに分割するブロック分割手段と、
    連続する複数のブロックを組としてエンコードを行なうエンコード手段として情報処理装置を機能させ、
    前記エンコード手段は、
    ループスタート位置とループエンド位置とが指定され、前記ループエンド位置が音声エンド位置である音声データの場合、
    音声エンド位置後の音声データのサンプルとして、ループスタート位置直後の音声データのサンプルを用いてエンコードを行う
    ことを特徴とするプログラム。
  7. 音声データをエンコードする音声データエンコード装置としてコンピュータを機能させるためのプログラムであって、
    音声データをブロックに分割するブロック分割手段と、
    連続する複数のブロックを組としてエンコードを行なうエンコード手段として情報処理装置を機能させ、
    前記エンコード手段は、
    音声スタート位置と音声エンド位置との間でループ部分が構成される音声データの場合、
    音声スタート位置前の音声データのサンプルとして、音声エンド位置直前の音声データのサンプルを用いてエンコードを行い、
    音声エンド位置後の音声データのサンプルとして、音声スタート位置直後の音声データのサンプルを用いてエンコードを行う
    ことを特徴とするプログラム。
  8. 請求項1〜3のいずれか一項に記載の音声データエンコード装置によりエンコードされたエンコード音声データを順次読み込み、連続する複数のブロックを組としてデコードを行なう音声データデコード装置としてコンピュータを機能させることを特徴とするプログラム。
  9. 請求項5〜8のいずれか一項に記載のプログラムを記録した情報処理装置読み取り可能な記録媒体。
  10. 音声データをエンコードする音声データエンコード装置の音声データエンコード方法であって、
    音声データをブロックに分割するブロック分割ステップと、
    連続する複数のブロックを組としてエンコードを行なうエンコードステップとを有し、
    前記エンコードステップは、
    ループスタート位置とループエンド位置とが指定され、前記ループスタート位置が音声スタート位置である音声データの場合、
    音声スタート位置前の音声データのサンプルとして、ループエンド位置直前の音声データのサンプルを用いてエンコードを行う
    ことを特徴とする音声データエンコード方法。
  11. 音声データをエンコードする音声データエンコード装置の音声データエンコード方法であって、
    音声データをブロックに分割するブロック分割ステップと、
    連続する複数のブロックを組としてエンコードを行なうエンコードステップとを有し、
    前記エンコードステップは、
    ループスタート位置とループエンド位置とが指定され、前記ループエンド位置が音声エンド位置である音声データの場合、
    音声エンド位置後の音声データのサンプルとして、ループスタート位置直後の音声データのサンプルを用いてエンコードを行う
    ことを特徴とする音声データエンコード方法。
  12. 音声データをエンコードする音声データエンコード装置の音声データエンコード方法であって、
    音声データをブロックに分割するブロック分割ステップと、
    連続する複数のブロックを組としてエンコードを行なうエンコードステップ段とを有し、
    前記エンコードステップは、
    音声スタート位置と音声エンド位置との間でループ部分が構成される音声データの場合、
    音声スタート位置前の音声データのサンプルとして、音声エンド位置直前の音声データのサンプルを用いてエンコードを行い、
    音声エンド位置後の音声データのサンプルとして、音声スタート位置直後の音声データのサンプルを用いてエンコードを行う
    ことを特徴とする音声データエンコード方法。
  13. 請求項10〜12のいずれか一項に記載の音声データエンコード方法によりエンコードされたエンコード音声データを順次読み込み、連続する複数のブロックを組としてデコードを行なうことを特徴とする音声データデコード方法。
JP2004339955A 2004-11-25 2004-11-25 音声データエンコード装置および音声データデコード装置 Active JP4256332B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004339955A JP4256332B2 (ja) 2004-11-25 2004-11-25 音声データエンコード装置および音声データデコード装置
US11/284,426 US7479594B2 (en) 2004-11-25 2005-11-21 Sound data encoding apparatus and sound decoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004339955A JP4256332B2 (ja) 2004-11-25 2004-11-25 音声データエンコード装置および音声データデコード装置

Publications (2)

Publication Number Publication Date
JP2006153908A true JP2006153908A (ja) 2006-06-15
JP4256332B2 JP4256332B2 (ja) 2009-04-22

Family

ID=36459756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004339955A Active JP4256332B2 (ja) 2004-11-25 2004-11-25 音声データエンコード装置および音声データデコード装置

Country Status (2)

Country Link
US (1) US7479594B2 (ja)
JP (1) JP4256332B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235322A (ja) * 2005-02-25 2006-09-07 Sony Corp 再生装置および再生方法
JP2008122533A (ja) * 2006-11-09 2008-05-29 Canon Inc 音声処理装置とその制御方法、及び、コンピュータプログラム
WO2009116141A1 (ja) * 2008-03-18 2009-09-24 パイオニア株式会社 符号化装置及び符号化方法並びに符号化用プログラム
JP5898355B1 (ja) * 2015-04-21 2016-04-06 株式会社カプコン サウンド再生プログラムおよびサウンド再生システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4256331B2 (ja) * 2004-11-25 2009-04-22 株式会社ソニー・コンピュータエンタテインメント 音声データエンコード装置および音声データデコード装置
US7592533B1 (en) * 2005-01-20 2009-09-22 Gary Lee Audio loop timing based on audio event information
JP2010017216A (ja) * 2008-07-08 2010-01-28 Ge Medical Systems Global Technology Co Llc 音声データ処理装置,音声データ処理方法、および、イメージング装置
CN106875929B (zh) * 2015-12-14 2021-01-19 中国科学院深圳先进技术研究院 一种音乐旋律转化方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086475A (en) * 1988-11-19 1992-02-04 Sony Corporation Apparatus for generating, recording or reproducing sound source data
JPH08287612A (ja) 1995-04-14 1996-11-01 Sony Corp オーディオデータの可変速再生方法
JP4170438B2 (ja) 1998-01-28 2008-10-22 ローランド株式会社 波形データ再生装置
US7865256B2 (en) * 2005-11-04 2011-01-04 Yamaha Corporation Audio playback apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235322A (ja) * 2005-02-25 2006-09-07 Sony Corp 再生装置および再生方法
JP4665550B2 (ja) * 2005-02-25 2011-04-06 ソニー株式会社 再生装置および再生方法
JP2008122533A (ja) * 2006-11-09 2008-05-29 Canon Inc 音声処理装置とその制御方法、及び、コンピュータプログラム
WO2009116141A1 (ja) * 2008-03-18 2009-09-24 パイオニア株式会社 符号化装置及び符号化方法並びに符号化用プログラム
JP4977777B2 (ja) * 2008-03-18 2012-07-18 パイオニア株式会社 符号化装置及び符号化方法並びに符号化用プログラム
JP5898355B1 (ja) * 2015-04-21 2016-04-06 株式会社カプコン サウンド再生プログラムおよびサウンド再生システム

Also Published As

Publication number Publication date
US7479594B2 (en) 2009-01-20
JP4256332B2 (ja) 2009-04-22
US20060107821A1 (en) 2006-05-25

Similar Documents

Publication Publication Date Title
US7507894B2 (en) Sound data encoding apparatus and sound data decoding apparatus
US7479594B2 (en) Sound data encoding apparatus and sound decoding apparatus
KR100924731B1 (ko) 재생 장치, 재생 방법 및 재생 프로그램이 기록된 컴퓨터판독 가능한 기록 매체
JP2006221714A (ja) 符号化ディジタルオーディオ再生装置
JP4990375B2 (ja) 記録再生装置
JP2005512134A (ja) リアルタイム時間伸縮用パラメータ付きデジタルオーディオ
JP4254960B2 (ja) 音声データエンコード装置および音声データ再生装置
JP2004093729A (ja) 音楽データの記録装置及び再生装置
JP4588626B2 (ja) 楽曲再生装置、再生制御方法、および、プログラム
JP4470122B2 (ja) 音声符号化装置、音声復号化装置、音声符号化プログラムおよび音声復号化プログラム
JP4736331B2 (ja) 音響信号の再生装置
JP2010123225A (ja) 記録再生装置及び記録再生方法
JP2003058192A (ja) 音楽データ再生装置
JP4765460B2 (ja) 音声符号化装置および音声符号化方法
JP7343320B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7476516B2 (ja) 信号処理装置、信号処理システム、プログラム、信号処理方法
JP2011209412A (ja) 圧縮装置、圧縮方法、再生装置および再生方法
JP4570026B2 (ja) 電子透かしの埋め込み方法
JP2020009515A (ja) プレイリスト作成装置及びプレイリスト作成プログラム
JP2006139158A (ja) 音響信号の合成装置および合成再生装置
JP2005215595A (ja) 符号化方法、復号化方法、および、符号化・復号化方法、並びに、符号化装置、復号化装置、および、符号化・復号化装置
JP2006172564A (ja) 音声録音再生装置および音声録音再生方法
JP2002108399A (ja) 音声編集システム
JP2006053485A (ja) 音声・音楽データ記録方法、音声・音楽データ再生方法、音声・音楽データ記録装置、および音声・音楽データ再生装置
JPH01138600A (ja) 音声ファイル方式

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4256332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees