JP2006010730A - Singing note synthesis device and method therefor - Google Patents
Singing note synthesis device and method therefor Download PDFInfo
- Publication number
- JP2006010730A JP2006010730A JP2004183362A JP2004183362A JP2006010730A JP 2006010730 A JP2006010730 A JP 2006010730A JP 2004183362 A JP2004183362 A JP 2004183362A JP 2004183362 A JP2004183362 A JP 2004183362A JP 2006010730 A JP2006010730 A JP 2006010730A
- Authority
- JP
- Japan
- Prior art keywords
- curve
- sound
- rising
- slope
- changing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、電子楽器において歌唱音を合成する歌唱音合成装置及び歌唱音合成方法に関するものである。 The present invention relates to a singing sound synthesizing apparatus and a singing sound synthesizing method for synthesizing a singing sound in an electronic musical instrument.
一般に、たとえばMIDI等の電子楽器を用いて歌唱音を合成する場合に、通常の電子楽器の音量制御方法をそのまま用いると、楽器音と人声音の性質の違いから、不自然に聞こえることがある。このような問題に対処するために、たとえば、特許文献1では、楽器音よりも一般に立上がりが遅い人声音が遅れて聞こえないようにするために、演奏データのノートオン信号に伴って発生される先頭音素の立上がり時間を、他の音素に引き続いて発音される場合の立上がり時間よりも短くする方法が開示されている。
また、電子楽器の通常の音量制御方法においては、ノートオフ(発音終了)から音量が減衰している間に次の音のノートオン(発音開始)となるので、音が重なって聞こえるため不明瞭に聞こえることがある。これを避けるために次の音のノートオンの直前で前の音の音量を0にすると音が切れて聞こえてしまうという問題がある。上記従来の方法では、このような問題は解決することができない。 Also, in the normal volume control method for electronic musical instruments, the next sound note-on (pronunciation start) occurs while the volume is attenuated from the note-off (end of sound generation), so the sound overlaps and is unclear. May be heard. In order to avoid this, there is a problem that if the volume of the previous sound is set to 0 immediately before the next note is turned on, the sound is cut off and heard. Such a problem cannot be solved by the conventional method.
本発明は上記問題を解決するためになされたものであり、滑らかで明瞭な歌唱音を合成できる歌唱音合成装置及び歌唱音合成方法を提供することを目的とする。 The present invention has been made to solve the above problems, and an object thereof is to provide a singing sound synthesizing apparatus and a singing sound synthesizing method capable of synthesizing a smooth and clear singing sound.
上記目的を達成するために、本発明の請求項1に記載の歌唱音合成装置は、演奏データに対応して所定の歌唱音を発生させる歌唱音発生手段を備えた歌唱音合成装置において、前記演奏データ中において歌唱音の2個が重なることを検出する重なり検出手段と、当該重なり検出手段が2音の重なりを検出したときに、当該重なる2音の前音又は後音の音量に関する演奏データを変更する音量データ変更手段とを備え、前記音量データ変更手段は、音量の変化を表す音量変化曲線において、後音の音量を立ち上げる際の立上曲線の初期値を変更する立上初期値変更手段、前記立下曲線の開始時点を変更する立下開始時点変更手段、前記立上曲線の開始時点を変更する立上開始時点変更手段、前記立下曲線の傾きを変更する立下傾き変更手段、前記立上曲線の傾きを変更する立上傾き変更手段の少なくとも1つを含むことを特徴とする。
In order to achieve the above object, a singing sound synthesizer according to
また、本発明の請求項2に記載の歌唱音合成装置は、請求項1に記載の発明の構成に加え、前記立下開始時点変更手段が、前記立下曲線の開始時点を既定値よりも早くすることを特徴とする。
Further, in the singing sound synthesizing device according to
また、本発明の請求項3に記載の歌唱音合成装置は、請求項1又は2に記載の発明の構成に加え、前記立下傾き変更手段が、前記立下曲線の傾きを既定値よりも急にすることを特徴とする。
Further, in the singing sound synthesizer according to
また、本発明の請求項4に記載の歌唱音合成装置は、請求項3に記載の発明の構成に加え、前記立下傾き変更手段が、後音の開始時点以降の前記立下曲線の傾きを既定値よりも急にすることを特徴とする。
Further, in the singing sound synthesizer according to
また、本発明の請求項5に記載の歌唱音合成装置は、請求項1乃至4のいずれかに記載の発明の構成に加え、前記立上初期値変更手段が、前記立上曲線の初期値を、その前音の立下曲線の同時点の値と同一の値に変更することを特徴とする。
Further, in the singing sound synthesizer according to
また、本発明の請求項6に記載の歌唱音合成装置は、請求項1乃至5のいずれかに記載の発明の構成に加え、前記立上開始時点変更手段が、前記立上曲線の開始時点を既定値よりも遅くすることを特徴とする。
Further, in the singing sound synthesizer according to
また、本発明の請求項7に記載の歌唱音合成装置は、請求項1乃至6のいずれかに記載の発明の構成に加え、前記立上傾き変更手段が、前記立上曲線の傾きを既定値よりもなだらかにすることを特徴とする。
Further, in the singing sound synthesizer according to
また、本発明の請求項8に記載の歌唱音合成装置は、請求項1に記載の発明の構成に加え、前記立下傾き変更手段が前記立下曲線の傾きを0とし、前記立上傾き変更手段は前記立上曲線の傾きを0とし、前記立上初期値変更手段は、前記立上曲線の初期値を、その音の音量の値と同一の値に変更することを特徴とする。
Further, in the singing sound synthesizer according to
また、本発明の請求項9に記載の歌唱音合成方法は、演奏データに対応して所定の歌唱音を発生させる歌唱音合成方法において、前記演奏データ中において歌唱音の2個が重なることを検出する重なり検出ステップと、当該重なり検出ステップにおいて、2音の重なりを検出したときに、当該重なる2音の前音又は後音の音量に関する演奏データを変更する音量データ変更ステップとを備え、前記音量データ変更ステップには、音量の変化を表す音量変化曲線において、後音の音量を立ち上げる際の立上曲線の初期値を変更する立上初期値変更ステップ、前記立下曲線の開始時点を変更する立下開始時点変更ステップ、前記立上曲線の開始時点を変更する立上開始時点変更ステップ、前記立下曲線の傾きを変更する立下傾き変更ステップ、前記立上曲線の傾きを変更する立上傾き変更ステップの少なくとも1つを含むことを特徴とする。
The singing sound synthesizing method according to
また、本発明の請求項10に記載の歌唱音合成方法は、請求項9に記載の発明の構成に加え、前記立下開始時点変更ステップが、前記立下曲線の開始時点を既定値よりも早くすることを特徴とする。
Further, in the singing sound synthesizing method according to
また、本発明の請求項11に記載の歌唱音合成方法は、請求項9又は10に記載の発明の構成に加え、前記立下傾き変更ステップが、前記立下曲線の傾きを既定値よりも急にすることを特徴とする。
Further, in the singing sound synthesizing method according to claim 11 of the present invention, in addition to the configuration of the invention according to
また、本発明の請求項12に記載の歌唱音合成方法は、請求項11に記載の発明の構成に加え、前記立下傾き変更ステップが、後音の開始時点以降の前記立下曲線の傾きを既定値よりも急にすることを特徴とする。
Further, in the singing sound synthesizing method according to
また、本発明の請求項13に記載の歌唱音合成方法は、請求項9乃至12のいずれかに記載の発明の構成に加え、前記立上初期値変更ステップが、前記立上曲線の初期値を、その前音の立下曲線の同時点の値と同一の値に変更することを特徴とする。
Further, in the singing sound synthesizing method according to
また、本発明の請求項14に記載の歌唱音合成方法は、請求項9乃至13のいずれかに記載の発明の構成に加え、前記立上開始時点変更ステップが、前記立上曲線の開始時点を既定値よりも遅くすることを特徴とする。
Further, in the singing sound synthesizing method according to claim 14 of the present invention, in addition to the configuration of the invention according to any one of
また、本発明の請求項15に記載の歌唱音合成方法は、請求項9乃至14のいずれかに記載の発明の構成に加え、前記立上傾き変更ステップが、前記立上曲線の傾きを既定値よりもなだらかにすることを特徴とする。
Further, in the singing sound synthesizing method according to claim 15 of the present invention, in addition to the configuration of the invention according to any one of
また、本発明の請求項16に記載の歌唱音合成装置は、請求項9に記載の発明の構成に加え、前記立下傾き変更ステップが前記立下曲線の傾きを0とし、前記立上傾き変更ステップは前記立上曲線の傾きを0とし、前記立上初期値変更ステップは、前記立上曲線の初期値を、その音の音量の値と同一の値に変更することを特徴とする。
Further, in the singing sound synthesizer according to claim 16 of the present invention, in addition to the configuration of the invention according to
本発明の請求項1に記載の歌唱音合成装置によれば、音量変化曲線の立上初期値、立下開始時点、立上開始時点、立下傾き、立上傾き等のパラメータを変化させることにより、前音から後音へ音量を滑らかにつなげ、明瞭な歌唱音を合成することができる。
According to the singing sound synthesizer according to
また、本発明の請求項2に記載の歌唱音合成装置によれば、請求項1に記載の発明の効果に加え、前音の音量変化曲線が立ち下がる開始時点を早くするので、既定値の音量変化曲線に比べて前音と後音が重なる時間が短縮され、その分明瞭な歌唱音が合成できる。
Further, according to the singing sound synthesizing device according to
また、本発明の請求項3に記載の歌唱音合成装置によれば、請求項1又は2に記載の発明の効果に加え、前音の立下曲線の傾きを急にするので、既定値の音量変化曲線に比べて前音と後音が重なる部分の音量の全体量が少なくなり、ビビリ音の発生が抑えられる。
Further, according to the singing sound synthesizing device according to
また、本発明の請求項4に記載の歌唱音合成装置によれば、請求項3に記載の発明の効果に加え、後音が開始されて以降は、前音の音量を急激に落とすようにしている(すぐに0にしてもよい)ので、前音と後音の重なりがほとんどなくなり、明瞭な歌唱音を合成できる。
Moreover, according to the singing sound synthesizing device according to
また、本発明の請求項5に記載の歌唱音合成装置によれば、請求項1乃至4のいずれかに記載の発明の効果に加え、後音の立上げの初期値を、その時点の前音の音量と同一にするので、0から立ち上がる場合に比べて後音子音の明瞭度が上がり、その分明瞭な歌唱音が合成できる。
Moreover, according to the singing sound synthesizing device according to
また、本発明の請求項6に記載の歌唱音合成装置によれば、請求項1乃至5のいずれかに記載の発明の効果に加え、後音の立上げ開始時点を遅くするので、既定よりも音が重なる時間が短縮され、その分明瞭な歌唱音が合成できる。特に、前音の立下曲線の終了時点以降に立上曲線の開始時点を設定すれば、音の重なりが解消されるので、明瞭に聞き取りができる歌唱音となる。
In addition, according to the singing sound synthesizing device according to
また、本発明の請求項7に記載の歌唱音合成装置によれば、請求項1乃至6のいずれかに記載の発明の効果に加え、立上曲線の傾きをなだらかにするので、既定値の音量変化曲線に比べて音が重なる部分の音量の全体量が少なくなり、ビビリ音の発生が抑えられる。 Moreover, according to the singing sound synthesizing device of the seventh aspect of the present invention, in addition to the effect of the invention of any one of the first to sixth aspects, since the slope of the rising curve is made gentle, Compared with the volume change curve, the overall volume of the overlapping portion of the sound is reduced, and the occurrence of chatter noise is suppressed.
また、本発明の請求項8に記載の歌唱音合成装置によれば、請求項1に記載の発明の効果に加え、音量の立ち下げ・立上げをせず、後音の開始時点で前音は一挙に音量を0とし、後音は開始時点からすぐにその音の設定音量とする。従って、立ち下げや立上げに関する複雑な設定をすることなく簡易な構成で滑らかな合成音声を得ることができる。
Moreover, according to the singing sound synthesizing device according to
さらに、本発明の請求項9に記載の歌唱音合成方法によれば、音量変化曲線の立上初期値、立下開始時点、立上開始時点、立下傾き、立上傾き等のパラメータを変化させることにより、前音から後音へ音量を滑らかにつなげ、明瞭な歌唱音を合成することができる。
Furthermore, according to the singing sound synthesizing method according to
また、本発明の請求項10に記載の歌唱音合成方法によれば、請求項9に記載の発明の効果に加え、前音の音量変化曲線が立ち下がる開始時点を早くするので、既定値の音量変化曲線に比べて音が重なる時間が短縮され、その分明瞭な歌唱音が合成できる。
Further, according to the singing sound synthesizing method according to
また、本発明の請求項11に記載の歌唱音合成方法によれば、請求項9又は10に記載の発明の効果に加え、前音の立下曲線の傾きを急にするので、既定値の音量変化曲線に比べて前音と後音が重なる部分の音量の全体量が少なくなり、ビビリ音の発生が抑えられる。 Further, according to the singing sound synthesizing method of the eleventh aspect of the present invention, in addition to the effect of the invention of the ninth or tenth aspect, the slope of the falling curve of the preceding sound is made steep. Compared to the volume change curve, the overall volume of the portion where the front and rear sounds overlap is reduced, and the occurrence of chattering noise is suppressed.
また、本発明の請求項12に記載の歌唱音合成方法によれば、請求項11に記載の発明の効果に加え、後音が開始されて以降は、前音の音量を急激に落とすようにしている(すぐに0にしてもよい)ので、前音と後音の重なりがほとんどなくなり、明瞭な歌唱音を合成できる。 Moreover, according to the singing sound synthesizing method of the twelfth aspect of the present invention, in addition to the effect of the invention of the eleventh aspect, the volume of the preceding sound is sharply reduced after the aftertone is started. Therefore, it is possible to synthesize a clear singing sound with almost no overlap between the preceding and succeeding sounds.
また、本発明の請求項13に記載の歌唱音合成方法によれば、請求項9乃至12のいずれかに記載の発明の効果に加え、後音の立上げの初期値を、その時点の前音の音量と同一にするので、0から立ち上がる場合に比べて後音子音の明瞭度が上がり、その分明瞭な歌唱音が合成できる。 According to the singing sound synthesizing method of the thirteenth aspect of the present invention, in addition to the effect of the invention of any one of the ninth to twelfth aspects, the initial value of the rise of the aftertone is set to Since the volume is the same as the volume of the sound, the clarity of the post-consonant sound is increased as compared with the case of rising from 0, and a clear singing sound can be synthesized accordingly.
また、本発明の請求項14に記載の歌唱音合成方法によれば、請求項9乃至13のいずれかに記載の発明の効果に加え、後音の立上げ開始時点を遅くするので、既定値の音量変化曲線に比べて音が重なる時間が短縮され、その分明瞭な歌唱音が合成できる。特に、前音の立下曲線の終了時点以降に立上曲線の開始時点を設定すれば、音の重なりが解消されるので、明瞭に聞き取りができる歌唱音となる。
Further, according to the singing sound synthesizing method according to claim 14 of the present invention, in addition to the effect of the invention according to any one of
また、本発明の請求項15に記載の歌唱音合成方法によれば、請求項9乃至14のいずれかに記載の発明の効果に加え、立上曲線の傾きをなだらかにするので、既定よりも音が重なる部分の音量の全体量が少なくなり、ビビリ音の発生が抑えられる。
Moreover, according to the singing sound synthesizing method according to claim 15 of the present invention, in addition to the effect of the invention according to any one of
また、本発明の請求項16に記載の歌唱音合成方法によれば、、請求項9に記載の発明の効果に加え、音量の立ち下げ・立上げをせず、後音の開始時点で前音は一挙に音量を0とし、後音は開始時点からすぐにその音の設定音量とする。従って、立ち下げや立上げに関する複雑な設定をすることなく簡易に滑らかな合成音声を得ることができる。
Further, according to the singing sound synthesizing method according to claim 16 of the present invention, in addition to the effect of the invention according to
次に本発明を実施するための最良の形態について図面を参照して説明する。まず、図1及び図2を参照して、本発明の実施の形態である歌唱音合成装置の構成について説明する。図1は、歌唱音合成装置1の電気的構成を示すブロック図である。図2は、歌唱音合成装置1の外部記憶装置20に記憶された演奏データ21の構成を示す模式図である。
Next, the best mode for carrying out the present invention will be described with reference to the drawings. First, with reference to FIG.1 and FIG.2, the structure of the singing sound synthesizer which is embodiment of this invention is demonstrated. FIG. 1 is a block diagram showing an electrical configuration of the
図1に示すように、歌唱音合成装置1は、供給されるMIDI信号に基づいて音源回路により歌唱音等の楽音信号を生成する周知の電子楽器から構成されている。歌唱音合成装置1には、歌唱音合成装置1全体を制御するCPU10が設けられ、CPU10には、楽音発生や音声合成等の各種プログラムを記憶したROM12と、CPU10が実行する各種演算処理のワークエリアとして使用されるRAM13と、ハードディスク等の外部記憶装置20と、楽音信号を発生させるための音源回路31と、各種の操作を入力するための操作パネル41とがバスを介して接続されている。さらに、CPU10には、所定時間毎にCPU10に対して割込を発生させるタイマ11が接続されている。また、音源回路31には、発生された楽音信号を音響に変換するアンプやスピーカ等からなるサウンドシステム32が接続されている。また、外部記憶装置20には、楽音の詳細情報を規定した演奏データ21と、歌唱音の合成に用いられる音節辞書22とが記憶されている。
As shown in FIG. 1, the singing
次に、図2に示すように、演奏データ21は、楽曲を構成する各音の詳細を規定したデータであり、その音の開始時点(on time)211,終了時点(off time)212,音程213,その音にあてられた歌詞の音節名214,音量(velocity)215から構成されている。
Next, as shown in FIG. 2, the
次に、歌唱音合成装置1が生成する楽音の音量曲線及びこの音量曲線を規定するパラメータについて、図3〜図13を参照して説明する。図3は、音量曲線及びその音量曲線を規定するパラメータを示す説明図である。図4は、パラメータの設定パターンを示す説明図である。図5は、既定値を用いた場合の音量曲線を示すグラフである。図6は、パターン1により変更された音量曲線を示すグラフである。図7は、パターン2により変更された音量曲線を示すグラフである。図8は、パターン3により変更された音量曲線を示すグラフである。図9は、パターン4により変更された音量曲線を示すグラフである。図10は、パターン5により変更された音量曲線を示すグラフである。図11は、パターン6により変更された音量曲線を示すグラフである。図12は、パターン7により変更された音量曲線を示すグラフである。図13は、パターン8により変更された音量曲線を示すグラフである。
Next, the volume curve of the musical sound generated by the singing
図3に示すように、歌唱音合成装置1が生成する楽音の音量曲線50は、発音開始時点(noteon)から設定音量値(velocity)に達するまでの立上曲線51、設定音量値が維持される部分52、発音終了時点(noteoff)から減衰していく立下曲線53からなっている。なお、立下曲線53は、次の音のnoteonまでの部分54と次の音のnoteon以降の部分55とに分けられる。このような音量曲線は、各種のパラメータにより規定されており、これらのパラメータを変更することによって変化する。本実施形態においては、変更可能なパラメータとして、図3に示すように、(1)立上曲線の傾き、(2)立上げ開始時点の遅延シフト、(3)立上げ初期値、(4)立下曲線の傾き、(5)立ち下げ開始時点の前倒しシフト、(6)立下曲線の次音開始以降の傾きの6つを用意している。
As shown in FIG. 3, the
そして、図4に示すように、それぞれのパラメータの詳細設定としては、以下のようになる。まず、(1)立上曲線の傾きは、時定数により設定され、既定値を1として、2(なだらか)、0(一気)の設定が可能である。また、(2)立上げ開始時点の遅延シフトは、既定の時点から立ち上げるか、既定時点よりも所定時間遅くするかを設定可能である。また、(3)立上げ初期値は、既定値は0から設定音量値(velocity)まで徐々に立ち上がっていくが、これを前音のその時点の音量値から立ち上がるように設定したり、立ち上がり曲線を無視して初期値をいきなり設定音量値(velocity)にする設定が可能である。また、(4)立下曲線の傾きは、時定数により設定され、既定値を1として、1/2(急)、0(一気)の設定が可能である。また、(5)立ち下げ開始時点の前倒しシフトは、既定の時点から立ち下げるか、既定時点よりも所定時間早くするかを設定可能である。また、(6)立下曲線の次音開始以降の傾きは、次の音が開始されても傾きがそれまでと変わらない既定値を1として、1/4(急峻)、0(一気)の設定が可能である。
As shown in FIG. 4, the detailed setting of each parameter is as follows. First, (1) the slope of the rising curve is set by a time constant, and can be set to 2 (smooth) or 0 (at a stroke) with a default value of 1. In addition, (2) the delay shift at the start of starting can be set to start from a predetermined time or to be delayed by a predetermined time from the predetermined time. Also, (3) the initial value of the start-up gradually rises from the
さらに、これらのパラメータの設定を組み合わせると、図4に示すような代表的な9個のパターンが考えられる。そこで、次に、各パターンにおいてどのように音量曲線が変化するかを図5〜図13を参照して説明する。まず、図5に示すパターン0は、各パラメータの既定値を使用した場合の音量曲線である。図5に示すように、音量曲線は、noteon時点にて0から徐々に立ち上がり、各音データで設定されているvelocityに達する(立上曲線)。そして、noteoff時点にてvelocity値から徐々に減衰して0に到達する(立下曲線)。尚、noteoff時点から0に至るまでの間をリリース時間と称する。リリース時間の間に次の音のnoteon時点が到来すれば、図5に示すように、前音と後音が重なり合うことになる。
Furthermore, when these parameter settings are combined, nine typical patterns as shown in FIG. 4 can be considered. Then, next, how the volume curve changes in each pattern will be described with reference to FIGS. First, the
次に、図6に示すパターン1は、次の音のnoteon時点以降の傾きを0とした場合の音量曲線である。図6に示すように、立上曲線から次の音のnoteon時点までは、図5と同様の曲線を描き、その時点からは一気に0に至る。このようにすると、通常のように音量が徐々に減衰していかないが、次の音と重なり合うことがないので、次の音が明瞭に聞こえやすくなる。
Next,
次に、図7に示すパターン2は、次の音のnoteon時点以降の傾きを、既定値の1/4の時間で0に達するように設定した場合の音量曲線である。図7に示すように、立上曲線から次の音のnoteon時点までは、図5及び図6と同様の曲線を描き、その時点からは既定の1/4の時間で0に至る。このようにすると、リリース時間は既定よりも短くなるが、次の音と重なり合う時間も短くなるので、滑らかに音が移り変わるとともに次の音が明瞭に聞こえやすくなる。
Next,
次に、図8に示すパターン3は、前音の立下曲線の傾きを、後音のnoteon時点以降は0とし、さらに、後音の立上げ初期値を前音の同時点の音量値に設定した場合の音量曲線である。図8に示すように、後音の立上曲線の初期値を0からでなく、前音のその時点の音量(既にリリース時間に入っているので、前音のvelocity値よりも小さい音量値となる)と同値にするとともに、その時点から前音の音量は減衰をやめて一挙に0に落としている。従って、前音と後音の重なりが生じず、0から急に立ち上がることもないので、後音の子音の明瞭度が上がり、滑らかで明瞭な歌唱音となる。
Next, in the
次に、図9に示すパターン4は、前音の立下曲線の傾きを既定値よりも急となるように設定した場合の音量曲線である。図9に示すように、前音は、noteoff時点以降、既定値の1/2の時間をかけて減衰し、0に至る(リリース時間が既定の半分となる)。このようにすると、リリース時間は既定よりも短くなるが、次の音と重なり合う時間も短くなるので、滑らかに音が移り変わるとともに次の音が明瞭に聞こえやすくなる。
Next,
次に、図10に示すパターン5は、前音の立下曲線の傾きを既定値よりも急とし、かつ、後音の立上曲線の傾きを既定値よりもなだらかになるように設定した場合の音量曲線である。図10に示すように、前音は、noteoff時点以降、既定値の1/2の時間をかけて減衰し、0に至る(リリース時間が既定の半分となる)。そして、後音は、既定値の2倍の時間をかけてvelocity値に到達する。このようにすると、既定値の音量曲線よりも音が重なる部分の音量の全体量が少なくなり、ビビリ音の発生が抑えられる。
Next, in
次に、図11に示すパターン6は、前音の立ち下げ開始時点を前倒しし、前音の立下曲線の傾きを既定値よりも急とし、さらに、後音の立上曲線の傾きを既定値よりもなだらかになるように設定した場合の音量曲線である。図11に示すように、前音は、既定値よりも早くnoteoffとなり、その時点以降、既定値の1/2の時間をかけて減衰し、0に至る(リリース時間が既定の半分となる上、noteoffが早いので、既定値よりもさらに早く0に到達する)。そして、後音は、既定値の2倍の時間をかけてvelocity値に到達する。従って、前音と後音の重なりが生じず、次の音が明瞭に聞こえやすくなる。
Next, in
次に、図12に示すパターン7は、前音の立ち下げ開始時点を前倒しし、前音の立下曲線の傾きを既定値よりも急とし、後音の立上げ開始時点を遅らせ、さらに、後音の立上曲線の傾きを既定値よりもなだらかになるように設定した場合の音量曲線である。図12に示すように、前音は、既定値よりも早くnoteoffとなり、その時点以降、既定値の1/2の時間をかけて減衰し、0に至る(リリース時間が既定の半分となる上、noteoffが早いので、既定値よりもさらに早く0に到達する)。そして、後音は、既定値よりも遅くnoteonとなり、既定値の2倍の時間をかけてvelocity値に到達する。従って、前音と後音の重なりが生じず、次の音が明瞭に聞こえやすくなる。
Next, the
次に、図13に示すパターン8は、前音の立下曲線の傾きを0とし、後音の立上げ初期値をvelocity値とし、後音の立上曲線の傾きを0とした場合の音量曲線である。図13に示すように、立上げ立ち下げを行なわず、noteonの当初から設定音量とするとともに、noteoffから減衰せずに0とする(リリース時間を設けない)。このようにすれば、簡単な構成で音の重なりを防止して明瞭な歌唱音を得ることができる。
Next, in
次に、以上の構成の歌唱音合成装置1の動作について、図14〜図16を参照して説明する。図14は、音量曲線を変更するための各種パラメータを設定する設定処理ルーチンの流れを示すフローチャートである。図15は、歌唱音合成装置1のメインルーチンのフローチャートである。図16は、図15のS3で実行する音量計算処理のサブルーチンのフローチャートである。
Next, operation | movement of the
図14に示すように、パラメータ設定処理では、図3及び図4で説明した6種類のパラメータを順に設定していく。各パラメータを個別に操作者が設定可能に構成してもよいし、パターンを入力するように構成してもよい。また、曲の種類やテンポ等によって自動でパラメータを設定するように構成してもよい。ここで設定されたパラメータが、後述する歌唱音合成処理の音量計算処理において使用される。 As shown in FIG. 14, in the parameter setting process, the six types of parameters described in FIGS. 3 and 4 are set in order. Each parameter may be configured so that the operator can set it individually, or a pattern may be input. Alternatively, the parameters may be automatically set according to the type of music, the tempo, and the like. The parameters set here are used in the volume calculation process of the singing sound synthesis process to be described later.
まず、立上曲線の傾きを設定する(S101)。前述のように、立上曲線の傾きは、時定数により設定され、既定値を1として、2(なだらか)、0(一気)の設定が可能である。次に、立上げ開始時点を既定値よりも遅らせるか否かを示す立上げ開始時点シフトのパラメータを設定する(S103)。ここで設定されるパラメータは、シフトを行なうか否かである。 First, the slope of the rising curve is set (S101). As described above, the slope of the rising curve is set by a time constant, and can be set to 2 (smooth) or 0 (at a stroke) with a default value of 1. Next, a parameter for starting start time shift indicating whether to delay the starting start time from a predetermined value is set (S103). The parameter set here is whether or not to shift.
次に、立上げ初期値の設定を行なう(S105)。立上げ初期値の既定値は0であるが、例えば、前音のその時点の音量値から立ち上がるように設定したり、立ち上がり曲線を無視して初期値をいきなり設定音量値(velocity)にしたり、所望の値にすることが可能である。 Next, a start-up initial value is set (S105). The default value of the start-up value is 0, but for example, it can be set to rise from the current volume value of the previous sound, or the initial value can be suddenly changed to the set volume value (velocity) ignoring the rising curve, It is possible to obtain a desired value.
次に、立下曲線の傾きを設定する(S107)。立下曲線の傾きは、立上曲線の傾きと同様、時定数により設定され、既定値を1として、1/2(急)、0(一気)の設定が可能である。 Next, the slope of the falling curve is set (S107). Like the slope of the rising curve, the slope of the falling curve is set by a time constant, and can be set to 1/2 (steep) or 0 (at a stroke) with a default value of 1.
次に、立下げ開始時点を既定値よりも早くするか否かを示す立下げ開始時点シフトのパラメータを設定する(S109)。ここで設定されるパラメータは、シフトを行なうか否かである。 Next, a fall start time point shift parameter indicating whether to make the fall start time earlier than a predetermined value is set (S109). The parameter set here is whether or not to shift.
次に、立下曲線の次音開始以降の傾きを設定する(S111)。次の音が開始されても傾きがそれまでと変わらない既定値を1として、1/4(急峻)、0(一気)の設定が可能である。以上により、パラメータ設定処理が終了する。 Next, the slope of the falling curve after the start of the next sound is set (S111). Setting a default value that is the same as before even when the next sound is started as 1, can be set to 1/4 (steep) or 0 (at once). Thus, the parameter setting process ends.
次に、歌唱音合成装置1のメインルーチンでは、図15に示すように、処理が開始されると、まず、外部記憶装置20に記憶された演奏データ21から音データを読み込む(S1)。ここで読み込む音データは、処理対象となる当該音データの全ての項目と、直後の音の開始時点(on time)211、直前の音の終了時点(off time)212である(図2参照)。
Next, in the main routine of the
次に、当該音の音量を計算する(S3)。音量計算処理の詳細については、図16を参照して後述する。そして、読み込んだ音データの音程213に基づいて、周知の方法で実際の音のピッチを計算する音程計算処理を実行する(S5)。次に、読み込んだ音データの音節名214に基づいて、音節辞書22を用いて周知の方法で音節データを合成する(S7)。
Next, the volume of the sound is calculated (S3). Details of the volume calculation processing will be described later with reference to FIG. Then, based on the
以上で当該音データに基づく歌唱音が生成されたので、できあがったデータをRAM13の歌唱音バッファに蓄積する(S9)。そして、次の音データが演奏データ21に存在するか否かを判断する(S11)。次の音データが存在すれば(S11:YES)、S1に戻って音データを読み込んで以上の処理を繰り返す。次の音データがなければ(S11:NO)、処理を終了する。 Since the singing sound based on the sound data is generated as described above, the completed data is stored in the singing sound buffer of the RAM 13 (S9). Then, it is determined whether or not the next sound data exists in the performance data 21 (S11). If the next sound data exists (S11: YES), the process returns to S1, reads the sound data, and repeats the above processing. If there is no next sound data (S11: NO), the process is terminated.
次に、図16を参照して、図15のS3で実行する音量計算処理について説明する。まず、処理対象としている音と前音との重なりがあるか否かを判断する(S21)。この判断は、前音のnoteoffからリリース時間を経過した時点を計算し、その時点が対象音のnoteonよりも後になるか否かを判断することにより行なう。 Next, with reference to FIG. 16, the sound volume calculation process executed in S3 of FIG. 15 will be described. First, it is determined whether there is an overlap between the sound to be processed and the previous sound (S21). This determination is made by calculating the time when the release time has elapsed from the note-off of the previous sound, and determining whether that time is later than the note-on of the target sound.
前音との重なりがある場合には(S21:YES)、前述した設定処理で設定されている各パラメータに従って、対象音の立上曲線のパラメータを決定する(S23)。具体的には、立上曲線の傾き、立上曲線の開始時点を遅らせるか否か(シフト)、立上曲線の初期値を決定する。 If there is an overlap with the previous sound (S21: YES), the parameter of the rising curve of the target sound is determined according to each parameter set in the setting process described above (S23). Specifically, the slope of the rising curve, whether to start the rising curve (shift), and the initial value of the rising curve are determined.
一方、前音との重なりが検出されなかった場合には(S21:NO)、立上曲線の全てのパラメータを既定値に戻す初期化処理を実行する(S25)。 On the other hand, if no overlap with the previous sound is detected (S21: NO), an initialization process for returning all parameters of the rising curve to the default values is executed (S25).
S23及びS25で対象音の立上曲線のパラメータが決定されると、次に、対象音と後音との重なりがあるか否かを判断する(S27)。この判断は、対象音のnoteffからリリース時間を経過した時点を計算し、その時点が後音のnoteonよりも後になるか否かを判断することにより行なう。 When the parameters of the rising curve of the target sound are determined in S23 and S25, it is next determined whether or not there is an overlap between the target sound and the subsequent sound (S27). This determination is performed by calculating the time when the release time has elapsed from the noteff of the target sound and determining whether that time is later than the noteon of the subsequent sound.
後音との重なりがある場合には(S27:YES)、前述した設定処理で設定されている各パラメータに従って、対象音の立下曲線のパラメータを決定する(S29)。具体的には、立下曲線の傾き、立下曲線の開始時点を早くするか否か(シフト)、立下曲線の初期値、後音開始以降の立下曲線の傾きを決定する。 When there is an overlap with the subsequent sound (S27: YES), the parameter of the falling curve of the target sound is determined according to each parameter set in the setting process described above (S29). Specifically, the slope of the falling curve, whether to start the falling curve earlier (shift), the initial value of the falling curve, and the slope of the falling curve after the start of the aftertone are determined.
一方、後音との重なりが検出されなかった場合には(S27:NO)、立下曲線の全てのパラメータを既定値に戻す初期化処理を実行する(S31)。 On the other hand, if no overlap with the subsequent sound is detected (S27: NO), an initialization process for returning all parameters of the falling curve to the default values is executed (S31).
S29及びS31で対象音の立下曲線のパラメータが決定されると、次に、対象音を所定の時間(本実施形態では10ミリ秒)で区切ったフレームごとに以下の処理を実行する。まず、最初のフレームについて、次式(1)に基づいて立上曲線を計算する(S33)。式(1)では、Volが当該フレームの音量値、Velが当該音の設定音量値(velocity)、Vol0はon時点の音量値、eが当該音のエクスプレッション値、αは時定数、tが現在時点、tonはon時点を示す。 When the parameters of the falling curve of the target sound are determined in S29 and S31, the following processing is executed for each frame obtained by dividing the target sound by a predetermined time (in this embodiment, 10 milliseconds). First, for the first frame, a rising curve is calculated based on the following equation (1) (S33). In Equation (1), Vol is the volume value of the frame, Vel is the set volume value (velocity) of the sound, Vol0 is the volume value at the time of on, e is the expression value of the sound, α is the time constant, and t is the current Time point, ton indicates on time point.
次に、読み込まれている当該音データのoff時点を参照し、次のフレームがoff時点か否かを判断する(S35)。次のフレームがoff時点でなければ(S35:NO)、次のフレームもまだ立上曲線の間に入っているので、S33に戻って式(1)による立上曲線の計算を実行する。次のフレームがoff時点であれば(S35:YES)、次のフレームからは立下曲線にはいるので、次に、次のフレームを処理対象フレームとして、当該フレームがRAM13に読み込まれている次の音のon時点以降にあたるか否かを判断する(S37)。当該フレームが次の音のon時点以降にあたらない場合には(S37:NO)、次式(2)に基づいて立下曲線を計算する(S39)。式(2)では、Volが当該フレームの音量値、Velが当該音の設定音量値(velocity)、eが当該音のエクスプレッション値、αは時定数、tが現在時点、toffはoff時点を示す。
Next, it is determined whether or not the next frame is at the off time with reference to the off time of the read sound data (S35). If the next frame is not at the off time (S35: NO), the next frame is still within the rising curve, so the process returns to S33 and the calculation of the rising curve by Expression (1) is executed. If the next frame is off (S35: YES), the falling curve starts from the next frame. Next, the next frame is read into the
当該フレームが次の音のon時点以降にあたる場合には(S37:YES)、次に、後音のon時点以降の立下曲線の傾きが、それまでの傾きから変更されるか否かを判断する(S41)。後音開始以降の立下曲線の傾きは、S29のパラメータ決定処理で決定されているので、これを参照して判断する。傾きの変更がない場合には(S41:NO)、後音のon時点以前の立下曲線と同様に計算すればよいので、S39に進み、式(2)に基づいて立下曲線を計算する。 If the frame falls after the on point of the next sound (S37: YES), it is next determined whether or not the slope of the falling curve after the on point of the subsequent sound is changed from the previous slope. (S41). The slope of the falling curve after the start of the aftertone is determined by the parameter determination process in S29, and is determined with reference to this. If there is no change in the slope (S41: NO), the calculation can be performed in the same manner as the falling curve before the on time of the subsequent sound, so the process proceeds to S39, and the falling curve is calculated based on Expression (2). .
傾きの変更がある場合には(S41:YES)、次式(3)に基づいて立下曲線を計算する(S43)。式(3)では、Volが当該フレームの音量値、Vol1が前フレームの音量値、eが当該音のエクスプレッション値、αは時定数、tが現在時点、ton_nextは後音のon時点を示す。 When there is a change in inclination (S41: YES), a falling curve is calculated based on the following equation (3) (S43). In Equation (3), Vol is the volume value of the frame, Vol1 is the volume value of the previous frame, e is the expression value of the sound, α is a time constant, t is the current time point, and ton_next is the on time point of the subsequent sound.
S39及びS43の処理により、当該フレームの立下曲線が計算されたので、次に、次のフレームが当該音のoff時点にリリース時間を加えた時点にあたるか否かを判断する(S45)。ここで、リリース時間は、noteoffから音が減衰して音量0に至るまでの時間を意味している。従って、off時点にリリース時間を加えた時点は、音量値が0になる時点である。次のフレームがまだリリース時間経過点に達していなければ(S45:NO)、S37に戻って、次のフレームを処理対象フレームとして立下曲線の計算を行なう。次のフレームがリリース時間経過点に達していれば(S45:YES)、図15のメインルーチンに戻る。
Since the falling curve of the frame has been calculated by the processes of S39 and S43, it is next determined whether or not the next frame corresponds to the time point when the release time is added to the sound off time point (S45). Here, the release time means the time from the noteoff until the sound attenuates and reaches the
以上説明したように、本実施形態の歌唱音合成装置1によれば、演奏データに基づいて演奏した場合に音が重なるか否かを予測し、重なりが予測される場合には、立上初期値、立下開始時点、立上開始時点、立下傾き、立上傾き等の各種のパラメータを重なりの予測される前音あるいは後音について変更することにより、いずれか又は両方の音の音量曲線を変更するので、滑らかで明瞭な歌唱音を合成することができる。
As described above, according to the
1 歌唱音合成装置
10 CPU
12 ROM
13 RAM
20 外部記憶装置
21 演奏データ
31 音源回路
32 サウンドシステム
50 音量曲線
51 立上曲線
53 立下曲線
1
12 ROM
13 RAM
20
Claims (16)
前記演奏データ中において歌唱音の2個が重なることを検出する重なり検出手段と、
当該重なり検出手段が2音の重なりを検出したときに、当該重なる2音の前音又は後音の音量に関する演奏データを変更する音量データ変更手段とを備え、
前記音量データ変更手段は、音量の変化を表す音量変化曲線において、後音の音量を立ち上げる際の立上曲線の初期値を変更する立上初期値変更手段、前音の音量を立ち下げる際の立下曲線の開始時点を変更する立下開始時点変更手段、前記立上曲線の開始時点を変更する立上開始時点変更手段、前記立下曲線の傾きを変更する立下傾き変更手段、前記立上曲線の傾きを変更する立上傾き変更手段の少なくとも1つを含むことを特徴とする歌唱音合成装置。 In the singing sound synthesizing apparatus provided with the singing sound generating means for generating a predetermined singing sound corresponding to the performance data,
Overlap detection means for detecting that two of the singing sounds overlap in the performance data;
Volume data changing means for changing performance data relating to the volume of the two preceding sounds or the succeeding sound when the overlapping detection means detects an overlap of two sounds;
The volume data changing means is a rising initial value changing means for changing an initial value of a rising curve when the volume of the subsequent sound is raised in a volume change curve representing a change in volume, and when the volume of the preceding sound is lowered. Falling start time changing means for changing the starting time of the falling curve, rising start time changing means for changing the starting time of the rising curve, falling slope changing means for changing the slope of the falling curve, A singing sound synthesizing apparatus comprising at least one rising inclination changing means for changing the inclination of a rising curve.
前記演奏データ中において歌唱音の2個が重なることを検出する重なり検出ステップと、
当該重なり検出ステップにおいて、2音の重なりを検出したときに、当該重なる2音の前音又は後音の音量に関する演奏データを変更する音量データ変更ステップとを備え、
前記音量データ変更ステップには、音量の変化を表す音量変化曲線において、後音の音量を立ち上げる際の立上曲線の初期値を変更する立上初期値変更ステップ、前音の音量を立ち下げる際の立下曲線の開始時点を変更する立下開始時点変更ステップ、前記立上曲線の開始時点を変更する立上開始時点変更ステップ、前記立下曲線の傾きを変更する立下傾き変更ステップ、前記立上曲線の傾きを変更する立上傾き変更ステップの少なくとも1つを含むことを特徴とする歌唱音合成方法。 In a singing sound synthesizing method for generating a predetermined singing sound corresponding to performance data,
An overlap detection step of detecting that two of the singing sounds overlap in the performance data;
A volume data changing step for changing performance data related to the volume of the preceding sound or the succeeding sound of the two overlapping sounds when the overlapping of the two sounds is detected in the overlapping detection step;
In the volume data changing step, a rising initial value changing step for changing an initial value of a rising curve when raising the volume of the subsequent sound in a volume change curve representing a change in volume, and lowering the volume of the preceding sound A rising start time changing step for changing the starting time of the falling curve, a rising start time changing step for changing the starting time of the rising curve, a falling slope changing step for changing the slope of the falling curve, A singing sound synthesizing method comprising at least one of a rising slope changing step for changing a slope of the rising curve.
The rising slope changing step sets the slope of the falling curve to 0, the rising slope changing step sets the slope of the rising curve to 0, and the rising initial value changing step includes the initial value of the rising curve. The singing sound synthesizing method according to claim 9, wherein the value is changed to the same value as the volume value of the sound.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004183362A JP4525201B2 (en) | 2004-06-22 | 2004-06-22 | SINGING SOUND SYNTHESIS DEVICE AND SINGING SOUND SYNTHESIS METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004183362A JP4525201B2 (en) | 2004-06-22 | 2004-06-22 | SINGING SOUND SYNTHESIS DEVICE AND SINGING SOUND SYNTHESIS METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006010730A true JP2006010730A (en) | 2006-01-12 |
JP4525201B2 JP4525201B2 (en) | 2010-08-18 |
Family
ID=35778106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004183362A Expired - Fee Related JP4525201B2 (en) | 2004-06-22 | 2004-06-22 | SINGING SOUND SYNTHESIS DEVICE AND SINGING SOUND SYNTHESIS METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4525201B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01198798A (en) * | 1987-10-05 | 1989-08-10 | Roorand Kk | Electronic musical instrument |
JPH02220098A (en) * | 1989-02-22 | 1990-09-03 | Kawai Musical Instr Mfg Co Ltd | Channel assignment device for electronic musical instrument |
JPH03267997A (en) * | 1990-03-19 | 1991-11-28 | Yamaha Corp | Musical sound signal generating device |
JPH06149261A (en) * | 1992-11-05 | 1994-05-27 | Yamaha Corp | Electronic musical instrument |
JPH1049169A (en) * | 1996-07-31 | 1998-02-20 | Yamaha Corp | Singing voice synthesizer and memory medium |
JPH10143153A (en) * | 1997-12-01 | 1998-05-29 | Yamaha Corp | Electronic musical instrument |
JP2001056687A (en) * | 1999-08-20 | 2001-02-27 | Roland Corp | Electronic instrument |
JP2002149159A (en) * | 2000-11-10 | 2002-05-24 | Yamaha Corp | Musical tone signal synthesizing method, musical tone synthesizer an recording medium |
JP2002304174A (en) * | 2001-04-09 | 2002-10-18 | Yamaha Corp | Musical performance processor, control method thereof, and program |
-
2004
- 2004-06-22 JP JP2004183362A patent/JP4525201B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01198798A (en) * | 1987-10-05 | 1989-08-10 | Roorand Kk | Electronic musical instrument |
JPH02220098A (en) * | 1989-02-22 | 1990-09-03 | Kawai Musical Instr Mfg Co Ltd | Channel assignment device for electronic musical instrument |
JPH03267997A (en) * | 1990-03-19 | 1991-11-28 | Yamaha Corp | Musical sound signal generating device |
JPH06149261A (en) * | 1992-11-05 | 1994-05-27 | Yamaha Corp | Electronic musical instrument |
JPH1049169A (en) * | 1996-07-31 | 1998-02-20 | Yamaha Corp | Singing voice synthesizer and memory medium |
JPH10143153A (en) * | 1997-12-01 | 1998-05-29 | Yamaha Corp | Electronic musical instrument |
JP2001056687A (en) * | 1999-08-20 | 2001-02-27 | Roland Corp | Electronic instrument |
JP2002149159A (en) * | 2000-11-10 | 2002-05-24 | Yamaha Corp | Musical tone signal synthesizing method, musical tone synthesizer an recording medium |
JP2002304174A (en) * | 2001-04-09 | 2002-10-18 | Yamaha Corp | Musical performance processor, control method thereof, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4525201B2 (en) | 2010-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108630176B (en) | Electronic wind instrument, control method thereof, and recording medium | |
JP3598598B2 (en) | Karaoke equipment | |
EP3273441B1 (en) | Sound control device, sound control method, and sound control program | |
JP6705272B2 (en) | Sound control device, sound control method, and program | |
JP6728755B2 (en) | Singing sound generator | |
JP5423375B2 (en) | Speech synthesizer | |
JP2009251261A (en) | Electronic musical instrument | |
CN108573689B (en) | Electronic musical instrument, musical sound generating method, and recording medium | |
JP6179221B2 (en) | Sound processing apparatus and sound processing method | |
JP4525201B2 (en) | SINGING SOUND SYNTHESIS DEVICE AND SINGING SOUND SYNTHESIS METHOD | |
JP6828530B2 (en) | Pronunciation device and pronunciation control method | |
JP6528752B2 (en) | Tone reproduction apparatus, tone reproduction method, program and electronic musical instrument | |
JP2010032704A (en) | Karaoke machine | |
JP4552769B2 (en) | Musical sound waveform synthesizer | |
JP5552797B2 (en) | Speech synthesis apparatus and speech synthesis method | |
JP6809608B2 (en) | Singing sound generator and method, program | |
US6362410B1 (en) | Electronic musical instrument | |
WO2016152708A1 (en) | Sound control device, sound control method, and sound control program | |
JP3173310B2 (en) | Harmony generator | |
JP2018151548A (en) | Pronunciation device and loop section setting method | |
JP2010181769A (en) | Karaoke device, and control method and control program for same | |
JP4214845B2 (en) | Automatic arpeggio device and computer program applied to the device | |
CN110720122B (en) | Sound generating device and method | |
JP4186855B2 (en) | Musical sound control device and program | |
JP2022177297A (en) | Electronic wind instrument, control method of electronic wind instrument, and program for electronic wind instrument |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070328 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100511 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100524 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4525201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |