JP2011043769A - 歌唱音声再生装置、歌唱音声再生方法及びコンピュータプログラム - Google Patents
歌唱音声再生装置、歌唱音声再生方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2011043769A JP2011043769A JP2009193540A JP2009193540A JP2011043769A JP 2011043769 A JP2011043769 A JP 2011043769A JP 2009193540 A JP2009193540 A JP 2009193540A JP 2009193540 A JP2009193540 A JP 2009193540A JP 2011043769 A JP2011043769 A JP 2011043769A
- Authority
- JP
- Japan
- Prior art keywords
- data
- melody
- voice
- singing
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【解決手段】カラオケ曲データを再生している間に行われた歌唱の音声データを取得し、取得した音声データを再生する歌唱音声再生装置に、カラオケ曲データに合わせて歌唱すべき音の旋律を示した歌唱旋律データを記憶する記憶手段と、線譜の画像を生成する線譜画像生成手段と、前記記憶手段が記憶している歌唱旋律データに基づいて、旋律を表現した旋律ブロックを線譜上に重畳させる旋律ブロック重畳手段と、取得された音声データに係る音の旋律を表現した音声波形を線譜及び旋律ブロック上に重畳させる音声波形重畳手段とを備え、該音声波形重畳手段は、旋律ブロック上に重畳した音声波形部分と、線譜上に重畳した音声波形部分とを、異なる波形線種又は重畳態様で重畳するように構成する。
【選択図】図1
Description
一方、特許文献1には、歌唱者に対してカラオケ曲の強弱を視覚的に認識させることによって、歌唱指導を行うカラオケ装置が開示されている。特許文献1に係るカラオケ装置は、カラオケ曲の歌詞データ及び模範となる歌唱の音声波形データを表示部に表示し、音声波形データの振幅の大きさ範囲毎に対応する色、例えば低振幅側から順に青色、緑色、黄色、及び赤色で色分け表示するように構成されている。歌唱者は、赤色表示された音声波形部分においては、強く発声し、青色表示された音声波形部分においては、弱く発声するように歌唱すれば良いことを瞬時に認識し、歌唱することが可能になる。
従って、歌唱音声と、模範となる旋律とを明瞭、客観的かつ視覚的に対比することが可能になる。
従って、ビブラートをかけて歌唱された歌唱音声の音声波形と、模範となるビブラート音声波形とを明瞭、客観的かつ視覚的に対比することが可能になる。
なお、ビブラートの大きさは、ビブラートを特徴付ける情報を意味しており、例えば、音高の振れ幅、周期性等の情報である。
図1は、本実施の形態に係るカラオケ装置1の一構成例を模式的に示すブロック図である。カラオケ装置1は、家庭用テレビゲームのコンピュータにて実現されるものであり、該カラオケ装置1の各構成部の動作を制御する制御部10、例えば、CPU(Central Processing Unit)を備える。制御部10には、バスを介してROM11、RAM12、外部記憶装置13、映像出力部14、内部記憶装置15、音声出力部16、音声入力部17、遠隔操作信号受信部18、通信部19及び時計部20が接続されている。なお、言うまでもなく、カラオケ装置1を専用機として構成しても良い。
また、内部記憶装置15は、楽曲DB(Data Base)15a、指導コメントDB15b、評価結果履歴DB15c、モデル音DB15d、及び教則動画DB15eを記憶する。各種データベースの詳細は後述する。
「練習内容」列は、各楽曲データによる歌唱練習の内容、例えば、発声、裏声、リズム、ビブラート等の種別を示したデータを格納する。
「レベル」列は、練習内容の難易度を示したデータ、例えば、レベル1〜レベル4等を示したデータを格納する。
伴奏データは、例えば、MIDI(Musical Instrument Digital Interface)データであり、音のオンオフを指定するデータ、音高を指定する音高データ、音量を指定する音量データ(ベロシティ)、楽器の制御データ、音を出力する楽器を指定する音色データ、時系列順に再生される各音の時間間隔を指定する時間データ(デルタタイム)等で構成されている。
主旋律データは、伴奏に合わせて歌唱すべき音の旋律、つまり、主旋律を構成する音のオンオフを示すデータ、音高データ、音量データ、時系列順に再生される主旋律の各音の時間間隔を示した時間データ等で構成されている。なお、時間間隔を示した時間データに変えて、伴奏データの開始時点からの経過時間を示したデータを用いても良い。また、主旋律データは、伴奏に合わせて歌唱すべきビブラートの時機、音高、音高の振れ幅及び周期性を示したビブラートデータ、裏声で歌唱すべき時機を示した裏声データ等を含む。なお、ビブラートデータを、主旋律データと別データで構成しても良い。また、主旋律データは、必ずしも複雑なものである必要は無く、例えば、リズム感を重点的に練習することを目的とする場合、音高が一定の音をオンオフさせるだけの単純なものであっても良い。
「模範音データ」列は、伴奏に合わせて歌唱すべき模範となる模範音データを格納する。模範音データは、例えばMIDIデータ、PCM(pulse code modulation)データ等である。
なお、上述の各種データは、予め内部記憶装置15が記憶しておいても良いし、通信網Nを通じてカラオケサーバ8から取得する構成でも良い。
「歌唱者ID」列は、歌唱評価された歌唱者を識別するための情報を格納する。
「評価結果」列は、更に複数の項目に区分されており、発声、裏声、リズム及びビブラートに関する評価を夫々格納している。各評価は、100点満点で管理されているが、言うまでも無く、これに限定されるものではない。
「評価日時」列は、歌唱評価を行った日時を格納する。
「公開可否」列は、歌唱評価を公開しても良いか否かを示すデータを格納する。公開の可否は、各歌唱者によって指定される。より具体的には、歌唱者はリモコン7を操作することによって、公開の可否を指定することができ、カラオケ装置1の制御部10は、遠隔操作信号受信部18及びリモコン7にて、公開の可否を受け付け、受け付けた公開の可否を、「公開可否」列に格納する。なお、公開の可否は、評価結果単位で指定しても良いが、歌唱者単位で指定するように構成しても良い。
「モデル音ID」列は、複数のモデル音データ夫々を識別するための固有の情報を格納する。
「評価結果」列は、代表的な評価結果パターンを格納する。例えば、発声、裏声、リズム及びビブラートに関する評価点数として20点,40点,60点,80点又は100点を与えた場合に考えられる5×5×5×5=625通りの評価結果を格納する。
「モデル音データ」列は、各評価結果に対応する評価結果確認用のモデル音データ、つまり歌唱評価を行った場合、当該評価結果が与えられるべき音声データを格納する。
次いで、制御部10は、歌唱練習を行う一の歌唱者を、遠隔操作信号受信部18を通じて受け付ける(ステップS12)。
歌唱者は、リモコン7を操作することによって、カーソルを移動させ、所望の練習内容及びレベルを選択することができ、制御部10は、遠隔操作信号受信部18を通じて、選択された練習内容及びレベルを受け付ける。
また、制御部10は、伴奏の進行位置を示した伴奏進行位置表示線91dを、線譜画像91a上に重畳させる。更に、制御部10は、技法コメントデータに基づいて、線譜画像91aの外側、特に上側に技法コメントを重畳させ、下側には音階などを重畳させる。
また、制御部10は、伴奏の進行位置を示した伴奏進行位置表示線91dを、線譜画像上に重畳させる。更に、制御部10は、技法コメントデータに基づいて、線譜画像の外側、特に上側に技法コメントを重畳させ、下側には音階などを重畳させる。
図14(a)は、採点発表画像の一例を示した模式図である。採点発表画像は、「採点発表」の文字と、総合評価点と、評価結果に対する指導コメントとを表示した画像である。制御部10は、例えば、「発声」、「裏声」、「リズム」及び「ビブラート」の総合得点を100点満点に換算し、総合評価点として算出する。また、制御部10は、ステップS51で行った評価結果に基づいて、指導コメントDB15bから、該評価結果に対応する指導コメントデータを検索する。そして、制御部10は、総合評価点と、指導コメントデータとを含む採点発表画像を生成する。
図14(b)は、トレーニング結果画面の一例を示す模式図である。トレーニング結果画面は、タブを有する3枚のシートを重ね合わせたような画像である。第1のシートは、「個人」の文字が表示されたタブを有し、個人の評価結果をレーダーチャートにて表示するものである。第2のシートは、「履歴」の文字が表示されたタブを有し、図17に示すように、個人の評価結果の履歴を表示するものである。第3のシートは、「比較」の文字が表示されたタブを有し、図16に示すように、一の歌唱者の歌唱に対する評価結果と、他の歌唱者の歌唱に対する評価結果とをレーダーチャートに重畳させて表示するものである。
なお、レーダーチャートは、評価結果を表示する図表の一例であり、グラフの種類は特に限定されない。例えば、評価結果を棒グラフ、円グラフ、散布図で表現しても良い。
図16中、実線で描かれた菱形は、ステップS12で受け付けた歌唱者の歌唱に対する評価結果を示しており、破線で描かれた菱形は、ステップS63で受け付けた歌唱者の歌唱に対する評価結果を示している。
なお、図16においては、評価結果を重畳的に表示しているが、各評価結果を対比することが可能であれば、該評価結果を並列的に表示するように構成しても良い。例えば、各評価結果を並列的に棒グラフ表示しても良い。
折れ線グラフの横軸は、歌唱評価を行った日時、縦軸は、評価結果を示す点数である。菱形印、四角印、三角印及びバツ印でプロットされた折れ線グラフは、それぞれ「発声」、「裏声」、「リズム」及び「ビブラート」に関する評価結果の履歴を示している。
歌唱技術の検定は、発声、裏声、リズム及びビブラートなどの歌唱技術を検定可能な伴奏データを再生し、歌唱音声データを取得し、取得した歌唱音声データを評価することによって行う。検定の際に得られた評価結果についても、図12〜図17で示した歌唱評価分析を行っても良い。
同様に、制御部10は、図18(b)に示すように、線譜画像91a上に、時間軸進行方向(図18中右方向)に向かって高音から低音に変化する音高ガイドラインを重畳させた画像データを生成し、表示部4に表示させる。そして、制御部10は、音声入力部17を通じて音声データを取得し、取得した音声データの音高を測定し、該音高に対応する音高ガイドライン上に音符画像を重畳させる。そして、音声データの入力が停止した場合、又は所定時間が経過した場合、測定された最低の音高を音域の下限として記憶する。
特に、自己の歌唱に対する評価結果と、他の歌唱者の歌唱に対する評価結果とを対比可能にレーダーチャート表示する構成であるため、他者の歌唱との対比によって歌唱技術向上の動機付けを一の歌唱者に与え、効果的な歌唱訓練が可能になる。
例えば、一の歌唱者が自分よりも歌唱技術が優れている他の歌唱者のように歌唱できるようになりたいと考えている場合、該他の歌唱者の評価結果と対比させることによって、どの歌唱技術が優れているのか、どの程度歌唱技術を向上させれば良いのか、つまり現時点の歌唱技術と、到達点の歌唱技術との隔たりを明瞭、客観的かつ視覚的に把握することができ、歌唱技術向上の目標、方向性を明確化することができる。
2 記録媒体
3 コンピュータプログラム
4 表示部
5 スピーカ
6 マイク
8 カラオケサーバ
10 制御部
13 外部記憶装置
12 RAM
14 映像出力部
15 内部記憶装置
15a 楽曲DB
15b 指導コメントDB
15c 評価結果履歴DB
15d モデル音DB
15e 教則動画DB
16 音声出力部
17 音声入力部
18 遠隔操作信号受信部
19 通信部
91a 線譜画像
91b,91c 旋律ブロック
91d 伴奏進行位置表示線
91e,91g 音声波形
91f ビブラート音声波形
Claims (6)
- カラオケ曲データを再生する再生手段と、該再生手段にてカラオケ曲データを再生している間に行われた歌唱の音声データを取得する取得手段と、該取得手段にて取得した音声データを再生する再生手段とを備える歌唱音声再生装置において、
前記カラオケ曲データに合わせて歌唱すべき音の旋律を示した歌唱旋律データを記憶する記憶手段と、
旋律を表現するための線譜の画像を生成する線譜画像生成手段と、
前記記憶手段が記憶している歌唱旋律データに基づいて、前記線譜における時間軸方向の寸法が歌唱すべき音の長さに対応した幅である旋律ブロックを、前記線譜上の歌唱すべき音の高さに応じた位置に重畳させる旋律ブロック重畳手段と、
前記取得手段が取得した音声データに係る音の旋律を表現した音声波形を前記線譜及び旋律ブロック上に重畳させる音声波形重畳手段と
を備え、
該音声波形重畳手段は、
前記旋律ブロック上に重畳した音声波形部分と、前記線譜上に重畳した音声波形部分とを、異なる波形線種又は重畳態様で重畳するようにしてある
ことを特徴とする歌唱音声再生装置。 - 前記カラオケ曲データに合わせてビブラートをかけて歌唱すべき時機、及びビブラートの大きさを示したビブラートデータを記憶しており、
前記ビブラートデータに基づいて、該ビブラートデータが示す大きさを有するビブラート音声波形を前記旋律ブロック及び線譜上に重畳させるビブラート音声波形重畳手段を備え、
該ビブラート音声波形重畳手段は、
前記取得手段が取得した音声データに係る音の旋律を表現した音声波形と、ビブラート音声波形とを、異なる波形線種又は重畳態様で重畳するようにしてある
ことを特徴とする請求項1に記載の歌唱音声再生装置。 - 前記音声波形重畳手段は、
ビブラートをかけて歌唱すべき時機の音声波形を、前記線譜及び旋律ブロック上に同一の波形線種又は重畳態様で重畳するようにしてある
ことを特徴とする請求項2に記載の歌唱音声再生装置。 - 前記カラオケ曲データに合わせて歌唱すべき歌詞を示した歌詞データを記憶しており、
前記歌詞データ及び歌唱旋律データに基づいて、歌詞を表示した旋律ブロックを生成する手段を備える
ことを特徴とする請求項1乃至請求項3のいずれか一つに記載の歌唱音声再生装置。 - カラオケ曲データを再生し、該カラオケ曲データが再生されている間に行われた歌唱の音声データを取得し、取得した音声データを再生する歌唱音声再生方法において、
旋律を表現するための線譜の画像を生成するステップと、
前記カラオケ曲データに合わせて歌唱すべき音の旋律を示した歌唱旋律データに基づいて、前記線譜における時間軸方向の寸法が歌唱すべき音の長さに対応した幅である旋律ブロックを、前記線譜上の歌唱すべき音の高さに応じた位置に重畳させるステップと、
取得した音声データに係る音の旋律を表現した音声波形を前記線譜及び旋律ブロック上に重畳させる音声波形重畳ステップとを有し、
該音声波形重畳ステップは、
前記旋律ブロック上に重畳した音声波形部分と、前記線譜上に重畳した音声波形部分とを、異なる波形線種又は重畳態様で重畳する
ことを特徴とする歌唱音声再生方法。 - コンピュータに、カラオケ曲データが再生されている間に行われた音声データを再生させるコンピュータプログラムにおいて、
コンピュータに、旋律を表現するための線譜の画像を生成させるステップと、
コンピュータに、前記カラオケ曲データに合わせて歌唱すべき音の旋律を示した歌唱旋律データに基づいて、前記線譜における時間軸方向の寸法が歌唱すべき音の長さに対応した幅である旋律ブロックを、前記線譜上の歌唱すべき音の高さに応じた位置に重畳させるステップと、
コンピュータに、取得した音声データに係る音の旋律を表現した音声波形を前記線譜及び旋律ブロック上に重畳させる音声波形重畳ステップとを有し、
該音声波形重畳ステップは、
コンピュータに、前記旋律ブロック上に重畳した音声波形部分と、前記線譜上に重畳した音声波形部分とを、異なる波形線種又は重畳態様で重畳させる
ことを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009193540A JP5244739B2 (ja) | 2009-08-24 | 2009-08-24 | 歌唱音声再生装置、歌唱音声再生方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009193540A JP5244739B2 (ja) | 2009-08-24 | 2009-08-24 | 歌唱音声再生装置、歌唱音声再生方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011043769A true JP2011043769A (ja) | 2011-03-03 |
JP5244739B2 JP5244739B2 (ja) | 2013-07-24 |
Family
ID=43831216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009193540A Active JP5244739B2 (ja) | 2009-08-24 | 2009-08-24 | 歌唱音声再生装置、歌唱音声再生方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5244739B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013045035A (ja) * | 2011-08-26 | 2013-03-04 | Brother Ind Ltd | 発声評価装置、発声評価方法、及び発声評価プログラム |
JP2014071248A (ja) * | 2012-09-28 | 2014-04-21 | Daiichikosho Co Ltd | カラオケシステム |
JP2016071210A (ja) * | 2014-09-30 | 2016-05-09 | ブラザー工業株式会社 | カラオケ装置及びカラオケプログラム |
JP2016095350A (ja) * | 2014-11-12 | 2016-05-26 | 株式会社コシダカホールディングス | カラオケにおける歌唱評価装置 |
JP2016114726A (ja) * | 2014-12-13 | 2016-06-23 | 株式会社エクシング | カラオケ装置及びプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06214583A (ja) * | 1993-01-18 | 1994-08-05 | Yamaha Corp | カラオケ装置 |
JPH08123448A (ja) * | 1994-10-18 | 1996-05-17 | Sega Enterp Ltd | 音声信号の波形解析を用いた画像処理装置 |
JPH08123454A (ja) * | 1994-10-28 | 1996-05-17 | Sofuitsuku:Kk | カラオケ練習装置および同装置における音程比較表示方法 |
JP2006189471A (ja) * | 2004-12-28 | 2006-07-20 | Konami Co Ltd | プログラム、歌唱力判定方法、ならびに、判定装置 |
JP2006301019A (ja) * | 2005-04-15 | 2006-11-02 | Yamaha Corp | ピッチ通知装置およびプログラム |
JP2007219016A (ja) * | 2006-02-14 | 2007-08-30 | Seiko Instruments Inc | 音楽練習支援機器 |
JP2008039984A (ja) * | 2006-08-03 | 2008-02-21 | Yamaha Corp | ビブラート検出装置 |
JP2008225117A (ja) * | 2007-03-13 | 2008-09-25 | Yamaha Corp | ピッチ表示制御装置 |
JP2009122170A (ja) * | 2007-11-12 | 2009-06-04 | Yamaha Corp | メロディ表示制御装置及びカラオケ装置 |
-
2009
- 2009-08-24 JP JP2009193540A patent/JP5244739B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06214583A (ja) * | 1993-01-18 | 1994-08-05 | Yamaha Corp | カラオケ装置 |
JPH08123448A (ja) * | 1994-10-18 | 1996-05-17 | Sega Enterp Ltd | 音声信号の波形解析を用いた画像処理装置 |
JPH08123454A (ja) * | 1994-10-28 | 1996-05-17 | Sofuitsuku:Kk | カラオケ練習装置および同装置における音程比較表示方法 |
JP2006189471A (ja) * | 2004-12-28 | 2006-07-20 | Konami Co Ltd | プログラム、歌唱力判定方法、ならびに、判定装置 |
JP2006301019A (ja) * | 2005-04-15 | 2006-11-02 | Yamaha Corp | ピッチ通知装置およびプログラム |
JP2007219016A (ja) * | 2006-02-14 | 2007-08-30 | Seiko Instruments Inc | 音楽練習支援機器 |
JP2008039984A (ja) * | 2006-08-03 | 2008-02-21 | Yamaha Corp | ビブラート検出装置 |
JP2008225117A (ja) * | 2007-03-13 | 2008-09-25 | Yamaha Corp | ピッチ表示制御装置 |
JP2009122170A (ja) * | 2007-11-12 | 2009-06-04 | Yamaha Corp | メロディ表示制御装置及びカラオケ装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013045035A (ja) * | 2011-08-26 | 2013-03-04 | Brother Ind Ltd | 発声評価装置、発声評価方法、及び発声評価プログラム |
JP2014071248A (ja) * | 2012-09-28 | 2014-04-21 | Daiichikosho Co Ltd | カラオケシステム |
JP2016071210A (ja) * | 2014-09-30 | 2016-05-09 | ブラザー工業株式会社 | カラオケ装置及びカラオケプログラム |
JP2016095350A (ja) * | 2014-11-12 | 2016-05-26 | 株式会社コシダカホールディングス | カラオケにおける歌唱評価装置 |
JP2016114726A (ja) * | 2014-12-13 | 2016-06-23 | 株式会社エクシング | カラオケ装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5244739B2 (ja) | 2013-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4353018B2 (ja) | 楽器演奏教習装置及びそのプログラム | |
US7271329B2 (en) | Computer-aided learning system employing a pitch tracking line | |
CN103187046B (zh) | 显示控制装置及方法 | |
JP6724879B2 (ja) | 再生制御方法、再生制御装置およびプログラム | |
JP5244739B2 (ja) | 歌唱音声再生装置、歌唱音声再生方法及びコンピュータプログラム | |
JP5229998B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
JP2007232750A (ja) | カラオケ装置、制御方法およびプログラム | |
JP2006276693A (ja) | 歌唱評価表示装置およびプログラム | |
JP5313196B2 (ja) | 難易度算出装置、難易度算出方法及びコンピュータプログラム | |
JP5244738B2 (ja) | 歌唱評価装置、歌唱評価方法及びコンピュータプログラム | |
JP5346114B1 (ja) | 音楽表現力の教育装置及び方法並びに音楽演奏評価装置 | |
JP5005445B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
CN110956870A (zh) | 一种视唱练耳教学方法及装置 | |
JP4932614B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
JP4891135B2 (ja) | 評価装置 | |
JP2001318683A (ja) | 歌唱情報表示装置及び方法 | |
JP2013200455A (ja) | 演奏練習支援システム | |
JP5416396B2 (ja) | 歌唱評価装置およびプログラム | |
JP3949544B2 (ja) | 歌声ピッチの誤差をバーグラフに表示するカラオケ装置 | |
JP6862667B2 (ja) | 楽譜表示制御装置及びプログラム | |
JP6425560B2 (ja) | 反復再生機能を備えるカラオケ装置 | |
JP5888295B2 (ja) | 演奏情報表示装置、プログラム | |
JP2018146716A (ja) | 教習装置、教習プログラムおよび教習方法 | |
RU2356105C1 (ru) | Способ оценки качества вокального исполнения музыкального произведения | |
JP2007233078A (ja) | 評価装置、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5244739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |