JP2007025002A - カラオケの制御方法およびカラオケ装置 - Google Patents

カラオケの制御方法およびカラオケ装置 Download PDF

Info

Publication number
JP2007025002A
JP2007025002A JP2005203698A JP2005203698A JP2007025002A JP 2007025002 A JP2007025002 A JP 2007025002A JP 2005203698 A JP2005203698 A JP 2005203698A JP 2005203698 A JP2005203698 A JP 2005203698A JP 2007025002 A JP2007025002 A JP 2007025002A
Authority
JP
Japan
Prior art keywords
lyrics
information
block
unit
singer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005203698A
Other languages
English (en)
Other versions
JP4145901B2 (ja
Inventor
Megumi Hayasaka
恵 早坂
Tetsuji Yamamoto
哲治 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2005203698A priority Critical patent/JP4145901B2/ja
Publication of JP2007025002A publication Critical patent/JP2007025002A/ja
Application granted granted Critical
Publication of JP4145901B2 publication Critical patent/JP4145901B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】 複数の歌唱者が交代しながら歌唱を行いたい。
【解決手段】 通信部20は、複数のブロックに分割された歌詞と、各ブロックを曲の進行にしたがって順次切りかえながら画面に表示するためのタイミング情報とが含まれた歌詞情報と、歌詞情報に含まれたタイミング情報と関連づけられた演奏音楽とを入力する。特定部34は、入力した歌詞情報に含まれたタイミング情報から、隣接したブロックの間隔をそれぞれ導出し、隣接したブロックの間隔をもとに、再生すべき歌詞の部分を特定する。指示部36は、歌詞情報に含まれた歌詞のうち、特定部34によって特定された部分を画面に表示させつつ、伴奏音楽のうち、特定部34によって特定された部分を再生させる。
【選択図】 図1

Description

本発明は、カラオケの制御技術に関し、特に曲の進行にしたがって歌詞を表示するカラオケの制御方法およびカラオケ装置に関する。
カラオケ装置では、歌唱曲の歌唱部分を除いた伴奏音楽が再生され、歌唱者が再生された伴奏音楽に合わせて歌唱する。カラオケ装置では、歌唱者に歌詞を知らせるために、一般的に、モニタ等の表示装置に歌詞を表示する。さらに、表示装置に表示した歌詞のうち、歌唱者が発声すべき文字を明確にするために、カラオケ装置は、発声すべき文字に対して、予め表示した文字の色から別の色に変更する。
本発明者はこうした状況下、以下の課題を認識するに至った。一般的に、歌唱者は、曲の進行にしたがって歌唱を実行することによって、カラオケ装置の使用を楽しむ。しかしながら、複数の歌唱者がカラオケ装置を使用する際に、ひとつの曲のうちの別々の部分を順番に歌唱する場合もある。その際、歌唱すべき部分がランダムに選択されるのであれば、歌唱者にとって、遊技性が向上する。しかしながら、曲の切れ目以外の部分にて、歌唱すべき歌唱者が交代するのであれば、新たに歌唱を始める歌唱者にとって、スムーズな歌唱が困難になる。一方、複数の歌唱者によってカラオケ装置を使用するために、通常のカラオケ用のデータと別のデータを作成するのであれば、事業者にとって、データ作成のための処理が増加する。
本発明はこうした状況に鑑みてなされたものであり、その目的は、複数の歌唱者が交代しながら歌唱を行うことに適するように、カラオケにおいて使用されるデータを加工するカラオケの制御技術を提供することにある。
本発明のある態様は、プログラムである。このプログラムは、ネットワークを介して、複数のブロックに分割された歌詞と、各ブロックを曲の進行にしたがって順次切りかえながら画面に表示するためのタイミング情報とが含まれた歌詞情報と、歌詞情報に含まれたタイミング情報と関連づけられた演奏音楽とを入力するステップと、入力した歌詞情報に含まれたタイミング情報から、隣接したブロックの間隔をそれぞれ導出し、隣接したブロックの間隔をもとに、再生すべき歌詞の部分を特定するステップと、入力した歌詞情報に含まれた歌詞のうち、特定された部分を画面に表示し、入力した伴奏音楽のうち、特定された部分を再生するステップと、をコンピュータに実行させる。
この態様によると、歌詞情報に対して、隣接したブロックの間隔をもとに、再生すべき歌詞の部分を特定するので、通常のカラオケのデータを使用しつつ、複数の歌唱者が交代しながら歌唱を行うことに適したデータを加工できる。
特定するステップは、隣接したブロックの間隔をそれぞれ導出するステップと、導出するステップにおいて導出したブロックの間隔のそれぞれをしきい値と比較し、しきい値よりも長いブロックの間隔の後段におけるブロックを選択するステップと、選択するステップにおいて選択したブロックを先頭として、予め規定された歌唱期間よりも長くなるように、連続したブロックを結合するステップと、結合するステップにおいて結合したブロックを再生すべき歌詞の部分として出力するステップと、を備えてもよい。この場合、連続したブロックを結合するので、予め定めた歌唱期間よりも長くなるような部分を選択できる。
出力するステップは、結合したブロックの中において、隣接したブロックの間隔の割合が大きければ、当該結合したブロックを再生すべき歌詞の部分から除外してもよい。この場合、隣接したブロックの間隔の割合が大きければ、再生すべき歌詞の部分から除外するので、歌唱者が歌うべき期間の短い部分を選択することを回避できる。
歌唱者の人数を受けつけるステップをさらに備え、再生するステップは、受けつけるステップにおいて受けつけた人数の歌唱者のそれぞれに対応させつつ、歌詞の表示と伴奏音の再生を実行してもよい。この場合、複数の歌唱者による歌唱に対応するような再生を実行できる。
再生するステップは、特定するステップによって特定された部分を組み合わせることによって、複数のグループを生成するステップと、生成するステップにおいて生成した複数のグループのそれぞれを単位にして、グループに含まれた部分のそれぞれを歌唱者へ割り当てるステップと、割り当てるステップによって割り当てた歌唱者を指示しながら、割り当てられた部分に対応した歌詞の表示と伴奏音楽の再生を実行するステップと、を備えてもよい。この場合、ひとりの歌唱者が、同一の部分を歌唱する可能性を低減できる。
実行するステップは、歌唱者とグループの順番を混ぜながら、歌詞の表示と伴奏音楽の再生を実行してもよい。この場合、歌唱者はいつ歌唱すべきかを予想できないので、遊技性を向上できる。
入力するステップにおいて入力した歌詞情報に含まれたタイミング情報と関連づけられた演奏情報を取得し、演奏情報のうち、曲の進行にしたがって発声すべき文字のそれぞれを演奏するためのタイミング情報を抽出するステップと、抽出するステップにおいて抽出したタイミング情報をもとに、歌唱者に対して、歌唱を開始するタイミングを通知するためのカウントであって、かつ生成するステップにて実行される歌詞の表示と伴奏音楽の再生と同期したカウントを作成し、作成したカウントを画面に表示させるステップと、をさらに備えてもよい。この場合、曲のタイミングに合わせたカウントがなされるので、歌唱をスムーズに開始できる。
本発明のある態様は、カラオケ装置である。この装置は、複数のブロックに分割された歌詞と、各ブロックを曲の進行にしたがって順次切りかえながら画面に表示するためのタイミング情報とが含まれた歌詞情報と、歌詞情報に含まれたタイミング情報と関連づけられた演奏音楽とを入力する入力部と、入力部において入力した歌詞情報に含まれたタイミング情報から、隣接したブロックの間隔をそれぞれ導出し、隣接したブロックの間隔をもとに、再生すべき歌詞の部分を特定する特定部と、入力部において入力した歌詞情報に含まれた歌詞のうち、特定部によって特定された部分を画面に表示し、入力部において入力した伴奏音楽のうち、特定部によって特定された部分を再生する指示部と、を備える。
本発明のある態様は、カラオケの制御方法である。この方法は、曲を複数のブロックに分割し、歌唱者を変えながら、分割したブロックを歌唱者に歌唱させる。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、複数の歌唱者が交代しながら歌唱を行うことに適するように、カラオケにおいて使用されるデータを加工できる。
本発明を具体的に説明する前に、概要を述べる。本発明の実施例は、ひとりの歌唱者が歌唱を実行する際に、伴奏音楽を出力しつつ、伴奏音楽に対応した歌詞を表示装置に表示するカラオケ装置に関する。さらに、複数の歌唱者がひとつの曲を順番に歌唱するときに、歌唱者が歌唱すべき部分を直前まで隠すことによって、複数の歌唱者に対する遊技性を向上できる。しかしながら、複数の歌唱者のそれぞれが歌唱する部分には、区切りのよいことが望まれる。また、事業者の処理を考慮すれば、複数の歌唱者による歌唱のためのデータには、新たに作成しないことが望まれる。すなわち、複数の歌唱者による歌唱には、通常のカラオケ用のデータを使用したい。これらの要求を解決するために、本実施例に係るカラオケ装置は、以下のように構成される。
本実施例に係るカラオケ装置は、ネットワークに接続されており、カラオケ装置は、カラオケ用のデータをネットワークからダウンロードする。なお、カラオケ用のデータには、伴奏を再生するための伴奏音楽、歌詞をモニタに表示するための歌詞情報、歌唱者の歌唱の程度を評価するための演奏情報が含まれている。歌唱情報には、歌唱を行う際の区切りとしてブロックが規定されており、歌唱情報に含まれた歌詞は、複数のブロックに分割されている。また、歌詞情報には、それぞれのブロックの開始時刻と終了時刻に関するタイミング情報も含まれている。カラオケ装置は、タイミング情報をもとに、隣接したブロックの間隔をそれぞれ導出し、これらをしきい値と比較する。カラオケ装置は、しきい値よりも長い間隔の後段に配置されるブロックを選択する。また、選択したブロックを先頭として、予め定められた歌唱期間よりも長くなるまで、連続したブロックが結合される。結合されたブロックがひとつのパートとなる。以上の処理の結果、ひとつの曲あたり生成された複数のパートが、複数の歌唱者にランダムに割り当てられることによって、通常のカラオケ用のデータを使用しつつ、区切りのよい部分を複数の歌唱者のそれぞれに割り当てられる。
図1は、本発明の実施例に係るカラオケ装置100の構成を示す。カラオケ装置100は、ネットワーク10、マイク12、スピーカ14、モニタ16、通信部20、記憶部22、再生部24、歌詞表示部26、モニタ制御部28、操作部30、判定部32、特定部34、指示部36を含む。また、特定部34は、導出部38、選択部40、結合部42を含み、指示部36は、生成部44、割当部46、実行部48を含み、歌詞表示部26は、カウント部50を含む。
マイク12は、カラオケ機能を実行する際に、歌唱者によって発声された音声を取り込む。スピーカ14は、伴奏音楽を再生すると共に、マイク12に入力された歌唱者による発声を再生する。モニタ16は、歌唱曲の歌詞を表示する。
ネットワーク10は、カラオケ装置100と接続されており、カラオケ装置100は、ネットワーク10を介して図示しないサーバから、所定のデータを入力する。その際、カラオケ装置100の内部において、通信部20が通信処理を実行する。記憶部22は、通信部20による通信によってサーバから取得したデータを記憶する。また、予め入力したデータも記憶する。なお、記憶部22は、データを記憶するためのハードディスクによって構成されてもよく、データを一時的に記憶できるRAM(Random Access Memory)によって構成されてもよく、あるいはそれらの組合せによって構成されてもよい。
ここで、記憶部22に入力されるデータには、歌詞情報、演奏情報、伴奏音楽が含まれており、データは、ひとりの歌唱者によるカラオケ機能を実行する場合、あるいは複数の歌唱者によるカラオケ機能を実行する場合において共通に使用される。歌詞情報は、曲に対応した歌詞と、曲の進行にしたがって発声すべき文字のそれぞれを画面に表示するためのタイミング情報を含む。また、歌詞は、発音の区切りに応じて、複数のブロックに分割されており、タイミング情報は、各ブロックを曲の進行にしたがって順次切りかえながら画面に表示するための情報も含む。また、演奏情報は、MIDI(Musical Instrument Digital Interface)のデータ形式を有し、これは、歌詞情報に含まれたタイミング情報と関連づけられている。伴奏音楽は、ATRAC(Advanced TRansform Acoustic Coding)やMP3(MPEG Audio Layer−3)等のデータ形式を有し、曲の伴奏の再生に使用される。伴奏音楽も、歌詞情報に含まれたタイミング情報と関連づけられている。
図2(a)−(b)は、記憶部22に入力される歌詞情報と演奏情報との関連を示す。図2(a)は、歌詞情報を示し、図2(b)は、演奏情報を示す。図において、横方向が時間軸に相当し、右に行くにつれて時間が経過する。歌詞情報は、時間軸の先頭部分に「タイトル」を配置し、それに続いて「歌詞」を配置する。また、演奏情報は、先頭部分に「無音期間」を配置し、それに続いて「MIDI発音期間」を配置する。「MIDI発音期間」の先頭から、期間「t1」だけ前に進んだ位置に、歌詞情報の「タイトル」の先頭が配置されている。
図3は、記憶部22に入力される歌詞情報のデータ構造を示す。図3のごとく、歌詞情報は、ブロック番号欄70、文字列欄72、表示時間欄74、消去時間欄76、開始時間および終了時間欄78を含み、これらのデータが、シリアル形式や、所定ビットのパラレル形式を有する。「ブロック番号欄70」は、歌詞を分割することによって生成された複数のブロックを識別するための番号であり、歌詞の先頭に相当するブロックが「1」になるような番号によって示されている。ここで、「ブロック」とは、歌詞の中のひとつのフレーズ、モニタ16に表示される際の一行などような歌詞の中でのひとつのくくりに相当する。そのため、「ブロック」は、一般的に、複数の文字を含む。なお、ブロックは曲の進行に合わせて順次切りかえられるが、歌詞情報等はブロックが切りかわる前に入力される。「文字列欄72」は、ブロック番号欄70に対応するように、歌詞を分割した複数の文字に相当する。
「表示時間欄74」、「消去時間欄76」、「開始時間および終了時間欄78」は、「表示時間」、「消去時間」、「開始時間」、「終了時間」にそれぞれ相当する。「表示時間」は、モニタ16に、ブロックに含まれた複数の文字を表示すべき時間を示す。カラオケ装置100の内部には、図示しないクロック発生装置が備えられており、例えば、伴奏音楽が開始される際に、クロック発生装置のクロックがリセットされ、伴奏音楽の進行と共に、クロックがカウントアップされる。「表示時間」は、当該クロックによって規定されているものとし、以下、その他の「消去時間」等についても同様である。すなわち、「時間」は、クロックにもとづいて規定されている。「消去時間」は、モニタ16に表示された複数の文字であって、ブロックに含まれた複数の文字を消去すべき時間を示す。
「開始時間」とは、表示された複数の文字のそれぞれが、歌唱者によって歌唱されるべき時間を示す。ここで、ブロックは複数の文字を含んでいるので、ひとつのブロックに対して、複数の開始時間が含まれている。また、「終了時間」とは、表示された複数の文字のそれぞれの歌唱が、終了されるべき時間を示し、「開始時間」にそれぞれ対応するように規定されている。なお、図示された数字は、前述のクロックによって規定されている。文字列欄72のそれぞれに複数の文字が存在しているので、開始時間および終了時間欄78の開始時間と終了時間は、複数の文字のそれぞれに対応して規定される。
図4は、記憶部22に入力される演奏情報のデータ構造を示す。演奏情報は、データ番号欄80、時間欄82、音程欄84、強さ欄86を含む。ここで、データ番号欄80は、演奏情報に含まれるデータのそれぞれに対して付与した番号に対応する。例えば、データは、歌詞に含まれる文字のそれぞれや、演奏される音のそれぞれに相当する。時間欄82は、データ番号欄80でのそれぞれのデータを演奏すべきタイミングを示す。演奏すべきタイミングは、演奏を開始すべきタイミングであってもよい。時間欄82でのタイミングは、図2(b)の無音期間の先頭を基準にして規定される。音程欄84は、データ番号欄80でのそれぞれのデータを演奏する際の音程を示す。ここでは、「ド」、「レ」等として示されているが、さらにオクターブの情報が含まれていてもよい。強さ欄86は、データ番号欄80でのそれぞれのデータを演奏する際の音の強さを示す。ここで、「A」は、最も音の弱い状態に相当し、「B」、「C」となるにつれて、音が強くなるものとする。以上のデータ構造によって、演奏情報は、いつ、どれだけの長さで、どの音程を発声すべきかの情報を有する。
図1に戻る。これまでの説明は、ひとりの歌唱者によるカラオケ機能を実行する場合、あるいは複数の歌唱者によるカラオケ機能を実行する場合において共通である。以下において、ひとりの歌唱者によるカラオケ機能を実行する場合の説明を先に行う。歌詞表示部26は、歌詞情報にもとづいて、歌詞を分割した複数のブロックのそれぞれに対して、ブロックに含まれた複数の文字を表示すべき表示時間と、表示された複数の文字を消去すべき消去時間と、表示された複数の文字のそれぞれを歌唱者が発声すべき複数の開始時間と、歌唱者が発声を終了すべき複数の終了時間とを入力する。歌詞表示部26は、ブロックを曲の進行にしたがって順次切りかえつつ、表示時間になれば、ブロックに含まれた複数の文字をモニタ16に表示させる。例えば、図2のブロック番号欄70が「1」の場合、「線路は続くよどこまでも」の文字列を表示させる。ここで、表示される文字は、所定の文字の大きさ、色、形等によって規定されている。歌詞表示部26は、表示の指示をモニタ制御部28に出力する。
モニタ制御部28は、歌詞表示部26からの指示にしたがって、複数の文字をモニタ16に表示する。その際、モニタ制御部28は、ひとつのブロックの最初の文字がモニタ16の所定の位置に表示されるように、座標を規定する。例えば、ブロックの文字列が「線路は続くよどこまでも」である場合、最初の「線」の文字の左上の部分が、モニタ16の所定の座標になるように、ブロックに含まれた複数の文字の座標がそれぞれ規定される。ここで、座標は、モニタ16の所定の位置を原点として規定される。また、基準となる文字の座標は、ブロックに含まれる文字数に応じて調節されてもよい。
さらに、歌詞表示部26は、モニタ16に表示した複数の文字のうち、現タイミングにて歌唱者が発声すべき文字の表示の形式を変更する。文字の表示の変更は、文字の大きさが変わったり、色が変わったり、形が変わったりすることによって、実現されればよい。例えば、歌唱すべき文字の大きさが、表示されている文字の大きさよりも大きくなる。その際、モニタ16におけるリフレッシュレートに対応した時間間隔に応じて、文字が段階的に大きくなってもよい。その結果、大きくなった文字によって、カラオケ装置100は、歌唱者に対して歌唱すべき文字を知らしめる。歌詞表示部26による以上のような指示も、前述のごとく、モニタ制御部28を介して、モニタ16に出力される。
再生部24は、記憶部22から、伴奏音楽のデータを入力し、これを復号する。再生部24は、復号した伴奏音楽をスピーカ14から出力する。さらに、再生部24は、マイク12から、歌唱者によって発声された歌唱も入力し、伴奏音楽と合成して、スピーカ14から出力する。
判定部32は、モニタ16に表示させた複数の文字に対応すべき音声のデータであって、かつ歌唱者によって歌唱された音声のデータをマイク12から入力する。ここでは、歌唱された文字に対応しながら、音声のデータがひとつの文字を単位にして順次入力される。このように、音声のデータは、複数の文字のそれぞれに対応するが、さらに、ひとつの文字に対して複数のポイントにおいてサンプリングされている。なお、音声のデータは、一般的に、音程・音色・音量によって構成されるが、ここでは、音程を対象にする。判定部32は、モニタ16に表示させた複数の文字に対応すべき音程のデータであって、入力した音声のデータの音程と対比されるべき音程のデータを入力する。ここでは、音声のデータと同様に、歌唱された文字に対応しながら、音程のデータがひとつの文字を単位にして順次入力される。なお、音程のデータは、前述の演奏情報に含まれている。
判定部32は、歌唱された文字を単位にして、音声のデータと音程のデータとの間の音程の誤差を導出する。ここでは、音声のデータをFFT(Fast Fourier Transform)して、基本周波数を抽出し、これを音程のデータと比較して、音程の誤差を導出する。前述のごとく、音声のデータは、ひとつの歌唱された文字を複数のポイントによってサンプリングしている。そのため、ひとつの歌唱された文字に対して、複数のFFTウインドウが規定され、複数のFFTウインドウのそれぞれに対応するように、基本周波数が導出される場合がある。その際は、それぞれの基本周波数に対して音程の誤差を導出し、さらにそれらの音程の誤差を積算して、ひとつの文字に対する音程の誤差を導出する。
歌詞表示部26は、導出した音程の誤差の程度に応じて定められたタイミングにてモニタ16から文字を消去させる。すなわち、音程の誤差がしきい値より大きい文字は、ブロック単位で表示が切りかえられるタイミング、すなわち消去時間を基準に、画面からの消去を行う。その際、終了時間から消去時間にわたって、歌詞表示部26は、文字の表示形式を最初の状態に戻して、当該文字を表示する。一方、音程の誤差がしきい値以下になる文字は、当該文字を発声すべきタイミングの終了時点、すなわち終了時間を基準に、画面からの消去を行う。このような処理によって、ひとつのブロックの歌唱が終了した際、正しい音程によって歌唱されなかった文字が表示されている。なお、カウント部50の説明は、後述する。
以上のような指示も、モニタ制御部28を介して、モニタ16に出力される。モニタ制御部28は、歌詞表示部26の指示にしたがって画像処理を実行する際に、予め把握した文字に対する座標を使用する。例えば、該当する文字に対応した座標上のデータに対して、所定の処理を施す。操作部30は、歌唱者による所定の指示を受けつける。ここで、歌唱者には、歌唱を行っていないユーザも含むものとする。所定の指示は、歌唱曲の選択や音程の変更等を含む。また、操作部30は、リモコン、キーボード、ボタン等によって構成される。
次に、複数の歌唱者によるカラオケ機能を実行する場合を説明する。導出部38は、記憶部22における歌詞情報に含まれたタイミング情報から、隣接したブロックの間隔をそれぞれ導出する。隣接したブロックの間隔は、図3において、所定のブロックに対する「消去時間」と、次のブロックに対する「表示時間」との差によって導出される。例えば、ブロック1とブロック2との間隔は、ブロック1に対する「消去時間」とブロック2に対する「表示時間」との差によって導出される。以上の処理は、すべてのブロックを対象に実行される。すなわち、ブロックの数が「N」である場合、隣接したブロックの間隔は、「N−1」だけ導出される。
選択部40は、導出部38において導出したブロックの間隔のそれぞれをしきい値と比較する。ここで、しきい値は、予め規定されている。また、比較の結果、選択部40は、しきい値よりも長いブロックの間隔の後段におけるブロックを選択する。例えば、ブロック1とブロック2の間隔がしきい値よりも長ければ、選択部40は、ブロック2を選択する。ここで、選択されたブロックは、歌詞の中の区切りの次に配置されるブロックと想定される。また、以上の処理は、すべての隣接したブロックの間隔に対して実行されるので、通常、複数の後段のブロックが選択される。さらに、ブロック1も選択される。
結合部42は、選択部40において選択されたブロックを先頭として、予め規定された歌唱期間よりも長くなるように、連続したブロックを結合する。ここで、歌唱期間とは、ひとりの歌唱者が連続して歌唱すべき最低限の期間である。例えば、歌唱期間は、「30秒」というように決められる。例えば、ブロック1が「10秒」、ブロック2が「15秒」、ブロック3が「15秒」である場合、ブロック1は、歌唱期間よりも短いので、結合部42は、ブロック1とブロック2を結合する。しかしながら、ブロック1とブロック2とを結合しても、歌唱期間よりも短いので、結合部42は、さらにブロック3も結合する。ブロック1から3が結合されると、歌唱期間よりも長くなるので、選択部40は、ブロック1から3をひとつのまとまりとする。なお、結合することによって、歌唱時間よりも長くなっても、ひとつのまとまりに対する削除は実行しない。前述の例において、ブロック1から3の結合では、「40」秒となるが、これに対して「30」秒になるような削除は実行しない。
以上の処理は、選択部40において選択されたブロックに対して実行される。そのため、ひとつのブロックが複数のまとまりに含まれる場合もある。例えば、選択部40においてブロック1とブロック2が選択されていた場合、結合部42は、ブロック1から3によって構成されるまとまりと、ブロック2と3によって構成されるまとまりとを生成する。また、結合部42は、ひとつのまとまりブロックをパートとする。例えば、ブロック1から3によって構成されるまとまりは、「パート1」とされる。一般的に、複数のパートが生成される。以上の処理によれば、特定部34は、隣接したブロックの間隔をもとに、パートを特定する。なお、結合部42は、結合したまとまりのうち、隣接したブロックの間隔の割合、すなわち歌のない部分の割合が大きければ、当該結合したまとまりをパートから除外する。ここでは、ひとつのまとまりに対応した期間のうち、隣接したブロックの間隔に対応した期間が「25%」以上であれば、当該まとまりをパートから除外する。なお、「25%」は、例示であって、これ以外の値であってもよい。以上の処理によって、歌唱者の歌唱する部分が少ないということを回避する。
操作部30は、ユーザから、歌唱者の人数を受けつける。生成部44は、特定部34によって特定されたパートを組み合わせることによって、複数のグループを生成する。例えば、パート1とパート2から、「グループ1」が生成される。ここで、生成部44では、ひとりの歌唱者が歌唱すべき回数に応じた数のグループを生成する。そのために、生成部44は、操作部30によって受けつけた人数と、ひとりの歌唱者が歌唱すべき回数との関係を予め規定する。例えば、人数が「2」である場合、歌唱すべき回数は「3」回であり、人数が「3」である場合、歌唱すべき回数は「2」回であり、人数が「4」である場合、歌唱すべき回数は「1」回である。そのため、操作部30から受けつけた人数が「2」であれば、生成部44は、「3」つのグループを生成する。
また、生成部44では、番号の小さいパートが番号の小さいグループになるように、パートを組み合わせる。例えば、パートが6つあれば、「グループ1」は「パート1」と「パート2」から形成され、「グループ2」は「パート3」と「パート4」から形成され、「グループ3」は「パート5」と「パート6」から形成される。パートの数が6よりも小さければ、生成部44は、番号の大きいグループに含まれるパートの数をひとつにしていく。一方、パートの数が6よりも大きければ、生成部44は、番号の小さいグループに含まれるパートの数を増加し、かつそれぞれのグループに含まれるパートの数を均一にするように、グループを形成する。以上のように、生成部44は、番号の近いグループに、曲の似た部分が含まれるように、パートからグループを生成する。すなわち、番号の近いグループにおいて、同一のパートを含む可能性が高くなる。
割当部46は、生成部44において生成した複数のグループのそれぞれを単位にして、グループに含まれたパートのそれぞれを歌唱者へ割り当てる。割当は、歌唱者に対して独立に実行する。例えば、グループ1にパート1とパート2が含まれている場合、歌唱者1には、パート1とパート2のいずれかを割り当てる。一方、歌唱者2にも、パート1とパート2のいずれかを割り当てる。なお、歌唱者1に割り当てれたパート以外のパートが、歌唱者2に割り当てられてもよい。すなわち、割当部46は、既に割り当てられてパート以外のパートを他の歌唱者に割り当ててもよい。以上の処理をすべてのグループに対して実行する。
実行部48は、割当部46による割当をもとに、歌唱者に歌唱を指示する。なお、実行部48は、歌唱者の順番をランダムに選択する。さらに、パートの順番もランダムに選択する。すなわち、実行部48は、歌唱者とグループの順番を混ぜる。例えば、歌唱者の数が「3」である場合、実行部48は、歌唱者の順番が連続にならないように選択を実行する。さらに、ひとりの歌唱者に対するパートが「パート1」、「パート3」、「パート5」である場合、実行部48は、パートの順番が昇順や降順にならないように選択を実行する。ここで、歌唱者を選択する際に、同一の歌唱者が連続しないようにしてもよい。さらに、実行部48は、歌詞表示部26、モニタ制御部28を介して、歌唱者の名前をモニタ16に表示することによって、歌唱者を指示する。また、実行部48は、再生部24に、選択したパートに対応した演奏音楽の再生を指示し、歌詞表示部26に、選択したパートに対応した歌詞の表示を指示する。
すなわち、指示部36は、操作部30において受けつけた歌唱者の名前をそれぞれ表示させながら、歌詞情報に含まれた歌詞のうち、特定部34によって特定されたパートをモニタ16に表示させる。さらに、指示部36は、伴奏音楽のうち、特定部34によって特定されたパートの演奏を再生させる。再生部24は、実行部48からの指示にしたがって、伴奏音楽のうちの特定されたパートを再生する。また、歌詞表示部26は、実行部48からの指示にしたがって、歌詞のうちの特定されたパートをモニタ16に表示する。判定部32は、実行部48からの指示に対応したパートにおいて、前述の判定を実行する。ここで、判定部32は、歌唱者単位に得点をつけ、曲の終了後にその結果をモニタ16に表示してもよい。
以上の構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
図5(a)−(d)は、特定部34および指示部36において処理されるデータであり、歌詞情報に含まれる歌詞を示す。図5(a)は、記憶部22における歌詞であり、図示のごとく、「ブロック1」から「ブロックN」までの複数のブロックを含む。図5(b)は、選択部40によって選択されたブロックを示す。ここでは、「ブロック3」、「ブロックN−1」等が選択されずに、「ブロック1」、「ブロック2」、「ブロック4」等が選択されている。図5(c)は、結合部42によって結合されたブロック、すなわち生成されたパートを示す。図5(b)において選択されている「ブロック1」を先頭にして「パート1」が形成されており、「ブロック2」を先頭にして「パート2」が形成されており、「ブロック6」を先頭にして「パート3」が形成されている。ここで、図5(b)においては、「ブロック4」も選択されているが、結合によってブロックの間隔の占める割合、すなわち歌のない部分の割合が大きかったために、パートの形成がなされていない。図5(d)は、生成部44によって生成されたグループを示す。「グループ1」から「グループ3」までの3つのグループが生成され、順番の小さいパートが、順番の小さいグループに含まれる。
図6は、導出部38と選択部40における選択処理の手順を示すフローチャートである。導出部38は、隣接したブロックの間隔を計算する(S10)。間隔がしきい値より大きければ(S12のY)、選択部40は、後段のブロックを抽出する(S14)。一方、間隔がしきい値よりも大きくなければ(S12のN)、選択部40は、抽出を行わない。調査しないブロックがあれば(S16のY)、ステップ10からの処理を繰り返す。一方、調査していないブロックがなければ(S16のN)、処理を終了する。
図7は、結合部42における結合処理の手順を示すフローチャートである。結合部42は、選択部40において抽出されたブロックを選択する(S20)。ブロックに対応した歌唱期間がしきい値よりも長くなければ(S22のN)、結合部42は、連続したブロックを結合し(S24)、ステップ22に戻る。一方、ブロックに対応した歌唱期間がしきい値よりも長く(S22のY)、かつ歌唱のない期間が25%以上でなければ(S26のN)、結合部42は、当該ブロックをパートとして選択する(S28)。一方、歌唱のない期間が25%以上であれば(S26のY)、当該ブロックをパートの対象から除外する。抽出されたブロックが残っていれば(S30のY)、結合部42は、ステップ20に戻る。一方、抽出されたブロックが残っていなければ(S30のN)、結合部42は、処理を終了する。
図8は、生成部44におけるグループの生成手順を示すフローチャートである。生成部44は、操作部30から歌唱人数を取得する(S40)。生成部44は、歌唱回数を導出し(S42)、歌唱回数と同じ数のグループを生成する(S44)。パートの数がグループの数よりも多ければ(S46のY)、生成部44は、パートをグループに分類する(S48)。一方、パートの数がグループの数よりも多くなければ(S46のN)、生成部44は、パートを重複させながら、パートをグループに分類する(S50)。
図9は、割当部46における割当処理の手順を示すフローチャートである。割当部46は、歌唱者を選択し(S60)、当該歌唱者にいずれかのパートを割り当てる(S62)。歌唱者が残っていれば(S64のY)、割当部46は、ステップ60からの処理を繰り返し実行する。一方、歌唱者が残っていなければ(S64のN)、割当部46は、処理を終了する。
以上の構成によるカラオケ装置100の動作を説明する。図10は、カラオケ装置100における遊技の手順を示すフローチャートである。歌詞表示部26は、次に歌唱すべき歌唱者の名前をモニタ16の画面に3秒間表示する(S70)。歌詞表示部26は、歌唱開始の2秒前からモニタ16の画面に歌詞を表示し、再生部24は、伴奏をフェードインする(S72)。歌詞表示部26は、歌い終わるまで、モニタ16の画面に歌詞を表示し、再生部24は、伴奏を再生する(S74)。再生部24は、歌唱終了後、1秒後にフェードアウトする(S76)。歌唱者の指定が終了していなければ(S78のN)、カラオケ装置100は、ステップ70からの処理を繰り返し実行する。一方、歌唱者の指定が終了すれば(S78のY)、判定部32は、結果をモニタ16の画面に表示する(S80)。
ここで、変形例を説明する。これまで、歌唱者が歌唱を開始する際に、歌唱を開始すべきタイミングを通知していなかった。特に、複数の歌唱者が順番に歌唱を行う場合に、新たな歌唱者が歌唱を開始するときにタイミングを通知していなかった。曲の途中から歌唱を開始する場合、歌唱者はどこから歌唱を開始すればよいか分からなくなることもあり得る。そのため、「3」、「2」、「1」のようなカウントダウンによって、歌唱開始までの秒数を通知することは、歌唱者にとって望ましい。また、曲の途中、例えば、間奏の部分であっても、歌唱開始までの秒が通知されれば、歌唱者は容易に歌唱できる。しかしながら、秒数のカウントダウンと曲のリズムとが異なっていれば、歌唱者にとって、歌唱の開始が困難になることもあり得る。そのため、変形例では、以下の処理を実行する。
図1の歌詞表示部26に含まれたカウント部50は、記憶部22における演奏情報のうち、実行部48によって指定されたパートを取得する。ここで、演奏情報には、リズムやテンポに関する情報が含まれている。カウント部50は、当該情報をもとに、カウントを生成する。すなわち、リズムやテンポが速くなれば、早くなるようなカウントを生成する。また、歌唱の開始となるタイミングにおいてカウントが「1」となるように、カウント部50は、逆算を実行する。さらに、カウント部50は、逆算の結果、「3」となるカウントから表示を実行する。カウント部50は、モニタ制御部28を介して、作成したカウントをモニタ16に表示する。このカウントは、指示部36にて実行される歌詞の表示と伴奏音楽の再生と同期している。なお、モニタ16において、カウントは、歌詞とともに表示される。以上の説明とは別に、カウント部50は、歌詞に含まれた文字を発声すべきタイミング情報を使用しながら、ひとつの文字を発声すべき期間を導出してもよい。これは、複数の文字を発生すべき期間を文字数にて除算することによって、導出されればよい。さらに、カウント部50は、導出した期間をもとに、歌唱の開始前から、「3」、「2」、「1」のように、歌唱者に対して、歌唱を開始するタイミングを通知するためのカウントを作成してもよい。
図11は、モニタ16に表示された画面を示す図である。図示のごとく、モニタ16には、ひとつのブロックに対応した歌詞が表示されている。また、歌詞の左上の部分には、カウントされた数字が表示されている。前述のごとく、文字を発声すべきタイミングをもとに、数字が、「3」、「2」、「1」のように変化しながら表示される。
本発明の実施例によれば、歌詞情報に対して、隣接したブロックの間隔がしきい値よりも長ければ、パートの対象にすべきブロックとして選択するので、曲の中の区切りのよい部分を選択できる。また、区切りのよい部分を選択するので、複数の歌唱者による歌唱に適した部分を選択できる。また、通常のカラオケ用のデータを使用するので、事業者に対する処理の増加を抑制できる。また、複数の歌唱者による歌唱を可能にするので、遊技性を向上できる。また、歌唱期間がある程度よりも長くなるようなパートを選択できる。また、歌唱者が歌うべき期間の短いパートを選択することを回避できる。また、複数の歌唱者による歌唱に対応するような再生を実行できる。また、ひとりの歌唱者が、同一のパートを歌唱する可能性を低減できる。また、歌唱者はいつ歌唱すべきかを予想できないので、遊技性を向上できる。また、曲のタイミングに合わせたカウントがなされるので、歌唱をスムーズに開始できる。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
本実施例において、選択部40では、隣接したブロックの間隔が予め定めたしきい値よりも長くなったときに、後段のブロックを選択している。しかしながらこれに限らず例えば、選択部40は、隣接したブロックの間隔を比較し、間隔が長いものから順に所定の数の後段のブロックを選択してもよい。また、隣接したブロックの間隔に対して、統計処理を実行することによってしきい値を決定してもよい。また、演奏情報に含まれたテンポやリズムの情報をもとに、しきい値を決定してもよい。本変形例によれば、曲のテンポに合わせて、ブロックを選択できる。つまり、曲の中において区切りのよい部分が選択されればよい。
本実施例において、指示部36は、グループを生成し、グループの中に含まれたパートに対して、歌唱者を割り当てている。しかしながらこれに限らず例えば、指示部36は、グループを生成せずに、パートに対して、歌唱者を割り当ててもよい。その際、既に割り当てたパートは、次に歌唱者を割り当てる際に除外されてもよい。本変形例によれば、グループを生成するための処理を省略できる。つまり、様々なパートが均等になるように割り当てられればよい。
本実施例において、カラオケ装置100は、ひとつの曲を複数のパートに分割することによって、パートのそれぞれを生成している。しかしながらこれに限らず例えば、カラオケ装置100は、複数の曲からパートのそれぞれを生成してもよい。本変形例によれば、複数の曲によって構成されるメドレーを生成できる。
本発明の実施例に係るカラオケ装置の構成を示す図である。 図2(a)−(b)は、図1の記憶部に入力される歌詞情報と演奏情報との関連を示す図である。 図1の記憶部に入力される歌詞情報のデータ構造を示す図である。 図1の記憶部に入力される演奏情報のデータ構造を示す図である。 図5(a)−(d)は、図1の特定部および指示部において処理されるデータを示す図である。 図1の導出部と選択部における選択処理の手順を示すフローチャートである。 図1の結合部における結合処理の手順を示すフローチャートである。 図1の生成部におけるグループの生成手順を示すフローチャートである。 図1の割当部における割当処理の手順を示すフローチャートである。 図1のカラオケ装置における遊技の手順を示すフローチャートである。 図1のモニタに表示された画面を示す図である。
符号の説明
10 ネットワーク、 12 マイク、 14 スピーカ、 16 モニタ、 20 通信部、 22 記憶部、 24 再生部、 26 歌詞表示部、 28 モニタ制御部、 30 操作部、 32 判定部、 34 特定部、 36 指示部、 38 導出部、 40 選択部、 42 結合部、 44 生成部、 46 割当部、 48 実行部、 50 カウント部、 100 カラオケ装置。

Claims (11)

  1. ネットワークを介して、複数のブロックに分割された歌詞と、各ブロックを曲の進行にしたがって順次切りかえながら画面に表示するためのタイミング情報とが含まれた歌詞情報と、歌詞情報に含まれたタイミング情報と関連づけられた演奏音楽とを入力するステップと、
    入力した歌詞情報に含まれたタイミング情報から、隣接したブロックの間隔をそれぞれ導出し、隣接したブロックの間隔をもとに、再生すべき歌詞の部分を特定するステップと、
    入力した歌詞情報に含まれた歌詞のうち、特定された部分を画面に表示し、入力した伴奏音楽のうち、特定された部分を再生するステップと、
    をコンピュータに実行させるためのプログラム。
  2. 前記特定するステップは、
    隣接したブロックの間隔をそれぞれ導出するステップと、
    前記導出するステップにおいて導出したブロックの間隔のそれぞれをしきい値と比較し、しきい値よりも長いブロックの間隔の後段におけるブロックを選択するステップと、
    前記選択するステップにおいて選択したブロックを先頭として、予め規定された歌唱期間よりも長くなるように、連続したブロックを結合するステップと、
    前記結合するステップにおいて結合したブロックを再生すべき歌詞の部分として出力するステップと、
    を備えることを特徴とする請求項1に記載のプログラム。
  3. 前記出力するステップは、結合したブロックの中において、隣接したブロックの間隔の割合が大きければ、当該結合したブロックを再生すべき歌詞の部分から除外することを特徴とする請求項2に記載のプログラム。
  4. 歌唱者の人数を受けつけるステップをさらに備え、
    前記再生するステップは、前記受けつけるステップにおいて受けつけた人数の歌唱者のそれぞれに対応させつつ、歌詞の表示と伴奏音の再生を実行することを特徴とする請求項1から3のいずれかに記載のプログラム。
  5. 前記再生するステップは、
    前記特定するステップによって特定された部分を組み合わせることによって、複数のグループを生成するステップと、
    前記生成するステップにおいて生成した複数のグループのそれぞれを単位にして、グループに含まれた部分のそれぞれを歌唱者へ割り当てるステップと、
    前記割り当てるステップによって割り当てた歌唱者を指示しながら、割り当てられた部分に対応した歌詞の表示と伴奏音楽の再生を実行するステップと、
    を備えることを特徴とする請求項4に記載のプログラム。
  6. 前記生成するステップでは、ひとりの歌唱者が歌唱すべき回数に応じた数のグループを生成することを特徴とする請求項5に記載のプログラム。
  7. 前記実行するステップは、歌唱者とグループの順番を混ぜながら、歌詞の表示と伴奏音楽の再生を実行することを特徴とする請求項5または6に記載のプログラム。
  8. 前記入力するステップにおいて入力した歌詞情報に含まれたタイミング情報と関連づけられた演奏情報を取得し、演奏情報のうち、曲の進行にしたがって発声すべき文字のそれぞれを演奏するためのタイミング情報を抽出するステップと、
    前記抽出するステップにおいて抽出したタイミング情報をもとに、歌唱者に対して、歌唱を開始するタイミングを通知するためのカウントであって、かつ前記生成するステップにて実行される歌詞の表示と伴奏音楽の再生と同期したカウントを作成し、作成したカウントを画面に表示させるステップと、
    をさらに備えることを特徴とする請求項1から7のいずれかに記載のプログラム。
  9. 複数のブロックに分割された歌詞と、各ブロックを曲の進行にしたがって順次切りかえながら画面に表示するためのタイミング情報とが含まれた歌詞情報と、歌詞情報に含まれたタイミング情報と関連づけられた演奏音楽とを入力する入力部と、
    前記入力部において入力した歌詞情報に含まれたタイミング情報から、隣接したブロックの間隔をそれぞれ導出し、隣接したブロックの間隔をもとに、再生すべき歌詞の部分を特定する特定部と、
    前記入力部において入力した歌詞情報に含まれた歌詞のうち、前記特定部によって特定された部分を画面に表示し、前記入力部において入力した伴奏音楽のうち、前記特定部によって特定された部分を再生する指示部と、
    を備えることを特徴とするカラオケ装置。
  10. 曲を複数のブロックに分割し、歌唱者を変えながら、分割したブロックを歌唱者に歌唱させることを特徴とするカラオケの制御方法。
  11. ネットワークを介して、複数のブロックに分割された歌詞と、各ブロックを曲の進行にしたがって順次切りかえながら画面に表示するためのタイミング情報とが含まれた歌詞情報と、歌詞情報に含まれたタイミング情報と関連づけられた演奏音楽とを入力するステップと、
    入力した歌詞情報に含まれたタイミング情報から、隣接したブロックの間隔をそれぞれ導出し、隣接したブロックの間隔をもとに、再生すべき歌詞の部分を特定するステップと、
    入力した歌詞情報に含まれた歌詞のうち、特定された部分を画面に表示し、入力した伴奏音楽のうち、特定された部分を再生するステップと、
    をコンピュータに実行させるためのプログラムを記憶するための記憶媒体。
JP2005203698A 2005-07-12 2005-07-12 カラオケの制御方法およびカラオケ装置 Expired - Fee Related JP4145901B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005203698A JP4145901B2 (ja) 2005-07-12 2005-07-12 カラオケの制御方法およびカラオケ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005203698A JP4145901B2 (ja) 2005-07-12 2005-07-12 カラオケの制御方法およびカラオケ装置

Publications (2)

Publication Number Publication Date
JP2007025002A true JP2007025002A (ja) 2007-02-01
JP4145901B2 JP4145901B2 (ja) 2008-09-03

Family

ID=37785889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005203698A Expired - Fee Related JP4145901B2 (ja) 2005-07-12 2005-07-12 カラオケの制御方法およびカラオケ装置

Country Status (1)

Country Link
JP (1) JP4145901B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009036866A (ja) * 2007-07-31 2009-02-19 Brother Ind Ltd カラオケ装置
JP2010128138A (ja) * 2008-11-27 2010-06-10 Daiichikosho Co Ltd カラオケ歌詞表示配色システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009036866A (ja) * 2007-07-31 2009-02-19 Brother Ind Ltd カラオケ装置
JP2010128138A (ja) * 2008-11-27 2010-06-10 Daiichikosho Co Ltd カラオケ歌詞表示配色システム

Also Published As

Publication number Publication date
JP4145901B2 (ja) 2008-09-03

Similar Documents

Publication Publication Date Title
US11347475B2 (en) Transition functions of decomposed signals
WO2021175458A1 (en) Playback transition from first to second audio track with transition functions of decomposed signals
CN105637579B (zh) 通过在多组波形数据之间切换来再现波形的技术
US20170178622A1 (en) Voice Synthesis Method and Voice Synthesis Device
JP3961544B2 (ja) ゲームの制御方法およびゲーム装置
JP6019803B2 (ja) 自動演奏装置及びプログラム
JP4650182B2 (ja) 自動伴奏装置及びプログラム
WO2015060340A1 (ja) 歌唱音声の合成
JP2001215979A (ja) カラオケ装置
JP2022168269A (ja) 電子楽器、学習済モデル、学習済モデルを備える装置、電子楽器の制御方法、及びプログラム
US8612031B2 (en) Audio player and audio fast-forward playback method capable of high-speed fast-forward playback and allowing recognition of music pieces
JP4145901B2 (ja) カラオケの制御方法およびカラオケ装置
JP4170279B2 (ja) 歌詞表示方法および装置
JP4068069B2 (ja) バックコーラス音量を自動制御するカラオケ装置
JP4537490B2 (ja) オーディオ再生装置およびオーディオ早送り再生方法
JP4470947B2 (ja) データ再生装置、データ再生方法およびプログラム
CN112825244A (zh) 配乐音频生成方法和装置
JP4534926B2 (ja) 画像表示装置及びプログラム
JP6144593B2 (ja) 歌唱採点システム
JP4173475B2 (ja) 歌詞表示方法および装置
JP7158331B2 (ja) カラオケ装置
JP2016014781A (ja) 歌唱合成装置および歌唱合成プログラム
JP4714230B2 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
CN117765902A (zh) 乐曲伴奏的生成方法、装置、设备、存储介质及程序产品
JP2011017987A (ja) データ集配システム,通信カラオケシステム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080618

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees