JP2004233875A - Karaoke device - Google Patents

Karaoke device Download PDF

Info

Publication number
JP2004233875A
JP2004233875A JP2003024873A JP2003024873A JP2004233875A JP 2004233875 A JP2004233875 A JP 2004233875A JP 2003024873 A JP2003024873 A JP 2003024873A JP 2003024873 A JP2003024873 A JP 2003024873A JP 2004233875 A JP2004233875 A JP 2004233875A
Authority
JP
Japan
Prior art keywords
lyrics
scoring
color
data
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003024873A
Other languages
Japanese (ja)
Inventor
Shingo Kamiya
伸悟 神谷
Akinobu Nakajima
彰信 中島
Takeshi Sekizawa
武史 関澤
Hideyuki Tsuchiya
秀之 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Daiichikosho Co Ltd
Original Assignee
Yamaha Corp
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp, Daiichikosho Co Ltd filed Critical Yamaha Corp
Priority to JP2003024873A priority Critical patent/JP2004233875A/en
Publication of JP2004233875A publication Critical patent/JP2004233875A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable a karaoke device, which displays lyrics over an automatic musical performance, to easily evaluate singer's skill in singing and also easily let the singer know the result. <P>SOLUTION: In synchronism with the progress of a musical piece, a speech signal of the singer is compared with reference data to grade the singing. According to the scoring result, the character color of a lyrics subtitle is changed. Consequently, a graded part of the displayed lyrics is in a display color corresponding to the grading result, so the singer can judge his or her skill in singing for a fixed period wherein the continuous lyrics are displayed. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、歌唱者の歌唱の巧拙を評価する機能を有するカラオケ装置に関する。
【0002】
【従来の技術】
カラオケ演奏に伴って歌われる歌唱者の音声を評価し、評価結果を表示する機能を具備したカラオケ装置が実用化されている。一般にこの種のカラオケ装置においては、カラオケ演奏時に、カラオケの楽曲データに含まれるガイドメロディのMIDI(Musical Instrument Digital Interface:登録商標)データと歌唱者の音声をデジタル化した歌唱音声データのずれの程度に基づいて歌唱の評価を行う。
【0003】
評価の表示方法としては大きく分けて二つあり、(A)1楽曲を通して歌唱の評価を行い、演奏終了後に歌唱全体を通じての評価結果である得点を表示する方法と、(B)1楽曲を小節単位等の複数部分に区切り、歌った直後の歌唱部分の評価をモニタ上に表示し、演奏の進行に伴い表示を更新していく方法とがある(例えば、特許文献1及び2参照)。
【0004】
【特許文献1】
特開平10−69216号公報
【特許文献2】
特開2002−162978号公報
【0005】
【発明が解決しようとする課題】
しかしこれらの表示方法は、(A)の方法では全体結果としての評価しか表示されないため、歌唱の部分的な評価を具体的に知ることができず、また(B)の方法では評価が逐次上書きされるために、直前の一部分のみの評価しかモニタ上で確認することができない。しかも、特許文献2のように歌詞字幕とは離れた場所に得点を表示する類の方法では、歌詞字幕を見ながら得点を見るためには視点を頻繁に移動することとなり見づらく、また歌詞字幕部分に得点を示すマークを表示する類の方法では、マークにより歌詞の一部が隠れてしまう不都合もある。
【0006】
本発明はこのような背景の下になされたもので、歌唱者が歌唱中に自身の歌唱の評価を容易に把握することができるカラオケ装置の提供を目的としている。
【0007】
【課題を解決するための手段】
上記課題を解決するために、本発明にかかるカラオケ装置は、入力される歌唱者の音声に対応した音声信号を出力する音声入力手段と、前記音声入力手段が出力した音声信号について楽曲の進行に同期して評価を行い、その評価を示す評価データを逐次出力する評価手段と、前記評価データに基づいて、前記歌詞表示の表示色を変化させる採点色変換制御手段とを具備することを特徴とする。
また、本発明のその他の態様としては、前記楽曲データにはメロディを示すガイドメロディデータが含まれ、前記評価手段は前記音声データと前記ガイドメロディデータとを比較することにより評価を行うことを特徴とする。
【0008】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【0009】
<実施形態の構成>
図1は本発明の一実施形態の外観を示す図である。同図において、1はカラオケ装置本体である。カラオケ装置本体1にはモニタ2、スピーカ3,3,そしてマイク4が接続されている。5はリモコン端末で、赤外線によりカラオケ装置本体1の遠隔操作を行う装置である。
【0010】
図2はカラオケ装置本体1のブロック図であり、以下に各部機能を概説する。
CPU11は、RAM13をワークエリアとして利用し、ROM12に格納されている各種プログラムを実行することで装置各部を制御する。なお、これらの構成は一般的なコンピュータと同様である。
通信I/F(インタフェース)15は、楽曲データの配信元であるホストコンピュータ6より楽曲データを受信し、CPU11の制御のもとHDD14へと転送する。また、DMA(Direct Memory Access)によるHDD14へのデータ転送も可能である。
【0011】
操作部16は、カラオケ装置本体1にある操作パネルまたはリモコン端末5への入力操作により発せられる信号を検出し、この検出結果をCPU11へ出力する。
表示制御部17は映像データや歌詞字幕、採点結果をモニタ2に表示させるための制御を行う。
【0012】
音源装置18はCPU11の制御の下に楽曲データに対応する楽音信号を合成し、ここで合成された信号はDAC(D/Aコンバータ)19によってアナログ変換された後、アンプ22へ出力される。
音声データ処理部20は楽曲データに含まれるADPCM(Adaptive Differential Pulse Code Modulation:適応的差分パルス符号変調)等のフォーマットで記録されたコーラス音声等の音声データをデコードする。デコードされた音声信号は前記楽音信号と共にDAC19によってアナログ変換され、アンプ22へ出力される。
ADC(A/Dコンバータ)21は、マイク4より入力された歌唱音声信号をデジタル変換して採点器23に供給する。採点器23はこの歌唱音声データとリファレンスデータとを比較し、その結果をCPU11に出力する。アンプ22はマイク4やDAC19から出力された信号を混合・増幅し、スピーカ3,3へと出力する。
【0013】
HDD14は楽曲データと映像データを記憶する。ここで、図3を参照し、HDD14に記憶されている楽曲データの内容について説明する。楽曲データは、ヘッダ、楽音トラック、ガイドメロディトラック、歌詞トラック、音声トラック、効果トラック等により構成されている。ヘッダには、その楽曲データに関する種々の情報、例えば曲番号、曲名、ジャンル、発売日、曲の演奏時間等のデータが格納されている。
【0014】
楽曲データの各トラックは、図4及び図5に示すように、複数のイベントデータと各イベント間の時間間隔を示すデュレーションデータΔtからなるシーケンスデータで構成されている。CPU11は、カラオケ演奏時にシーケンスプログラム(カラオケ演奏のためのアプリケーションプログラム)に従って各トラックのデータを並行して読み出す。各トラックのシーケンスデータを読み出す場合、所定のテンポクロックによりΔtをカウントし、カウントを終了したときこれに続くイベントデータを読み出して処理する。
【0015】
楽音トラックには、図4に示すように、メロディトラック、リズムトラックを始めとして種々のパートのトラックが形成されている。
また、図5に示すように、ガイドメロディトラックには、このカラオケ曲のボーカルパートのメロディ、すなわち歌唱者が歌うべきメロディのシーケンスデータが書き込まれている。本実施形態においては、このガイドメロディをリファレンスデータと呼び、歌唱の採点基準として用いる。
【0016】
また、歌詞トラックは、モニタ2上に歌詞を表示するためのシーケンスデータからなっている。このシーケンスデータは楽音データではないが、作業工程を容易にするため、このトラックもMIDIデータフォーマットで記述される。歌詞トラックは、MIDIデータの種類としてはシステムエクスクルーシブメッセージである。歌詞トラックは、通常はモニタに表示される1行分の歌詞に相当する文字データ、そのモニタ画面上の表示座標、表示時間、及びワイプシーケンスデータからなっている。ワイプシーケンスデータとは、曲の進行に合わせて歌詞の表示色を変更(これをワイプと呼ぶ)していくためのシーケンスデータであり、歌詞の座標と表示色を変更するタイミング(この歌詞が表示されてからの時間)とが1行分の長さにわたって順次記録されているデータである。その他のトラックについての説明は省略する。
【0017】
次に、図6を参照し、RAM13のメモリマップの内容を説明する。同図に示すように、RAM13には、リファレンスデータを一時記憶するMIDIバッファ130のほか、リファレンスデータと歌唱音声データとを比較するための採点データを蓄積記憶する採点データ記憶エリア132、カラオケ演奏のための楽曲データを記憶する実行データ記憶エリア133、ロードしたシステムプログラムやアプリケーションプログラムを記憶するプログラム記憶エリア134が設定されている。MIDIバッファ内部にはこのリファレンスデータを記憶するリファレンスデータレジスタ131が設定されている。また、採点データ記憶エリア132の内部は、ΔT毎の採点データの要素ΔD,ΔEの各々が記憶される構成となっている。
【0018】
<実施形態の動作>
次に、上記構成からなるカラオケ装置の動作を説明する。
まず、利用者が操作部16に対し楽曲指定操作を行うと、指定された楽曲の楽曲データがRAM13のMIDIバッファへ転送され、この転送された楽曲データをCPU11が順次読み出し処理を行うことで、当該楽曲の再生が開始される。それと同時に、一定時間間隔ΔT(評価例では50msである)で発生する割り込み要求に応じて、採点処理が実行される。また、楽曲の再生が開始され、演奏が歌詞のある部分に到達すると、モニタ2には歌詞字幕が表示される。そしてワイプシーケンスデータに従い、この歌詞字幕には演奏の進行に伴った文字ワイプ処理が施される。
【0019】
楽曲の再生に従って歌唱者が歌唱を行うと、歌唱者の歌唱音声はマイク4より入力され、ADC21に入力される。ADC21は、入力された歌唱音声信号をデジタル変換しこれを歌唱音声データとして採点器23に供給する。またCPU11はRAM13のリファレンスデータレジスタ131より、リファレンスデータを演奏の進行に同期して抽出する。このリファレンスデータと歌唱音声データとから音程と音長とを、採点器23がΔT毎に比較処理を行うことにより得点が求められる。採点及び結果表示の方法は複数考えられ、以下にその例を示す。
【0020】
(採点・採点色変換処理)
以下に本実施例の採点処理を、図7のフローチャートを参照しつつ説明する。はじめに、歌唱音声の評価処理を行う(ステップs11)。この処理を図10のフローチャートに示す。
【0021】
まず、リファレンスデータと歌唱音声データの双方が0でない値を持つかどうかを判定する(ステップs101)。YESの場合、すなわちこれは本来歌唱すべき部分に歌唱者の歌唱音声データが存在することを意味しており、この場合には微小時間ΔTにおける音程の差分ΔDを求める(ステップs102)。リファレンスデータと歌唱音声データとが同じ音程を示していれば差分は0であり、異なる場合に差分が生じる。
【0022】
本実施形態では、音程の差異を周波数の尺度ではなく12音階の尺度により求めるために、差分ΔDの算出において用いる単位はCent(セント)である。なお、周波数がそれぞれf,fである2音の音程差X(セント)は数1で表される。
【数1】
X=1200×log(f/f
【0023】
一方ステップs101において、リファレンスデータと歌唱音声データの少なくとも一方が0でない場合、すなわちリファレンスデータと歌唱音声データの一方または両方が0でない場合は、ステップs103へと進む。ステップs103では、このいずれであるかを判別する。前者であれば、つまり「本来発音される部分で発音していない」または「本来発音されない部分で発音している」場合であり、これらを音長の異常と見なし、微小時間ΔT毎における異常ΔEに1を記録する(ステップs104)。また、後者であれば発音すべきでない部分で発音していないのだから、これは正常であり、このとき異常ΔEに0を記録する(ステップs105)。
以上で歌唱音声評価処理は終了し、ステップs12へと進む。
【0024】
ステップs12では、微小時間ΔTにおける得点Pを求める。Pは満点(本実施例では100である)からRAM13内部の採点データ記憶エリア132に記憶されている差分ΔD,異常ΔEを差し引いた値となる。すなわち、Pは数2で表される。
【数2】
=100−(aΔD+bΔE)
なお、数2において、a,bはそれぞれ重み付けのための定数を表している。
【0025】
が求められたら、この結果を利用して歌詞字幕の採点色変換処理を行う(ステップs13)。この処理は図11のフローチャートで表すことができ、以下同図も参照しつつ説明を行う。歌詞字幕の採点色変換処理は、以下の通りである。
まず、得点に対して2値の閾値P,Pを予め設定しておく。閾値の設定は任意だが、歌唱者の歌唱の評価を「良い」「普通」「悪い」の3段階に分類できるように適切な値を定める。歌唱者の得点PがP<PまたはP<Pの部分、すなわち得点の「悪い」部分または「良い」部分の歌詞字幕について採点色変換処理を行う。
【0026】
ステップs201ではPを参照する。Pを参照したら、その値をP及びPと比較し、その結果により分岐処理を行う(ステップs202)。ここで、P<Pであればワイプ色を赤(低得点の場合の表示色)に(ステップs203)、P<Pであればワイプ色を青(高得点の場合の表示色)に(ステップs205)、P≦P≦Pであればワイプ色を通常色(ステップs204)に設定する。
ワイプ色が決定されたら、ワイプシーケンスデータより座標を取得し(ステップs206)、モニタ2に表示されている字幕の採点色変換処理を実行する(ステップs207)。
【0027】
当該部分の歌詞字幕の採点色変換処理が完了すると、RAM13内部の採点データ記憶エリア132に記憶されているΔD,ΔEはクリアされ(ステップs14)、次の採点処理のためにメモリ領域が確保される。
以上のように微小時間ΔT毎に採点処理は行われ、上記の処理は楽曲が終了するまでの各ΔTについて行われる。すなわち、楽曲の進行に同期して評価が行われ、その評価を示す採点結果が逐次出力される。
【0028】
本実施例では、文字ワイプ処理と採点色変換処理を同時に、かつ同一箇所にて行っている。すなわち、文字ワイプ処理の表示色が採点結果に応じて決定されている。しかし文字ワイプ処理は一般に、歌唱者が歌詞字幕を見てから歌い出すのを考慮して、タイムラグを持たせて通常0.5秒程度実際のメロディよりも先行してワイプを行っているため、実際には文字ワイプする位置と採点が完了している位置とは異なる(図12参照)。しかしこの両者の間隔はモニタ2に表示したときに無視できるほど小さいので、視認性を高める意味も含め本実施例では両者を同一の位置として処理する。図13に本実施例の歌唱及び得点の例を、図14に図13の結果を得た場合の、モニタ2上での歌詞字幕の採点色変換処理の一例を示す。なお、図13において、歌唱は(ア)の部分まで終了していることを示す。図14に示されるように、本実施例ではP<PないしはP<Pなる全ての位置で歌詞字幕の採点色変換処理が行われる。
【0029】
以上により、歌唱者の得点の高低が歌唱中にモニタ2上の歌詞字幕に一定の期間色分けして示されることとなり、歌唱者は自身の歌唱の出来・不出来を、歌詞字幕の色を参照することによって歌唱中に確認することが可能となる。
【0030】
なお、上記実施例と同様の処理のもと、文字ワイプ処理と採点色変換処理の箇所をずらして実行しても良い。すなわち、採点色変換処理を実行する位置を文字ワイプする位置と近似的に同一とせずに、採点が完了している位置から採点色変換処理を実行するものである。この場合、採点色変換処理を行う部分では、ワイプシーケンスデータより座標を取得し、採点色変換処理の実行位置を決定する。採点色変換処理の実行位置としては、採点処理の終了直後の当該部分に順次採点色変換処理を実行しても良いが、視認性を高めるために文字ワイプ位置とはある程度の間隔を持たせても良い。すなわち文字ワイプの位置と色変換の位置との間隔はモニタ2の横方向に対して任意のドット数を決定すれば良い。
【0031】
(採点色変換処理の変形例1)
上述の実施形態の採点色変換処理には種々の変形が可能であるが、以下には小節毎の平均点を求め、小節単位で採点表示を実行する変形例を図8に示すフローチャートを参照して説明する。
【0032】
はじめに、歌唱音声の評価処理を行う(ステップs21)。この処理を図10のフローチャートに示す。同図の説明は既出のため省略し、次のステップs22へと進む。
ステップs22では、演奏が小節区切りに達しているかどうかを判別する。これがYESであればステップs23へと進み、NOであれば小節区切りに達するまで、ステップs21の処理を繰り返す。
【0033】
ステップs23では、微小時間ΔTにおける得点Pの算出処理が割り込み処理として行われる。Pは満点(本変形例では100である)からRAM13内部の採点データ記憶エリア132に記憶されているΔD,ΔEを差し引いた値となるが、その処理は以下のように行われる。
まず、1小節分が蓄積記憶されている差分ΔD,異常ΔEの各々に対して累計値を求める。ここでは差分ΔD,異常ΔEの累計値をそれぞれD,Eとする。
D,Eが求められると、小節あたりの得点Pが求められる。Pは満点からD,Eを差し引いた値となる。すなわち数3のようになる。
【数3】
=100−(aD+bE)
なお、数3において、a,bはそれぞれ重み付けのための定数を表している。
【0034】
が求められたら、この結果を利用して歌詞字幕の採点色変換処理を行う(ステップs24)。この処理は図11のフローチャートで表すことができ、以下同図も参照しつつ説明を行う。歌詞字幕の採点色変換処理は、以下の通りである。
【0035】
まず、得点に対して2値の閾値P,Pを予め設定しておく。閾値の設定は任意だが、歌唱者の歌唱の評価を「良い」「普通」「悪い」の3段階に分類できるような適切な値を定める。歌唱者の得点PがP<PまたはP<Pの部分、すなわち得点の「悪い」部分または「良い」部分の字幕について採点色変換処理を行う。
【0036】
ステップs201ではPを参照する。Pを参照したら、その値をP及びPと比較し、その結果により分岐処理を行う(ステップs202)。ここで、P<Pであればワイプ色を赤(低得点の場合の表示色)に(ステップs203)、P<Pであればワイプ色を青(高得点の場合の表示色)に(ステップs205)、P≦P≦Pであればワイプ色を通常色(ステップs204)に設定する。
ワイプ色が決定されたら、ワイプシーケンスデータより座標を取得し(ステップs206)、モニタ2に表示されている字幕の採点色変換処理を実行する(ステップs207)。
【0037】
当該部分の歌詞字幕の採点色変換処理が完了すると、RAM13内部の採点データ記憶エリア132に蓄積記憶されているΔD,ΔEはクリアされ(ステップs25)、次の採点処理のためにメモリ領域が確保される。
以上のように小節毎に採点処理は行われ、上記の処理は楽曲が終了するまでの各小節について行われる。
【0038】
本変形例において、図15に示された歌唱を行った場合の、モニタ2上での歌詞字幕の表示態様を図16に示す。なお、同図において歌唱は小節Dの(ア)の部分まで終了していることを示している。これら2つの図からわかるように、本変形例では小節毎の平均点によって表示色が決定されるため、1小節間に閾値をまたぐことがあっても、該小節の歌詞字幕部分はいずれか1色で表示される。このため、各小節の評価は該小節の演奏が完全に終了するまでは確定されず、点(ア)のようにワイプが小節の途中を進行している場合には、表示色は確定されず通常のワイプ色のままワイプが進行し、小節全体の歌唱が終了してから採点色変換処理が行われる。このように、ワイプによる色変え処理とは異なる位置において、採点色変換処理が行われる。
【0039】
以上により、歌唱者の得点の高低が歌唱中にモニタ2上の歌詞字幕に一定の期間色分けして表示されることとなり、歌唱者は自身の歌唱の出来・不出来を、歌詞字幕の色を参照することによって歌唱中に確認することが可能となる。
【0040】
(採点色変換処理の変形例2)
次に、採点は微小時間ΔT単位で実行するが、採点色変換処理は文字ワイプ処理より遅れて小節単位で実行する変形例を図9のフローチャートを参照して説明する。
【0041】
はじめに、歌唱音声の評価処理を行う(ステップs31)。この処理を図10のフローチャートに示す。同図の説明は既出のため省略し、次のステップs32へと進む。
ステップs32では、微小時間ΔTにおける得点Pを求める。Pは満点(本変形例では100である)からRAM13内部の採点データ記憶エリア132に記憶されている差分ΔD,異常ΔEを差し引いた値となる。すなわち、Pは数4で表される。
【数4】
=100−(aΔD+bΔE)
なお、数4において、a,bはそれぞれ重み付けのための定数を表している。
【0042】
が求められたら、PをRAM13内部の採点データ記憶エリア132に記憶し、次のステップs33へと進む。
ステップs33では、演奏が小節区切りに達しているかどうかを判別する。これがYESであればステップs34へと進み、NOであれば小節区切りに達するまで、ステップs31,32の処理を繰り返す。
【0043】
小節区切りに達し、1小節にわたりPが求められたら、この結果を利用して歌詞字幕の採点色変換処理を行う(ステップs24)。この処理は図11のフローチャートで表すことができ、以下同図も参照しつつ説明を行う。歌詞字幕の採点色変換処理は、以下の通りである。
【0044】
まず、得点に対して2値の閾値P,Pを予め設定しておく。閾値の設定は任意だが、歌唱者の歌唱の評価を「良い」「普通」「悪い」の3段階に分類できるような適切な値を定める。歌唱者の得点PがP<PまたはP<Pの部分、すなわち得点の「悪い」部分または「良い」部分の字幕について採点色変換処理を行う。処理内容は以下の通りである。
【0045】
ステップs201ではPを参照する。Pを参照したら、その値をP及びPと比較し、その結果により分岐処理を行う(ステップs202)。ここで、P<Pであればワイプ色を赤(低得点の場合の表示色)に(ステップs203)、P<Pであればワイプ色を青(高得点の場合の表示色)に(ステップs205)、P≦P≦Pであればワイプ色を通常色(ステップs204)に設定する
【0046】
ワイプ色が決定されたら、ワイプシーケンスデータより座標を取得し(ステップs206)、モニタ2に表示されている字幕の採点色変換処理を実行する(ステップs207)。
【0047】
当該部分の歌詞字幕の採点色変換処理が完了すると、RAM13内部の採点データ記憶エリア132に蓄積記憶されているΔD,ΔEはクリアされ(ステップs25)、次の採点処理のためにメモリ領域が確保される。
以上のように採点処理は行われ、上記の処理は楽曲が終了するまでの各小節について行われる。
【0048】
本変形例において、図17に示された歌唱を行った場合の、モニタ2上での歌詞字幕の表示態様を図18に示す。なお、同図において歌唱は小節Dの(ア)の部分まで終了していることを示している。これら2つの図からわかるように、本実施例ではΔT毎に求められる得点により表示色が決定される。しかし図13,14で示された例のようにリアルタイムに得点の表示を行うのではなく、各小節の演奏が終わる毎に演奏が終了した小節の採点色変換処理を行う。そのため、最後まで歌唱が終了していない小節(例えば図17の小節D)は、小節全体の歌唱が終了するまでは通常のワイプ色で表示され、小節全体の歌唱が終了すると採点処理が行われて表示色が決定される。このように、ワイプによる色変え処理とは異なる位置において、採点色変換処理が行われる。
【0049】
以上により、歌唱者の得点の高低が歌唱中にモニタ上の歌詞字幕に一定の期間示されることとなり、歌唱者は自身の歌唱の出来・不出来を、歌詞字幕の色を参照することによって歌唱中に確認することが可能となる。
【0050】
<変形例>
なお、本発明は上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【0051】
<a.変形例1>
上述した実施形態においては、評価方法は既に述べた通りであるが、得点をΔT毎に算出することが可能であれば、評価方法は特に上述の方法に限定されるものではなく、任意の方法で良い。例えば上述の実施形態においては、歌唱音声の音程成分と音長成分とをリファレンスデータと比較し、双方の評価を合成して採点する評価方法であったが、歌唱音声の音程成分と音長成分のいずれか一方のみをリファレンスデータと評価する方法も考えられる。また、音量成分をリファレンスデータとして用い、音量が所定の値以上であるかにより評価する等の、より単純な評価方法でも可能である。
【0052】
<b.変形例2>
上述した実施形態においては、ΔT毎に歌唱音声データとリファレンスデータの音程成分と音長成分とを抽出し、ΔD,ΔEをもとに減点法により得点Pを算出することによって採点処理を行ったが、他の方法により採点処理を行うことも勿論可能である。例えば音程のみを評価の対象にしたり、音程・音長以外の要素を評価の対象に加えたりすることが考えられる。歌唱に対して微小時間毎に評価対象を抽出し、評価を与えられるという条件が満たされていれば、採点の方法は特に問わない。
【0053】
<c.変形例3>
上述した実施形態においては、色変換は2色で行われたが、これは1色で評価の高い部分または低い部分の一方のみを色変換することも可能であり、また3値以上の閾値を設定し使用する色数を増やす、ないしはグラデーション表示することで、さらに細かく採点結果をモニタ上に反映させることも可能である。
多色にて表示する場合には、短時間に急激に得点が上下すると色がめまぐるしく変化することとなり、視認性が悪くなる可能性がある。このような場合には、図19のようにより滑らかな曲線で得点変化を近似し、これに応じて採点色変換処理を行って表示しても良い。
また、表示色についても、特に得点の高かった部分については金色で表示させたり点滅させたりすることによって、より高い娯楽性を付与することが可能である。
【0054】
<d.変形例4>
上述した実施形態においては、色変換のタイミングは文字ワイプと同期するか小節毎に区切られていたが、音符毎や複数小節毎等、種々のタイミングで実施することが可能である。また、複数行にて歌詞が表示される場合には、歌い終わった行について行単位で採点処理を行い、採点色変換処理を行っても良い。
また、楽曲データに単語や文節の区切りを示すデータを挿入すれば、該データを読み出して利用することによって単語や文節毎に得点を算出することも可能である。
【0055】
【発明の効果】
以上説明したように、本発明によれば、歌唱者が歌唱中に自身の歌唱の評価を容易に把握することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態であるカラオケ装置の全体構成図である。
【図2】同実施形態におけるカラオケ装置本体の電気的構成を示すブロック図である。
【図3】同実施形態における楽曲データのフォーマットを示した図である。
【図4】同楽曲データの楽音トラックの構成を示す図である。
【図5】同楽曲データのガイドメロディトラックの構成を示す図である。
【図6】同カラオケ装置におけるRAMのメモリマップを示した図である。
【図7】同実施形態における歌唱採点処理を説明するためのフローチャートである。
【図8】同実施形態の採点色変換処理の変形例1における歌唱採点処理を説明するためのフローチャートである。
【図9】同実施形態の採点色変換処理の変形例2における歌唱採点処理を説明するためのフローチャートである。
【図10】同実施形態における歌唱音声評価処理を説明するためのフローチャートである。
【図11】同実施形態における歌詞字幕の採点色変換処理を説明するためのフローチャートである。
【図12】同実施形態における文字ワイプ位置と採点完了位置を例示した図である。
【図13】同実施形態における歌唱と採点結果とを例示した図である。
【図14】同実施形態におけるモニタ2上での歌詞字幕の表示態様を例示した図である。
【図15】同実施形態の採点色変換処理の変形例1における歌唱と採点結果とを例示した図である。
【図16】同実施形態の採点色変換処理の変形例1におけるモニタ2上での歌詞字幕の表示態様を例示した図である。
【図17】同実施形態の採点色変換処理の変形例2における歌唱と採点結果とを例示した図である。
【図18】同実施形態の採点色変換処理の変形例2におけるモニタ2上での歌詞字幕の表示態様を例示した図である。
【図19】同実施形態における採点結果の近似曲線を例示した図である。
【符号の説明】
1…カラオケ装置本体、2…モニタ、3…スピーカ、4…マイク、5…リモコン端末、11…CPU、12…ROM、13…RAM、14…HDD、15…通信I/F、16…操作部、17…表示制御部、18…音源装置、19…DAC、20…音声データ処理部、21…ADC、22…アンプ、23…採点器、130…MIDIバッファ、131…リファレンスデータレジスタ、132…採点データ記憶エリア、133…実行データ記憶エリア、134…プログラム記憶エリア。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a karaoke apparatus having a function of evaluating the singing skill of a singer.
[0002]
[Prior art]
A karaoke apparatus having a function of evaluating a singer's voice sung along with a karaoke performance and displaying an evaluation result has been put to practical use. Generally, in this type of karaoke apparatus, during karaoke performance, the degree of deviation between MIDI (Musical Instrument Digital Interface (registered trademark)) data of a guide melody included in karaoke music data and singing voice data obtained by digitizing a singer's voice. Singing is evaluated based on.
[0003]
There are two main methods of displaying the evaluation: (A) a method of evaluating the singing through one song and displaying the score, which is the evaluation result over the entire singing after the performance, and (B) a measure of one song. There is a method in which an evaluation of a singing part immediately after singing is displayed on a monitor, and the display is updated as the performance progresses (for example, see Patent Documents 1 and 2).
[0004]
[Patent Document 1]
JP-A-10-69216
[Patent Document 2]
JP-A-2002-162978
[0005]
[Problems to be solved by the invention]
However, in these display methods, only the evaluation as a whole result is displayed in the method of (A), so that the partial evaluation of the singing cannot be specifically known, and in the method of (B), the evaluation is sequentially overwritten. Therefore, only a part of the evaluation just before can be confirmed on the monitor. In addition, in a method of displaying a score at a place distant from the lyrics subtitle as in Patent Document 2, in order to see the score while watching the lyrics subtitle, the viewpoint is frequently moved, and it is difficult to see. In the method of displaying a mark indicating a score, there is an inconvenience that a part of the lyrics is hidden by the mark.
[0006]
The present invention has been made in view of such a background, and an object of the present invention is to provide a karaoke apparatus that allows a singer to easily grasp the evaluation of his or her singing while singing.
[0007]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, a karaoke apparatus according to the present invention includes: a voice input unit that outputs a voice signal corresponding to a voice of a singer to be input; Evaluation means for performing evaluation in synchronization and sequentially outputting evaluation data indicating the evaluation, and scoring color conversion control means for changing a display color of the lyrics display based on the evaluation data. I do.
In another aspect of the present invention, the music data includes guide melody data indicating a melody, and the evaluation unit performs evaluation by comparing the audio data with the guide melody data. And
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0009]
<Configuration of the embodiment>
FIG. 1 is a diagram showing the appearance of an embodiment of the present invention. In FIG. 1, reference numeral 1 denotes a karaoke apparatus main body. A monitor 2, speakers 3, 3, and a microphone 4 are connected to the karaoke apparatus main body 1. Reference numeral 5 denotes a remote control terminal for remotely controlling the karaoke apparatus main body 1 by infrared rays.
[0010]
FIG. 2 is a block diagram of the karaoke apparatus main body 1, and the functions of each section will be outlined below.
The CPU 11 controls each unit of the apparatus by using the RAM 13 as a work area and executing various programs stored in the ROM 12. These configurations are similar to those of a general computer.
The communication I / F (interface) 15 receives the music data from the host computer 6 that is the distribution source of the music data, and transfers the data to the HDD 14 under the control of the CPU 11. Data transfer to the HDD 14 by DMA (Direct Memory Access) is also possible.
[0011]
The operation unit 16 detects a signal generated by an input operation on the operation panel or the remote control terminal 5 of the karaoke apparatus main body 1 and outputs the detection result to the CPU 11.
The display control unit 17 performs control for displaying the video data, the lyrics caption, and the scoring result on the monitor 2.
[0012]
The tone generator 18 synthesizes a tone signal corresponding to the music data under the control of the CPU 11, and the synthesized signal is converted to an analog signal by a DAC (D / A converter) 19 and then output to the amplifier 22.
The audio data processing unit 20 decodes audio data such as chorus audio recorded in a format such as ADPCM (Adaptive Differential Pulse Code Modulation) included in the music data. The decoded audio signal is converted into an analog signal by the DAC 19 together with the tone signal, and is output to the amplifier 22.
The ADC (A / D converter) 21 converts the singing voice signal input from the microphone 4 into a digital signal and supplies the digital signal to the scoring device 23. The scorer 23 compares the singing voice data with the reference data, and outputs the result to the CPU 11. The amplifier 22 mixes and amplifies signals output from the microphone 4 and the DAC 19 and outputs the signals to the speakers 3 and 3.
[0013]
The HDD 14 stores music data and video data. Here, the contents of the music data stored in the HDD 14 will be described with reference to FIG. The music data is composed of a header, a musical sound track, a guide melody track, a lyrics track, an audio track, an effect track, and the like. The header stores various information related to the music data, for example, data such as a music number, a music title, a genre, a release date, and a music performance time.
[0014]
As shown in FIGS. 4 and 5, each track of the music data is composed of sequence data including a plurality of event data and duration data Δt indicating a time interval between the events. The CPU 11 reads out the data of each track in parallel according to a sequence program (application program for karaoke performance) during karaoke performance. When reading the sequence data of each track, Δt is counted by a predetermined tempo clock, and when the counting is completed, the subsequent event data is read and processed.
[0015]
As shown in FIG. 4, tracks of various parts including a melody track and a rhythm track are formed on the musical tone track.
As shown in FIG. 5, the melody of the vocal part of the karaoke song, that is, the melody sequence data to be sung by the singer is written in the guide melody track. In the present embodiment, this guide melody is referred to as reference data, and is used as a singing score standard.
[0016]
The lyrics track is composed of sequence data for displaying lyrics on the monitor 2. Although this sequence data is not musical sound data, this track is also described in the MIDI data format to facilitate the work process. The lyrics track is a system exclusive message as a type of MIDI data. The lyrics track usually includes character data corresponding to one line of lyrics displayed on a monitor, display coordinates on the monitor screen, display time, and wipe sequence data. The wipe sequence data is sequence data for changing the display color of the lyrics (this is called a wipe) in accordance with the progress of the song, and for changing the coordinates of the lyrics and the display color (when the lyrics are displayed). Is the data sequentially recorded over the length of one line. Description of other tracks is omitted.
[0017]
Next, the contents of the memory map of the RAM 13 will be described with reference to FIG. As shown in the figure, a RAM 13 has a MIDI buffer 130 for temporarily storing reference data, a scoring data storage area 132 for accumulating and storing scoring data for comparing reference data and singing voice data, and a karaoke performance. An execution data storage area 133 for storing music data and a program storage area 134 for storing loaded system programs and application programs. A reference data register 131 for storing the reference data is set inside the MIDI buffer. Further, inside the scoring data storage area 132, each of the elements ΔD and ΔE of the scoring data for each ΔT is stored.
[0018]
<Operation of Embodiment>
Next, the operation of the karaoke apparatus having the above configuration will be described.
First, when the user performs a music designation operation on the operation unit 16, the music data of the designated music is transferred to the MIDI buffer of the RAM 13, and the transferred music data is sequentially read out by the CPU 11 so that the CPU 11 reads out the music data. The reproduction of the music starts. At the same time, a scoring process is executed in response to an interrupt request generated at a fixed time interval ΔT (50 ms in the evaluation example). In addition, when the reproduction of the music is started and the performance reaches a certain part of the lyrics, the lyrics subtitle is displayed on the monitor 2. In accordance with the wipe sequence data, the lyrics subtitles are subjected to character wipe processing as the performance progresses.
[0019]
When the singer sings according to the reproduction of the music, the singing voice of the singer is input from the microphone 4 and input to the ADC 21. The ADC 21 converts the input singing voice signal into a digital signal and supplies it to the scorer 23 as singing voice data. The CPU 11 extracts reference data from the reference data register 131 of the RAM 13 in synchronization with the progress of the performance. A score is obtained by the scorer 23 performing a comparison process between the reference data and the singing voice data for the interval and the pitch for each ΔT. There are several methods for scoring and displaying the results, examples of which are shown below.
[0020]
(Scoring / scoring color conversion processing)
Hereinafter, the scoring process of this embodiment will be described with reference to the flowchart of FIG. First, singing voice evaluation processing is performed (step s11). This process is shown in the flowchart of FIG.
[0021]
First, it is determined whether both the reference data and the singing voice data have non-zero values (step s101). In the case of YES, that is, this means that the singing voice data of the singer exists in the part to be originally sung, and in this case, the difference ΔD of the pitch at the minute time ΔT is obtained (step s102). The difference is 0 if the reference data and the singing voice data indicate the same pitch, and a difference occurs if they differ.
[0022]
In the present embodiment, the unit used in the calculation of the difference ΔD is Cent (cent) in order to calculate the difference in pitch not on the scale of frequency but on the scale of 12 scales. Note that the frequency is f 1 , F 2 The pitch difference X (cent) between the two tones is expressed by Equation 1.
(Equation 1)
X = 1200 × log 2 (F 1 / F 2 )
[0023]
On the other hand, in step s101, if at least one of the reference data and the singing voice data is not 0, that is, if one or both of the reference data and the singing voice data are not 0, the process proceeds to step s103. In step s103, it is determined which one of them is. In the former case, that is, "the sound is not produced in the originally pronounced part" or "the sound is produced in the originally non-produced part". Is recorded in (step s104). In the latter case, since the sound is not produced in the portion that should not be produced, this is normal. At this time, 0 is recorded in the abnormal ΔE (step s105).
Thus, the singing voice evaluation processing ends, and the process proceeds to step s12.
[0024]
In step s12, the score P in the minute time ΔT 1 Ask for. P 1 Is a value obtained by subtracting the difference ΔD and the abnormality ΔE stored in the scoring data storage area 132 inside the RAM 13 from a perfect score (100 in this embodiment). That is, P 1 Is represented by Equation 2.
(Equation 2)
P 1 = 100- (a 1 ΔD + b 1 ΔE)
In Equation 2, a 1 , B 1 Represents a constant for weighting.
[0025]
P 1 Is obtained, a scoring color conversion process for the lyrics caption is performed using this result (step s13). This process can be represented by the flowchart of FIG. 11, and will be described below with reference to FIG. The scoring color conversion process for lyrics subtitles is as follows.
First, a binary threshold P for the score a , P b Is set in advance. The setting of the threshold value is optional, but an appropriate value is determined so that the singer's singing evaluation can be classified into three levels of “good”, “normal”, and “bad”. Singer's score P 1 Is P 1 <P a Or P b <P 1 , Ie, the lyrics subtitles in the “bad” or “good” part of the score, the scoring color conversion processing is performed.
[0026]
In step s201, P 1 See P 1 , The value is P a And P b And a branch process is performed based on the result (step s202). Where P 1 <P a If so, the wipe color is set to red (display color in the case of a low score) (step s203), and P b <P 1 If so, the wipe color is changed to blue (display color in the case of a high score) (step s205), and P a ≤P 1 ≤P b If so, the wipe color is set to the normal color (step s204).
When the wipe color is determined, the coordinates are obtained from the wipe sequence data (step s206), and the subtitle scoring color conversion processing displayed on the monitor 2 is executed (step s207).
[0027]
When the grading color conversion process for the lyrics caption of the portion is completed, ΔD and ΔE stored in the grading data storage area 132 in the RAM 13 are cleared (step s14), and a memory area is secured for the next grading process. You.
As described above, the scoring process is performed every minute time ΔT, and the above process is performed for each ΔT until the music ends. That is, the evaluation is performed in synchronization with the progress of the music, and the scoring results indicating the evaluation are sequentially output.
[0028]
In this embodiment, the character wipe process and the scoring color conversion process are performed simultaneously and in the same place. That is, the display color of the character wipe process is determined according to the scoring result. However, character wiping is generally performed in advance of the actual melody by about 0.5 seconds with a time lag, considering that the singer starts singing after seeing the lyrics subtitles, Actually, the position where the character is wiped is different from the position where the marking is completed (see FIG. 12). However, since the interval between the two is negligibly small when displayed on the monitor 2, both are processed as the same position in this embodiment, including the purpose of enhancing the visibility. FIG. 13 shows an example of singing and scoring according to the present embodiment, and FIG. 14 shows an example of a scoring color conversion process for lyrics subtitles on the monitor 2 when the results of FIG. 13 are obtained. FIG. 13 shows that the singing has been completed up to the part (A). As shown in FIG. 14, in this embodiment, P 1 <P a Or P b <P 1 In all of the positions, the lyrics subtitle scoring color conversion process is performed.
[0029]
As described above, the score of the singer is displayed in the lyrics subtitles on the monitor 2 in a color-coded manner for a certain period of time during the singing, and the singer refers to the color of the lyrics subtitles as to whether the singer has performed or not. By doing so, it is possible to confirm during the singing.
[0030]
Note that, based on the same processing as in the above embodiment, the positions of the character wipe processing and the scoring color conversion processing may be shifted and executed. That is, the scoring color conversion process is executed from the position where the scoring is completed, without making the position where the scoring color conversion process is executed approximately the same as the position where the character is wiped. In this case, in the part that performs the scoring color conversion process, the coordinates are acquired from the wipe sequence data, and the execution position of the scoring color conversion process is determined. As the execution position of the scoring color conversion process, the scoring color conversion process may be sequentially performed on the relevant portion immediately after the completion of the scoring process, but a certain interval from the character wipe position may be provided to enhance visibility. Is also good. That is, the interval between the character wipe position and the color conversion position may be determined by an arbitrary number of dots in the horizontal direction of the monitor 2.
[0031]
(Modification 1 of scoring color conversion processing)
Various modifications can be made to the scoring color conversion processing of the above-described embodiment. Hereinafter, a modification example in which an average score is obtained for each bar and the scoring display is executed in bar units will be described with reference to a flowchart shown in FIG. Will be explained.
[0032]
First, singing voice evaluation processing is performed (step s21). This process is shown in the flowchart of FIG. The description of the figure has been omitted since it has already been made, and the process proceeds to the next step s22.
In step s22, it is determined whether or not the performance has reached a bar break. If the determination is YES, the process proceeds to step s23. If the determination is NO, the process of step s21 is repeated until the bar break is reached.
[0033]
In step s23, the score P in the minute time ΔT 2 Is calculated as an interrupt process. P 2 Is a value obtained by subtracting ΔD and ΔE stored in the scoring data storage area 132 in the RAM 13 from a perfect score (100 in this modification), and the processing is performed as follows.
First, a cumulative value is obtained for each of the difference ΔD and the abnormality ΔE in which one bar is accumulated and stored. Here, the accumulated values of the difference ΔD and the abnormality ΔE are D and E, respectively.
When D and E are found, the score per measure P 2 Is required. P 2 Is a value obtained by subtracting D and E from the perfect score. That is, Equation 3 is obtained.
[Equation 3]
P 2 = 100- (a 2 D + b 2 E)
In Equation 3, a 2 , B 2 Represents a constant for weighting.
[0034]
P 2 Is obtained, a scoring color conversion process for the lyrics caption is performed using this result (step s24). This process can be represented by the flowchart of FIG. 11, and will be described below with reference to FIG. The scoring color conversion process for lyrics subtitles is as follows.
[0035]
First, a binary threshold P for the score a , P b Is set in advance. The setting of the threshold value is arbitrary, but an appropriate value is determined so that the singer's singing evaluation can be classified into three levels of “good”, “normal”, and “bad”. Singer's score P 2 Is P 2 <P a Or P b <P 2 , That is, the subtitles in the “bad” or “good” score points are subjected to scoring color conversion processing.
[0036]
In step s201, P 2 See P 2 , The value is P a And P b And a branch process is performed based on the result (step s202). Where P 2 <P a If so, the wipe color is set to red (display color in the case of a low score) (step s203), and P b <P 2 If so, the wipe color is changed to blue (display color in the case of a high score) (step s205), and P a ≤P 2 ≤P b If so, the wipe color is set to the normal color (step s204).
When the wipe color is determined, the coordinates are obtained from the wipe sequence data (step s206), and the subtitle scoring color conversion processing displayed on the monitor 2 is executed (step s207).
[0037]
When the grading color conversion process for the lyrics caption of the part is completed, ΔD and ΔE stored in the grading data storage area 132 in the RAM 13 are cleared (step s25), and a memory area is secured for the next grading process. Is done.
As described above, the scoring process is performed for each bar, and the above process is performed for each bar until the music ends.
[0038]
FIG. 16 shows a display mode of the lyrics subtitles on the monitor 2 when the singing shown in FIG. 15 is performed in this modification. In the figure, the singing has been completed up to the portion (a) of the measure D. As can be seen from these two figures, in the present modification, the display color is determined by the average point for each bar, so even if the threshold value is crossed between bars, the lyrics subtitle portion of the bar is not included in any one of the bars. Displayed in color. For this reason, the evaluation of each bar is not determined until the performance of the bar is completed, and the display color is not determined when the wipe is progressing in the middle of the bar as indicated by the dot (a). The wipe proceeds with the normal wipe color, and after the singing of the entire bar ends, the scoring color conversion process is performed. Thus, the scoring color conversion process is performed at a position different from the color change process by the wipe.
[0039]
As described above, the score of the singer is displayed in the lyrics subtitles on the monitor 2 in a color-coded manner during the singing for a certain period of time, and the singer can judge whether or not his singing is successful or not by changing the color of the lyrics subtitles. By referring to it, it becomes possible to confirm it while singing.
[0040]
(Modification 2 of scoring color conversion processing)
Next, a modified example in which the scoring is executed in a minute time ΔT unit, but the scoring color conversion process is executed in bar units later than the character wipe process will be described with reference to the flowchart of FIG.
[0041]
First, singing voice evaluation processing is performed (step s31). This process is shown in the flowchart of FIG. The description of the figure has been omitted since it has already been made, and the process proceeds to the next step s32.
In step s32, the score P in the minute time ΔT 3 Ask for. P 3 Is a value obtained by subtracting the difference ΔD and the abnormality ΔE stored in the scoring data storage area 132 inside the RAM 13 from a perfect score (100 in this modification). That is, P 1 Is represented by Equation 4.
(Equation 4)
P 3 = 100- (a 3 ΔD + b 3 ΔE)
Note that in Equation 4, a 3 , B 3 Represents a constant for weighting.
[0042]
P 3 Is required, P 3 Is stored in the scoring data storage area 132 in the RAM 13, and the process proceeds to the next step s33.
In step s33, it is determined whether or not the performance has reached a bar break. If this is YES, the process proceeds to step s34, and if NO, the processes of steps s31 and 32 are repeated until the bar break is reached.
[0043]
After reaching a bar break, P 3 Is obtained, a scoring color conversion process for the lyrics caption is performed using this result (step s24). This process can be represented by the flowchart of FIG. 11, and will be described below with reference to FIG. The scoring color conversion process for lyrics subtitles is as follows.
[0044]
First, a binary threshold P for the score a , P b Is set in advance. The setting of the threshold value is arbitrary, but an appropriate value is determined so that the singer's singing evaluation can be classified into three levels of “good”, “normal”, and “bad”. Singer's score P 3 Is P 3 <P a Or P b <P 3 , That is, the subtitles in the “bad” or “good” score points are subjected to scoring color conversion processing. The processing contents are as follows.
[0045]
In step s201, P 3 See P 3 , The value is P a And P b And a branch process is performed based on the result (step s202). Where P 1 <P a If so, the wipe color is set to red (display color in the case of a low score) (step s203), and P b <P 1 If so, the wipe color is changed to blue (display color in the case of a high score) (step s205), and P a ≤P 1 ≤P b If so, the wipe color is set to the normal color (step s204)
[0046]
When the wipe color is determined, the coordinates are obtained from the wipe sequence data (step s206), and the subtitle scoring color conversion processing displayed on the monitor 2 is executed (step s207).
[0047]
When the grading color conversion process for the lyrics caption of the part is completed, ΔD and ΔE stored in the grading data storage area 132 in the RAM 13 are cleared (step s25), and a memory area is secured for the next grading process. Is done.
The scoring process is performed as described above, and the above process is performed for each bar until the song ends.
[0048]
FIG. 18 shows a display mode of the lyrics subtitles on the monitor 2 when the singing shown in FIG. 17 is performed in this modified example. In the figure, the singing has been completed up to the portion (a) of the measure D. As can be seen from these two figures, in the present embodiment, the display color is determined by the score obtained for each ΔT. However, instead of displaying the score in real time as in the examples shown in FIGS. 13 and 14, each time the performance of each bar is completed, the scoring color conversion process of the bar that has been completed is performed. Therefore, measures for which the singing has not been completed to the end (for example, measure D in FIG. 17) are displayed in a normal wipe color until the singing of the entire measure is completed, and a scoring process is performed when the singing of the entire measure is completed. Display color is determined. Thus, the scoring color conversion process is performed at a position different from the color change process by the wipe.
[0049]
As described above, the singers' high and low scores are indicated in the lyrics subtitles on the monitor during the singing for a certain period of time, and the singers can sing or sing by referring to the color of the lyrics subtitles. It will be possible to check inside.
[0050]
<Modification>
Note that the present invention is not limited to the above-described embodiment, and various modifications as exemplified below are possible.
[0051]
<A. Modification 1>
In the above-described embodiment, the evaluation method is as described above. However, if the score can be calculated for each ΔT, the evaluation method is not particularly limited to the above-described method. Is good. For example, in the above-described embodiment, the pitch component and the pitch component of the singing voice are compared with the reference data, and the evaluation is performed by combining the two evaluations. A method of evaluating only one of them as reference data is also conceivable. Further, a simpler evaluation method, such as using a sound volume component as reference data and evaluating whether the sound volume is equal to or higher than a predetermined value, is also possible.
[0052]
<B. Modification 2>
In the above-described embodiment, the score processing is performed by extracting the pitch component and the pitch component of the singing voice data and the reference data for each ΔT, and calculating the score P by the deduction method based on ΔD and ΔE. However, it is of course possible to perform the scoring process by another method. For example, it is conceivable to evaluate only the pitch or to add an element other than the pitch and the pitch to the evaluation. The scoring method is not particularly limited as long as the condition that an evaluation object is extracted for a singing every minute time and the evaluation can be given is satisfied.
[0053]
<C. Modification 3>
In the above-described embodiment, the color conversion is performed in two colors. However, it is also possible to perform color conversion on only one of a high evaluation part and a low evaluation part with one color. By setting and increasing the number of colors to be used, or by displaying gradations, it is possible to reflect the scoring results on the monitor more finely.
In the case of displaying in multiple colors, if the score rises and falls rapidly in a short time, the color will change rapidly, and the visibility may be deteriorated. In such a case, the change in the score may be approximated by a smoother curve as shown in FIG. 19, and a scoring color conversion process may be performed in accordance with the approximation to display.
Also, with regard to the display color, it is possible to give higher entertainment by displaying or blinking the part with the highest score particularly in gold.
[0054]
<D. Modification 4>
In the above-described embodiment, the timing of the color conversion is synchronized with the character wipe or divided for each bar. However, the color conversion can be performed at various timings such as for each note or for each bar. When lyrics are displayed in a plurality of lines, a grading color conversion process may be performed by performing a grading process for each singed line.
Also, if data indicating the break of a word or a phrase is inserted into the music data, it is possible to calculate a score for each word or phrase by reading and using the data.
[0055]
【The invention's effect】
As described above, according to the present invention, a singer can easily grasp the evaluation of his or her singing while singing.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a karaoke apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing an electrical configuration of a karaoke apparatus main body according to the embodiment.
FIG. 3 is a diagram showing a format of music data in the embodiment.
FIG. 4 is a diagram showing a configuration of a music track of the music data.
FIG. 5 is a diagram showing a configuration of a guide melody track of the music data.
FIG. 6 is a diagram showing a memory map of a RAM in the karaoke apparatus.
FIG. 7 is a flowchart illustrating a singing score process according to the embodiment;
FIG. 8 is a flowchart illustrating singing scoring processing in a first modification of the scoring color conversion processing of the embodiment.
FIG. 9 is a flowchart illustrating a singing scoring process in a modified example 2 of the scoring color conversion process of the embodiment.
FIG. 10 is a flowchart illustrating a singing voice evaluation process in the embodiment.
FIG. 11 is a flowchart illustrating a scoring color conversion process for lyrics subtitles in the embodiment.
FIG. 12 is a diagram exemplifying a character wipe position and a scoring completion position in the embodiment.
FIG. 13 is a diagram illustrating a singing and a scoring result in the embodiment.
FIG. 14 is a diagram exemplifying a display mode of lyrics subtitles on a monitor 2 in the embodiment.
FIG. 15 is a diagram exemplifying a singing and a scoring result in a first modification of the scoring color conversion process of the embodiment.
FIG. 16 is a diagram exemplifying a display mode of lyrics subtitles on a monitor 2 in a modified example 1 of the scoring color conversion process of the embodiment.
FIG. 17 is a diagram exemplifying a singing and a scoring result in Modification 2 of the scoring color conversion process of the embodiment.
FIG. 18 is a diagram exemplifying a display mode of lyrics subtitles on a monitor 2 in a modified example 2 of the scoring color conversion process of the embodiment.
FIG. 19 is a diagram exemplifying an approximate curve of a scoring result in the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Karaoke apparatus main body, 2 ... Monitor, 3 ... Speaker, 4 ... Microphone, 5 ... Remote control terminal, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... HDD, 15 ... Communication I / F, 16 ... Operation part , 17 ... Display control unit, 18 ... Sound source device, 19 ... DAC, 20 ... Sound data processing unit, 21 ... ADC, 22 ... Amplifier, 23 ... Scoring device, 130 ... MIDI buffer, 131 ... Reference data register, 132 ... Scoring Data storage area, 133: execution data storage area, 134: program storage area.

Claims (5)

楽曲データに基づいて自動演奏を行うとともに、歌詞を示す歌詞データに基づいて前記自動演奏に同期して歌詞表示を行うカラオケ装置において、
入力される歌唱者の音声に対応した音声信号を出力する音声入力手段と、
前記音声入力手段が出力した音声信号について楽曲の進行に同期して評価を行い、その評価を示す評価データを逐次出力する評価手段と、
前記評価データに基づいて、前記歌詞表示の表示色を変化させる採点色変換制御手段と
を具備することを特徴とするカラオケ装置。
A karaoke apparatus that performs automatic performance based on music data and displays lyrics in synchronization with the automatic performance based on lyrics data indicating lyrics,
Voice input means for outputting a voice signal corresponding to the voice of the input singer,
Evaluation means for evaluating the audio signal output by the audio input means in synchronization with the progress of the music, and sequentially outputting evaluation data indicating the evaluation;
A karaoke apparatus comprising: a scoring color conversion control unit that changes a display color of the lyrics display based on the evaluation data.
歌うべきタイミングにある歌詞を順次色替えする文字ワイプ処理手段を有し、前記採点色変換制御手段は前記文字ワイプ処理手段による色替えの色を決定することを特徴とする請求項1記載のカラオケ装置。2. The karaoke machine according to claim 1, further comprising character wipe processing means for sequentially changing the color of the lyrics at the timing of singing, wherein said scoring color conversion control means determines the color of the color change by said character wipe processing means. apparatus. 歌うべきタイミングにある歌詞を順次色替えする文字ワイプ処理手段を有し、前記採点色変換制御手段は前記文字ワイプ処理手段による色替えとは異なる位置において前記歌詞表示の表示色を変化させることを特徴とする請求項1記載のカラオケ装置。Character scoring processing means for sequentially changing the color of the lyrics at the timing to be sung, wherein the scoring color conversion control means changes the display color of the lyrics display at a position different from the color change by the character wipe processing means. The karaoke apparatus according to claim 1, wherein コンピュータを、
楽曲データに基づいて自動演奏を行わせる手段と、
歌詞を示す歌詞データに基づいて前記自動演奏に同期して歌詞表示を行わせる手段と、
入力される歌唱者の音声に対応した音声信号について楽曲の進行に同期して評価を行い、その評価を示す評価データを逐次出力する評価手段と、
前記評価データに基づいて、前記歌詞表示の表示色を変化させる採点色変換制御手段と
して機能させるプログラム。
Computer
Means for performing an automatic performance based on the music data,
Means for performing lyrics display in synchronization with the automatic performance based on lyrics data indicating lyrics,
Evaluation means for evaluating an audio signal corresponding to the input singer's voice in synchronization with the progress of the music, and sequentially outputting evaluation data indicating the evaluation;
A program that functions as a scoring color conversion control unit that changes a display color of the lyrics display based on the evaluation data.
請求項4記載のプログラムが記憶されたコンピュータ読み取り可能な記録媒体。A computer-readable recording medium storing the program according to claim 4.
JP2003024873A 2003-01-31 2003-01-31 Karaoke device Pending JP2004233875A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003024873A JP2004233875A (en) 2003-01-31 2003-01-31 Karaoke device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003024873A JP2004233875A (en) 2003-01-31 2003-01-31 Karaoke device

Publications (1)

Publication Number Publication Date
JP2004233875A true JP2004233875A (en) 2004-08-19

Family

ID=32953293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003024873A Pending JP2004233875A (en) 2003-01-31 2003-01-31 Karaoke device

Country Status (1)

Country Link
JP (1) JP2004233875A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156330A (en) * 2005-12-08 2007-06-21 Taito Corp Karaoke device with compatibility determination function
JP2008225116A (en) * 2007-03-13 2008-09-25 Yamaha Corp Evaluation device and karaoke device
JP2011206081A (en) * 2010-03-26 2011-10-20 Konami Digital Entertainment Co Ltd Game device, method of controlling the same, and program
JP2012137523A (en) * 2010-12-24 2012-07-19 Brother Ind Ltd Karaoke device and lyric telop display method
JP2013145393A (en) * 2007-03-13 2013-07-25 Yamaha Corp Musical piece data processing device, karaoke device, and program
JP2014130172A (en) * 2012-12-27 2014-07-10 Brother Ind Ltd Music performance device, and music performance program
JP2014206643A (en) * 2013-04-12 2014-10-30 ブラザー工業株式会社 Karaoke system and karaoke device
JP2017173363A (en) * 2016-03-18 2017-09-28 株式会社エクシング Karaoke system
CN111552836A (en) * 2020-04-29 2020-08-18 咪咕文化科技有限公司 Lyric display method, device and storage medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156330A (en) * 2005-12-08 2007-06-21 Taito Corp Karaoke device with compatibility determination function
JP2008225116A (en) * 2007-03-13 2008-09-25 Yamaha Corp Evaluation device and karaoke device
JP2013145393A (en) * 2007-03-13 2013-07-25 Yamaha Corp Musical piece data processing device, karaoke device, and program
JP2011206081A (en) * 2010-03-26 2011-10-20 Konami Digital Entertainment Co Ltd Game device, method of controlling the same, and program
JP2012137523A (en) * 2010-12-24 2012-07-19 Brother Ind Ltd Karaoke device and lyric telop display method
JP2014130172A (en) * 2012-12-27 2014-07-10 Brother Ind Ltd Music performance device, and music performance program
JP2014206643A (en) * 2013-04-12 2014-10-30 ブラザー工業株式会社 Karaoke system and karaoke device
JP2017173363A (en) * 2016-03-18 2017-09-28 株式会社エクシング Karaoke system
CN111552836A (en) * 2020-04-29 2020-08-18 咪咕文化科技有限公司 Lyric display method, device and storage medium

Similar Documents

Publication Publication Date Title
US5889224A (en) Karaoke scoring apparatus analyzing singing voice relative to melody data
JP4212446B2 (en) Karaoke equipment
JP2004233875A (en) Karaoke device
US7038120B2 (en) Method and apparatus for designating performance notes based on synchronization information
JP4913638B2 (en) Evaluation device and karaoke device
JP4116849B2 (en) Operation evaluation device, karaoke device, and program
JP4222915B2 (en) Singing voice evaluation device, karaoke scoring device and programs thereof
JP4171680B2 (en) Information setting device, information setting method, and information setting program for music playback device
JP3901008B2 (en) Karaoke device with voice conversion function
JP4891135B2 (en) Evaluation device
JP5969421B2 (en) Musical instrument sound output device and musical instrument sound output program
JP4038471B2 (en) Singing ability examination entry system
JP4110951B2 (en) Karaoke equipment
JP3998461B2 (en) Performance practice device, performance practice method, program and recording medium
JP5561263B2 (en) Musical sound reproducing apparatus and program
JP2005215493A (en) Karaoke machine and program
JP2005107332A (en) Karaoke machine
JP2000330580A (en) Karaoke apparatus
JP3673385B2 (en) Music performance device
JP4159961B2 (en) Karaoke equipment
JP6144592B2 (en) Singing scoring system
JP5847049B2 (en) Instrument sound output device
JP4379356B2 (en) Karaoke equipment
JP6144593B2 (en) Singing scoring system
JPH08123448A (en) Image processor using waveform analysis of sound signal

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061010

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070301

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070403

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070511