JP2005107328A - Karaoke machine - Google Patents

Karaoke machine Download PDF

Info

Publication number
JP2005107328A
JP2005107328A JP2003342472A JP2003342472A JP2005107328A JP 2005107328 A JP2005107328 A JP 2005107328A JP 2003342472 A JP2003342472 A JP 2003342472A JP 2003342472 A JP2003342472 A JP 2003342472A JP 2005107328 A JP2005107328 A JP 2005107328A
Authority
JP
Japan
Prior art keywords
note
scoring
singing
singing voice
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003342472A
Other languages
Japanese (ja)
Other versions
JP4204940B2 (en
Inventor
Shingo Kamiya
伸悟 神谷
Satoshi Tachibana
聡 橘
Yoshimi Chihara
美海 千原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Daiichikosho Co Ltd
Original Assignee
Yamaha Corp
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp, Daiichikosho Co Ltd filed Critical Yamaha Corp
Priority to JP2003342472A priority Critical patent/JP4204940B2/en
Publication of JP2005107328A publication Critical patent/JP2005107328A/en
Application granted granted Critical
Publication of JP4204940B2 publication Critical patent/JP4204940B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a Karaoke machine with a scoring function that makes it possible to accurately decide whether an actual singing is good. <P>SOLUTION: Pitch variation is made gentle by processing pitch information of guide melody data through an LPF to approximate pitch variation of an actual singing of a singer. Further, singing voice frequency data are processed through an LPF to remove frequency variation based upon whether vibratos etc., are good. The LPF-processed guide melody data and singing voice frequency data are compared with each other to accurately decide whether the singing is good. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

この発明は、歌唱採点機能を備えたカラオケ装置における採点精度の向上に関する。   The present invention relates to an improvement in scoring accuracy in a karaoke apparatus having a singing scoring function.

従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。従来より実用化されている採点機能は、ガイドメロディなどのリファレンスから抽出した音高と歌唱音声から抽出した周波数とを比較するもの(たとえば特許文献1)やこれに音量変化の評価を加味したもの(特許文献2)などがあった。   Conventionally, some karaoke apparatuses have a scoring function for scoring the skill of a singer. The scoring function that has been practically used in the past compares the pitch extracted from the reference such as a guide melody with the frequency extracted from the singing voice (for example, Patent Document 1), and adds the evaluation of the volume change to this. (Patent Document 2).

特開平10−49183号公報Japanese Patent Laid-Open No. 10-49183 特開平10−161673号公報JP-A-10-161673

しかし、ガイドメロディは、機械的に音符(ノートオンイベントデータおよびノートオフイベントデータ)を配列したMIDIデータであるため、正確な拍タイミングに機械的に音高が変化するものである。したがって、いわゆる楽譜どおりに正確に歌唱すれば採点機能で高得点を得ることができるが、このような歌唱は、決して上手いといえるものではなく、また聴衆にとっても心地よいものではなかった。   However, since the guide melody is MIDI data in which notes (note-on event data and note-off event data) are mechanically arranged, the pitch changes mechanically at an accurate beat timing. Therefore, if you sing exactly according to the so-called score, you can get a high score with the scoring function, but such singing is never good and it is not comfortable for the audience.

一方で、ガイドメロディデータのほかに採点専用のリファレンスデータ設けることは、楽曲データ作成のうえで面倒なことであり、また、様々な癖のある歌唱者の歌唱をガイドメロディデータに当てはめるのは困難なことであった。   On the other hand, providing reference data for scoring in addition to guide melody data is troublesome in creating music data, and it is difficult to apply singing songs of various singers to guide melody data. It was a thing.

この発明は、リファレンスデータを実際の歌唱に近いものに加工することにより、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。   An object of the present invention is to provide a karaoke apparatus with a scoring function that can accurately determine the skill of an actual song by processing the reference data to be close to an actual song.

また、この発明は、歌唱音声から技巧や癖を除去して周波数の判定をしやすくすることにより、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。   In addition, the present invention provides a karaoke apparatus with a scoring function that can accurately determine the skill of actual singing by removing the skill and habit from the singing voice to facilitate frequency determination. The purpose is to do.

さらに、この発明は、適切なタイミングでリファレンスデータと歌唱音声とを比較することにより、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。   Another object of the present invention is to provide a karaoke apparatus with a scoring function that can accurately determine the skill of actual singing by comparing reference data and singing voice at appropriate timing. And

以下の手段において、リファレンスデータおよび歌唱音声はともに周波数(音高)に関する情報である。   In the following means, both the reference data and the singing voice are information on the frequency (pitch).

請求項1の発明は、カラオケ曲を演奏するとともに、歌唱旋律のリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、供給されたリファレンスデータをローパスフィルタ処理するフィルタ手段と、前記歌唱音声を前記フィルタ処理されたリファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、を備えたことを特徴とする。   According to the first aspect of the present invention, performance means for playing karaoke music and supplying singing melody reference data in synchronization with performance of karaoke music, singing voice input means for inputting singing voice, and supplied reference data Filter means for performing low-pass filtering, and scoring means for scoring the singing voice by comparing the singing voice with the filtered reference data.

この発明では、リファレンスデータをローパスフィルタ処理している。これにより、リファレンスデータの不連続で機械的な音高変化がなだらかになり、実際の歌唱者の音高変化に近づけることができ、これを歌唱音声と比較することにより、より実際の巧拙に対応した採点が可能になる。   In the present invention, the reference data is low-pass filtered. As a result, mechanical pitch changes are smoothed by discontinuity of the reference data, which can be approached to the actual pitch change of the singer, and by comparing this with the singing voice, more practical skill is supported. Scoring is possible.

請求項2の発明は、カラオケ曲を演奏するとともに、歌唱旋律のリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、入力された歌唱音声をローパスフィルタ処理するフィルタ手段と、前記フィルタ処理された歌唱音声を前記リファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、を備えたことを特徴とする。   The invention of claim 2 is a performance means for playing karaoke music and supplying singing melody reference data in synchronization with the performance of the karaoke music, singing voice input means for inputting singing voice, and inputted singing voice. Filter means for performing low-pass filtering, and scoring means for scoring the singing voice by comparing the filtered singing voice with the reference data.

この発明では、歌唱音声をローパスフィルタ処理している。これにより、ビブラートなどの細かい周波数変動を除去することができ、技巧を凝らした歌唱がかえって低い評価になってしまうことを防止することができる。   In the present invention, the singing voice is low-pass filtered. Thereby, fine frequency fluctuations such as vibrato can be removed, and it is possible to prevent the skillful singing from becoming a low evaluation.

請求項3の発明は、上記発明において、前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、前記採点手段は、各音符の先頭から所定時間については前記比較による採点の対象としないことを特徴とする。   According to a third aspect of the present invention, in the above invention, the performance means outputs the delimiter information of each note of the singing melody, and the scoring means does not score for the predetermined time from the beginning of each note. It is characterized by that.

レガート歌唱した場合、音符の先頭から所定時間(たとえば150ms程度)は、なだらかな音高の移行の途中で周波数が変動している。この区間を採点の対象とすると、レガート歌唱が機械的な歌唱よりも低く評価されてしまうおそれがある。そこで、この発明では、音符の先頭から所定時間は採点対象から外すことにより、レガート歌唱が低い評価になることを防止した。   When a legato sing is performed, the frequency fluctuates during the transition of a gentle pitch for a predetermined time (for example, about 150 ms) from the beginning of the note. If this section is targeted for scoring, legato singing may be evaluated lower than mechanical singing. Therefore, in the present invention, the legato singing is prevented from being poorly evaluated by removing it from the scoring target for a predetermined time from the beginning of the note.

請求項4の発明は、上記発明において、前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、前記採点手段は、1個の音符の期間内に前記歌唱音声とリファレンスデータとの差が許容範囲内になったサンプルが所定回数以上であったとき、この音符について合格と判定することを特徴とする。   According to a fourth aspect of the present invention, in the above invention, the performance means outputs delimiter information of each note of the singing melody, and the scoring means determines the difference between the singing voice and the reference data within a single note period. When the number of samples in the allowable range is equal to or greater than a predetermined number of times, it is determined that the note is acceptable.

請求項5の発明は、請求項1〜3の発明において、前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、前記採点手段は、1個の音符の期間内における前記歌唱音声とリファレンスデータとの差の平均値であるDC値、および、このDC値と前記歌唱音声との差の積分値であるAC値に基づき、この音符について合格、不合格を判定することを特徴とする。   According to a fifth aspect of the present invention, in the first to third aspects of the present invention, the performance means outputs delimiter information of each note of the singing melody, and the scoring means includes the singing voice within a period of one note. Based on the DC value that is the average value of the difference from the reference data and the AC value that is the integrated value of the difference between the DC value and the singing voice, pass / fail is determined for this note. .

請求項6の発明は、カラオケ曲を演奏するとともに、歌唱旋律の各音符の音高および区切り情報を含むリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、前記歌唱音声を各音符毎にリファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、を備えたことを特徴とする。   The invention according to claim 6 is a performance means for playing karaoke music and supplying reference data including the pitch of each note of the singing melody and delimiter information in synchronization with the performance of the karaoke music, and singing for inputting the singing voice. It comprises voice input means and scoring means for scoring the singing voice by comparing the singing voice with reference data for each note.

請求項7の発明は、請求項6の発明において、前記採点手段は、各音符の先頭から所定時間については前記比較による採点の対象としないことを特徴とする。   A seventh aspect of the invention is characterized in that, in the sixth aspect of the invention, the scoring means does not subject the scoring by the comparison for a predetermined time from the beginning of each note.

請求項8の発明は、請求項6,7の発明において、前記採点手段は、1個の音符の期間内に前記歌唱音声とリファレンスデータとの差が許容範囲内になったサンプルが所定回数以上であったとき、この音符について合格と判定することを特徴とする。   The invention according to claim 8 is the invention according to claims 6 and 7, wherein the scoring means includes a predetermined number of samples in which a difference between the singing voice and the reference data is within an allowable range within a single note period. If it is, it is determined that this musical note is passed.

請求項9の発明は、請求項6,7の発明において、前記採点手段は、1個の音符の期間内における前記歌唱音声とリファレンスデータとの差の平均値であるDC値、および、このDC値と前記歌唱音声との差の積分値であるAC値に基づき、この音符について合格、不合格を判定することを特徴とする。   According to a ninth aspect of the present invention, in the sixth and seventh aspects of the present invention, the scoring means includes a DC value that is an average value of differences between the singing voice and reference data within a period of one note, and the DC Based on the AC value, which is the integral value of the difference between the value and the singing voice, pass / fail is determined for this note.

上記発明では、音符単位で歌唱を採点評価するようにしている。これにより、時間単位の区切りよりも音楽的に正確な評価をすることができるようになる。また、音符単位で評価することにより、その音符における音程ずれ(DC値)やビブラートの深さ(AC値)を考慮して的確な評価が可能になる。   In the above invention, the singing is scored in units of musical notes. This makes it possible to make a musically more accurate evaluation than time unit breaks. Further, by evaluating in note units, accurate evaluation is possible in consideration of the pitch shift (DC value) and the vibrato depth (AC value) in the note.

請求項10の発明は、請求項4,5,8,9の発明において、前記採点手段は、合格と判定した音符の数、および、合格と判定した音符の音高の最高音、最低音、音域の全てまたは一部を用いて最終得点を決定することを特徴とする。   According to a tenth aspect of the present invention, in the inventions of the fourth, fifth, eighth, and ninth aspects, the scoring means includes: the number of notes determined to be acceptable; The final score is determined using all or part of the range.

非常に高い音や非常に低い音は歌唱者にとって発生しにくいものであり、音域の広い曲は歌唱者によって歌唱が難しいものである。このように歌唱した曲の音の高さや音域によって歌唱が左右され、評価が変わってしまう。そこで、この発明では、合格した音符の最高音、最低音、音域等を参考にして最終得点を決定することにより、曲の難易度による評価の変化を緩和して歌唱者の歌唱を高精度に評価できるようにした。   Very high and very low sounds are difficult for a singer, and songs with a wide range are difficult for a singer to sing. The singing depends on the pitch and range of the song sung in this way, and the evaluation changes. Therefore, in the present invention, the final score is determined with reference to the highest note, lowest note, range, etc. of the passed notes, so that the change in evaluation due to the difficulty of the song can be eased and the singing of the singer can be performed with high accuracy. I was able to evaluate.

以上のようにこの発明によれば、歌唱者の歌唱を採点する場合に、機械的な正確さではなく実際の歌唱の巧拙に基づいた採点をすることが可能になる。   As described above, according to the present invention, when a singer's singing is scored, it is possible to score not based on mechanical accuracy but based on the skill of actual singing.

図面を参照してこの発明の実施形態であるカラオケ装置について説明する。
カラオケ装置において、カラオケ曲の演奏はカラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力する動作であるが、採点モードを設定すると、このカラオケ曲の演奏に加えて、歌唱者の歌唱音声をリファレンスと比較することによって採点し、曲の終了後に点数を算出して表示する採点動作を実行する。
A karaoke apparatus according to an embodiment of the present invention will be described with reference to the drawings.
In a karaoke device, the performance of a karaoke song is the operation of outputting the background video / lyric telop to the monitor while generating the music of the karaoke song, but if the scoring mode is set, in addition to the performance of this karaoke song, the singer's performance The singing voice is scored by comparing it with a reference, and a scoring operation for calculating and displaying the score after the end of the song is executed.

図1は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するCPU10と、これに接続された各種機器で構成されている。CPU10には、ハードディスク11、RAM12、音源13、ミキサ(エフェクタ)14、ボーカルアダプタ19、MPEGデコーダ20、合成回路21、操作部23が接続されている。ハードディスク11は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。RAM12には、プログラムや曲データを読み出すエリア、および、採点モード時に採点結果等を記録する採点ログエリアなどが設定されている。   FIG. 1 is a block diagram of the karaoke apparatus. The karaoke apparatus is composed of a CPU 10 that controls the operation of the entire apparatus and various devices connected thereto. Connected to the CPU 10 are a hard disk 11, a RAM 12, a sound source 13, a mixer (effector) 14, a vocal adapter 19, an MPEG decoder 20, a synthesis circuit 21, and an operation unit 23. The hard disk 11 stores song data for playing karaoke songs, video data for displaying a background video on a monitor, and the like. In the RAM 12, an area for reading out programs and music data, a scoring log area for recording scoring results and the like in the scoring mode are set.

音源13は、CPU10が実行する曲シーケンサ31の処理によって入力された曲データ(ノートイベントデータ等)に応じて楽音信号を形成する。形成した楽音信号はミキサ14に入力される。ミキサ14は、音源13が発生した複数の楽音信号、および、マイク17−A/Dコンバータ18を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム15に入力される。サウンドシステム15はD/Aコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ16から放音する。ミキサ14が各音声信号に付与する効果およびミキシングのバランスはCPU10によって制御される。   The sound source 13 forms a musical sound signal in accordance with music data (note event data or the like) input by the music sequencer 31 executed by the CPU 10. The formed tone signal is input to the mixer 14. The mixer 14 gives an effect such as echo to the plurality of musical sound signals generated by the sound source 13 and the singing voice signal of the singer input via the microphone 17 -A / D converter 18. Mix the signal with an appropriate balance. The mixed digital audio signal is input to the sound system 15. The sound system 15 includes a D / A converter and a power amplifier. The input digital signal is converted into an analog signal, amplified, and emitted from the speaker 16. The effect that the mixer 14 gives to each audio signal and the balance of mixing are controlled by the CPU 10.

また、A/Dコンバータ18によってデジタル信号に変換された歌唱音声信号は、ボーカルアダプタ19にも入力される。ボーカルアダプタ19は、この入力された歌唱音声信号から歌唱周波数を割り出すとともに、CPU10の曲シーケンサ31から入力されたリファレンスの周波数を割り出す。そして、この歌唱周波数とリファレンス周波数を同期させて30ms毎にCPU10(採点モード処理34)に入力する。リファレンスとしては、曲データに含まれるガイドメロディデータが用いられる。また割り出した周波数は、C0からのセント値で表現される。   The singing voice signal converted into a digital signal by the A / D converter 18 is also input to the vocal adapter 19. The vocal adapter 19 calculates the singing frequency from the input singing voice signal and also calculates the reference frequency input from the music sequencer 31 of the CPU 10. And this singing frequency and a reference frequency are synchronized and it inputs into CPU10 (scoring mode process 34) every 30 ms. As the reference, guide melody data included in the song data is used. The determined frequency is expressed as a cent value from C0.

HDD11に記憶されている背景映像データ41は、MPEG2形式にエンコードされており、CPU10が実行する背景映像再生プログラム33は、これを読み出してMPEGデコーダ20に入力する。MPEGデコーダ20は、入力されたMPEGデータをNTSCの映像信号に変換して合成回路21に入力する。合成回路21は、この背景映像の映像信号の上に歌詞テロップや採点結果の表示などのOSDを合成する回路である。この合成された映像信号はモニタディスプレイ22に表示される。   The background video data 41 stored in the HDD 11 is encoded in the MPEG2 format, and the background video reproduction program 33 executed by the CPU 10 reads it and inputs it to the MPEG decoder 20. The MPEG decoder 20 converts the input MPEG data into an NTSC video signal and inputs it to the synthesis circuit 21. The synthesizing circuit 21 is a circuit that synthesizes an OSD such as a lyrics telop or a scoring result display on the video signal of the background video. The synthesized video signal is displayed on the monitor display 22.

操作部23は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をCPU10に入力する。CPU10は、操作入力処理プログラム35によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム35はシステムプログラムに含まれるものである。   The operation unit 23 includes a panel switch interface, a remote control receiving circuit, and the like, and inputs an operation signal to the CPU 10 according to the operation of the panel switch and the remote control device by the user. The CPU 10 detects this operation signal by the operation input processing program 35 and executes a corresponding process. The operation input processing program 35 is included in the system program.

パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。   The panel switch and the remote control device are provided with various key switches for selecting a song number and selecting a mode such as a scoring mode.

パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム35がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ30に伝達する。シーケンサ30は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク11の曲データ記憶エリア40から読み出す。シーケンサ30は、曲シーケンサ31および歌詞シーケンサ32からなっており、歌詞シーケンサ32は、文字パターン作成プログラム32aを含んでいる。曲シーケンサ31は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源13を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ32は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路21に出力する。また、背景映像再生プログラム33は、シーケンサ30からの指示に応じて所定の背景映像データを読み出してMPEGデコーダ20に入力する。   When a song number is input with a panel switch or a remote control device, the operation input processing program 35 detects this and transmits it to the sequencer 30 as a request for a karaoke song. In response, the sequencer 30 reads the song data of the karaoke song identified by this song number from the song data storage area 40 of the hard disk 11. The sequencer 30 includes a song sequencer 31 and a lyrics sequencer 32, and the lyrics sequencer 32 includes a character pattern creation program 32a. The music sequencer 31 reads the data of tracks such as performance data tracks and guide melody tracks in the music data, and controls the sound source 13 with this data to generate performance sounds of karaoke music. The lyrics sequencer 32 reads the data of the lyrics track in the song data, creates a lyrics telop image pattern based on the data, and outputs the image pattern to the synthesis circuit 21. Further, the background video reproduction program 33 reads predetermined background video data in accordance with an instruction from the sequencer 30 and inputs it to the MPEG decoder 20.

ここで、図2を参照してハードディスク11に記憶されている曲データについて説明する。曲データは、同図(A)に示すように、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲中の区切りを示すマークデータが書き込まれるマークデータトラックなどからなっている。曲データは、これ以外にヘッダ、音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。   Here, the music data stored in the hard disk 11 will be described with reference to FIG. As shown in FIG. 4A, the song data includes a musical sound track for playing a karaoke song, a guide melody track for generating a guide melody, a lyrics track for displaying a lyrics telop, and a break in the song. The mark data track is written with mark data to be indicated. The song data has a header, audio data, audio data control track, etc. in addition to this, but it is omitted in this figure for the sake of simplicity.

各トラックは、MIDIフォーマットに従って記述されている。たとえば、ガイドメロディトラックは、同図(B)に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音(ガイドメロディ)の音高を指定する。この楽音は次のノートオフイベントデータが読み出されるまで継続する。   Each track is described according to the MIDI format. For example, the guide melody track is composed of event data such as note-on event data and note-off event data and timing data indicating the read timing of each event data, as shown in FIG. The note-on event data includes pitch data, and specifies the pitch of a musical tone (guide melody) generated by the note-on. This musical tone continues until the next note-off event data is read out.

タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。   The timing data can be composed of duration data indicating the time interval between the event data, absolute time data indicating the absolute time from the start time of the music, and the like.

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン/オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源13に入力することにより、音源13はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック(パート)で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のMIDIデータで構成されている。   The event data of the musical tone track and the guide melody track is composed of the note event data indicating the pitch, volume, on / off, etc. of the musical tone as described above, and by inputting this note event data to the sound source 13, the sound source Reference numeral 13 sounds or mutes the musical sound corresponding to the event data. The musical sound track is composed of a plurality of tracks (parts) for generating musical sounds of a large number of musical instruments, and the guide melody track is composed of single melody MIDI data for guiding the singing melody.

また、マークデータトラックには、カラオケ曲の曲中の種々の区切り点を示すマークデータが書き込まれる。マークデータとしては、序奏と1コーラス目の区切りに書き込まれる1コーラス目マーク、1コーラス目と間奏の区切りに書き込まれる間奏マーク、間奏と2コーラス目の区切りに書き込まれる2コーラス目マーク、2コーラス目とエンディングの区切りに書き込まれるエンディングマークなどがあり、また、各コーラス中のサビの開始・終了点に書き込まれるサビ開始マーク、サビ終了マークなどがある。このマークは上記演奏トラック、ガイドメロディトラックが発生する楽音と同期しており、システムエクスクルーシブメッセージとして記述される。   Also, mark data indicating various break points in the karaoke song is written in the mark data track. Mark data includes the first chorus mark written at the beginning and the first chorus, the interlude mark written at the first chorus and interlude, the second chorus mark written at the second chorus and the second chorus. There is an ending mark or the like written at the separation between the eyes and the ending, and a rust start mark and rust end mark written at the start / end points of rust in each chorus. This mark is synchronized with the musical tone generated by the performance track and the guide melody track, and is described as a system exclusive message.

一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。   On the other hand, the event data of the lyrics track is sequence data in which the lyrics telop of the karaoke song is implemented by system exclusive data, and has event data different from the musical tone track and the guide melody track. The event data is page break data, lyrics display data, and the like.

通常モードのカラオケ曲の演奏では、シーケンサ30により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム34により、採点処理動作が実行される。   In the performance of karaoke music in the normal mode, the sequencer 30 generates the karaoke performance sound and displays the lyrics telop as described above. In the scoring mode, the scoring process is performed by the scoring mode processing program 34 in addition to this. The action is executed.

まず図3の機能ブロックを参照して、採点モード時の各部の処理について説明する。マイク17から入力された歌唱音声信号は、A/Dコンバータ18でデジタル音声信号に変換されてボーカルアダプタ19に入力される(同時にミキサ14にも入力されるがここでは採点モードの動作のみについて説明する)。ボーカルアダプタ19では、このデジタル音声信号を歌唱周波数検出部102に入力して歌唱周波数(セント値)を検出する。   First, with reference to the functional block of FIG. 3, the process of each part at the time of scoring mode is demonstrated. The singing voice signal input from the microphone 17 is converted into a digital voice signal by the A / D converter 18 and input to the vocal adapter 19 (at the same time input to the mixer 14, but only the operation in the scoring mode is described here. To do). In the vocal adapter 19, this digital audio signal is input to the singing frequency detector 102 to detect the singing frequency (cent value).

一方、リファレンス周波数検出部101には、カラオケ曲の演奏に同期して、曲シーケンサ31からリファレンスデータが入力される。リファレンスデータは、上述したようにガイドメロディデータが用いられる。リファレンス周波数検出部101は、入力されたMIDIデータのノートオンイベントデータから音高情報を抽出し、その音高のセント値をリファレンス周波数として出力する。   On the other hand, reference data is input from the song sequencer 31 to the reference frequency detector 101 in synchronization with the performance of the karaoke song. As described above, guide melody data is used as the reference data. The reference frequency detection unit 101 extracts pitch information from note-on event data of the input MIDI data, and outputs the pitch cent value as a reference frequency.

歌唱音声検出部102による歌唱周波数の検出およびリファレンス周波数検出部101によるリファレンス周波数の検出は、30ms毎に同期して実行され、その検出結果が30ms毎に採点モード処理プログラム34に入力される。   The detection of the singing frequency by the singing voice detection unit 102 and the detection of the reference frequency by the reference frequency detection unit 101 are performed in synchronization every 30 ms, and the detection result is input to the scoring mode processing program 34 every 30 ms.

また、リファレンス周波数検出部101は、曲シーケンサ31からノートオン/オフイベントデータが入力されると、そのタイミングにノートオン情報、ノートオフ情報を採点モード処理プログラム34に通知する。   Further, when note-on / off event data is input from the music sequencer 31, the reference frequency detection unit 101 notifies the scoring mode processing program 34 of note-on information and note-off information at the timing.

採点モード処理プログラム34では、入力されたリファレンス周波数と歌唱周波数とを比較し、各ノート毎にそのノートが合格ノートであるか不合格ノートであるかを判定する。   The scoring mode processing program 34 compares the input reference frequency and the singing frequency, and determines whether the note is a pass note or a fail note for each note.

この合格ノート/不合格ノートの判定時においては、入力された歌唱周波数およびリファレンス周波数に対してローパスフィルタ(LPF)処理(105、106)を行う。リファレンス周波数に対するLPF処理は、機械的な音高列であるリファレンス(図4(A)参照)の音高変化を滑らかにして人間の歌唱に近づけるための処理である。また、歌唱周波数に対するLPF処理は、ビブラートなどの技巧を除去してフラットな歌唱周波数情報を得るための処理である。   At the time of determination of this pass / fail note, a low pass filter (LPF) process (105, 106) is performed on the input singing frequency and reference frequency. The LPF process for the reference frequency is a process for smoothening the pitch change of the reference (see FIG. 4A), which is a mechanical pitch sequence, and bringing it closer to a human song. Further, the LPF processing for the singing frequency is processing for obtaining flat singing frequency information by removing techniques such as vibrato.

図4(A)はリファレンスとして用いられるガイドメロディデータの例を示す図である。リファレンスデータは、音符が連続しているレガート区間であっても正確な拍タイミングに不連続に音高が変化する機械的なデータである。このような不連続なリファレンスに対してLPF処理を行うことにより、同図(B)に示すように、音符と音符の間ではなだらかに音高が変化するようになり、リファレンスを歌唱者の実際の歌唱に近い音高変化のものにすることができる。なお、音符が途切れる休符の区間やノンレガートで歌唱するところなどは、このLPF処理の対象外にする。これにより、音の無い区間のデータによりLPF処理が不自然な動きになってしまうことを防止することができる。   FIG. 4A shows an example of guide melody data used as a reference. The reference data is mechanical data in which the pitch changes discontinuously at an accurate beat timing even in a legato section in which notes are continuous. By performing LPF processing on such a discontinuous reference, the pitch gradually changes between notes as shown in FIG. It is possible to make the pitch change similar to that of singing. Note that rest sections where notes are interrupted, places where singing with non-legato, etc. are excluded from the LPF processing. As a result, it is possible to prevent the LPF processing from becoming unnatural due to the data of the section without sound.

同図(C)は歌唱音声周波数データの例を示す図である。歌唱音声周波数は、音符(音高)の変わり目でなだらかな音高の移行(いわゆる「しゃくり」)をしているとともに、音の伸ばしの部分では、ビブラートなどの周期的な周波数変化をしている。この歌唱音声周波数データをLPF処理することにより、同図(D)に示すように、しゃくり部分のオーバーシュートやビブラートなどの細かい周波数変化を除去することができ、歌唱しようとしていた周波数を正確に抽出することができるようになる。   FIG. 6C is a diagram showing an example of singing voice frequency data. The singing voice frequency has a gentle transition (so-called “scribbling”) at the transition of notes (pitch), and has a periodic frequency change such as vibrato in the stretched part of the sound. . By performing LPF processing on this singing voice frequency data, it is possible to remove fine frequency changes such as overshoot and vibrato in the squeaky part, as shown in Fig. 4 (D), and accurately extract the frequency that was sung. Will be able to.

なお、マイク17から入力された音声信号には歌唱音声信号のみならず種々のノイズが含まれている。このノイズ成分のレベルが大きい場合、周波数検出部102は、このノイズ成分を歌唱音声信号と見なしてその周波数を検出してしまう場合がある。このようなノイズ成分がLPF処理部106に入力されると、その1サンプルだけでなくその後もずっと誤ったデータが出力されてしまう。そこで、歌唱音声の周波数変化と考えにくい、150セント以上の突然の音高変化があった場合には、そのデータを無視して(直前のサンプルデータをもう一度採用して)LPF処理を行うことにより、ノイズによる悪影響を防止することができる。   The audio signal input from the microphone 17 includes various noises as well as the singing audio signal. When the level of the noise component is large, the frequency detection unit 102 may detect the frequency by regarding the noise component as a singing voice signal. If such a noise component is input to the LPF processing unit 106, not only the one sample but also erroneous data will be output after that. Therefore, if there is a sudden pitch change of 150 cents or more, which is difficult to consider as a frequency change of the singing voice, ignore the data (adopt the previous sample data again) and perform LPF processing. , It can prevent adverse effects due to noise.

歌唱周波数およびリファレンス周波数のデータ列は、30ms毎の離散データであるため、上記の処理を好適に達成するため、歌唱周波数に対するLPF処理部106は、カットオフ周波数5.5Hzの2次フィルタを用い、リファレンス周波数に対するLPF処理部105は、カットオフ周波数5Hzの2次フィルタを用いている。   Since the data sequence of the singing frequency and the reference frequency is discrete data every 30 ms, the LPF processing unit 106 for the singing frequency uses a secondary filter with a cut-off frequency of 5.5 Hz in order to suitably achieve the above processing. The LPF processing unit 105 for the reference frequency uses a secondary filter having a cutoff frequency of 5 Hz.

LPF処理された歌唱周波数およびリファレンス周波数は、採点部107に入力される。採点部107は、リファレンス周波数検出部101から入力されるノートオン情報・ノートオフ情報をもとにノート単位で上記歌唱周波数を採点する。採点部107は、歌唱周波数とリファレンス周波数とを比較してその差分(セント値)を算出する。この差分の算出はサンプルタイミング毎(30ms毎)に行われる。1つのノート期間に所定回数以上差分が所定の許容範囲内に入っていたとき、このノートについて合格ノートと判定する。前記所定回数は1〜複数回の範囲で設定すればよい。ノート期間が終了したとき、差分が所定範囲内に入っていた回数が所定回未満であった場合にはこのノートについて不合格ノートと判定する。   The LPF-processed singing frequency and reference frequency are input to the scoring unit 107. The scoring unit 107 scores the singing frequency in units of notes based on the note-on information / note-off information input from the reference frequency detection unit 101. The scoring unit 107 compares the singing frequency with the reference frequency and calculates the difference (cent value). This difference is calculated at every sample timing (every 30 ms). When the difference is within a predetermined tolerance within a predetermined number of times in one note period, this note is determined to be a passing note. The predetermined number of times may be set in the range of 1 to a plurality of times. When the number of times that the difference is within the predetermined range is less than the predetermined number when the note period ends, this note is determined to be a failed note.

なお、ここでは、歌唱周波数、リファレンス周波数の両方に対してLPF処理を行っているが、どちらか一方のみに対して行っても上記それぞれの効果を得ることができる。また、ノート単位の合格ノート/不合格ノートの採点において、このLPF処理は必須ではなく、歌唱周波数、リファレンス周波数を直接比較して後述の採点処理を行うようにしてもよい。   Here, the LPF processing is performed on both the singing frequency and the reference frequency, but the above-described effects can be obtained even if performed on only one of them. In addition, in scoring pass / fail notes for each note, this LPF process is not essential, and a singing frequency and a reference frequency may be directly compared to perform a scoring process described later.

フローチャートを参照して採点モード処理プログラム34の処理について説明する。
図5は入力監視動作を示すフローチャートである。この動作ではボーカルアダプタからの入力を監視している。サンプルデータ、すなわち30ms毎の歌唱周波数およびリファレンス周波数が入力されると(s1)、その両方に対してLPF処理を実行する(s3、s4)。上記のようにこのLPF処理はどちらか一方のみまたは無くてもよい。このLPF処理の結果を採点処理(図6等)に通知する。
The processing of the scoring mode processing program 34 will be described with reference to the flowchart.
FIG. 5 is a flowchart showing the input monitoring operation. In this operation, the input from the vocal adapter is monitored. When sample data, that is, a singing frequency and a reference frequency every 30 ms are input (s1), LPF processing is executed for both (s3, s4). As described above, this LPF process may be either one or not. The result of this LPF process is notified to the scoring process (FIG. 6 etc.).

一方、リファレンス周波数検出部101からノートオン情報またはノートオフ情報が送られてきた場合には(s2)、これを採点処理に通知する(s5)。   On the other hand, when note-on information or note-off information is sent from the reference frequency detector 101 (s2), this is notified to the scoring process (s5).

図6は採点処理動作を示すフローチャートである。入力監視処理(図5)からノートオン情報が送られてきたとき、この処理動作をスタートする。   FIG. 6 is a flowchart showing the scoring process operation. When note-on information is sent from the input monitoring process (FIG. 5), this processing operation is started.

まず入力されたノートオン情報(ノートオンイベントデータ)に基づいて音高情報を更新する(s10)。すなわち、この採点処理動作では、楽曲の最高音および最低音を検出するため入力されたノートオン情報に含まれる音高情報で最高音レジスタ、最低音レジスタを更新している。入力されたノートオン情報の音高が、そのとき最高音レジスタに記憶している最高音高よりも高い場合には、この音高で最高音レジスタを更新する。また、入力されたノートオン情報の音高が、そのとき最低音レジスタに記憶している最低音高よりも低い場合には、この音高で最低音レジスタを更新する。なお、曲シーケンサ31が、楽曲データのハードディスク11からの読出時に最高音および最低音を検出しておき、これを採点処理プログラム34に通知するようにすれば、最低処理動作におけるこの処理は不要になる。   First, the pitch information is updated based on the inputted note-on information (note-on event data) (s10). That is, in this scoring processing operation, the highest note register and the lowest note register are updated with the pitch information included in the inputted note-on information in order to detect the highest note and the lowest note of the music. When the pitch of the input note-on information is higher than the highest pitch stored in the highest pitch register at that time, the highest pitch register is updated with this pitch. If the pitch of the input note-on information is lower than the lowest pitch stored in the lowest pitch register at that time, the lowest pitch register is updated with this pitch. If the music sequencer 31 detects the highest sound and the lowest sound when reading the music data from the hard disk 11 and notifies the scoring processing program 34 of this detection, this processing in the minimum processing operation is unnecessary. Become.

次にサンプルデータすなわちLPF処理がされた歌唱周波数およびリファレンス周波数が入力されるまで待機する(s11)。ただし、サンプルデータが入力されても処理がスタートして最初の5サンプルについては、そのデータを廃棄し何も処理しないでサンプルデータ待ちルーチン(s11)にもどる(s12)。これは、図4に示したようにノートスタート直後の150ms程度は、周波数の漸次的な変化(いわゆる「しゃくり」など)で周波数が安定しないため、この範囲は判定(採点)対象から外すようにしているためである。   Next, it waits until sample data, that is, a singing frequency and a reference frequency that have been subjected to LPF processing, are input (s11). However, even if sample data is input, the processing is started and the first five samples are discarded, and the processing returns to the sample data waiting routine (s11) without performing any processing (s12). This is because, as shown in FIG. 4, since the frequency is not stable for about 150 ms immediately after the start of the note due to a gradual change in frequency (so-called “shakoku”, etc.), this range is excluded from the judgment (scoring) target. This is because.

なお、上記のように最初の5サンプルについては目標周波数から大きく外れている可能性があるため、歌唱周波数またはリファレンス周波数にLPF処理を施す場合、この採用しない5サンプルがその後のサンプルデータのLPF処理に悪影響が及ばないようにLPF入力から削除するようにしてもよい。この場合、この最初の5サンプルが終了した時点でLPF処理に対してそれまで入力したサンプルデータを破棄するように通知すればよい。   As described above, since the first five samples may be greatly deviated from the target frequency, when LPF processing is performed on the singing frequency or the reference frequency, these five samples that are not adopted are subjected to LPF processing of the subsequent sample data. May be deleted from the LPF input so as not to adversely affect the. In this case, when the first five samples are completed, the LPF process may be notified to discard the sample data input so far.

6サンプル目以後のサンプルデータが入力された場合には、s13以下の処理を実行する。s13では、そのとき入力された歌唱周波数をリファレンス周波数と比較してその差分を求める。この差分が許容範囲内の場合にはs15以下の処理を実行し、許容範囲外の場合にはこのサンプルデータを破棄してs11にもどる。ここで、リファレンス周波数のセント値から±50セント以内に入ればこの歌唱周波数は許容範囲内の周波数ずれであると判断する。   When sample data after the sixth sample is input, the processing from s13 is executed. In s13, the singing frequency input at that time is compared with the reference frequency to obtain the difference. If this difference is within the allowable range, the processing from s15 is executed, and if it is outside the allowable range, this sample data is discarded and the processing returns to s11. Here, if the cent value of the reference frequency is within ± 50 cents, it is determined that the singing frequency is within the allowable range.

この採点処理動作では、ノート中に歌唱周波数が1回でも許容範囲内に入ればこのノートについて合格と判定するようにしているため、s14で許容範囲と判定された場合には、s15に進んでこのノートについて「合格ノート」と決定する。そしてノートオフ情報が入力されるまでs16で待機し、ノートオフ情報が入力されると、合格音高を更新するとともに(s17)、最終得点を集計する得点集計処理に対して合格ノート情報を出力する(s18)。   In this scoring processing operation, if the singing frequency falls within the allowable range even once in the note, it is determined that the note is acceptable, so if the allowable range is determined in s14, the process proceeds to s15. This note is determined as a “pass note”. Then, the process waits at s16 until the note-off information is input. When the note-off information is input, the passing pitch is updated (s17) and the passing note information is output for the score totaling process for counting the final score. (S18).

ここで、合格音高とは、ノート毎に実行されるこの処理において、合格と判定したノートの音高のうち最高音と最低音を更新しつつ記憶する処理である。すなわち、合格と判定されたノートの音高情報(ノートオン情報に含まれている音高情報)の音高が、そのとき合格最高音レジスタに記憶している最高音高よりも高い場合には、この音高で合格最高音レジスタを更新する。また、合格と判定されたノートのノートオン情報の音高が、そのとき合格最低音レジスタに記憶している最低音高よりも低い場合には、この音高で合格最低音レジスタを更新する。   Here, the acceptable pitch is a process of storing the highest and lowest sounds among the pitches of the notes determined to be acceptable in this process executed for each note. In other words, when the pitch of the pitch information of the note determined to be acceptable (pitch information included in the note-on information) is higher than the highest pitch stored in the passed highest pitch register at that time Update the highest pass register with this pitch. If the pitch of the note-on information of the note determined to be acceptable is lower than the minimum pitch stored in the minimum pass register at that time, the minimum pass register is updated with this pitch.

この合格最高音レジスタ、合格最低音レジスタの内容および前記最高音レジスタ、最低音レジスタの内容は、曲が終了したのち得点集計処理に通知される。   The contents of the passed highest tone register and the passed lowest tone register and the contents of the highest tone register and the lowest tone register are notified to the score totaling process after the music is finished.

一方、合格ノートと判定されないままこのノートオフ情報が入力された場合には(s19)、得点集計処理に対して不合格ノート情報を出力する(s20)。   On the other hand, when this note-off information is input without being determined as a pass note (s19), the fail note information is output for the score totaling process (s20).

図7は得点集計処理である。曲シーケンサ31またはリファレンス周波数検出部101から曲終了メッセージが送られてきたときこの処理を実行する。まず、この曲の全ノート数と合格ノート数の比率に基づいて点数を算出する(s25)。次に曲の最高音高、最低音高、音域および合格ノートの最高音高、最低音高、音域に基づいて選曲に対するアドバイスを決定し(s26)、これをモニタ22に表示する(s27)。   FIG. 7 shows the score totaling process. This process is executed when a music end message is sent from the music sequencer 31 or the reference frequency detection unit 101. First, a score is calculated based on the ratio of the total number of notes and the number of accepted notes in this song (s25). Next, advice for music selection is determined based on the highest pitch, the lowest pitch, the range, and the highest pitch, the lowest pitch, and the range of the accepted notes (s26), and these are displayed on the monitor 22 (s27).

なお、この動作では音高、音域に基づいてアドバイスを表示するのみであるが、合格最高音や合格最低音または音域が優秀な場合には、得点に加味するようにしてもよい。   In this operation, advice is only displayed on the basis of the pitch and the range, but if the highest pass sound, the lowest pass tone or the range is excellent, the score may be added.

図6の処理では、ノート中に1回でもセント差が許容範囲内に入った場合には合格ノートとしているが、ノート期間中のサンプルデータを複数(たとえば全て)チェックし、許容範囲に入ったサンプル数に基づいて合格ノート、不合格ノートを決定するようにしてもよい。図8にノート期間中のサンプルデータを全て監視する採点処理動作のフローチャートに示す。   In the process of FIG. 6, if the cent difference is within the allowable range even once in the note, it is determined as a passing note, but a plurality of (for example, all) sample data during the note period are checked and within the allowable range. A pass note or a fail note may be determined based on the number of samples. FIG. 8 is a flowchart of the scoring processing operation for monitoring all sample data during the note period.

図8は採点処理動作の別実施形態を示すフローチャートである。入力監視処理(図5)からノートオン情報が送られてきたとき、この処理動作をスタートする。   FIG. 8 is a flowchart showing another embodiment of the scoring processing operation. When note-on information is sent from the input monitoring process (FIG. 5), this processing operation is started.

まず、許容範囲内のサンプル(OKサンプル)と許容範囲外のサンプル(NGサンプル)をカウントするカウンタをリセットする(s29)。次に、入力されたノートオン情報(ノートオンイベントデータ)に基づいて音高情報を更新する(s30)。この処理は図6の音高更新処理(s10)と同様である。   First, a counter that counts samples within an allowable range (OK samples) and samples outside the allowable range (NG samples) is reset (s29). Next, the pitch information is updated based on the inputted note-on information (note-on event data) (s30). This process is the same as the pitch update process (s10) of FIG.

次にサンプルデータすなわちLPF処理がされた歌唱周波数およびリファレンス周波数が入力されるまで待機する(s31)。ただし、サンプルデータが入力されても処理がスタートして最初の5サンプルについては、そのデータを廃棄し何も処理しないでサンプルデータ待ちルーチン(s31)にもどる(s32)。これは、図4に示したようにノートスタート直後の150ms程度は、周波数の漸次的な変化(いわゆる「しゃくり」など)で周波数が安定しないため、この範囲は判定(採点)対象から外すようにしているためである。   Next, it waits until sample data, that is, a singing frequency and a reference frequency that have been subjected to LPF processing, are input (s31). However, even if sample data is input, the processing is started and the first five samples are discarded and the processing returns to the sample data waiting routine (s31) without performing any processing (s32). This is because, as shown in FIG. 4, since the frequency is not stable for about 150 ms immediately after the start of the note due to a gradual change in frequency (so-called “shakoku”, etc.), this range is excluded from the judgment (scoring) target. This is because.

6サンプル目以後のサンプルデータが入力された場合には、s33以下の処理を実行する。s33では、そのとき入力された歌唱周波数をリファレンス周波数と比較してその差分を求める。この差分が許容範囲内の場合にはOKサンプルカウンタをカウントアップし(s35)、差分が許容範囲外の場合にはNGサンプルカウンタをカウントアップする(s36)。   When sample data after the sixth sample is input, the processing from s33 is executed. In s33, the singing frequency input at that time is compared with the reference frequency to obtain the difference. If this difference is within the allowable range, the OK sample counter is counted up (s35), and if the difference is outside the allowable range, the NG sample counter is counted up (s36).

サンプルデータ待ちルーチンでノートオフ情報が入力された場合には(s37)、OKカウント数(およびNGカウント数)に基づいてこのノートが合格ノートであるか否かを判定する(s38)。合格ノートと判定した場合には(s39)、合格音高を更新するとともに(s40)、最終得点を集計する得点集計処理に対して合格ノート情報を出力する(s41)。不合格ノートと判定した場合には得点集計処理に対して不合格ノート情報を出力する(s42)。   When note-off information is input in the sample data waiting routine (s37), it is determined whether or not this note is a pass note based on the OK count number (and NG count number) (s38). If it is determined as a pass note (s39), the pass pitch is updated (s40), and pass note information is output for the score totaling process for totaling the final score (s41). If it is determined as a failure note, failure note information is output to the score totaling process (s42).

ここで、合格ノートの判定は、OKカウント数が所定値以上になったとき、NGカウント数が所定値以下であったとき、OKカウント数の比率が所定値以上であったときなどの基準で行えばよい。   Here, the pass note is determined based on criteria such as when the OK count number is equal to or greater than a predetermined value, when the NG count number is equal to or less than a predetermined value, or when the ratio of the OK count number is equal to or greater than a predetermined value. Just do it.

図6、図8の採点処理動作では、OKサンプル(およびNGサンプル)の数に基づいて合格ノートを判定しているが、複数サンプルにおける歌唱周波数のリファレンス周波数との差分の平均値(DC値)、および、各サンプルデータ(歌唱周波数)の上記平均値(DC値)からの変動量の積算値(AC値)を考慮して合格ノートを判定するようにしてもよい。これにより、いわゆるまぐれ当たりの合格ノートを排除したり、大きなビブラートをかけた歌唱を不合格ノートから救ったりすることが可能になる。   In the scoring processing operations of FIGS. 6 and 8, the pass note is determined based on the number of OK samples (and NG samples), but the average value (DC value) of the difference between the singing frequency and the reference frequency in a plurality of samples. In addition, the pass note may be determined in consideration of the integrated value (AC value) of the fluctuation amount from the average value (DC value) of each sample data (singing frequency). As a result, it is possible to eliminate so-called passing notes per fluke, or to save a song with a large vibrato from the failing notes.

図9を参照してDC・AC判定処理について説明する。同図(A)における<リファレンス>がリファレンス周波数を示す直線であり、<DC>が上記平均値(DC値)を表す直線である。また、複数の<AC>の合算値がAC値となる。   The DC / AC determination process will be described with reference to FIG. In FIG. 6A, <reference> is a straight line indicating the reference frequency, and <DC> is a straight line indicating the average value (DC value). Also, the sum of a plurality of <AC> becomes the AC value.

1または複数のサンプルが許容範囲(50セント差以内)に入っており合格ノートと判定されても、ぎりぎりで許容範囲内となったサンプルが多い場合はDC値が大きくなる。したがって、OKサンプルが所定数以上あってもDC値が大きい場合には、音程が外れぎみまたはまぐれ当たりであると考えることができる。また、深いビブラートをかけているとAC値が大きくなるが、ビブラートが大きいと聴覚的には音程の外れが緩和されて上手く聞こえるものである。   Even if one or more samples are within the allowable range (within 50 cents difference) and are determined to be acceptable notes, the DC value increases if there are many samples that are within the allowable range at the very minimum. Therefore, if the DC value is large even if there are a predetermined number of OK samples or more, it can be considered that the pitch is out of sync or fluke. Further, when the deep vibrato is applied, the AC value becomes large. However, when the vibrato is large, the deviation of the pitch is audibly relaxed and sounds well.

このような実際の聴覚的な印象を加味して、同図(B)のような合格ノート、不合格ノートの判定範囲を設ける。すなわち、DC値がプラス・マイナス一定範囲内であれば合格ノートであるが(この点では図8の動作とほぼ同様)、AC値が大きくなれば、合格のDC値の範囲を大きくしてゆく。これは、ビブラートが大きいと音程ずれが許容されるからである。これにより、実際に近い採点が可能になる。   In consideration of such an actual auditory impression, a pass / fail judgment range as shown in FIG. That is, if the DC value is within a certain range of plus / minus, it is a passing note (this is almost the same as the operation of FIG. 8), but if the AC value increases, the range of the passing DC value is increased. . This is because pitch deviation is allowed when vibrato is large. As a result, scoring that is close to actuality becomes possible.

また、このDC・AC値による採点と図6または図8の採点処理動作を複合して採点するようにしてもよい。   Further, the scoring based on the DC / AC value and the scoring processing operation shown in FIG. 6 or 8 may be combined for scoring.

この発明の実施形態であるカラオケ装置のブロック図The block diagram of the karaoke apparatus which is embodiment of this invention 同カラオケ装置で用いられる曲データの構成例を示す図The figure which shows the structural example of the song data used with the karaoke apparatus 同カラオケ装置の採点処理の機能ブロックを示す図The figure which shows the functional block of the scoring process of the karaoke apparatus 同カラオケ装置におけるLPF処理を説明する図The figure explaining LPF processing in the karaoke apparatus 同カラオケ装置の入力監視処理を示すフローチャートThe flowchart which shows the input monitoring process of the karaoke device 同カラオケ装置の採点処理動作を示すフローチャートFlow chart showing scoring processing operation of the karaoke apparatus 同カラオケ装置の得点集計処理を示すフローチャートThe flowchart which shows the score totaling process of the same karaoke device 同カラオケ装置の採点処理動作の他の実施形態を示すフローチャートThe flowchart which shows other embodiment of scoring processing operation | movement of the karaoke apparatus. 同カラオケ装置における他の採点方式を説明する図The figure explaining other scoring systems in the karaoke device

符号の説明Explanation of symbols

10…CPU、11…ハードディスク、12…RAM、13…音源、14…ミキサ、15…サウンドシステム、16…スピーカ、17…マイク、18…A/Dコンバータ、19…ボーカルアダプタ、20…MPEGデコーダ、21…合成回路、22…モニタ、23…操作部、
30…シーケンサ、31…曲シーケンサ、32…歌詞シーケンサ、32a…文字パターン作成プログラム、33…背景映像再生プログラム、34…採点モード処理プログラム、35…操作入力処理プログラム、
40…曲データ記憶エリア、41…背景映像記憶エリア、43…採点ログ、
101…リファレンス周波数検出部、102…歌唱周波数検出部、105、106…ローパスフィルタ処理部、107…採点部
DESCRIPTION OF SYMBOLS 10 ... CPU, 11 ... Hard disk, 12 ... RAM, 13 ... Sound source, 14 ... Mixer, 15 ... Sound system, 16 ... Speaker, 17 ... Microphone, 18 ... A / D converter, 19 ... Vocal adapter, 20 ... MPEG decoder, 21 ... Synthesis circuit, 22 ... Monitor, 23 ... Operation part,
30 ... Sequencer, 31 ... Song sequencer, 32 ... Lyric sequencer, 32a ... Character pattern creation program, 33 ... Background video reproduction program, 34 ... Scoring mode processing program, 35 ... Operation input processing program,
40 ... song data storage area, 41 ... background video storage area, 43 ... scoring log,
DESCRIPTION OF SYMBOLS 101 ... Reference frequency detection part, 102 ... Singing frequency detection part, 105, 106 ... Low pass filter process part, 107 ... Scoring part

Claims (10)

カラオケ曲を演奏するとともに、歌唱旋律のリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
歌唱音声を入力する歌唱音声入力手段と、
供給されたリファレンスデータをローパスフィルタ処理するフィルタ手段と、
前記歌唱音声を前記フィルタ処理されたリファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、
を備えたカラオケ装置。
Performance means for playing karaoke songs and supplying reference data of singing melody in synchronization with the performance of karaoke songs;
Singing voice input means for inputting singing voice;
Filter means for low-pass filtering the supplied reference data;
Scoring means for scoring the singing voice by comparing the singing voice with the filtered reference data;
Karaoke device equipped with.
カラオケ曲を演奏するとともに、歌唱旋律のリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
歌唱音声を入力する歌唱音声入力手段と、
入力された歌唱音声をローパスフィルタ処理するフィルタ手段と、
前記フィルタ処理された歌唱音声を前記リファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、
を備えたカラオケ装置。
Performance means for playing karaoke songs and supplying reference data of singing melody in synchronization with the performance of karaoke songs;
Singing voice input means for inputting singing voice;
Filter means for low-pass filtering the input singing voice;
Scoring means for scoring the singing voice by comparing the filtered singing voice with the reference data;
Karaoke device equipped with.
前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、
前記採点手段は、各音符の先頭から所定時間については前記比較による採点の対象としない請求項1または請求項2に記載のカラオケ装置。
The performance means outputs the delimiter information of each note of the singing melody,
3. The karaoke apparatus according to claim 1, wherein the scoring unit does not mark a predetermined time from the beginning of each note as a target of scoring by the comparison.
前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、
前記採点手段は、1個の音符の期間内に前記歌唱音声とリファレンスデータとの差が許容範囲内になったサンプルが所定回数以上であったとき、この音符について合格と判定する請求項1、請求項2または請求項3に記載のカラオケ装置。
The performance means outputs the delimiter information of each note of the singing melody,
The scoring means judges that a note is acceptable when a sample in which a difference between the singing voice and reference data is within an allowable range within a single note period is a predetermined number of times or more. The karaoke apparatus according to claim 2 or claim 3.
前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、
前記採点手段は、1個の音符の期間内における前記歌唱音声とリファレンスデータとの差の平均値であるDC値、および、このDC値と前記歌唱音声との差の積分値であるAC値に基づき、この音符について合格、不合格を判定する請求項1、請求項2または請求項3に記載のカラオケ装置。
The performance means outputs the delimiter information of each note of the singing melody,
The scoring means has a DC value that is an average value of the difference between the singing voice and the reference data within a period of one note, and an AC value that is an integrated value of the difference between the DC value and the singing voice. The karaoke apparatus according to claim 1, claim 2, or claim 3, wherein pass or fail is determined for the note.
カラオケ曲を演奏するとともに、歌唱旋律の各音符の音高および区切り情報を含むリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
歌唱音声を入力する歌唱音声入力手段と、
前記歌唱音声を各音符毎にリファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、
を備えたカラオケ装置。
A performance means for playing karaoke songs and supplying reference data including the pitches and delimiter information of each note of the singing melody in synchronization with the performance of the karaoke songs,
Singing voice input means for inputting singing voice;
Scoring means for scoring the singing voice by comparing the singing voice with reference data for each note;
Karaoke device equipped with.
前記採点手段は、各音符の先頭から所定時間については前記比較による採点の対象としない請求項6に記載のカラオケ装置。   7. The karaoke apparatus according to claim 6, wherein the scoring means does not mark the result of the comparison for a predetermined time from the beginning of each note. 前記採点手段は、1個の音符の期間内に前記歌唱音声とリファレンスデータとの差が許容範囲内になったサンプルが所定回数以上であったとき、この音符について合格と判定する請求項6または請求項7に記載のカラオケ装置。   The scoring means judges that a note is acceptable when a sample in which a difference between the singing voice and reference data is within an allowable range within a period of one note exceeds a predetermined number of times. The karaoke apparatus according to claim 7. 前記採点手段は、1個の音符の期間内における前記歌唱音声とリファレンスデータとの差の平均値であるDC値、および、このDC値と前記歌唱音声との差の積分値であるAC値に基づき、この音符について合格、不合格を判定する請求項6または請求項7に記載のカラオケ装置。   The scoring means has a DC value that is an average value of the difference between the singing voice and the reference data within a period of one note, and an AC value that is an integrated value of the difference between the DC value and the singing voice. The karaoke apparatus according to claim 6 or 7, wherein a pass or fail is determined for the musical note based on the note. 前記採点手段は、合格と判定した音符の数、および、合格と判定した音符の音高の最高音、最低音、音域の全てまたは一部を用いて最終得点を決定する請求項4、請求項5、請求項8または請求項9に記載のカラオケ装置。   The scoring means determines the final score by using all or part of the number of notes determined to be acceptable and the highest note, lowest note, or range of notes determined to be acceptable. The karaoke apparatus according to claim 5, claim 8 or claim 9.
JP2003342472A 2003-09-30 2003-09-30 Karaoke equipment Expired - Fee Related JP4204940B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003342472A JP4204940B2 (en) 2003-09-30 2003-09-30 Karaoke equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003342472A JP4204940B2 (en) 2003-09-30 2003-09-30 Karaoke equipment

Publications (2)

Publication Number Publication Date
JP2005107328A true JP2005107328A (en) 2005-04-21
JP4204940B2 JP4204940B2 (en) 2009-01-07

Family

ID=34536727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003342472A Expired - Fee Related JP4204940B2 (en) 2003-09-30 2003-09-30 Karaoke equipment

Country Status (1)

Country Link
JP (1) JP4204940B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156330A (en) * 2005-12-08 2007-06-21 Taito Corp Karaoke device with compatibility determination function
JP2007248519A (en) * 2006-03-13 2007-09-27 Yamaha Corp Waveform editing device
JP2010197738A (en) * 2009-02-25 2010-09-09 Brother Ind Ltd Tone pitch determination system, register determination system, and program
JP2012058277A (en) * 2010-09-03 2012-03-22 Yamaha Corp Singing voice evaluation device
JP2012123081A (en) * 2010-12-07 2012-06-28 Roland Corp Pitch shift device
JP2012173721A (en) * 2011-02-24 2012-09-10 Yamaha Corp Singing voice evaluation device
JP2012185325A (en) * 2011-03-04 2012-09-27 Konami Digital Entertainment Co Ltd Karaoke device, range measuring method and program
JP2012194317A (en) * 2011-03-16 2012-10-11 Xing Inc Karaoke device
JP2012194316A (en) * 2011-03-16 2012-10-11 Xing Inc Karaoke device
JP2014219692A (en) * 2014-07-18 2014-11-20 ヤマハ株式会社 Singing voice evaluation device
WO2016148256A1 (en) * 2015-03-17 2016-09-22 ヤマハ株式会社 Evaluation device and program
JP2016173562A (en) * 2015-03-17 2016-09-29 ヤマハ株式会社 Evaluation device and program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156330A (en) * 2005-12-08 2007-06-21 Taito Corp Karaoke device with compatibility determination function
JP2007248519A (en) * 2006-03-13 2007-09-27 Yamaha Corp Waveform editing device
JP4687517B2 (en) * 2006-03-13 2011-05-25 ヤマハ株式会社 Waveform editing device
JP2010197738A (en) * 2009-02-25 2010-09-09 Brother Ind Ltd Tone pitch determination system, register determination system, and program
JP2012058277A (en) * 2010-09-03 2012-03-22 Yamaha Corp Singing voice evaluation device
JP2012123081A (en) * 2010-12-07 2012-06-28 Roland Corp Pitch shift device
JP2012173721A (en) * 2011-02-24 2012-09-10 Yamaha Corp Singing voice evaluation device
JP2012185325A (en) * 2011-03-04 2012-09-27 Konami Digital Entertainment Co Ltd Karaoke device, range measuring method and program
JP2012194317A (en) * 2011-03-16 2012-10-11 Xing Inc Karaoke device
JP2012194316A (en) * 2011-03-16 2012-10-11 Xing Inc Karaoke device
JP2014219692A (en) * 2014-07-18 2014-11-20 ヤマハ株式会社 Singing voice evaluation device
WO2016148256A1 (en) * 2015-03-17 2016-09-22 ヤマハ株式会社 Evaluation device and program
JP2016173562A (en) * 2015-03-17 2016-09-29 ヤマハ株式会社 Evaluation device and program

Also Published As

Publication number Publication date
JP4204940B2 (en) 2009-01-07

Similar Documents

Publication Publication Date Title
US8027631B2 (en) Song practice support device
US20040123726A1 (en) Performance evaluation apparatus and a performance evaluation program
JP4204940B2 (en) Karaoke equipment
JP4212446B2 (en) Karaoke equipment
JP3996565B2 (en) Karaoke equipment
JP4204941B2 (en) Karaoke equipment
JP4163584B2 (en) Karaoke equipment
JP2007334364A (en) Karaoke machine
JP4222919B2 (en) Karaoke equipment
JP4116849B2 (en) Operation evaluation device, karaoke device, and program
JP2009169103A (en) Practice support device
JP4209751B2 (en) Karaoke equipment
JP4211388B2 (en) Karaoke equipment
JP3599686B2 (en) Karaoke device that detects the critical pitch of the vocal range when singing karaoke
JP4048249B2 (en) Karaoke equipment
JP2005107332A (en) Karaoke machine
JP4891135B2 (en) Evaluation device
JP4506750B2 (en) Content playback device
JP4159961B2 (en) Karaoke equipment
JP2006259401A (en) Karaoke machine
JP4038471B2 (en) Singing ability examination entry system
JP2017173655A (en) Sound evaluation device and sound evaluation method
JP4007298B2 (en) Karaoke device and program
JP5416396B2 (en) Singing evaluation device and program
JP4182898B2 (en) Karaoke equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4204940

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131024

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees