JP2005107332A - Karaoke machine - Google Patents

Karaoke machine Download PDF

Info

Publication number
JP2005107332A
JP2005107332A JP2003342476A JP2003342476A JP2005107332A JP 2005107332 A JP2005107332 A JP 2005107332A JP 2003342476 A JP2003342476 A JP 2003342476A JP 2003342476 A JP2003342476 A JP 2003342476A JP 2005107332 A JP2005107332 A JP 2005107332A
Authority
JP
Japan
Prior art keywords
timing
singing
note
frequency
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003342476A
Other languages
Japanese (ja)
Inventor
Shingo Kamiya
伸悟 神谷
Satoshi Tachibana
聡 橘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Daiichikosho Co Ltd
Original Assignee
Yamaha Corp
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp, Daiichikosho Co Ltd filed Critical Yamaha Corp
Priority to JP2003342476A priority Critical patent/JP2005107332A/en
Publication of JP2005107332A publication Critical patent/JP2005107332A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a Karaoke machine with a scoring function that makes it possible to accurately decide whether an actual singing is good by scoring timing corresponding to the genre of the music. <P>SOLUTION: The timing difference between the sounding timing of a guide melody and the singing start timing of a singing voice of a singer is detected and scored. Then the timing points are added to basic points calculated based upon accuracy of an interval to calculate final points. The timing points are calculated based upon a timing point table, which is provided for each genre such as pop music of traditional Japanese style and pop music to enable scoring matching timing feelings and rhythm feelings corresponding to respective genres. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

この発明は、歌唱採点機能を備えたカラオケ装置における採点精度の向上に関する。   The present invention relates to an improvement in scoring accuracy in a karaoke apparatus having a singing scoring function.

従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。従来より実用化されている採点機能は、ガイドメロディなどのリファレンスから抽出した音高と歌唱音声から抽出した周波数とを比較するもの(たとえば特許文献1)やこれに音量変化の評価を加味したもの(特許文献2)などがあった。   Conventionally, some karaoke apparatuses have a scoring function for scoring the skill of a singer. The scoring function that has been practically used in the past compares the pitch extracted from the reference such as a guide melody with the frequency extracted from the singing voice (for example, Patent Document 1), and adds the evaluation of the volume change to this. (Patent Document 2).

特開平10−49183号公報Japanese Patent Laid-Open No. 10-49183 特開平10−161673号公報JP-A-10-161673

しかし、従来の採点機能は、上記のように歌唱周波数をリファレンスの音高と比較する機能しか備えていなかったため、歌唱タイミングを正確に検出することができず、音量や音程については精度よく採点できても歌唱者の歌唱タイミングすなわちリズム感を正確に採点することができないという欠点があった。   However, since the conventional scoring function only had a function to compare the singing frequency with the reference pitch as described above, the singing timing could not be detected accurately, and the volume and pitch could be scored with high accuracy. However, there is a drawback that the singing timing of the singer, that is, the rhythm feeling cannot be accurately scored.

ガイドメロディデータなどのリファレンスデータは、機械的に正確なリズムで進行するデータであるため、たとえば演歌やバラード曲など比較的自由なリズムで歌唱されることの多いカラオケ曲の採点をこのリファレンスデータとの単純な比較で行った場合には、上手な歌唱がかえって低い点数になってしまうという問題点があった。   Since reference data such as guide melody data is data that progresses in a mechanically accurate rhythm, for example, scoring of karaoke songs that are often sung in a relatively free rhythm such as enka or ballad songs is referred to as this reference data. However, there was a problem that a good singing score was rather low.

この発明は、曲のジャンルに応じたタイミングの採点をすることにより、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。   It is an object of the present invention to provide a karaoke apparatus with a scoring function that can accurately determine the skill of actual singing by scoring the timing according to the genre of a song.

請求項1の発明は、カラオケ曲を演奏するための演奏データ、歌唱旋律を示すリファレンスデータおよび曲のジャンルを示すジャンルデータを含む楽曲データを記憶した記憶手段と、前記楽曲データの演奏データに基づいてカラオケ曲を演奏するとともに、前記リファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、入力された歌唱音声を前記リファレンスデータと比較することによって、各音符毎の歌唱タイミングの進みまたは遅れの程度であるタイミング差を検出し、検出したタイミング差をこのカラオケ曲のジャンルに応じた重みづけで採点する採点手段と、を備えたことを特徴とする。   The invention according to claim 1 is based on performance data for playing karaoke music, reference data indicating singing melody and music data including genre data indicating genre of music, and performance data of the music data. Performing a karaoke song and supplying the reference data in synchronization with the performance of the karaoke song, a singing voice input unit for inputting a singing voice, and comparing the inputted singing voice with the reference data And grading means for detecting a timing difference that is the degree of advance or delay of the singing timing for each note, and scoring the detected timing difference by weighting according to the genre of this karaoke song. And

請求項2の発明は、請求項1の発明において、前記記憶手段は、前記楽曲データに加えて、タイミング差の大きさに応じた点数を記憶したタイミングポイントテーブルをジャンル別に記憶しており、前記採点手段は、演奏しているカラオケ曲のジャンルに応じたタイミングポイントテーブルを用いてタイミング差を採点することを特徴とする。   According to a second aspect of the present invention, in the first aspect of the invention, the storage means stores, in addition to the music data, a timing point table storing points according to the magnitude of the timing difference for each genre, The scoring means scores the timing difference using a timing point table corresponding to the genre of the karaoke song being played.

一般的なリファレンスデータは、クセのない機械的に正確なリズムで進行する。曲によっては、機械的に正確なリズムで歌唱すると上手く聞こえる曲もあれば、機械的なリズムをくずして自由なリズムで歌唱すると上手く聞こえる曲もある。この発明では、タイミング差を曲のジャンルに応じた重みづけで採点するようにしたことにより、上記のような曲の特性に応じた実際の歌唱の巧拙を採点することが可能になる。   General reference data proceeds in a mechanically accurate rhythm without habits. Some songs sound good when sung with a mechanically accurate rhythm, while others sound good when sung with a free rhythm by breaking the mechanical rhythm. In the present invention, since the timing difference is scored by weighting according to the genre of music, the skill of actual singing according to the characteristics of the music as described above can be scored.

請求項3の発明は、請求項1、2の発明において、前記リファレンスデータは、歌唱旋律の各音符の音高情報および各音符の区切り情報を含み、前記採点手段は、入力した歌唱音声から歌唱音声周波数を検出してこれを各音符の音高周波数と比較し、歌唱音声周波数が各音符の音高周波数から所定の範囲内に接近したタイミングをその音符の歌唱タイミングとし、この歌唱タイミングを当該音符の開始タイミングと比較することによりタイミング差を検出する手段であることを特徴とする。   According to a third aspect of the present invention, in the first and second aspects of the present invention, the reference data includes pitch information of each note of the singing melody and break information of each note, and the scoring means sings from the input singing voice The voice frequency is detected and compared with the pitch frequency of each note, and the timing at which the singing voice frequency approaches within a predetermined range from the pitch frequency of each note is set as the singing timing of that note. It is a means for detecting a timing difference by comparing with the start timing of a note.

この発明では、音符の区切り情報に基づいて音符の発音タイミングを検出し、歌唱音声がその音符の音高から所定範囲内に接近したタイミングをその音符の歌唱タイミングとすることで正確に歌唱タイミングと発音タイミングのずれを検出することができ、タイミングの高精度な採点が可能になる。   According to the present invention, the timing of the note is detected based on the note separation information, and the timing at which the singing voice approaches within a predetermined range from the pitch of the note is set as the singing timing of the note. Deviation in pronunciation timing can be detected, and highly accurate scoring of timing becomes possible.

請求項4の発明は、請求項1、2の発明において、前記リファレンスデータは、歌唱旋律の各音符の音高情報および各音符の区切り情報を含み、前記採点手段は、入力した歌唱音声から歌唱音声周波数を検出してこれを各音符の音高周波数と比較し、採点対象音符を含む所定区間の歌唱音声周波数とリファレンスデータの周波数とを時間軸方向に相互にずらしてその相互相関が最大となる位置を割り出し、そのずれ量をその音符のタイミング差とする手段であることを特徴とする。   According to a fourth aspect of the present invention, in the first and second aspects of the present invention, the reference data includes pitch information of each note of the singing melody and break information of each note, and the scoring means sings from the input singing voice The voice frequency is detected and compared with the pitch frequency of each note, and the singing voice frequency and the reference data frequency in the predetermined section including the note to be scored are shifted relative to each other in the time axis direction to maximize the cross-correlation. It is a means for determining the position to be used, and taking the deviation amount as the timing difference of the note.

いわゆる「しゃくり」などの歌唱法で歌唱したときには、周波数がなだらかに変化するため途中の音符の歌唱タイミングの判定が困難な場合がある。この場合でも、周波数変化の相関をとることによってリファレンスと歌唱とのずれを検出し、このずれを歌唱タイミングのずれとすることで、高精度に歌唱タイミングを判定することができる。   When singing by a singing method such as so-called “shakuri”, it is sometimes difficult to determine the singing timing of notes on the way because the frequency changes gently. Even in this case, it is possible to detect the singing timing with high accuracy by detecting the difference between the reference and the singing by correlating the frequency change and setting this difference as the singing timing.

以上のようにこの発明によれば、歌唱者の歌唱をタイミング差に基づいて採点する場合に、曲のジャンルに合わせた重みづけでこのタイミング差を採点するようにしたことにより、その曲の特性に合わせた採点が可能になる。また、この発明によれば、正確な歌唱タイミングのずれを検出することができるため、歌唱の巧拙をより精度よく判定することが可能になる。   As described above, according to the present invention, when a singer's song is scored based on the timing difference, the timing difference is scored by weighting according to the genre of the song. It is possible to score according to. Moreover, according to this invention, since the exact singing timing shift | offset | difference can be detected, it becomes possible to determine the skill of a song more accurately.

図面を参照してこの発明の実施形態であるカラオケ装置について説明する。
カラオケ装置において、カラオケ曲の演奏はカラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力する動作であるが、採点モードを設定すると、このカラオケ曲の演奏に加えて、歌唱者の歌唱音声をリファレンスと比較することによって採点し、曲の終了後に点数を算出して表示する採点動作を実行する。
A karaoke apparatus according to an embodiment of the present invention will be described with reference to the drawings.
In a karaoke device, the performance of a karaoke song is the operation of outputting the background video / lyric telop to the monitor while generating the music of the karaoke song, but if the scoring mode is set, in addition to the performance of this karaoke song, the singer's performance The singing voice is scored by comparing it with a reference, and a scoring operation for calculating and displaying the score after the end of the song is executed.

図1は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するCPU10と、これに接続された各種機器で構成されている。CPU10には、ハードディスク11、RAM12、音源13、ミキサ(エフェクタ)14、ボーカルアダプタ19、MPEGデコーダ20、合成回路21、操作部23が接続されている。   FIG. 1 is a block diagram of the karaoke apparatus. The karaoke apparatus is composed of a CPU 10 that controls the operation of the entire apparatus and various devices connected thereto. Connected to the CPU 10 are a hard disk 11, a RAM 12, a sound source 13, a mixer (effector) 14, a vocal adapter 19, an MPEG decoder 20, a synthesis circuit 21, and an operation unit 23.

ハードディスク11は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶しているとともに、図8に示すジャンル別のタイミングポイントテーブルを記憶している。
RAM12には、プログラムや曲データを読み出すエリア、および、採点モード時に採点結果等を記録する採点ログエリアなどが設定されている。
The hard disk 11 stores music data for playing karaoke music, video data for displaying a background video on a monitor, and the timing point table for each genre shown in FIG.
In the RAM 12, an area for reading out programs and music data, a scoring log area for recording scoring results and the like in the scoring mode are set.

音源13は、CPU10が実行する曲シーケンサ31の処理によって入力された曲データ(ノートイベントデータ等)に応じて楽音信号を形成する。形成した楽音信号はミキサ14に入力される。ミキサ14は、音源13が発生した複数の楽音信号、および、マイク17−A/Dコンバータ18を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム15に入力される。サウンドシステム15はD/Aコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ16から放音する。ミキサ14が各音声信号に付与する効果およびミキシングのバランスはCPU10によって制御される。   The sound source 13 forms a musical sound signal in accordance with music data (note event data or the like) input by the music sequencer 31 executed by the CPU 10. The formed tone signal is input to the mixer 14. The mixer 14 gives an effect such as echo to the plurality of musical sound signals generated by the sound source 13 and the singing voice signal of the singer input via the microphone 17 -A / D converter 18. Mix the signal with an appropriate balance. The mixed digital audio signal is input to the sound system 15. The sound system 15 includes a D / A converter and a power amplifier. The input digital signal is converted into an analog signal, amplified, and emitted from the speaker 16. The effect that the mixer 14 gives to each audio signal and the balance of mixing are controlled by the CPU 10.

また、A/Dコンバータ18によってデジタル信号に変換された歌唱音声信号は、ボーカルアダプタ19にも入力される。ボーカルアダプタ19は、この入力された歌唱音声信号から歌唱周波数を割り出すとともに、CPU10の曲シーケンサ31から入力されたリファレンスの周波数を割り出す。そして、この歌唱周波数とリファレンス周波数を同期させて30ms毎にCPU10(採点モード処理34)に入力する。リファレンスとしては、曲データに含まれるガイドメロディデータが用いられる。また割り出した周波数は、C0からのセント値で表現される。   The singing voice signal converted into a digital signal by the A / D converter 18 is also input to the vocal adapter 19. The vocal adapter 19 calculates the singing frequency from the input singing voice signal and also calculates the reference frequency input from the music sequencer 31 of the CPU 10. And this singing frequency and a reference frequency are synchronized and it inputs into CPU10 (scoring mode process 34) every 30 ms. As the reference, guide melody data included in the song data is used. The determined frequency is expressed as a cent value from C0.

HDD11に記憶されている背景映像データ41は、MPEG2形式にエンコードされており、CPU10が実行する背景映像再生プログラム33は、これを読み出してMPEGデコーダ20に入力する。MPEGデコーダ20は、入力されたMPEGデータをNTSCの映像信号に変換して合成回路21に入力する。合成回路21は、この背景映像の映像信号の上に歌詞テロップや採点結果の表示などのOSDを合成する回路である。この合成された映像信号はモニタディスプレイ22に表示される。   The background video data 41 stored in the HDD 11 is encoded in the MPEG2 format, and the background video reproduction program 33 executed by the CPU 10 reads it and inputs it to the MPEG decoder 20. The MPEG decoder 20 converts the input MPEG data into an NTSC video signal and inputs it to the synthesis circuit 21. The synthesizing circuit 21 is a circuit that synthesizes an OSD such as a lyrics telop or a scoring result display on the video signal of the background video. The synthesized video signal is displayed on the monitor display 22.

操作部23は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をCPU10に入力する。CPU10は、操作入力処理プログラム35によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム35はシステムプログラムに含まれるものである。   The operation unit 23 includes a panel switch interface, a remote control receiving circuit, and the like, and inputs an operation signal to the CPU 10 according to the operation of the panel switch and the remote control device by the user. The CPU 10 detects this operation signal by the operation input processing program 35 and executes a corresponding process. The operation input processing program 35 is included in the system program.

パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。   The panel switch and the remote control device are provided with various key switches for selecting a song number and selecting a mode such as a scoring mode.

パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム35がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ30に伝達する。シーケンサ30は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク11の曲データ記憶エリア40から読み出す。シーケンサ30は、曲シーケンサ31および歌詞シーケンサ32からなっており、歌詞シーケンサ32は、文字パターン作成プログラム32aを含んでいる。曲シーケンサ31は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源13を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ32は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路21に出力する。また、背景映像再生プログラム33は、シーケンサ30からの指示に応じて所定の背景映像データを読み出してMPEGデコーダ20に入力する。   When a song number is input with a panel switch or a remote control device, the operation input processing program 35 detects this and transmits it to the sequencer 30 as a request for a karaoke song. In response, the sequencer 30 reads the song data of the karaoke song identified by this song number from the song data storage area 40 of the hard disk 11. The sequencer 30 includes a song sequencer 31 and a lyrics sequencer 32, and the lyrics sequencer 32 includes a character pattern creation program 32a. The music sequencer 31 reads the data of tracks such as performance data tracks and guide melody tracks in the music data, and controls the sound source 13 with this data to generate performance sounds of karaoke music. The lyrics sequencer 32 reads the data of the lyrics track in the song data, creates a lyrics telop image pattern based on the data, and outputs the image pattern to the synthesis circuit 21. Further, the background video reproduction program 33 reads predetermined background video data in accordance with an instruction from the sequencer 30 and inputs it to the MPEG decoder 20.

ここで、図2を参照してハードディスク11に記憶されている曲データについて説明する。曲データは、同図(A)に示すように、曲名や曲のジャンルなどが書き込まれたヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラックなどからなっている。曲データは、これ以外に音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。   Here, the music data stored in the hard disk 11 will be described with reference to FIG. As shown in FIG. 6A, the song data includes a header in which the song name and song genre are written, a music track for playing karaoke songs, a guide melody track for generating a guide melody, and a lyrics telop. It consists of lyric tracks for display. The song data has audio data, an audio data control track, etc. in addition to this, but it is omitted in this figure for the sake of simplicity.

各トラックは、MIDIフォーマットに従って記述されている。たとえば、ガイドメロディトラックは、同図(B)に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音(ガイドメロディ)の音高を指定する。この楽音は次のノートオフイベントデータが読み出されるまで継続する。   Each track is described according to the MIDI format. For example, the guide melody track is composed of event data such as note-on event data and note-off event data and timing data indicating the read timing of each event data, as shown in FIG. The note-on event data includes pitch data, and specifies the pitch of a musical tone (guide melody) generated by the note-on. This musical tone continues until the next note-off event data is read out.

タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。   The timing data can be composed of duration data indicating the time interval between the event data, absolute time data indicating the absolute time from the start time of the music, and the like.

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン/オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源13に入力することにより、音源13はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック(パート)で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のMIDIデータで構成されている。   The event data of the musical tone track and the guide melody track is composed of the note event data indicating the pitch, volume, on / off, etc. of the musical tone as described above, and by inputting this note event data to the sound source 13, the sound source Reference numeral 13 sounds or mutes the musical sound corresponding to the event data. The musical sound track is composed of a plurality of tracks (parts) for generating musical sounds of a large number of musical instruments, and the guide melody track is composed of single melody MIDI data for guiding the singing melody.

一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。   On the other hand, the event data of the lyrics track is sequence data in which the lyrics telop of the karaoke song is implemented by system exclusive data, and has event data different from the musical tone track and the guide melody track. The event data is page break data, lyrics display data, and the like.

通常モードのカラオケ曲の演奏では、シーケンサ30により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム34により、採点処理動作が実行される。   In the performance of karaoke music in the normal mode, the sequencer 30 generates the karaoke performance sound and displays the lyrics telop as described above. In the scoring mode, the scoring process is performed by the scoring mode processing program 34 in addition to this. The action is executed.

まず図3の機能ブロックを参照して、採点モード時の各部の処理について説明する。マイク17から入力された歌唱音声信号は、A/Dコンバータ18でデジタル音声信号に変換されてボーカルアダプタ19に入力される(同時にミキサ14にも入力されるがここでは採点モードの動作のみについて説明する)。ボーカルアダプタ19では、このデジタル音声信号を歌唱周波数検出部102に入力して歌唱周波数(セント値)を検出する。   First, with reference to the functional block of FIG. 3, the process of each part at the time of scoring mode is demonstrated. The singing voice signal input from the microphone 17 is converted into a digital voice signal by the A / D converter 18 and input to the vocal adapter 19 (at the same time input to the mixer 14, but only the operation in the scoring mode is described here. To do). In the vocal adapter 19, this digital audio signal is input to the singing frequency detector 102 to detect the singing frequency (cent value).

一方、リファレンス周波数検出部101には、カラオケ曲の演奏に同期して、曲シーケンサ31からリファレンスデータが入力される。リファレンスデータは、上述したようにガイドメロディデータが用いられる。リファレンス周波数検出部101は、入力されたMIDIデータのノートオンイベントデータから音高情報を抽出し、その音高のセント値をリファレンス周波数として出力する。   On the other hand, reference data is input from the song sequencer 31 to the reference frequency detector 101 in synchronization with the performance of the karaoke song. As described above, guide melody data is used as the reference data. The reference frequency detection unit 101 extracts pitch information from note-on event data of the input MIDI data, and outputs the pitch cent value as a reference frequency.

歌唱音声検出部102による歌唱周波数の検出およびリファレンス周波数検出部101によるリファレンス周波数の検出は、30ms毎に同期して実行され、その検出結果が30ms毎に採点モード処理プログラム34に入力される。   The detection of the singing frequency by the singing voice detection unit 102 and the detection of the reference frequency by the reference frequency detection unit 101 are performed in synchronization every 30 ms, and the detection result is input to the scoring mode processing program 34 every 30 ms.

また、リファレンス周波数検出部101は、曲シーケンサ31からノートオン/オフイベントデータが入力されると、そのタイミングにノートオン情報、ノートオフ情報を採点モード処理プログラム34に通知する。   Further, when note-on / off event data is input from the music sequencer 31, the reference frequency detection unit 101 notifies the scoring mode processing program 34 of note-on information and note-off information at the timing.

採点モード処理プログラム34では、歌唱周波数のリファレンスに対する周波数差やタイミング差を検出してこれに基づいて歌唱を採点し、最終得点を割り出してモニタ22に表示する。   In the scoring mode processing program 34, a frequency difference or timing difference with respect to the reference of the singing frequency is detected, the singing is scored based on this, and a final score is calculated and displayed on the monitor 22.

採点処理はたとえば以下のようである。採点部107は、歌唱周波数とリファレンス周波数とを比較し、その差分(セント値)を算出し、この差分に基づいて各ノート(音符)毎に合格ノート、不合格ノートを判定する。各ノート(音符)毎にノートオン情報・ノートオフ情報が、リファレンス周波数検出部101から採点部107に入力される。採点部107は、そのノート区間に、歌唱周波数が所定(1〜複数)サンプル以上歌唱旋律の音高に合っていた(リファレンス周波数から許容範囲の周波数に入っていた)場合には、「合格ノート」であると判定し、歌唱周波数が歌唱旋律の音高に合った回数が上記所定サンプル未満であった場合には「不合格ノート」であると判定する。   The scoring process is as follows, for example. The scoring unit 107 compares the singing frequency with the reference frequency, calculates a difference (cent value), and determines a pass note and a fail note for each note (note) based on the difference. Note-on information / note-off information is input from the reference frequency detection unit 101 to the scoring unit 107 for each note (note). If the singing frequency matches the pitch of the singing melody in the note interval (the number of the singing melody is within the allowable range from the reference frequency), If the number of times that the singing frequency matches the pitch of the singing melody is less than the predetermined sample, it is determined that it is a “failed note”.

また、各ノート毎にリファレンスの発音タイミングと歌唱者の歌唱音声の歌唱タイミングとを比較してタイミング差を割り出し、このタイミング差に基づいてタイミングポイントを決定する。このタイミングポイントは、カラオケ曲のジャンル毎に設けられているタイミングポイントテーブルを参照して決定される。   Further, for each note, the timing of reference is compared with the singing timing of the singing voice of the singer to determine the timing difference, and the timing point is determined based on this timing difference. This timing point is determined with reference to a timing point table provided for each genre of karaoke music.

曲が終了すると、採点部107は、合格ノート数に基づいて算出した基礎点にタイミングポイントの集計値を加算して最終得点を算出し、この最終得点をアドバイスなどとともにモニタ22に表示する。   When the music is finished, the scoring unit 107 calculates the final score by adding the total value of the timing points to the basic score calculated based on the number of accepted notes, and displays the final score on the monitor 22 together with advice and the like.

図4を参照して歌唱タイミングの検出方式について説明する。歌唱者があるノート(音符)を歌唱しようとして発声を操作したタイミングが歌唱タイミングであり、歌いだしなどの歌の無い部分から歌唱を開始した場合には、同図(B)に示すように、歌唱周波数検出部102に歌唱音声が入力されて、周波数の検出を開始したタイミングdを歌唱タイミングとする。この歌唱タイミングとリファレンスの発音タイミングRとの時間差がタイミング差である。   A singing timing detection method will be described with reference to FIG. When the singer starts singing a note (note) and the utterance is manipulated, the singing timing is the singing timing, and when singing is started from a portion where there is no song such as singing, as shown in FIG. The timing d when the singing voice is input to the singing frequency detection unit 102 and the frequency detection is started is set as the singing timing. The time difference between the singing timing and the reference sounding timing R is the timing difference.

一方レガート歌唱などで複数のノートが連続している場合には、同図(A)のように歌唱周波数が発音タイミングRの付近で所定範囲(許容範囲)以内に接近したタイミングaを歌唱タイミングとする。   On the other hand, when a plurality of notes are continuous in legato singing or the like, the timing a when the singing frequency approaches within a predetermined range (allowable range) near the sounding timing R as shown in FIG. To do.

また、歌唱者が前のノートからこのノートに移行しようとし始めたタイミングをとらえて歌唱タイミングとしてもよい。すなわち、同図(A)において、許容範囲内に接近したタイミングaの直前で音高の変化がスタートしたタイミングbや変化の傾きが所定値以上になったタイミングcなどを歌唱タイミングとするようにしてもよい。   Moreover, it is good also as a singing timing catching the timing when the singer started trying to transfer to this note from the previous note. That is, in FIG. 6A, the timing b at which the pitch change starts immediately before the timing a approaching within the allowable range, the timing c at which the change slope becomes a predetermined value or more, and the like are set as the singing timing. May be.

なお、同図(A)は音高の低いノートから高いノートへの変化(上昇)について説明しているが、音高の高いノートから低いノートへの変化(下降)についても上下が反転するのみで同様である。   Note that FIG. 4A describes the change (rise) from a note with a low pitch to a high note, but the top and bottom is only inverted for the change (down) from a note with a high pitch to a low note. The same is true.

また、同図(A)の歌唱タイミングaは遅れ方向であり、歌唱タイミングb,cおよび同図(B)の歌唱タイミングdは進み(突っ込み)方向であるが、タイミングの進み遅れはこれに限定されるものではない。   In addition, the singing timing a in FIG. 9A is a delay direction, and the singing timings b and c and the singing timing d in FIG. Is not to be done.

また、発音タイミングRと歌唱タイミングa,b,cとのタイミング差を検出する範囲は、前のノートおよび後のノート(発音タイミングRで発音するノート)の長さのそれぞれ1/2〜1/3程度までの範囲でよい。もし、それ以上離れたタイミングで歌唱周波数がこの条件に該当しても、これがこのノートの発音のための音高変化であると特定しえないためである。   In addition, the range in which the timing difference between the sound generation timing R and the singing timings a, b, and c is detected is 1/2 to 1/1 each of the length of the previous note and the subsequent note (note generated at the sound generation timing R). A range of up to about 3 is acceptable. This is because even if the singing frequency meets this condition at a timing further away, it cannot be specified that this is a pitch change for the pronunciation of this note.

上記歌唱タイミングの検出方式は、歌唱周波数の変化を監視して歌唱タイミングを検出するものであったが、同図(C)に示す方式は、リファレンスの発音タイミングRをはさむ2つのノート(前のノートおよび後のノート)のリファレンス周波数と歌唱周波数とを相互に時間軸方向に移動させて相互相関を求めてそれが最大の位置を割り出し、その相互相関が最大の位置ともとのデータ位置とのずれ量をタイミング差(e)とする。この方式であれば、音高変化時の波形だけでなく、ノート全体の波形に基づいて歌唱タイミングを割り出すことができる。   The above singing timing detection method detects the singing timing by monitoring the change of the singing frequency. However, the method shown in FIG. The reference frequency and the singing frequency of the note and the subsequent note are moved in the time axis direction to obtain a cross-correlation, which determines the maximum position, and the position of the maximum cross-correlation and the original data position. Let the amount of deviation be the timing difference (e). With this method, the singing timing can be determined based on not only the waveform at the time of pitch change but also the waveform of the entire note.

上記の比較において、単に同じタイミングの歌唱周波数とリファレンス周波数とを比較するのではなく、リファレンス周波数を時間軸上で前後に移動させ、両サンプル列の相互相関が最大になる位置で対応する歌唱音声周波数とリファレンス周波数比較するようにしている。相互相関は、   In the above comparison, instead of simply comparing the singing frequency and the reference frequency at the same timing, the reference frequency is moved back and forth on the time axis, and the corresponding singing voice is at a position where the cross-correlation between both sample sequences is maximum. The frequency is compared with the reference frequency. Cross correlation is

Figure 2005107332
Figure 2005107332

の相互相関関数で求めてもよいが、ずらしたときに対応するサンプル同士の差分をとり、その差分の積算値が最小となる位置を最大相関点とするようにしてもよい。   However, it is also possible to take the difference between samples corresponding to each other when shifted and to set the position where the integrated value of the difference is minimum as the maximum correlation point.

上記の方式でタイミング差が検出されると、このタイミング差でタイミングポイントテーブルを参照してタイミングポイントを割り出す。   When a timing difference is detected by the above method, a timing point is determined by referring to the timing point table based on the timing difference.

図5は、タイミングポイントテーブルの例を示す図である。同図(A)は「演歌」に対応したタイミングポイントテーブルの例を示している。演歌の場合はジャストタイミングから遅れ気味で歌唱する「ため」の歌唱技巧に対応するため、ジャストタイミングから遅れ気味の範囲で大きな+点(加点)が与えられるようになっている。これに対して進み気味(突っ込み気味)の歌唱は焦って聞こえるため、−点(減点)が与えられるようになっている。   FIG. 5 is a diagram illustrating an example of a timing point table. FIG. 4A shows an example of a timing point table corresponding to “enka”. In the case of enka, in order to cope with the singing technique of “for” singing with a delay from the just timing, a large + point (addition) is given within the range of the delay from the just timing. On the other hand, since a singing song (push-in) is heard in impatience, a minus point (decrease) is given.

一方、同図(B)は「ポップス系」のカラオケ曲対応したタイミングポイントテーブルの例を示している。ポップスの場合、正確なビートでリズムが刻まれているため、歌唱もジャストタイミングが望まれ、大きく遅れても大きく進んでも−点になる。ジャストタイミングの範囲およびわずかな進みの範囲で+点が与えられる。   On the other hand, FIG. 5B shows an example of a timing point table corresponding to “pops” karaoke songs. In the case of pops, since the rhythm is engraved with an accurate beat, singing is also required to be just timing, and it becomes a point even if it is greatly delayed or greatly advanced. A + point is given in the range of just timing and the range of slight advance.

カラオケ曲が選択されたとき、そのカラオケ曲のジャンルに応じてタイミングポイントテーブルが選択され、歌唱のノート毎にタイミングポイントが割り出される。そして、カラオケ曲が終了したとき、全てのタイミングポイントの平均値を算出し、合格ノート/不合格ノートの数に基づいて算出された基礎点に加算して最終得点とする。タイミングポイントは+5点〜−5点程度の範囲で算出されるようにするとよい。   When a karaoke song is selected, a timing point table is selected according to the genre of the karaoke song, and a timing point is determined for each note of the song. When the karaoke song ends, the average value of all the timing points is calculated and added to the base score calculated based on the number of pass / fail notes to obtain the final score. The timing points may be calculated in the range of about +5 points to −5 points.

図5には、演歌系とポップス系のカラオケ曲向けのタイミングポイントテーブルのみ示しているが、他の種々のジャンル向けのタイミングポイントテーブルを設けてもよく、ポップス系のタイミングポイントテーブルを非演歌系のカラオケ曲全てに適用してもよい。   FIG. 5 shows only timing point tables for enka and pop karaoke songs. However, timing point tables for various other genres may be provided. You may apply to all karaoke songs.

また、タイミングポイントの算出方式は、タイミングポイントテーブルに限定されず、関数を用いるなど他の方式によってもよい。   The timing point calculation method is not limited to the timing point table, and other methods such as using a function may be used.

曲が終了したとき、各ノート毎に決定された合格ノート、不合格ノートの数に基づいて得点を求める。得点は、たとえば、合格ノート数の楽曲の全ノート数に対するパーセント、すなわち合格ノート数を全ノート数で除算して100を掛けたものであるが、この重み付け採点では、合格ノート数を各ランク別に集計してそれぞれの重み付け係数を乗算し、この重み付けされた値を合計したものを全ノート数で除算するようにしている。そして、カラオケ装置におけるエンターテイメント機能であることを考慮して、これに50を掛けた値に50を加算して100点満点とし、最低でも50点が出るようにしている。この算出方式では、合格ノートのみを採点の対象にしているが不合格ノートの数やそのランクを採点の対象にしてもよい。
そして、この得点にタイミング差に基づいて決定されたタイミングポイントの集計値を加算して最終的な得点を算出する。
When the song is finished, a score is obtained based on the number of accepted and rejected notes determined for each note. The score is, for example, the percentage of the number of accepted notes to the total number of notes of the music, that is, the number of accepted notes divided by the total number of notes and multiplied by 100. In this weighted scoring, the number of accepted notes is divided by rank. The totals are multiplied and each weighting coefficient is multiplied, and the sum of the weighted values is divided by the total number of notes. In consideration of the entertainment function in the karaoke apparatus, 50 is added to a value obtained by multiplying this value by 50 to obtain a maximum of 100 points, and a minimum of 50 points is obtained. In this calculation method, only accepted notes are scored, but the number of rejected notes and their ranks may be scored.
Then, a final score is calculated by adding the total value of timing points determined based on the timing difference to this score.

また、上記合格ノート、不合格ノートを判定するための周波数の比較に際して、歌唱周波数およびリファレンス周波数に対してローパスフィルタ(LPF)処理(105,106)を施したのち、比較するようにしもよい。リファレンス周波数に対するLPF処理は、機械的な音高列であるリファレンス(図6(A)参照)の音高変化を滑らかにして人間の歌唱に近づけるための処理である。また、歌唱周波数に対するLPF処理は、ビブラートなどの技巧を除去してフラットな歌唱周波数情報を得るための処理である。   In addition, when comparing the frequencies for determining the pass notes and the fail notes, low-pass filter (LPF) processing (105, 106) may be performed on the singing frequency and the reference frequency, and the comparison may be made. The LPF process for the reference frequency is a process for smoothing the pitch change of a reference (see FIG. 6A), which is a mechanical pitch sequence, and approaching a human song. Further, the LPF processing for the singing frequency is processing for obtaining flat singing frequency information by removing techniques such as vibrato.

図6はLPF処理前後のリファレンス周波数波形および歌唱周波数波形の例を示す図である。
図6(A)はリファレンスとして用いられるガイドメロディデータの例を示す図である。リファレンスデータは、音符が連続しているレガート区間であっても正確な拍タイミングに不連続に音高が変化する機械的なデータである。このような不連続なリファレンスに対してLPF処理を行うことにより、同図(B)に示すように、音符と音符の間ではなだらかに音高が変化するようになり、リファレンスを歌唱者の実際の歌唱に近い音高変化のものにすることができる。なお、音符が途切れる休符の区間やノンレガートで歌唱するところなどは、このLPF処理の対象外にする。これにより、音の無い区間のデータによりLPF処理が不自然な動きになってしまうことを防止することができる。
FIG. 6 is a diagram showing examples of reference frequency waveforms and singing frequency waveforms before and after LPF processing.
FIG. 6A shows an example of guide melody data used as a reference. The reference data is mechanical data in which the pitch changes discontinuously at an accurate beat timing even in a legato section in which notes are continuous. By performing LPF processing on such a discontinuous reference, the pitch gradually changes between notes as shown in FIG. It is possible to make the pitch change similar to that of singing. Note that rest sections where notes are interrupted, places where singing with non-legato, etc. are excluded from the LPF processing. As a result, it is possible to prevent the LPF processing from becoming unnatural due to the data of the section without sound.

同図(C)は歌唱音声周波数データの例を示す図である。歌唱音声周波数は、音符(音高)の変わり目でなだらかな音高の移行(いわゆる「しゃくり」)をしているとともに、音の伸ばしの部分では、ビブラートなどの周期的な周波数変化をしている。この歌唱音声周波数データをLPF処理することにより、同図(D)に示すように、しゃくり部分のオーバーシュートやビブラートなどの細かい周波数変化を除去することができ、歌唱しようとしていた周波数を正確に抽出することができるようになる。   FIG. 6C is a diagram showing an example of singing voice frequency data. The singing voice frequency has a gentle transition (so-called “scribbling”) at the transition of notes (pitch), and has a periodic frequency change such as vibrato in the stretched part of the sound. . By performing LPF processing on this singing voice frequency data, it is possible to remove fine frequency changes such as overshoot and vibrato in the squeaky part, as shown in Fig. 4 (D), and accurately extract the frequency that was sung. Will be able to.

なお、マイク17から入力された音声信号には歌唱音声信号のみならず種々のノイズが含まれている。このノイズ成分のレベルが大きい場合、周波数検出部102は、このノイズ成分を歌唱音声信号と見なしてその周波数を検出してしまう場合がある。このようなノイズ成分がLPF処理部106に入力されると、その1サンプルだけでなくその後もずっと誤ったデータが出力されてしまう。そこで、歌唱音声の周波数変化と考えにくい、150セント以上の突然の音高変化があった場合には、そのデータを無視して(直前のサンプルデータをもう一度採用して)LPF処理を行うことにより、ノイズによる悪影響を防止することができる。   The audio signal input from the microphone 17 includes various noises as well as the singing audio signal. When the level of the noise component is large, the frequency detection unit 102 may detect the frequency by regarding the noise component as a singing voice signal. If such a noise component is input to the LPF processing unit 106, not only the one sample but also erroneous data will be output after that. Therefore, if there is a sudden pitch change of 150 cents or more, which is difficult to consider as a frequency change of the singing voice, ignore the data (adopt the previous sample data again) and perform LPF processing. , It can prevent adverse effects due to noise.

歌唱周波数およびリファレンス周波数のデータ列は、30ms毎の離散データであるため、上記の処理を好適に達成するため、歌唱周波数に対するLPF処理部106は、カットオフ周波数5.5Hzの2次フィルタを用い、リファレンス周波数に対するLPF処理部105は、カットオフ周波数5Hzの2次フィルタを用いている。   Since the data sequence of the singing frequency and the reference frequency is discrete data every 30 ms, the LPF processing unit 106 for the singing frequency uses a secondary filter with a cut-off frequency of 5.5 Hz in order to suitably achieve the above processing. The LPF processing unit 105 for the reference frequency uses a secondary filter having a cutoff frequency of 5 Hz.

なお、この歌唱周波数、リファレンス周波数に対するLPF処理は必須ではない。また、どちらか一方のみに対して行っても上記それぞれの効果を得ることができる。   Note that LPF processing for the singing frequency and the reference frequency is not essential. Moreover, even if it carries out only with respect to either one, the said each effect can be acquired.

また、周波数の判定だけでなく、図4(C)の相互相関を求めてタイミング差を求める処理においても、リファレンス周波数および歌唱周波数の両方または一方にLPF処理をしたのち相互相関を求めるようにしてもよい。   In addition to the frequency determination, the cross-correlation in FIG. 4C is obtained by calculating the cross-correlation after performing LPF processing on both or one of the reference frequency and the singing frequency. Also good.

フローチャートを参照して採点モード処理プログラム34の処理について説明する。
図7は採点モード処理プログラム34の動作を示すフローチャートである。この動作ではボーカルアダプタ19からの入力を監視し、入力されたデータに対応した処理を実行する。30ms毎に入力バッファをチェックして歌唱周波数およびリファレンス周波数を取り込むとともにノートオン/オフ情報が入力されているかを確認する。歌唱周波数、リファレンス周波数を取り込むと(s1)、タイミング差を検出するために生データをリストメモリ(図8参照)のタイミング検出用メモリに書き込む(s5)。そして、その両方に対してLPF処理を実行し(s6)、このLPF処理されたサンプルデータを周波数差(音程)を検出するためのリストメモリの音程検出用メモリに書き込む(s7)。
The processing of the scoring mode processing program 34 will be described with reference to the flowchart.
FIG. 7 is a flowchart showing the operation of the scoring mode processing program 34. In this operation, input from the vocal adapter 19 is monitored, and processing corresponding to the input data is executed. The input buffer is checked every 30 ms to capture the singing frequency and the reference frequency and confirm whether note-on / off information is input. When the singing frequency and the reference frequency are taken in (s1), raw data is written into the timing detection memory of the list memory (see FIG. 8) in order to detect the timing difference (s5). Then, LPF processing is executed for both of them (s6), and this LPF-processed sample data is written into the pitch detection memory of the list memory for detecting the frequency difference (pitch) (s7).

ここで、リストメモリはハードディスク11またはRAM12に設定されるメモリエリアであり、図8に示すように、生のリファレンス周波数・歌唱周波数のサンプルデータ、LPF処理されたリファレンス周波数・歌唱周波数およびノートオン、ノートオフのイベント情報を入力順に所定量順次記憶するように設定されている。ノートオフ時にこのメモリエリアに書き込まれたデータを用いて周波数差、タイミング差が検出され合格ノート/不合格ノートが判定される。   Here, the list memory is a memory area set in the hard disk 11 or the RAM 12, and as shown in FIG. 8, sample data of raw reference frequency / singing frequency, reference frequency / singing frequency and note-on processed by LPF, It is set so that a predetermined amount of note-off event information is sequentially stored in the order of input. A frequency difference and timing difference are detected using data written in the memory area at the time of note-off, and a pass / fail note is determined.

リファレンス周波数検出部101からノートオン情報が入力された場合には(s2)、これを前記リストメモリのイベント情報メモリに書き込む(s10)。このノートオン情報が書き込まれた位置が図4に示すリファレンスの発音タイミングRに相当する。   When note-on information is input from the reference frequency detector 101 (s2), it is written into the event information memory of the list memory (s10). The position where the note-on information is written corresponds to the reference sounding timing R shown in FIG.

ノートオフ情報が送られてきた場合には(s3)、これを前記イベント情報メモリに書き込み(s11)、音程検出用メモリに蓄積されたサンプルデータに基づいて採点対象ノートの合格/不合格を判定する(s12)。この判定は、音程(周波数差)に基づく合否の判定である。さらに、タイミング検出用メモリに蓄積されたサンプルデータに基づいてタイミング差を検出し、これに基づいてタイミングポイントを割り出す(s13)。このタイミングポイントを割り出すときに用いるテーブルは、このカラオケ曲のジャンルに対応したものであり、このタイミングポイントテーブルの読み出しは、カラオケ曲のスタート時にヘッダのジャンルデータを参照して行われる。そして、この合否判定結果およびタイミングポイントを記憶する(s14)。   When note-off information is sent (s3), it is written in the event information memory (s11), and the pass / fail of the scoring note is determined based on the sample data stored in the pitch detection memory. (S12). This determination is a pass / fail determination based on the pitch (frequency difference). Further, a timing difference is detected based on the sample data stored in the timing detection memory, and a timing point is determined based on the timing difference (s13). The table used when determining the timing point corresponds to the genre of the karaoke song, and the timing point table is read with reference to the genre data in the header at the start of the karaoke song. Then, the pass / fail judgment result and the timing point are stored (s14).

上記の処理をノート毎に繰り返して行い。曲が終了すると(s4)、得点集計処理(s15)を実行する。   Repeat the above process for each note. When the music ends (s4), the score totaling process (s15) is executed.

図9は得点集計処理を示すフローチャートである。この動作は、上記メインルーチンのs15で実行される。まず、全ノート数および合格ノート数を集計する(s30)。次に合格ノート数を全ノート数で除算し、この点に50を乗算し、次に50を加算して得点を算出する(s31)。そして、タイミングポイントを集計する(s32)。このタイミングポイントの集計は、全タイミングポイントを加算して全ノートで除した平均点を算出する処理である。そして、この集計されたタイミングポイントを合格ノート数から算出した得点に加算して最終得点を算出し(s33)、この最終得点、およびタイミングのアドバイス等をモニタ22に表示する(s34)。   FIG. 9 is a flowchart showing the score totaling process. This operation is executed in s15 of the main routine. First, the total number of notes and the number of accepted notes are totaled (s30). Next, the number of accepted notes is divided by the total number of notes, this point is multiplied by 50, and then 50 is added to calculate a score (s31). Then, the timing points are totaled (s32). This aggregation of timing points is a process of calculating an average score obtained by adding all timing points and dividing by all notes. Then, the aggregated timing points are added to the score calculated from the number of accepted notes to calculate a final score (s33), and the final score, timing advice, and the like are displayed on the monitor 22 (s34).

このモニタ22への表示例を図10に示す。同図(A)はタイミング差をヒストグラム表示した例である。この表示によると、歌唱者の歌唱の傾向を詳細に知ることができる。また、同図(B)は進みノート数と遅れノート数を縦軸/横軸に表示した例である。この表示によると、歌唱者の歌唱の傾向を一見して知ることができる。
また、単純にタイミング差の平均値を求めて、これを表示するようにしてもよい。
A display example on the monitor 22 is shown in FIG. FIG. 2A shows an example in which the timing difference is displayed as a histogram. According to this display, the singing tendency of the singer can be known in detail. FIG. 5B shows an example in which the number of advanced notes and the number of delayed notes are displayed on the vertical axis / horizontal axis. According to this display, the singing tendency of the singer can be seen at a glance.
Alternatively, an average value of timing differences may be simply obtained and displayed.

なお、この実施形態では、タイミングポイントテーブルをジャンル別に設けたが、カラオケ曲毎に設けるようにしてもよい。たとえば、カラオケ曲の楽曲データ中にタイミングポイントテーブルを含めておき、カラオケ曲の配信と一緒に配信されるようにしてもよい。そして、曲別のタイミングポイントテーブルを有さない旧来の楽曲データの場合には、予め設けてあるジャンル別のタイミングポイントテーブルを用いるようにすればよい。   In this embodiment, the timing point table is provided for each genre, but may be provided for each karaoke song. For example, a timing point table may be included in the song data of the karaoke song so that it is delivered together with the delivery of the karaoke song. And in the case of the conventional music data which does not have the timing point table according to music, the timing point table according to the genre provided beforehand should just be used.

また、この実施形態では、前記歌唱音声入力手段が、歌唱音声周波数の検出を開始したとき、この開始点をその周波数にかかわらず歌唱タイミングとしている。
これにより、フレーズの切れ目など歌の無い部分からのや歌いだし時に、歌唱が入力されて周波数の検出がスタートしたときを歌唱タイミングとする。これにより、歌唱者によっては歌いだしの音程が外れてしまう場合があるが、その場合でもタイミングの判定を正しくすることができる。
In this embodiment, when the singing voice input means starts detecting the singing voice frequency, this starting point is set as the singing timing regardless of the frequency.
As a result, when the singing is started from a portion where there is no song such as a break of a phrase, the time when the detection of the frequency is started and the detection of the frequency is set as the singing timing. As a result, the singing pitch may be off depending on the singer, but even in that case, the timing can be correctly determined.

この発明の実施形態であるカラオケ装置のブロック図The block diagram of the karaoke apparatus which is embodiment of this invention 同カラオケ装置で用いられる曲データの構成例を示す図The figure which shows the structural example of the song data used with the karaoke apparatus 同カラオケ装置の採点処理の機能ブロックを示す図The figure which shows the functional block of the scoring process of the karaoke apparatus 同カラオケ装置おけるタイミング差検出の方式を説明する図The figure explaining the system of timing difference detection in the karaoke device 同カラオケ装置が用いるタイミングポイントテーブルの例を示す図The figure which shows the example of the timing point table which the same karaoke apparatus uses 同カラオケ装置におけるLPF処理を説明する図The figure explaining LPF processing in the karaoke apparatus 同カラオケ装置の採点処理動作を示すフローチャートFlow chart showing scoring processing operation of the karaoke apparatus 同カラオケ装置のタイミング検出用メモリおよび音程検出用メモリを示す図The figure which shows the memory for timing detection of the same karaoke apparatus, and the memory for pitch detection 同カラオケ装置の得点集計処理を示すフローチャートThe flowchart which shows the score totaling process of the same karaoke device 同カラオケ装置におけるタイミング差およびアドバイスの表示例を示す図The figure which shows the example of a display of the timing difference and advice in the karaoke apparatus

符号の説明Explanation of symbols

10…CPU、11…ハードディスク、12…RAM、13…音源、14…ミキサ、15…サウンドシステム、16…スピーカ、17…マイク、18…A/Dコンバータ、19…ボーカルアダプタ、20…MPEGデコーダ、21…合成回路、22…モニタ、23…操作部、
30…シーケンサ、31…曲シーケンサ、32…歌詞シーケンサ、32a…文字パターン作成プログラム、33…背景映像再生プログラム、34…採点モード処理プログラム、35…操作入力処理プログラム、
40…曲データ記憶エリア、41…背景映像記憶エリア、43…採点ログ、
101…リファレンス周波数検出部、102…歌唱周波数検出部、105、106…ローパスフィルタ処理部、107…採点部
DESCRIPTION OF SYMBOLS 10 ... CPU, 11 ... Hard disk, 12 ... RAM, 13 ... Sound source, 14 ... Mixer, 15 ... Sound system, 16 ... Speaker, 17 ... Microphone, 18 ... A / D converter, 19 ... Vocal adapter, 20 ... MPEG decoder, 21 ... Synthesis circuit, 22 ... Monitor, 23 ... Operation part,
30 ... Sequencer, 31 ... Song sequencer, 32 ... Lyric sequencer, 32a ... Character pattern creation program, 33 ... Background video reproduction program, 34 ... Scoring mode processing program, 35 ... Operation input processing program,
40 ... song data storage area, 41 ... background video storage area, 43 ... scoring log,
DESCRIPTION OF SYMBOLS 101 ... Reference frequency detection part, 102 ... Singing frequency detection part, 105, 106 ... Low pass filter process part, 107 ... Scoring part

Claims (4)

カラオケ曲を演奏するための演奏データ、歌唱旋律を示すリファレンスデータおよび曲のジャンルを示すジャンルデータを含む楽曲データを記憶した記憶手段と、
前記楽曲データの演奏データに基づいてカラオケ曲を演奏するとともに、前記リファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
歌唱音声を入力する歌唱音声入力手段と、
入力された歌唱音声を前記リファレンスデータと比較することによって、各音符毎の歌唱タイミングの進みまたは遅れの程度であるタイミング差を検出し、検出したタイミング差をこのカラオケ曲のジャンルに応じた重みづけで採点する採点手段と、
を備えたカラオケ装置。
Storage means for storing music data including performance data for playing a karaoke song, reference data indicating singing melody, and genre data indicating the genre of the song;
A performance means for performing a karaoke song based on the performance data of the song data and supplying the reference data in synchronization with the performance of the karaoke song;
Singing voice input means for inputting singing voice;
By comparing the input singing voice with the reference data, a timing difference that is the degree of advance or delay of the singing timing for each note is detected, and the detected timing difference is weighted according to the genre of this karaoke song Scoring means for scoring at
Karaoke device equipped with.
前記記憶手段は、前記楽曲データに加えて、タイミング差の大きさに応じた点数を記憶したタイミングポイントテーブルをジャンル別に記憶しており、
前記採点手段は、演奏しているカラオケ曲のジャンルに応じたタイミングポイントテーブルを用いてタイミング差を採点する請求項1に記載のカラオケ装置。
The storage means stores, in addition to the music data, a timing point table storing points according to the magnitude of the timing difference for each genre,
The karaoke apparatus according to claim 1, wherein the scoring means scores a timing difference using a timing point table corresponding to a genre of a karaoke song being played.
前記リファレンスデータは、歌唱旋律の各音符の音高情報および各音符の区切り情報を含み、
前記採点手段は、入力した歌唱音声から歌唱音声周波数を検出してこれを各音符の音高周波数と比較し、歌唱音声周波数が各音符の音高周波数から所定の範囲内に接近したタイミングをその音符の歌唱タイミングとし、この歌唱タイミングを当該音符の開始タイミングと比較することによりタイミング差を検出する手段である請求項1または請求項2に記載のカラオケ装置。
The reference data includes pitch information of each note of the singing melody and break information of each note,
The scoring means detects the singing voice frequency from the input singing voice, compares it with the pitch frequency of each note, and determines the timing when the singing voice frequency approaches within a predetermined range from the pitch frequency of each note. The karaoke apparatus according to claim 1 or 2, wherein the karaoke apparatus is a means for detecting a timing difference by setting a singing timing of a note and comparing the singing timing with a start timing of the note.
前記リファレンスデータは、歌唱旋律の各音符の音高情報および各音符の区切り情報を含み、
前記採点手段は、入力した歌唱音声から歌唱音声周波数を検出してこれを各音符の音高周波数と比較し、採点対象音符を含む所定区間の歌唱音声周波数とリファレンスデータの周波数とを時間軸方向に相互にずらしてその相互相関が最大となる位置を割り出し、そのずれ量をその音符のタイミング差とする手段である請求項1または請求項2に記載のカラオケ装置。
The reference data includes pitch information of each note of the singing melody and break information of each note,
The scoring means detects the singing voice frequency from the input singing voice, compares it with the pitch frequency of each note, and sets the singing voice frequency of the predetermined section including the scoring target note and the frequency of the reference data in the time axis direction. The karaoke apparatus according to claim 1 or 2, wherein the karaoke apparatus is a means for determining a position where the cross-correlation is maximized by shifting each of the positions, and setting the shift amount as a timing difference of the notes.
JP2003342476A 2003-09-30 2003-09-30 Karaoke machine Pending JP2005107332A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003342476A JP2005107332A (en) 2003-09-30 2003-09-30 Karaoke machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003342476A JP2005107332A (en) 2003-09-30 2003-09-30 Karaoke machine

Publications (1)

Publication Number Publication Date
JP2005107332A true JP2005107332A (en) 2005-04-21

Family

ID=34536731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003342476A Pending JP2005107332A (en) 2003-09-30 2003-09-30 Karaoke machine

Country Status (1)

Country Link
JP (1) JP2005107332A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010085656A (en) * 2008-09-30 2010-04-15 Brother Ind Ltd Register specifying system and program
JP2010276949A (en) * 2009-05-29 2010-12-09 Daiichikosho Co Ltd Karaoke system for digital-compatible television
JP2012173624A (en) * 2011-02-23 2012-09-10 Yamaha Corp Singing evaluation device
CN103345930A (en) * 2013-06-14 2013-10-09 北京小米科技有限责任公司 Method, device and terminal for data synthesis
WO2016147398A1 (en) * 2015-03-19 2016-09-22 三菱電機株式会社 Waveform display device, waveform display method, and waveform display program
EP3624120A4 (en) * 2017-11-30 2020-08-12 Guangzhou Kugou Computer Technology Co., Ltd. Method and device for determining karaoke score

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010085656A (en) * 2008-09-30 2010-04-15 Brother Ind Ltd Register specifying system and program
JP2010276949A (en) * 2009-05-29 2010-12-09 Daiichikosho Co Ltd Karaoke system for digital-compatible television
JP2012173624A (en) * 2011-02-23 2012-09-10 Yamaha Corp Singing evaluation device
CN103345930A (en) * 2013-06-14 2013-10-09 北京小米科技有限责任公司 Method, device and terminal for data synthesis
CN103345930B (en) * 2013-06-14 2016-04-13 小米科技有限责任公司 data synthesis method, device and terminal
WO2016147398A1 (en) * 2015-03-19 2016-09-22 三菱電機株式会社 Waveform display device, waveform display method, and waveform display program
JP6058243B1 (en) * 2015-03-19 2017-01-11 三菱電機株式会社 Waveform display device, waveform display method, and waveform display program
CN107111439A (en) * 2015-03-19 2017-08-29 三菱电机株式会社 Waveform display apparatus, method for displaying waveform and waveform show program
CN107111439B (en) * 2015-03-19 2018-12-28 三菱电机株式会社 Waveform display apparatus, method for displaying waveform and waveform show program
EP3624120A4 (en) * 2017-11-30 2020-08-12 Guangzhou Kugou Computer Technology Co., Ltd. Method and device for determining karaoke score
US11341946B2 (en) 2017-11-30 2022-05-24 Guangzhou Kugou Computer Technology Co., Ltd. Method for determining a karaoke singing score, terminal and computer-readable storage medium

Similar Documents

Publication Publication Date Title
US7563975B2 (en) Music production system
KR100949872B1 (en) Song practice support device, control method for a song practice support device and computer readable medium storing a program for causing a computer to excute a control method for controlling a song practice support device
JP4212446B2 (en) Karaoke equipment
JP2009104097A (en) Scoring device and program
JP3996565B2 (en) Karaoke equipment
JP4204941B2 (en) Karaoke equipment
JP2007334364A (en) Karaoke machine
JP4163584B2 (en) Karaoke equipment
JP4204940B2 (en) Karaoke equipment
JP4222919B2 (en) Karaoke equipment
JP4222915B2 (en) Singing voice evaluation device, karaoke scoring device and programs thereof
JP2005107332A (en) Karaoke machine
JP5012263B2 (en) Performance clock generating device, data reproducing device, performance clock generating method, data reproducing method and program
JP4865607B2 (en) Karaoke apparatus, singing evaluation method and program
JP4839967B2 (en) Instruction device and program
JP4048249B2 (en) Karaoke equipment
JP4209751B2 (en) Karaoke equipment
JP4159961B2 (en) Karaoke equipment
JP2006259237A (en) Karaoke scoring device for grading synchronism of duet
JP2008040260A (en) Musical piece practice assisting device, dynamic time warping module, and program
JP4561735B2 (en) Content reproduction apparatus and content synchronous reproduction system
JP4219652B2 (en) A singing practice support system for a karaoke device that controls the main melody volume at the relevant location based on the pitch error measured immediately before repeat performance
JP2006259401A (en) Karaoke machine
JP5034642B2 (en) Karaoke equipment
JPH08227296A (en) Sound signal processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081021