JP2009092871A - Scoring device and program - Google Patents

Scoring device and program Download PDF

Info

Publication number
JP2009092871A
JP2009092871A JP2007262520A JP2007262520A JP2009092871A JP 2009092871 A JP2009092871 A JP 2009092871A JP 2007262520 A JP2007262520 A JP 2007262520A JP 2007262520 A JP2007262520 A JP 2007262520A JP 2009092871 A JP2009092871 A JP 2009092871A
Authority
JP
Japan
Prior art keywords
scoring
pitch
reference data
note
data storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007262520A
Other languages
Japanese (ja)
Inventor
Tatsuya Terajima
辰弥 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2007262520A priority Critical patent/JP2009092871A/en
Publication of JP2009092871A publication Critical patent/JP2009092871A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide technology by which, when scoring singing (or performance), it is more suited to human audible sense. <P>SOLUTION: Singing voice of a singer is collected by a microphone 15, and converted to an audio signal. A control section 11 of a Karaoke device 1 detects a pitch from the audio signal, and generates a singing pitch data SP. The control section 11 compares the singing pitch data SP with a reference pitch data RP for each note, and scores singing for each note according to difference of both. When the singing pitch data SP are shifted to a sharp side from the reference pitch data RP (that is, when the singing pitch data SP are higher than the reference pitch data RP), it is scored with stricter scoring criteria, than when the singing pitch data SP is shifted to a flat side (that is, when the singing pitch data SP are lower than the reference pitch data RP). <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、歌唱(又は演奏)を評価する技術に関する。   The present invention relates to a technique for evaluating singing (or performance).

カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献1においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互関係を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。
特開2005−107330号公報
In a karaoke apparatus, various methods for scoring the skill of a singer's singing have been proposed. For example, in Patent Document 1, when the singing timing and the reference timing are misaligned when comparing the singing and the reference that is a model, the singing voice data and the reference data are shifted in the time axis direction and correlated. And a method of scoring each note at the position with the highest cross-correlation has been proposed.
JP 2005-107330 A

ところで、歌唱の採点を行うカラオケ装置においては、装置による採点結果と聴取者が感じる歌唱の巧拙との間にずれがある場合がある。具体的には、音程がずれていると聴取者が感じる歌唱であっても装置による採点結果がそれほど悪くなかったり、逆に、音程がそれほどずれていないと聴取者が感じる歌唱であっても装置による採点結果が悪い場合がある。これは、楽器の演奏についても同様である。
本発明は上述した背景の下になされたものであり、歌唱(又は演奏)の採点において、従来と比較して、より人間の聴感に近い採点を行うことのできる技術を提供することを目的とする。
By the way, in a karaoke apparatus that scores a song, there is a case where there is a difference between the scoring result by the apparatus and the skill of the song that the listener feels. Specifically, even if it is a song that the listener feels that the pitch is shifted, the scoring result by the device is not so bad, or conversely, even if it is a song that the listener feels that the pitch is not shifted much May result in poor scoring results. The same applies to the performance of musical instruments.
The present invention has been made under the above-described background, and it is an object of the present invention to provide a technique capable of scoring a singing (or performance) that is closer to human sensation than in the past. To do.

上記課題を解決するため、本発明の好適な態様である採点装置は、模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを比較し、両者の差分に応じて採点を行う採点手段であって、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも高い場合のほうが、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも低い場合よりも採点基準が厳しくなるように採点を行う採点手段と、前記採点手段による採点結果を示すデータを出力する出力手段とを具備することを特徴とする。   In order to solve the above-described problems, a scoring apparatus according to a preferred aspect of the present invention detects reference data from reference data storage means for storing reference data representing a model sound, and an audio signal supplied from the sound collection means. Pitch detection means, scoring means for comparing the reference data stored in the reference data storage means and the pitch detected by the pitch detection means, and scoring according to the difference between the two, wherein the pitch detection means In the case where the pitch detected by the reference data is higher than the pitch indicated by the reference data, scoring is performed so that the scoring standard becomes stricter than in the case where the pitch detected by the pitch detection means is lower than the pitch indicated by the reference data. The scoring means to perform, and the output that outputs the data indicating the scoring results by the scoring means Characterized by comprising a stage.

上述の態様において、前記リファレンスデータ記憶手段は、模範となる音をノートの列で表すリファレンスデータを記憶し、前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行ってもよい。   In the above-described aspect, the reference data storage unit stores reference data representing a model sound as a string of notes, and the scoring unit includes the reference data stored in the reference data storage unit and the pitch detection unit. The detected pitch may be compared for each note, and scoring may be performed for each note according to the difference between the two.

また、上述の態様において、前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行うとともに、前記ノート毎の採点結果を集計した採点を行ってもよい。   In the above aspect, the scoring means compares the reference data stored in the reference data storage means with the pitch detected by the pitch detection means for each note, and the note is determined according to the difference between the two. The scoring may be performed every time and the scoring result of each note may be added.

また、前記採点手段は、前記ノート毎に、前記ピッチ検出手段により検出されたピッチのノート内の平均値を算出し、算出した平均値と前記リファレンスデータの示すピッチとの差分に応じて採点を行ってもよい。   The scoring means calculates, for each note, an average value in the note of the pitch detected by the pitch detection means, and scores according to the difference between the calculated average value and the pitch indicated by the reference data. You may go.

また、上述の態様において、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチよりも高いか否か及び低いか否かの少なくともいずれか一方を判定し、該判定結果を報知する報知手段を具備してもよい。   In the above aspect, it is determined whether or not the pitch detected by the pitch detection means is higher or lower than the pitch indicated by the reference data stored in the reference data storage means. In addition, an informing means for informing the determination result may be provided.

また、上述の態様において、前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、前記採点手段は、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行ってもよい。   Further, in the above-described aspect, the determination unit that determines the pitch of the reference data stored in the reference data storage unit and determines whether the pitch satisfies a predetermined condition for each note, and the scoring The means may perform the scoring so that the scoring criteria of a note with a positive determination result by the determination means is stricter than a note with a negative determination result by the determination means.

また、本発明の好適な態様である採点装置は、模範となる音をノートの列で表すリファレンスデータを記憶するリファレンスデータ記憶手段と、収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて採点を行う採点手段であって、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う採点手段と、前記採点手段による採点結果を示すデータを出力する出力手段とを具備することを特徴とする。   Further, the scoring device according to a preferred aspect of the present invention includes a reference data storage unit that stores reference data that represents a typical sound as a row of notes, and a pitch that detects a pitch from an audio signal supplied from the sound collection unit. Detecting means; determining means for determining a pitch of reference data stored in the reference data storage means; and determining whether the pitch satisfies a predetermined condition for each note; and the reference data storage means Is a scoring unit that compares the reference data stored in the pitch and the pitch detected by the pitch detection unit for each note, and performs scoring according to the difference between the two, and the determination result by the determination unit is positive. Scoring criteria are more stringent for a note than for a note for which the determination result by the determination means is negative Characterized by comprising the scoring unit for performing a point, and output means for outputting data indicating a rating result by the scoring unit.

上述の態様において、前記判定手段は、前記リファレンスデータに含まれるノートをピッチの昇順又は降順にソートした場合に、各ノートのそれぞれについて、該ノートが予め定められた順位内に含まれるか否かを判定してもよい。   In the above aspect, when the determination unit sorts the notes included in the reference data in ascending or descending order of the pitch, whether or not the notes are included in a predetermined order for each of the notes. May be determined.

上述の態様において、前記リファレンスデータ記憶手段は、特定の時間区間を示す特定区間データを含むとともに模範となる音を表すリファレンスデータを記憶し、前記採点手段は、前記特定区間データによって示される時間区間をそれ以外の区間よりも採点基準が厳しくなるように採点を行ってもよい。   In the above-described aspect, the reference data storage means stores reference data that includes specific section data indicating a specific time section and represents an exemplary sound, and the scoring means includes a time section indicated by the specific section data. May be scored so that the scoring criteria are stricter than other sections.

本発明によれば、歌唱(又は演奏)の採点において、従来と比較して、より人間の聴感に近い採点を行うことができる。   According to the present invention, in the singing (or performance) scoring, scoring closer to human hearing can be performed as compared with the conventional scoring.

<A:構成>
図1は、この発明の一実施形態であるカラオケ装置1のハードウェア構成を示すブロック図である。図において、制御部11は、CPU(Central Processing Unit)や、ROM(Read Only Memory)、RAM(Random Access Memory)を備え、ROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより、バスBUSを介してカラオケ装置1の各部を制御する。記憶部12は、制御部11によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部13は、液晶パネルを備え、制御部11による制御の下に各種の画像を表示する。操作部14は、カラオケ装置1の利用者による操作に応じた信号を制御部11に出力する。マイクロホン15は、収音し、収音した音声を表すオーディオ信号(アナログ信号)を出力する収音手段である。音声処理部16は、マイクロホン15が出力するオーディオ信号(アナログ信号)をデジタルデータに変換する。また、音声処理部16は、デジタルデータをアナログ信号に変換してスピーカ17に出力する。スピーカ17は、音声処理部16でデジタルデータからアナログ信号に変換され出力されるオーディオ信号に応じた強度で放音する放音手段である。
<A: Configuration>
FIG. 1 is a block diagram showing a hardware configuration of a karaoke apparatus 1 according to an embodiment of the present invention. In the figure, the control unit 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and reads and executes a computer program stored in the ROM or the storage unit 12. Thus, each part of the karaoke apparatus 1 is controlled via the bus BUS. The storage unit 12 is a storage unit for storing a computer program executed by the control unit 11 and data used at the time of execution, and is, for example, a hard disk device. The display unit 13 includes a liquid crystal panel and displays various images under the control of the control unit 11. The operation unit 14 outputs a signal corresponding to an operation by the user of the karaoke apparatus 1 to the control unit 11. The microphone 15 is a sound collecting unit that collects sound and outputs an audio signal (analog signal) representing the collected sound. The audio processing unit 16 converts an audio signal (analog signal) output from the microphone 15 into digital data. The audio processing unit 16 converts the digital data into an analog signal and outputs the analog signal to the speaker 17. The speaker 17 is a sound emitting unit that emits sound with an intensity corresponding to an audio signal that is converted from digital data to an analog signal and output by the sound processing unit 16.

なお、この実施形態では、マイクロホン15とスピーカ17とがカラオケ装置1に含まれている場合について説明するが、音声処理部16に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン15から音声処理部16へ入力されるオーディオ信号及び音声処理部16からスピーカ17へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部16にてA/D変換やD/A変換を行う必要はない。表示部13についても同様であり、外部出力端子を設け、外部モニタを接続する構成としてもよい。   In this embodiment, the case where the microphone 15 and the speaker 17 are included in the karaoke apparatus 1 will be described. However, the audio processing unit 16 is provided with an input terminal and an output terminal, and the input terminal is connected to the input terminal via an audio cable. An external microphone may be connected, and similarly, an external speaker may be connected to the output terminal via an audio cable. In this embodiment, the audio signal input from the microphone 15 to the audio processing unit 16 and the audio signal output from the audio processing unit 16 to the speaker 17 are analog audio signals. You may make it input / output. In such a case, the audio processing unit 16 does not need to perform A / D conversion or D / A conversion. The same applies to the display unit 13, and an external output terminal may be provided to connect an external monitor.

カラオケ装置1の記憶部12は、図1に示すように、楽曲データ記憶領域121と、背景画データ記憶領域122とを有している。楽曲データ記憶領域121には、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。背景画データ記憶領域122には、カラオケ伴奏時に背景として表示される動画像を表す背景画データが記憶されている。   As shown in FIG. 1, the storage unit 12 of the karaoke apparatus 1 includes a music data storage area 121 and a background image data storage area 122. The music data storage area 121 stores music data representing accompaniment sounds and lyrics of music. The background image data storage area 122 stores background image data representing a moving image displayed as a background at the time of karaoke accompaniment.

ここで、楽曲データ記憶領域121に記憶された楽曲データの内容の一例について説明する。楽曲データは、図2に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律(ピッチ)の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。また、ヘッダ部分には、図2に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上の楽曲データは、MIDIフォーマットに従って記述されている。   Here, an example of the contents of the music data stored in the music data storage area 121 will be described. As shown in FIG. 2, the music data has a header and a plurality of tracks. Reference data in which reference data representing the content of a melody (pitch) to be sung by the user is described in the plurality of tracks. There are a data track, a performance track describing performance data representing the contents of karaoke performance sounds, and a lyrics track describing lyrics data representing the contents of lyrics. The header portion includes song number data for specifying a song, song name data indicating the song title, genre data indicating a genre, performance time data indicating the performance time of the song, and the like, as shown in FIG. . The above music data is described according to the MIDI format.

次に、リファレンスデータトラックに記述されているリファレンスデータの具体例について、図3を参照しつつ説明する。リファレンスデータは、模範となる音をノートの列で表すデータである。図3は行と列のマトリックスになっているので、まず、列について説明する。第1列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「0」の場合は、直前のイベントと同時に実行される。第2列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ(NoteOn)や消音イベントを示すノートオフメッセージ(NoteOff)の他、コントロールチェンジメッセージ等が含まれる。なお、図3に示す例では、コントロールチェンジメッセージは含まれていない。   Next, a specific example of reference data described in the reference data track will be described with reference to FIG. Reference data is data that represents an exemplary sound in a row of notes. Since FIG. 3 is a matrix of rows and columns, first the columns will be described. The delta time in the first column indicates the time interval between events, and is represented by the number of tempo clocks. When the delta time is “0”, it is executed simultaneously with the immediately preceding event. In the second column, the contents of messages of each event of the performance data are described. This message includes a control change message in addition to a note-on message (NoteOn) indicating a sounding event and a note-off message (NoteOff) indicating a mute event. In the example shown in FIG. 3, the control change message is not included.

第3列にはチャネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「1」としている。
第4列には、ノートナンバ(NoteNum)あるいはコントロールナンバ(CtrlNum)が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第5列にはMIDIメッセージの具体的な値(データ)が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。
The third column describes channel numbers. Here, for simplicity of explanation, the channel number of the reference data track is “1”.
In the fourth column, a note number (NoteNum) or a control number (CtrlNum) is described. Which is described depends on the content of the message. For example, in the case of a note-on message or a note-off message, a note number indicating a musical scale is described here, and in the case of a control change message, a control number indicating its type is described.
The fifth column describes specific values (data) of the MIDI message. For example, in the case of a note-on message, the velocity value indicating the sound intensity is described here, and in the case of a note-off message, the velocity value indicating the speed at which the sound is turned off is described. If there is, the value of the parameter corresponding to the control number is described.

次に、図3に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図3に示す例では、デルタタイム480の長さを4分音符の長さとしている。この場合、第1行、第2行のイベント処理によりC4音が4分音符の長さにわたって発音されることが示され、第3行、第4行のイベント処理によりG4音が4分音符の長さにわたって発音されることが示される。そして、第5行、第6行の処理によりF4音が2分音符の長さにわたって発音されることが示される。
Next, each row shown in FIG. 3 is a musical sound parameter indicating the attribute of each note of the melody to be sung, and is composed of a note-on event and a note-off event.
In the example shown in FIG. 3, the length of the delta time 480 is the length of a quarter note. In this case, it is indicated that the C4 sound is generated over the length of the quarter note by the event processing of the first row and the second row, and the G4 sound is changed to the quarter note by the event processing of the third row and the fourth row. It is shown to be pronounced over length. Then, it is shown that the F4 sound is pronounced over the length of the half note by the processing of the fifth and sixth lines.

利用者が楽曲指定操作を行うと、曲番号データを基にして、指定された楽曲データが楽曲データ記憶領域121から読み出され、RAMに転送される。制御部11がRAM内の楽曲データを順次読み出して処理することで楽曲の演奏が進行する。このとき、リファレンスデータも楽曲の進行と同期して読み出され、制御部11はリファレンスデータのノートとベロシティに応じてリファレンスピッチデータRPを生成する。   When the user performs a song designation operation, the designated song data is read from the song data storage area 121 based on the song number data and transferred to the RAM. The controller 11 sequentially reads and processes the music data in the RAM, so that the music performance progresses. At this time, the reference data is also read out in synchronization with the progress of the music, and the control unit 11 generates reference pitch data RP according to the note and velocity of the reference data.

一方、マイクロホン15に入力された歌唱者の音声は、歌唱音声信号となり、アンプ(図示略)を介してスピーカ17により出力されるとともに、音声処理部16に入力される。音声処理部16がこの歌唱音声信号S1をA/D変換した後、制御部11は、歌唱音声のピッチを抽出し、歌唱ピッチデータSPとして出力する。この場合、歌唱音声のピッチの抽出処理はおよそ30msごとに行われるようになっている。   On the other hand, the voice of the singer input to the microphone 15 becomes a singing voice signal, which is output from the speaker 17 via an amplifier (not shown) and also input to the voice processing unit 16. After the voice processing unit 16 performs A / D conversion on the singing voice signal S1, the control unit 11 extracts the pitch of the singing voice and outputs it as the singing pitch data SP. In this case, the process of extracting the pitch of the singing voice is performed approximately every 30 ms.

<B:動作>
図4は、カラオケ装置1の制御部11が行う処理の流れを示す図である。以下、図4を参照しつつ、この実施形態の動作について説明する。なお、図4において、伴奏再生部111、表示制御部112、ピッチ検出部113及び採点部114は、制御部11がROM又は記憶部12に記憶されたコンピュータプログラムを読み出して実行することにより実現される。なお、図中の矢印はデータの流れを概略的に示すものである。
<B: Operation>
FIG. 4 is a diagram illustrating a flow of processing performed by the control unit 11 of the karaoke apparatus 1. The operation of this embodiment will be described below with reference to FIG. In FIG. 4, the accompaniment playback unit 111, the display control unit 112, the pitch detection unit 113, and the scoring unit 114 are realized by the control unit 11 reading out and executing a computer program stored in the ROM or the storage unit 12. The The arrows in the figure schematically show the flow of data.

利用者が操作部14を用いて楽曲指定操作を行うと、指定された楽曲の楽曲データが楽曲データ記憶領域121からRAMへ転送される。伴奏再生部111は、RAM内の楽曲データのイベントを順次読み出すことによりカラオケ伴奏を行い、表示制御部112は、RAM内の楽曲データの歌詞データを順次読み出すことにより歌詞表示処理を実行する。具体的には、伴奏再生部111は、楽曲データの演奏トラックに記述されたイベントデータを音声処理部16に出力する。表示制御部112は、歌詞トラックの歌詞データを表示部13に出力する。この結果、カラオケ伴奏音がスピーカ17から出力される一方、歌詞データの表す歌詞が表示部13に表示される。   When the user performs a music designation operation using the operation unit 14, the music data of the designated music is transferred from the music data storage area 121 to the RAM. The accompaniment playback unit 111 performs karaoke accompaniment by sequentially reading out the music data events in the RAM, and the display control unit 112 executes lyrics display processing by sequentially reading out the lyrics data of the music data in the RAM. Specifically, the accompaniment reproducing unit 111 outputs event data described in the performance track of the music data to the sound processing unit 16. The display control unit 112 outputs the lyrics data of the lyrics track to the display unit 13. As a result, the karaoke accompaniment sound is output from the speaker 17, while the lyrics represented by the lyrics data are displayed on the display unit 13.

歌唱者は、スピーカ17から放音される伴奏音に併せて歌唱する。歌唱者の歌唱音声はマイクロホン15によってオーディオ信号に変換され、音声処理部16でA/D変換される。ピッチ検出部113は、音声処理部16でA/D変換されたオーディオデータ(以下「歌唱音声データ」という)からピッチを検出し、検出したピッチを表す歌唱ピッチデータSPを出力する。ピッチ検出部113で生成された歌唱ピッチデータSPは、採点部114へ出力される。   The singer sings along with the accompaniment sound emitted from the speaker 17. The singing voice of the singer is converted into an audio signal by the microphone 15 and A / D converted by the voice processing unit 16. The pitch detector 113 detects the pitch from the audio data A / D converted by the audio processor 16 (hereinafter referred to as “singing audio data”), and outputs singing pitch data SP representing the detected pitch. The singing pitch data SP generated by the pitch detection unit 113 is output to the scoring unit 114.

採点部114は、リファレンスピッチデータRPと歌唱ピッチデータSPとを比較し、両者の差分に応じて歌唱の採点を行う。このとき、採点部114は、歌唱ピッチデータSPがリファレンスピッチデータRPよりも高い場合のほうが、歌唱ピッチデータSPがリファレンスピッチデータRPよりも低い場合よりも採点基準が厳しくなるように、採点を行う。すなわち、採点部114は、リファレンスピッチデータRPに対して歌唱ピッチデータSPがシャープ側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも高い場合)に、歌唱ピッチデータSPがフラット側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも低い場合)よりも厳しく採点する。   The scoring unit 114 compares the reference pitch data RP and the singing pitch data SP, and scores the singing according to the difference between the two. At this time, the scoring unit 114 performs the scoring so that the scoring standard becomes stricter when the singing pitch data SP is higher than the reference pitch data RP than when the singing pitch data SP is lower than the reference pitch data RP. . That is, when the singing pitch data SP is shifted to the sharp side with respect to the reference pitch data RP (that is, when the singing pitch data SP is higher than the reference pitch data RP), the scoring unit 114 is flat. The scores are scored more severely than when the singing pitch data SP is lower than the reference pitch data RP.

ここで、採点部114が行う採点処理の具体的な処理の一例について、図5を参照しつつ説明する。図5は、採点部114が行う採点処理の流れを示すフローチャートである。採点部114は、まず、歌唱ピッチデータSPとリファレンスピッチデータRPとをフレーム単位で比較し、その差分が閾値より小さいか否かを判定する(ステップS1)。差分が閾値より小さい場合には(ステップS2;YES)、ノート単位採点処理(ステップS3)に進む一方、差分が閾値より大きい場合には(ステップS2;NO)、次のフレームに進み(ステップS4)、フレーム単位での比較処理を継続して行う(ステップS1)。すなわち、採点部114は、歌唱ピッチデータSPとリファレンスピッチデータRPとの差分が閾値より大きい場合にはそのノートについての採点を行わず(すなわちそのノートについて加点せず)、差分が閾値より小さくなった場合にノート単位での採点処理を開始する。
なお、この実施形態では、差分が閾値より小さい場合にそのノートについて加点処理を行うようにしたが、採点の態様はこれに限らず、例えば、差分が閾値より大きい場合にそのノートについて減点処理を行うようにしてもよい。
Here, an example of a specific process of the scoring process performed by the scoring unit 114 will be described with reference to FIG. FIG. 5 is a flowchart showing a flow of scoring processing performed by the scoring unit 114. The scoring unit 114 first compares the singing pitch data SP and the reference pitch data RP in units of frames, and determines whether or not the difference is smaller than a threshold value (step S1). If the difference is smaller than the threshold value (step S2; YES), the process proceeds to the note unit scoring process (step S3). If the difference is larger than the threshold value (step S2; NO), the process proceeds to the next frame (step S4). ), The comparison process in units of frames is continuously performed (step S1). That is, when the difference between the singing pitch data SP and the reference pitch data RP is larger than the threshold value, the scoring unit 114 does not score the note (that is, does not score the note), and the difference becomes smaller than the threshold value. If this happens, the scoring process for each note is started.
In this embodiment, when the difference is smaller than the threshold value, the scoring process is performed for the note. However, the scoring mode is not limited to this. For example, when the difference is larger than the threshold value, the deduction process is performed for the note. You may make it perform.

ステップS1に示すフレーム単位の比較処理において、採点部114は、リファレンスピッチデータRPに対して歌唱ピッチデータSPがシャープ側にずれている場合とフラット側にずれている場合とで、異なる閾値を用いて判定を行う。図6は、フレーム単位判定処理の内容を説明するための図である。図6において、横軸は時刻を示し、縦軸はピッチを示している。採点部114は、歌唱ピッチデータSPとリファレンスピッチデータRPとの差分が閾値よりも小さいノートについて採点処理を行う。図6に示す例では、シャープ側の閾値を35(cent)とし、フラット側のずれを50(cent)としている。図6に示す例では、ノートN1では採点処理は行われない(加点されない)一方、ノートN2,N3について採点処理が行われる。このように、採点部114は、シャープ側の閾値をフラット側の閾値より小さくすることで、シャープ側のずれに対する採点がフラット側のずれに対する採点よりも厳しくなるような採点を行う。   In the comparison processing for each frame shown in step S1, the scoring unit 114 uses different threshold values depending on whether the singing pitch data SP is shifted to the sharp side or the flat side with respect to the reference pitch data RP. To make a decision. FIG. 6 is a diagram for explaining the contents of the frame unit determination process. In FIG. 6, the horizontal axis indicates time and the vertical axis indicates pitch. The scoring unit 114 performs scoring processing for notes whose difference between the singing pitch data SP and the reference pitch data RP is smaller than a threshold value. In the example shown in FIG. 6, the sharp threshold is set to 35 (cent), and the flat shift is set to 50 (cent). In the example shown in FIG. 6, the scoring process is not performed on the note N1 (not scored), while the scoring process is performed on the notes N2 and N3. In this manner, the scoring unit 114 performs scoring such that the scoring for the sharp side deviation is more severe than the scoring for the flat side deviation by making the sharp side threshold value smaller than the flat side threshold value.

図5の説明に戻る。採点部114は、ステップS3において、リファレンスピッチデータRPと歌唱ピッチデータSPとをノート毎に比較し、両者の差分に応じてノート毎に採点を行う(ステップS3)。より具体的には、採点部114は、リファレンスデータに含まれるノート毎に、各ノート内の歌唱ピッチデータSPの平均値を算出し、算出した平均値とリファレンスピッチデータRPとの差分に応じて、ノート単位での採点を行う。このとき、採点部114は、算出した平均値がリファレンスピッチデータRPに対してシャープ側にずれている場合(すなわち算出した平均値がリファレンスピッチデータRPよりも高い場合)に、算出した平均値がフラット側にずれている場合(すなわち算出した平均値がリファレンスピッチデータRPよりも低い場合)よりも厳しく採点する。具体的には、採点部114は、算出した平均値がリファレンスデータRPに対してシャープ側にずれている場合とフラット側にずれている場合とで、異なる閾値を用いて採点を行う。   Returning to the description of FIG. In step S3, the scoring unit 114 compares the reference pitch data RP and the singing pitch data SP for each note, and scores each note according to the difference between the two (step S3). More specifically, the scoring unit 114 calculates the average value of the singing pitch data SP in each note for each note included in the reference data, and according to the difference between the calculated average value and the reference pitch data RP. , Scoring in units of notes. At this time, the scoring unit 114 calculates the calculated average value when the calculated average value is shifted to the sharp side with respect to the reference pitch data RP (that is, when the calculated average value is higher than the reference pitch data RP). Scoring is performed more severely than when it is shifted to the flat side (that is, when the calculated average value is lower than the reference pitch data RP). Specifically, the scoring unit 114 performs scoring using different threshold values depending on whether the calculated average value is shifted to the sharp side or the flat side with respect to the reference data RP.

ここで、ステップS3に示すノート単位採点処理について、図7を参照しつつ説明する。図7は、ノート単位の採点処理の内容を説明するための図である。図7において、横軸は、1ノート内の歌唱ピッチの平均とリファレンスピッチとの差(以下「DCパラメータ値」という)を示し、縦軸は、1ノート内の歌唱ピッチの平均と歌唱ピッチとの差の平均(以下「ACパラメータ値」という)を示す。採点部114は、DCパラメータ値とACパラメータ値との関係が、図7の領域P内に含まれない場合には、そのノートについて加点する一方、それ以外の場合には、そのノートについて加点を行わない。このとき、図7に示す例では、DCパラメータ値について、シャープ側の閾値を35(cent)とし、フラット側のずれを45(cent)としている。このように、採点部114は、シャープ側の閾値をフラット側の閾値よりも小さくすることで、シャープ側のずれに対する採点結果がフラット側のずれに対する採点結果よりも厳しくなるように採点する。   Here, the note unit scoring process shown in step S3 will be described with reference to FIG. FIG. 7 is a diagram for explaining the content of the scoring process in units of notes. In FIG. 7, the horizontal axis represents the difference between the average singing pitch in one note and the reference pitch (hereinafter referred to as “DC parameter value”), and the vertical axis represents the average singing pitch and singing pitch in one note. Mean difference (hereinafter referred to as “AC parameter value”). The scoring unit 114 adds points for the note when the relationship between the DC parameter value and the AC parameter value is not included in the region P of FIG. 7, while in other cases, adds a score for the note. Not performed. At this time, in the example shown in FIG. 7, with respect to the DC parameter value, the sharp-side threshold is set to 35 (cent), and the flat-side deviation is set to 45 (cent). As described above, the scoring unit 114 scores the sharp side threshold value smaller than the flat side threshold value so that the scoring result for the sharp side deviation becomes stricter than the scoring result for the flat side deviation.

ノート単位での採点を終えると、採点部114は、楽曲が終了したか否かを判定し(ステップS5)、楽曲が終了したと判定された場合には(ステップS5;YES)、総合採点処理(ステップS6)に進む一方、楽曲が終了していない場合には(ステップS5;NO)、次のノートの採点処理を行うべく、ステップS1の処理に戻ってフレーム単位での比較処理を続行する(ステップS1)。   When scoring in units of notes is completed, the scoring unit 114 determines whether or not the music has ended (step S5). If it is determined that the music has ended (step S5; YES), the overall scoring process is performed. On the other hand, if the music has not ended (step S5; NO), the process returns to step S1 to continue the comparison process in units of frames in order to perform the next note scoring process. (Step S1).

採点部114は、楽曲が終了したと判定された場合には(ステップS5;YES)、ノート毎の採点結果を集計することによって、楽曲全体の総合採点を行う(ステップS6)。このとき、採点部114は、楽曲における高音・低音を考慮して総合得点を計算する。
この総合得点の算出処理の一例について、以下に説明する。まず、採点部114は、リファレンスピッチデータが予め定められた条件を満たすかを判定することによって、各ノートを、高音部・中音部・低音部の3つのグループに分類する。グループ分けの方法としては、例えば、採点部114は、楽曲に含まれるノートから、一番高いノート(トップノート)から高い順に予め定めされた個数(例えば、10個)のノートを高音として判断する。同様に、採点部114は、楽曲に含まれるノートから、低い順に予め定められた個数(例えば、10個)のノートを低音として判断する。すなわち、採点部114は、リファレンスデータに含まれるノートをピッチの降順(又は昇順)にソートした場合に、予め定められた順位内に含まれるノートを高音(又は低音)と判定する。なお、グループ分けの方法はこれに限定されるものではなく、各ノートのピッチが予め定められた条件を満たすか否かを判定することによってグループ分けを行うものであればよい。
When it is determined that the music has ended (step S5; YES), the scoring unit 114 performs total scoring of the entire music by counting the scoring results for each note (step S6). At this time, the scoring unit 114 calculates the total score in consideration of the high and low sounds in the music.
An example of the total score calculation process will be described below. First, the scoring unit 114 classifies each note into three groups of a high tone portion, a middle tone portion, and a low tone portion by determining whether the reference pitch data satisfies a predetermined condition. As a grouping method, for example, the scoring unit 114 determines a predetermined number (for example, 10) of notes from the highest note (top note) to the highest note from the notes included in the music as a high tone. . Similarly, the scoring unit 114 determines a predetermined number (for example, 10) of notes from the notes included in the music as a low sound in order from the lowest. In other words, when the notes included in the reference data are sorted in the descending order (or ascending order) of the pitch, the scoring unit 114 determines that the notes included in the predetermined order are high (or low). Note that the grouping method is not limited to this, and any grouping method may be used as long as it is determined whether or not the pitch of each note satisfies a predetermined condition.

次いで、採点部114は、高音部に含まれるノート及び低音部に含まれるノートがそれ以外のノート(すなわち中音部に含まれるノート)よりも採点基準が厳しくなるように採点を行う。具体的には、例えば、高音部と低音部に含まれるノートについては、中音部に含まれるノートで採点する場合よりも減点量を2倍にするようにしてもよい。具体的には、例えば、採点部114は、以下のようにして総合得点を算出する。まず、採点部114は、楽曲全体の得点tpを算出する。次いで、採点部114は、高音部に含まれるノートの得点を集計することによって高音部の得点hpを算出する。次いで、採点部114は、低音部に含まれるノートの得点を集計することによって低音部の得点lpを算出する。次いで、採点部114は、以下の(1)式を用いて、高音部と低音部で各5点分の減点を行って総合得点tpを修正する。
tp=tp−(5−(hp/20))−(5−(lp/20))…(1)
このようにして、採点部114は、高音部に含まれるノート及び低音部に含まれるノートがそれ以外のノート(すなわち中音部に含まれるノート)よりも厳しく採点する。
Next, the scoring unit 114 performs scoring so that the notes included in the high sound part and the notes included in the low sound part have stricter scoring standards than the other notes (that is, notes included in the middle sound part). Specifically, for example, for the notes included in the high-pitched part and the low-pitched part, the deduction amount may be doubled as compared with the case of scoring with the note included in the middle sound part. Specifically, for example, the scoring unit 114 calculates the total score as follows. First, the scoring unit 114 calculates the score tp of the entire music. Next, the scoring unit 114 calculates the score hp of the treble part by counting the scores of the notes included in the treble part. Next, the scoring unit 114 calculates the score lp of the bass part by counting the scores of the notes included in the bass part. Next, the scoring unit 114 corrects the total score tp by subtracting 5 points for each of the treble part and the bass part using the following formula (1).
tp = tp− (5- (hp / 20)) − (5- (lp / 20)) (1)
In this way, the scoring unit 114 scores the notes included in the high sound part and the notes included in the low sound part more severely than other notes (that is, notes included in the middle sound part).

図4の説明に戻る。採点部114は、採点結果を示すデータを表示制御部112に出力する(ステップS7)。表示制御部112は、採点部114から供給されるデータに基づいて、採点結果を示す画像を表示部13に表示させる。歌唱者は、表示部13に表示される画面を参照することで、自身の歌唱の採点結果を確認することができる。   Returning to the description of FIG. The scoring unit 114 outputs data indicating the scoring result to the display control unit 112 (step S7). The display control unit 112 causes the display unit 13 to display an image indicating the scoring result based on the data supplied from the scoring unit 114. The singer can check the scoring result of his / her song by referring to the screen displayed on the display unit 13.

ところで、歌唱を聴取する場合において、聴取者は、シャープ側の音程ずれは気になるが、逆(フラット側の音程のずれ)はあまり気にならないことが多い。従来の装置では、シャープ側のずれとフラット側のずれを同じように採点していたため、装置が算出する得点と人の聴感との間にずれが生じる場合があった。具体的には、例えば、歌唱の音程がシャープ側にずれているために、聴取者が音程がひどくずれていると感じる歌唱であっても、採点結果がそれほど悪くなかったり、逆に、歌唱の音程がフラット側にずれているために聴取者がそれほど音程ずれを感じない歌唱であっても、算出される採点結果が悪い場合があった。それに対しこの実施形態では、シャープ側のずれをフラット側のずれよりも厳しく採点するから、これにより、従来と比較して、装置による採点結果を聴取者の聴感に近づけることができ、人の聴感と装置による採点とのずれを軽減することができる。   By the way, when listening to a song, the listener is worried about the pitch shift on the sharp side, but the reverse (shift of the pitch on the flat side) is often less concerned. In the conventional apparatus, since the deviation on the sharp side and the deviation on the flat side are scored in the same manner, there may be a deviation between the score calculated by the apparatus and the human hearing. Specifically, for example, because the singing pitch is shifted sharply, even if the listener feels that the pitch is severely shifted, the scoring result is not so bad, or conversely, Since the pitch is shifted to the flat side, even if the listener does not feel the pitch shift so much, the calculated scoring result may be bad. On the other hand, in this embodiment, the deviation on the sharp side is scored more severely than the deviation on the flat side. Therefore, compared with the conventional case, the scoring result by the apparatus can be made closer to the listener's audibility, and the human audibility And the deviation from scoring by the device can be reduced.

また、歌唱を聴取する場合において、高音部や低音部における音程ずれが聴取者の印象に残ることが多く、そのため、高音部や低音部において音程がずれていた場合に、聴取者にとってその歌唱全体の評価が悪くなることが多い。従来の装置では、どの音域についても同様に評価していたため、装置が算出する得点と人の聴感との間にずれが生じる場合があった。具体的には、例えば、高音部で大きく音程がずれているために聴取者による評価が低い歌唱であっても、装置による採点結果がそれほど悪くなかったり、逆に、音程のはずれた音が中音域に集中しているために聴取者による評価がそれほど悪くない歌唱であっても、装置による採点結果が悪い場合があった。それに対しこの実施形態では、高音部と低音部においてそれ以外よりも厳しく採点を行うから、これにより、装置による採点結果を聴取者の聴感に近づけることができ、人の聴感と装置による採点とのずれを軽減することができる。   Also, when listening to a song, the pitch shift at the high and low pitches often remains in the listener's impression, so if the pitch shifts at the high or low pitch, the entire singing for the listener The evaluation of is often worse. In the conventional apparatus, since any sound range is evaluated in the same manner, there may be a difference between the score calculated by the apparatus and human hearing. Specifically, for example, even a singing that has a low evaluation by the listener because the pitch is greatly shifted in the treble part, the scoring result by the device is not so bad, or conversely, a sound with a shifted pitch is Even if the song is not so badly evaluated by the listener because it is concentrated in the sound range, the scoring result by the device may be bad. On the other hand, in this embodiment, scoring is performed more severely in the treble part and the bass part than the others, so that the scoring result by the apparatus can be brought close to the listener's sensation, and the human perception and scoring by the apparatus Deviation can be reduced.

<C:変形例>
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
(1)上述の実施形態において、制御部11が、歌唱ピッチデータSPがリファレンスピッチデータRPよりも高いか低いかを判定し、判定結果を表示部13に表示するようにしてもよい。具体的には、例えば、制御部11は、歌唱ピッチデータSPがリファレンスピッチデータRPよりも高いか低いかをノート毎に判定し、判定結果を集計し、集計結果を示すデータを表示部13に出力する。表示部13は、制御部11から供給されるデータに基づいて、図8に例示する画面を表示する。図8に例示する画面においては、楽曲全体における歌唱音声がリファレンスデータの示す音程に対してシャープぎみかフラットぎみかを示す画像やコメント等が表示される。これにより、歌唱者は、自身の歌唱がシャープ気味なのかフラット気味なのかを把握することができ、また、この結果に基づいて自身の歌唱を修正することができる。
歌唱音声がリファレンスと比較してシャープ気味かフラット気味かを歌唱者に報知する態様はこれに限らず、例えば、図9に示すように、シャープぎみかフラットぎみかをノート単位や小節単位等で判定し、判定結果を示すアイコンI1,I2,I3を表示部13に表示するようにしてもよい。
<C: Modification>
As mentioned above, although embodiment of this invention was described, this invention is not limited to embodiment mentioned above, It can implement with another various form. An example is shown below. In addition, you may combine each following aspect suitably.
(1) In the above-described embodiment, the control unit 11 may determine whether the singing pitch data SP is higher or lower than the reference pitch data RP, and display the determination result on the display unit 13. Specifically, for example, the control unit 11 determines for each note whether the singing pitch data SP is higher or lower than the reference pitch data RP, totals the determination results, and displays data indicating the total results on the display unit 13. Output. The display unit 13 displays the screen illustrated in FIG. 8 based on the data supplied from the control unit 11. On the screen illustrated in FIG. 8, an image, a comment, or the like indicating whether the singing voice in the entire music is sharp or flat with respect to the pitch indicated by the reference data is displayed. Thereby, the singer can grasp whether his singing is sharp or flat, and can correct his singing based on this result.
The manner of notifying the singer of whether the singing voice is sharp or flat compared to the reference is not limited to this. For example, as shown in FIG. The icons I1, I2, and I3 indicating the determination results may be displayed on the display unit 13.

また、報知の態様はこれに限らず、例えば、音声メッセージを出力することによって報知してもよく、また、判定結果を示す情報を電子メール形式で歌唱者のメール端末に送信するという形態であってもよい。また、判定結果を示す情報を記憶端末に出力して記憶させるようにしてもよく、この場合、操作者はコンピュータを用いてこの記憶媒体から情報を読み出させることで、それらを参照することができる。また、判定結果を所定の用紙に印刷出力してもよい。要は歌唱者に対して何らかの手段でメッセージ乃至情報を伝えられるように、評価結果を示す情報を出力するものであればよい。   In addition, the notification mode is not limited to this. For example, the notification may be performed by outputting a voice message, or information indicating the determination result is transmitted to the singer's mail terminal in an e-mail format. May be. In addition, information indicating the determination result may be output to the storage terminal and stored. In this case, the operator can refer to the information by reading the information from the storage medium using a computer. it can. The determination result may be printed out on a predetermined sheet. In short, any information may be output as long as it can output a message or information to the singer by any means.

(2)上述の実施形態において、制御部11が、歌唱の開始部分やサビ部分で採点の重み付けをするようにしてもよい。この場合は、制御部11は、楽曲データに含まれる特定の時間区間(歌唱開始区間、サビ区間等)を示す特定区間データを参照し、特定区間データによって示される時間区間を、それ以外の区間よりも厳しく採点する。
また、上述の実施形態において、楽曲のジャンルを判別し、ジャンルによって採点態様を異ならせて採点を行うようにしてもよい。この場合は、ジャンル種別と採点態様との対応関係を示すテーブル等を記憶部12に予め記憶しておき、制御部11は、楽曲データに含まれるジャンルの種別を示すジャンルデータを参照し、例えば、ジャンルが「童謡」である場合には採点基準をやさしくし、ジャンルが「演歌」の場合には採点基準を厳しくする、といったように、記憶部12に記憶されたテーブル等を参照して採点態様を異ならせて採点を行うようにしてもよい。
(2) In the above-described embodiment, the control unit 11 may weight the scoring at the singing start portion or the rust portion. In this case, the control unit 11 refers to specific section data indicating a specific time section (singing start section, rust section, etc.) included in the music data, and sets the time section indicated by the specific section data to the other sections. Scoring more strictly.
Further, in the above-described embodiment, the genre of music may be determined, and scoring may be performed with different scoring modes depending on the genre. In this case, a table indicating the correspondence between the genre type and the scoring mode is stored in the storage unit 12 in advance, and the control unit 11 refers to the genre data indicating the genre type included in the music data, for example, Scoring with reference to a table stored in the storage unit 12 such that the grading standard is gentle when the genre is “children's song” and the grading standard is strict when the genre is “Enka”. You may make it carry out scoring by changing a mode.

(3)上述の実施形態において、歌唱音声の比較対象となるリファレンスデータは、例えば楽曲のガイドメロディを表すデータであってもよく、また、楽曲の模範となる歌唱音声を表すデータであってもよく、楽曲の模範となる音を表すデータであればどのようなものであってもよい。 (3) In the above-described embodiment, the reference data to be compared with the singing voice may be, for example, data representing the guide melody of the music, or may be data representing the singing voice serving as an example of the music. Any data may be used as long as it represents sound that serves as an example of music.

(4)上述の実施形態では、シャープ側の閾値を35centとし、フラット側の閾値を45centとして、シャープ側の判定がフラット側の判定よりも厳しくなるようにしたが、閾値として用いる値はこれに限定されるものではなく、例えば、シャープ側を50セント、フラット側を70セントとしてもよく、シャープ側の採点がフラット側の採点よりも厳しくなるような閾値であればよい。 (4) In the above-described embodiment, the sharp side threshold is set to 35 cent and the flat side threshold is set to 45 cent so that the sharp side determination becomes stricter than the flat side determination. For example, the sharp side may be set to 50 cents and the flat side may be set to 70 cents as long as the sharp side scoring is more severe than the flat side scoring.

また、上述の実施形態では、シャープ側とフラット側とで閾値を異ならせることによって、シャープ側の採点をフラット側よりも厳しく採点するようにしたが、採点の態様はこれに限らず、例えば、図7に示すノート単位採点処理に代えて、図10に示すような採点を行うようにしてもよい。図10に示す例においては、シャープ側の領域P1(加点対象とならない領域)をフラット側の領域P2(加点対象とならない領域)よりも広くすることによって、シャープ側のずれを厳しく採点する。   In the above-described embodiment, the sharp side is scored more severely than the flat side by making the threshold value different between the sharp side and the flat side, but the scoring mode is not limited to this, for example, Instead of the note unit scoring process shown in FIG. 7, scoring as shown in FIG. 10 may be performed. In the example shown in FIG. 10, the sharp side shift P1 (the region that is not subject to point addition) is made wider than the flat side region P2 (the region that is not subject to point addition), thereby severely scoring the sharp side deviation.

(5)上述の実施形態では、歌唱者の歌唱音声をリアルタイムで解析するようにしたが、必ずしもリアルタイムで解析する必要はなく、例えば記憶部に予め記憶されたオーディオ信号を解析するようにしてもよい。また、例えば、カラオケ装置1にインターネット等の通信ネットワークを介してデータ伝送を行うための通信部を設ける構成とし、通信ネットワークを介してオーディオ信号を受信し、受信したオーディオ信号を解析するようにしてもよい。 (5) In the above-described embodiment, the singing voice of the singer is analyzed in real time. However, it is not always necessary to analyze the singing voice in real time. For example, an audio signal stored in advance in the storage unit may be analyzed. Good. Further, for example, the karaoke apparatus 1 is provided with a communication unit for performing data transmission via a communication network such as the Internet, and receives an audio signal via the communication network and analyzes the received audio signal. Also good.

(6)上述の実施形態では、制御部11が、楽曲データ記憶領域121に記憶された楽曲データに含まれるリファレンスデータからリファレンスピッチデータRPを生成するが、これに代えて、模範となる楽音のピッチを表すリファレンスピッチデータを予め記憶部12に記憶しておくようにしてもよい。 (6) In the above-described embodiment, the control unit 11 generates the reference pitch data RP from the reference data included in the music data stored in the music data storage area 121. Reference pitch data representing the pitch may be stored in the storage unit 12 in advance.

(7)上述の実施形態では、歌唱者の歌唱音声とリファレンスデータとを比較したが、歌唱者の歌唱音声に変えて、演奏者による楽器の演奏音とリファレンスデータとを比較してもよい。本実施形態にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音響が含まれる。 (7) In the above-described embodiment, the singing voice of the singer and the reference data are compared. However, instead of the singing voice of the singer, the performance sound of the musical instrument by the performer and the reference data may be compared. The “speech” referred to in the present embodiment includes various sounds such as a sound generated by a person and a performance sound of a musical instrument.

(8)上述の実施形態では、カラオケ装置1が本実施形態に係る全ての処理を実行するようになっていた。これに対し、通信ネットワークで接続された2以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置1を実現するようにしてもよい。例えば、マイクロホンやスピーカ、表示装置及び操作部等を備えるコンピュータ装置と、採点処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、マイクロホンで収音された音声をオーディオ信号に変換してサーバ装置に送信し、サーバ装置が、受信したオーディオ信号を解析して採点し、採点結果をコンピュータ装置に送信してもよい。 (8) In the above-described embodiment, the karaoke apparatus 1 performs all the processes according to the present embodiment. On the other hand, two or more devices connected by a communication network may share the functions according to the above-described embodiment, and a system including the plurality of devices may realize the karaoke device 1 of the same embodiment. . For example, a computer device including a microphone, a speaker, a display device, an operation unit, and the like may be configured as a system in which a server device that executes scoring processing is connected via a communication network. In this case, for example, the computer apparatus converts the sound collected by the microphone into an audio signal and transmits it to the server apparatus, and the server apparatus analyzes and scores the received audio signal, and the scoring result is calculated by the computer apparatus. May be sent to.

(9)上述した実施形態におけるカラオケ装置1の制御部11によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、RAM、ROMなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置1にダウンロードさせることも可能である。 (9) The program executed by the control unit 11 of the karaoke apparatus 1 in the above-described embodiment is recorded on a recording medium such as a magnetic tape, a magnetic disk, a flexible disk, an optical recording medium, a magneto-optical recording medium, RAM, or ROM. Can be provided in state. It is also possible to download to the karaoke apparatus 1 via a network such as the Internet.

カラオケ装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of a karaoke apparatus. 楽曲データの構造を示す図である。It is a figure which shows the structure of music data. 楽曲データに含まれるリファレンスデータトラックの内容を示す図である。It is a figure which shows the content of the reference data track contained in music data. カラオケ装置の制御部が行う処理の流れを示す図である。It is a figure which shows the flow of the process which the control part of a karaoke apparatus performs. 採点処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a scoring process. 採点処理の内容を説明するための図である。It is a figure for demonstrating the content of the scoring process. 採点処理の内容を説明するための図である。It is a figure for demonstrating the content of the scoring process. 表示部に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on a display part. 表示部に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on a display part. 採点処理の内容を説明するための図である。It is a figure for demonstrating the content of the scoring process.

符号の説明Explanation of symbols

1…カラオケ装置、11…制御部、12…記憶部、13…表示部、14…操作部、15…マイクロホン、16…音声処理部、111…伴奏再生部、112…表示制御部、113…ピッチ検出部、114…採点部、17…スピーカ、121…楽曲データ記憶領域、122…背景画データ記憶領域。 DESCRIPTION OF SYMBOLS 1 ... Karaoke apparatus, 11 ... Control part, 12 ... Memory | storage part, 13 ... Display part, 14 ... Operation part, 15 ... Microphone, 16 ... Sound processing part, 111 ... Accompaniment reproduction part, 112 ... Display control part, 113 ... Pitch Detection unit, 114 ... scoring unit, 17 ... speaker, 121 ... music data storage area, 122 ... background image data storage area.

Claims (11)

模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを比較し、両者の差分に応じて採点を行う採点手段であって、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも高い場合のほうが、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも低い場合よりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
を具備することを特徴とする採点装置。
Reference data storage means for storing reference data representing an exemplary sound;
Pitch detecting means for detecting the pitch from the audio signal supplied from the sound collecting means;
The scoring means for comparing the reference data stored in the reference data storage means with the pitch detected by the pitch detection means and scoring according to the difference between the reference data and the pitch detected by the pitch detection means Scoring means for scoring so that the scoring standard becomes stricter when the pitch detected by the pitch detection means is lower than the pitch indicated by the reference data when the pitch is higher than the pitch indicated by the reference data;
And an output means for outputting data indicating the result of the scoring by the scoring means.
前記リファレンスデータ記憶手段は、模範となる音をノートの列で表すリファレンスデータを記憶し、
前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行う
ことを特徴とする請求項1に記載の採点装置。
The reference data storage means stores reference data representing an exemplary sound in a row of notes,
The scoring means compares the reference data stored in the reference data storage means with the pitch detected by the pitch detection means for each note, and performs scoring for each note according to the difference between the two. The scoring device according to claim 1, wherein
前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行うとともに、前記ノート毎の採点結果を集計した採点を行う
ことを特徴とする請求項2に記載の採点装置。
The scoring means compares the reference data stored in the reference data storage means and the pitch detected by the pitch detection means for each note, and performs scoring for each note according to the difference between the two, The scoring device according to claim 2, wherein scoring is performed by summarizing scoring results for each note.
前記採点手段は、前記ノート毎に、前記ピッチ検出手段により検出されたピッチのノート内の平均値を算出し、算出した平均値と前記リファレンスデータの示すピッチとの差分に応じて採点を行う
ことを特徴とする請求項2又は3に記載の採点装置。
The scoring means calculates, for each note, an average value in the note of the pitch detected by the pitch detection means, and performs scoring according to a difference between the calculated average value and the pitch indicated by the reference data. The scoring device according to claim 2, wherein:
前記ピッチ検出手段により検出されたピッチが前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチよりも高いか否か及び低いか否かの少なくともいずれか一方を判定し、該判定結果を報知する報知手段
を具備することを特徴とする請求項1乃至4のいずれか1に記載の採点装置。
It is determined whether or not the pitch detected by the pitch detection means is higher or lower than the pitch indicated by the reference data stored in the reference data storage means, and the determination result is notified. The scoring device according to claim 1, further comprising a notification unit.
模範となる音をノートの列で表すリファレンスデータを記憶するリファレンスデータ記憶手段と、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて採点を行う採点手段であって、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
を具備することを特徴とする採点装置。
Reference data storage means for storing reference data representing exemplary sounds in a row of notes;
Pitch detecting means for detecting the pitch from the audio signal supplied from the sound collecting means;
Determination means for determining the pitch of the reference data stored in the reference data storage means, and determining for each note whether or not the pitch satisfies a predetermined condition;
Comparing the reference data stored in the reference data storage means and the pitch detected by the pitch detection means for each note, scoring means for scoring according to the difference between the two, the determination by the determination means Scoring means for scoring so that a note with a positive result has a stricter scoring standard than a note with a negative determination result by the determination means;
And an output means for outputting data indicating the result of the scoring by the scoring means.
前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、
前記採点手段は、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う
ことを特徴とする請求項1乃至5のいずれか1に記載の採点装置。
Determination means for determining the pitch of the reference data stored in the reference data storage means, and determining for each note whether or not the pitch satisfies a predetermined condition;
The scoring means performs scoring so that a scoring criterion is stricter for a note with a positive determination result by the determination means than for a note with a negative determination result by the determination means. The scoring device according to any one of 1 to 5.
前記判定手段は、前記リファレンスデータに含まれるノートをピッチの昇順又は降順にソートした場合に、各ノートのそれぞれについて、該ノートが予め定められた順位内に含まれるか否かを判定する
ことを特徴とする請求項6又は7に記載の採点装置。
The determination means determines whether each note is included in a predetermined order for each note when the notes included in the reference data are sorted in ascending or descending pitch order. The scoring device according to claim 6 or 7, characterized in that
前記リファレンスデータ記憶手段は、特定の時間区間を示す特定区間データを含むとともに模範となる音を表すリファレンスデータを記憶し、
前記採点手段は、前記特定区間データによって示される時間区間をそれ以外の区間よりも採点基準が厳しくなるように採点を行う
ことを特徴とする請求項1乃至8のいずれか1に記載の採点装置。
The reference data storage means includes reference data representing a specific sound and including specific section data indicating a specific time section,
The scoring device according to any one of claims 1 to 8, wherein the scoring means scores the time interval indicated by the specific interval data so that the scoring standard becomes stricter than the other intervals. .
模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段を備えるコンピュータを、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを比較し、両者の差分に応じて採点を行う採点手段であって、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも高い場合のほうが、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも低い場合よりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
として機能させるプログラム。
A computer comprising reference data storage means for storing reference data representing an exemplary sound,
Pitch detecting means for detecting the pitch from the audio signal supplied from the sound collecting means;
The scoring means for comparing the reference data stored in the reference data storage means with the pitch detected by the pitch detection means and scoring according to the difference between the reference data and the pitch detected by the pitch detection means Scoring means for scoring so that the scoring standard becomes stricter when the pitch detected by the pitch detection means is lower than the pitch indicated by the reference data when the pitch is higher than the pitch indicated by the reference data;
A program that functions as an output unit that outputs data indicating a scoring result by the scoring unit.
模範となる音をノートの列で表すリファレンスデータを記憶するリファレンスデータ記憶手段を備えるコンピュータを、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて採点を行う採点手段であって、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
として機能させるプログラム。
A computer comprising reference data storage means for storing reference data representing an exemplary sound in a row of notes,
Pitch detecting means for detecting the pitch from the audio signal supplied from the sound collecting means;
Determination means for determining the pitch of the reference data stored in the reference data storage means, and determining for each note whether or not the pitch satisfies a predetermined condition;
Comparing the reference data stored in the reference data storage means and the pitch detected by the pitch detection means for each note, scoring means for scoring according to the difference between the two, the determination by the determination means Scoring means for scoring so that a note with a positive result has a stricter scoring standard than a note with a negative determination result by the determination means;
A program that functions as an output unit that outputs data indicating a scoring result by the scoring unit.
JP2007262520A 2007-10-05 2007-10-05 Scoring device and program Pending JP2009092871A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007262520A JP2009092871A (en) 2007-10-05 2007-10-05 Scoring device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007262520A JP2009092871A (en) 2007-10-05 2007-10-05 Scoring device and program

Publications (1)

Publication Number Publication Date
JP2009092871A true JP2009092871A (en) 2009-04-30

Family

ID=40664934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007262520A Pending JP2009092871A (en) 2007-10-05 2007-10-05 Scoring device and program

Country Status (1)

Country Link
JP (1) JP2009092871A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012173624A (en) * 2011-02-23 2012-09-10 Yamaha Corp Singing evaluation device
JP2014133015A (en) * 2013-01-11 2014-07-24 Akita Univ Body motion learning support device
JP2016029429A (en) * 2014-07-25 2016-03-03 株式会社第一興商 Karaoke device
WO2017068990A1 (en) * 2015-10-22 2017-04-27 ヤマハ株式会社 Musical sound evaluation device, evaluation criteria generation device, and recording medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012173624A (en) * 2011-02-23 2012-09-10 Yamaha Corp Singing evaluation device
JP2014133015A (en) * 2013-01-11 2014-07-24 Akita Univ Body motion learning support device
JP2016029429A (en) * 2014-07-25 2016-03-03 株式会社第一興商 Karaoke device
WO2017068990A1 (en) * 2015-10-22 2017-04-27 ヤマハ株式会社 Musical sound evaluation device, evaluation criteria generation device, and recording medium
US10453435B2 (en) 2015-10-22 2019-10-22 Yamaha Corporation Musical sound evaluation device, evaluation criteria generating device, method for evaluating the musical sound and method for generating the evaluation criteria

Similar Documents

Publication Publication Date Title
JP5799966B2 (en) Scoring device and program
JP4353018B2 (en) Musical instrument performance learning apparatus and program thereof
JP2007310204A (en) Musical piece practice support device, control method, and program
JP4212446B2 (en) Karaoke equipment
JP4163584B2 (en) Karaoke equipment
JP4913638B2 (en) Evaluation device and karaoke device
JP4910854B2 (en) Fist detection device, fist detection method and program
JP2009092871A (en) Scoring device and program
JP3996565B2 (en) Karaoke equipment
JP5014073B2 (en) Melody display control device and karaoke device
JP4116849B2 (en) Operation evaluation device, karaoke device, and program
JP2007322934A (en) Singing practice device, karaoke device, and program
JP2005107328A (en) Karaoke machine
JP4222915B2 (en) Singing voice evaluation device, karaoke scoring device and programs thereof
JP4891135B2 (en) Evaluation device
JP2009169103A (en) Practice support device
JP4839967B2 (en) Instruction device and program
JP2007256619A (en) Evaluation device, control method and program
JP3599686B2 (en) Karaoke device that detects the critical pitch of the vocal range when singing karaoke
JP2006251697A (en) Karaoke device
JP6701864B2 (en) Sound evaluation device and sound evaluation method
JP2008040260A (en) Musical piece practice assisting device, dynamic time warping module, and program
JP2008225115A (en) Karaoke device, singing evaluation method, and program
JP4048249B2 (en) Karaoke equipment
JP2013200455A (en) Musical performance training support system