JP2014066740A - Karaoke device - Google Patents
Karaoke device Download PDFInfo
- Publication number
- JP2014066740A JP2014066740A JP2012209733A JP2012209733A JP2014066740A JP 2014066740 A JP2014066740 A JP 2014066740A JP 2012209733 A JP2012209733 A JP 2012209733A JP 2012209733 A JP2012209733 A JP 2012209733A JP 2014066740 A JP2014066740 A JP 2014066740A
- Authority
- JP
- Japan
- Prior art keywords
- value
- singing
- music
- variance value
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、多数の演奏曲のうちから選択される演奏曲を出力させるカラオケ装置に関し、特に、繰り返しカラオケ演奏を行う利用者が参考にし得る歌唱評価を実現するための改良に関する。 The present invention relates to a karaoke apparatus that outputs a performance tune selected from a large number of performance tunes, and more particularly to an improvement for realizing singing evaluation that can be referred to by a user who repeatedly performs karaoke performances.
多数の楽曲のうちから選択される楽曲の演奏出力と併行して、音声入力装置から入力される音声を増幅して出力させるカラオケ装置が知られている。例えば、カラオケボックス等で使用されるカラオケ装置がそれである。斯かるカラオケ装置によれば、予め記憶装置に記憶された多数のカラオケ演奏曲から選択されたカラオケ演奏曲の音楽情報を出力させると共に、そのカラオケ演奏曲の歌詞情報を含む映像をその出力に同期して画面に表示させることで、所望の歌のカラオケ演奏を楽しむことができる。 There is known a karaoke apparatus that amplifies and outputs a sound input from a sound input apparatus in parallel with a performance output of a music selected from a large number of music. For example, a karaoke device used in a karaoke box or the like. According to such a karaoke apparatus, music information of a karaoke performance song selected from a large number of karaoke performance songs stored in advance in a storage device is output, and an image including lyrics information of the karaoke performance song is synchronized with the output. By displaying it on the screen, it is possible to enjoy karaoke performance of a desired song.
ところで、近年普及しているカラオケ装置には、上述のような音楽再生装置としての機能のみならず、音声入力装置（マイクロフォン）から入力される音声情報に基づいて歌唱力等を評価（採点）する演奏評価機能を備えたものがある。例えば、特許文献１に記載されたカラオケ装置がそれである。斯かるカラオケ装置によれば、音程、テンポ、音量等を基準として音声入力装置から入力される音声情報とカラオケ演奏曲の演奏情報とを比較することで、その入力される音声情報の歌唱評価を行うことができる。 By the way, the karaoke apparatus that has been widely used in recent years evaluates (scores) singing ability and the like based not only on the function as the music playback apparatus as described above but also on voice information input from a voice input device (microphone). Some have a performance evaluation function. For example, it is a karaoke apparatus described in Patent Document 1. According to such a karaoke apparatus, the singing evaluation of the input voice information can be performed by comparing the voice information input from the voice input apparatus with the performance information of the karaoke performance song based on the pitch, tempo, volume, and the like. It can be carried out.
しかしながら、前記カラオケ装置を用いてカラオケ演奏を行う利用者の間では、前述したような従来のカラオケ歌唱評価機能は、必ずしも実際の歌唱の優劣を評価し得るものではないという見方が一般的であった。すなわち、従来のカラオケ歌唱評価機能は、その本来の目的に反して歌唱技能の指標としては通常用いられず、例えば話のネタにして場の雰囲気を盛上げる等、あくまでエンターテイメントの一要素にしか成り得ていないのが現状である。従って、本気で歌唱の練習をしたい利用者が、前記カラオケ装置を用いて同じ楽曲を何度も繰り返し歌唱する際、例えばその利用者が上手く歌えていない箇所を指摘する等して上達に寄与する評価結果を提示し得るものではなかった。すなわち、繰り返しカラオケ演奏を行う利用者が参考にし得る歌唱評価を実現する技術は、未だ開発されていないのが現状である。 However, among users who perform karaoke performances using the karaoke device, the general view that the conventional karaoke song evaluation function as described above cannot always evaluate the superiority or inferiority of an actual song. It was. In other words, the conventional karaoke singing evaluation function is not usually used as an index of singing skills against its original purpose, but it is only an element of entertainment, for example, to enhance the atmosphere of the place by using story material. The current situation is that we have not obtained it. Therefore, when a user who wants to practice singing seriously sings the same music over and over again using the karaoke device, he / she contributes to progress by, for example, pointing out where the user is not singing well The evaluation results could not be presented. That is, at present, a technology for realizing singing evaluation that can be referred to by a user who repeatedly performs karaoke performance has not yet been developed.
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、繰り返しカラオケ演奏を行う利用者が参考にし得る歌唱評価を実現するカラオケ装置を提供することにある。 The present invention has been made against the background of the above circumstances, and an object thereof is to provide a karaoke apparatus that realizes singing evaluation that can be referred to by a user who repeatedly performs karaoke performances.
斯かる目的を達成するために、本発明の要旨とするところは、多数の楽曲のうちから選択される楽曲の演奏出力と併行して、音声入力装置から入力される音声を増幅して出力させるカラオケ装置であって、評価対象となる楽曲の複数回の演奏出力にそれぞれ併行して前記音声入力装置から入力される複数回分の歌唱データを記憶する記憶手段と、その記憶手段により記憶された前記複数回分の歌唱データにおける、前記評価対象となる楽曲の所定区間に対応する音程の平均値を算出する平均値算出手段と、その平均値算出手段により算出される音程の平均値と、前記所定区間に対応する音程の手本値との乖離値を算出する乖離値算出手段と、前記記憶手段により記憶された前記複数回分の歌唱データにおける、前記所定区間に対応する音程の分散値を算出する分散値算出手段と、前記乖離値算出手段により算出された乖離値及び前記分散値算出手段により算出された分散値に基づいて、前記所定区間における歌唱評価を行う歌唱評価手段とを、備えたことを特徴とするものである。 In order to achieve such an object, the gist of the present invention is to amplify and output a sound input from a sound input device in parallel with a performance output of a music selected from a large number of music. A karaoke apparatus, storing means for storing a plurality of times of singing data input from the voice input device in parallel with a plurality of performance outputs of the music to be evaluated, and the storage means storing the singing data Average value calculating means for calculating an average value of pitches corresponding to a predetermined section of the music to be evaluated in multiple times of singing data, an average value of pitches calculated by the average value calculating means, and the predetermined section A divergence value calculating means for calculating a divergence value with a sample value of the pitch corresponding to the pitch of the pitch corresponding to the predetermined section in the singing data for the plurality of times stored by the storage means. A variance value calculating means for calculating a variance value, and a song evaluation means for performing a song evaluation in the predetermined section based on the deviation value calculated by the deviation value calculation means and the variance value calculated by the variance value calculation means; Is provided.
このようにすれば、評価対象となる楽曲の複数回の演奏出力にそれぞれ併行して前記音声入力装置から入力される複数回分の歌唱データを記憶する記憶手段と、その記憶手段により記憶された前記複数回分の歌唱データにおける、前記評価対象となる楽曲の所定区間に対応する音程の平均値を算出する平均値算出手段と、その平均値算出手段により算出される音程の平均値と、前記所定区間に対応する音程の手本値との乖離値を算出する乖離値算出手段と、前記記憶手段により記憶された前記複数回分の歌唱データにおける、前記所定区間に対応する音程の分散値を算出する分散値算出手段と、前記乖離値算出手段により算出された乖離値及び前記分散値算出手段により算出された分散値に基づいて、前記所定区間における歌唱評価を行う歌唱評価手段とを、備えたものであることから、複数回分の歌唱データを評価の対象として、音程のずれを示す乖離値及び毎回の歌唱で出される音の安定を示す分散値に基づき各区間における歌唱を詳細且つ客観的に評価することができる。すなわち、繰り返しカラオケ演奏を行う利用者が参考にし得る歌唱評価を実現するカラオケ装置を提供することができる。 If it does in this way, the memory | storage means which memorize | stores the song data for the multiple times input from the said audio | voice input apparatus in parallel with the performance output of the music of the music used as evaluation object, respectively, and the said memory | storage means memorize | stored Average value calculating means for calculating an average value of pitches corresponding to a predetermined section of the music to be evaluated in multiple times of singing data, an average value of pitches calculated by the average value calculating means, and the predetermined section A divergence value calculating means for calculating a divergence value with a sample value corresponding to a pitch, and a variance for calculating a variance value of a pitch corresponding to the predetermined section in the plurality of times of singing data stored by the storage means A song that performs singing evaluation in the predetermined section based on the deviation value calculated by the value calculation means, the deviation value calculation means, and the variance value calculated by the variance value calculation means Since there is an evaluation means, the singing data for a plurality of times is the object of evaluation, and in each section based on the divergence value indicating the deviation of the pitch and the dispersion value indicating the stability of the sound emitted in each singing Singing can be evaluated in detail and objectively. That is, the karaoke apparatus which implement | achieves the singing evaluation which the user who performs karaoke performance repeatedly can refer can be provided.
ここで、好適には、予め定められた関係から、前記乖離値算出手段により算出された乖離値及び前記分散値算出手段により算出された分散値に基づいて、前記所定区間の歌唱に関するアドバイスを表示させるアドバイス表示手段を備えたものである。このようにすれば、音程のずれを示す乖離値及び毎回の歌唱で出される音の安定を示す分散値に基づいて、繰り返しカラオケ演奏を行う利用者が参考にし得るアドバイスを各区間毎に提示することができる。 Here, preferably, advice regarding singing in the predetermined section is displayed based on a deviation value calculated by the deviation value calculation unit and a variance value calculated by the variance value calculation unit from a predetermined relationship. It is provided with the advice display means to make it. In this way, based on the divergence value indicating the deviation of the pitch and the variance value indicating the stability of the sound produced in each singing, advice that can be referred to by the user who repeatedly performs karaoke performance is presented for each section. be able to.
また、好適には、前記アドバイス表示手段は、前記乖離値算出手段により算出された乖離値が規定の基準乖離値以上であり、且つ、前記前記分散値算出手段により算出された分散値が規定の基準分散値未満である場合には、前記所定区間の歌唱に関して、キーの変更を行うべき旨のアドバイスを表示させるものである。このようにすれば、音程のずれを示す乖離値及び毎回の歌唱で出される音の安定を示す分散値に基づいて具体的且つ実用的なアドバイスを提示することができる。 Preferably, the advice display means has a divergence value calculated by the divergence value calculation means equal to or greater than a specified reference divergence value, and the variance value calculated by the variance value calculation means is a specified value. When it is less than the reference variance value, advice indicating that the key should be changed is displayed for the singing of the predetermined section. In this way, specific and practical advice can be presented based on the divergence value indicating the shift in pitch and the variance value indicating the stability of the sound produced in each singing.
また、好適には、前記アドバイス表示手段は、前記乖離値算出手段により算出された乖離値が規定の基準乖離値未満であり、且つ、前記前記分散値算出手段により算出された分散値が規定の基準分散値以上である場合には、前記所定区間の歌唱に関して、前記評価対象となる楽曲を聴き直すべき旨のアドバイスを表示させるものである。このようにすれば、音程のずれを示す乖離値及び毎回の歌唱で出される音の安定を示す分散値に基づいて具体的且つ実用的なアドバイスを提示することができる。 Preferably, the advice display means has a deviation value calculated by the deviation value calculation means less than a prescribed reference deviation value, and the variance value calculated by the variance value calculation means is a prescribed value. When the value is equal to or greater than the reference variance value, advice indicating that the song to be evaluated should be listened to again is displayed for the song in the predetermined section. In this way, specific and practical advice can be presented based on the divergence value indicating the shift in pitch and the variance value indicating the stability of the sound produced in each singing.
また、好適には、前記楽曲における演奏音の音階及び出力タイミングを表すピアノロールを表示させるピアノロール表示手段を備え、そのピアノロール表示手段は、前記乖離値算出手段により算出された乖離値及び前記分散値算出手段により算出された分散値に基づいて、前記所定区間の演奏音に対応するピアノロールの表示を変化させるものである。このようにすれば、音程のずれを示す乖離値及び毎回の歌唱で出される音の安定を示す分散値をピアノロールに反映させることで、繰り返しカラオケ演奏を行う利用者が参考にし得る歌唱評価を視覚的に分かり易く提示することができる。 Preferably, the apparatus further comprises piano roll display means for displaying a piano roll representing a scale and output timing of a performance sound in the music, the piano roll display means including the divergence value calculated by the divergence value calculation means and the Based on the variance value calculated by the variance value calculation means, the display of the piano roll corresponding to the performance sound in the predetermined section is changed. In this way, the singing evaluation that can be referred to by the user who repeatedly performs karaoke performance is reflected in the piano roll by the divergence value indicating the deviation of the pitch and the dispersion value indicating the stability of the sound produced in each singing. It can be presented visually and clearly.
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明が好適に適用されるカラオケ装置１０の構成を例示するブロック線図である。この図１に示すように、本実施例のカラオケ装置１０は、中央演算処理装置であるＣＰＵ１２と、読出専用メモリであるＲＯＭ１４と、随時書込読出メモリであるＲＡＭ１６と、記憶装置であるハードディスク１８と、グラフィックスチップ（グラフィックスボード）等の映像処理部２０と、サウンドチップ（サウンドボード）等の音声処理部２２と、操作パネル２４と、表示制御部２６及び入力制御部２８を介して前記ＣＰＵ１２に接続されたタッチパネルディスプレイ３０と、通信インターフェイス３６と、ＬＡＮインターフェイス３８と、無線通信部４０と、ビデオ出力端子４２を介して前記映像処理部２０に接続された映像表示装置であるディスプレイ４４と、オーディオ入力端子４６を介して前記音声処理部２２に接続された音声入力装置であるマイクロフォン４８と、オーディオ出力端子５０を介して前記音声処理部２２に接続された音声増幅装置であるアンプ５２と、そのアンプ５２に備えられた音声出力装置であるスピーカ５４とを、備えて構成されている。 FIG. 1 is a block diagram illustrating the configuration of a karaoke apparatus 10 to which the present invention is preferably applied. As shown in FIG. 1, a karaoke apparatus 10 according to this embodiment includes a CPU 12 that is a central processing unit, a ROM 14 that is a read-only memory, a RAM 16 that is a write / read memory as needed, and a hard disk 18 that is a storage device. And the video processing unit 20 such as a graphics chip (graphic board), the audio processing unit 22 such as a sound chip (sound board), the operation panel 24, the display control unit 26, and the input control unit 28. A touch panel display 30 connected to the CPU 12, a communication interface 36, a LAN interface 38, a wireless communication unit 40, and a display 44 which is a video display device connected to the video processing unit 20 via a video output terminal 42. Audio connected to the audio processing unit 22 via the audio input terminal 46 A microphone 48 that is a power device, an amplifier 52 that is a sound amplifying device connected to the sound processing unit 22 via an audio output terminal 50, and a speaker 54 that is a sound output device provided in the amplifier 52. It is prepared for.
前記ＣＰＵ１２は、前記ＲＡＭ１６の一時記憶機能を利用しつつ前記ＲＯＭ１４に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置１０における各種制御を実行する。すなわち、前記操作パネル２４、タッチパネルディスプレイ３０、或いは電子早見本装置６８等により所定の楽曲（カラオケ演奏曲）が選曲入力された場合、その選曲入力された楽曲を前記ＲＡＭ１６等に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク１８から前記ＲＡＭ１６に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報（楽曲データ）を読み出す楽曲データ読出制御、楽曲の演奏進行に応じてそのＲＡＭ１６から前記音声処理部２２へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記ＲＡＭ１６に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像処理部２０へ送信する歌詞文字映像出力制御、前記演奏出力制御に際して前記映像処理部２０を制御して所定の背景映像を再生させる背景映像出力制御、及びカラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御等の基本的な制御に加え、後述する本実施例の歌唱評価制御等の各種制御を実行する。 The CPU 12 is a so-called microcomputer that processes and controls electronic information based on a predetermined program stored in advance in the ROM 14 using the temporary storage function of the RAM 16, and executes various controls in the karaoke apparatus 10. . That is, when a predetermined music piece (karaoke performance music piece) is selected and input by the operation panel 24, the touch panel display 30, or the electronic quick sample device 68, the reserved music provided in the RAM 16 or the like is input to the selected music piece. Music selection reservation control to be registered in the table, music data read control for reading performance information and lyrics information (music data) of the karaoke performance music selected from the hard disk 18 in accordance with the performance order of the reserved music table, music performance reading progress In response to the performance output control for transmitting performance information from the RAM 16 to the sound processing unit 22, a lyric character image is generated based on the lyric information developed in the RAM 16 during the performance output control, and sent to the video processing unit 20. The lyric character video output control to be transmitted, the video processing in the performance output control 20 is a background video output control that reproduces a predetermined background video, and inter-song information that outputs inter-song information such as new music information, music selection rankings, store advertisements, etc. while karaoke performance is not being performed. In addition to basic control such as output control, various controls such as singing evaluation control of this embodiment described later are executed.
前記映像処理部２０は、前記ディスプレイ４４に表示される画面（映像）の描画に係る各種制御を行う。例えば、前記ＣＰＵ１２から供給されるデータに基づいてグラフィックスメモリにそのデータを書き込み、そのデータを読み出すことによって前記ビデオ出力端子４２を介して前記ディスプレイ４４に所定の画面を表示させる制御を行う。具体的には、前記カラオケ装置１０による楽曲の演奏出力（カラオケ演奏）に際して、前記ＣＰＵ１２において生成された歌詞文字映像等の文字映像（テロップ）を出力させたり、前記ハードディスク１８に記憶されたＭＰＥＧ（Moving Picture Experts Group）データ等の背景映像情報に基づいて所定の背景映像を再生（デコード）させたり、その背景映像の前面側に前記歌詞文字映像を合成させて前記ディスプレイ４４に表示させたり、その歌詞文字映像を前記楽曲の演奏進行に応じて順次色替わり表示させる等の各種表示制御を行う。なお、本実施例においては、前記映像処理部２０により前記ディスプレイ４４の表示制御を行う一方、後述する表示制御部２６により前記タッチパネルディスプレイ３０（表示装置３２）の表示制御を行う態様について説明するが、前記映像処理部２０により前記タッチパネルディスプレイ３０の表示制御をも行う態様も考えられる。この態様において、前記表示制御部２６は必ずしも設けられなくともよい。 The video processing unit 20 performs various controls related to drawing of a screen (video) displayed on the display 44. For example, based on the data supplied from the CPU 12, the data is written into the graphics memory, and the data is read out so that a predetermined screen is displayed on the display 44 through the video output terminal 42. Specifically, when the karaoke apparatus 10 outputs a musical performance (karaoke performance), a text image (telop) such as a lyric character image generated by the CPU 12 is output, or MPEG (stored in the hard disk 18) is stored. Based on background video information such as Moving Picture Experts Group) data, a predetermined background video is reproduced (decoded), the lyrics character video is synthesized on the front side of the background video and displayed on the display 44, Various display controls are performed such as displaying lyric text images in a color-changed manner as the music progresses. In the present embodiment, a mode in which display control of the display 44 is performed by the video processing unit 20 and display control of the touch panel display 30 (display device 32) is performed by the display control unit 26 described later will be described. A mode in which display control of the touch panel display 30 is also performed by the video processing unit 20 is also conceivable. In this aspect, the display control unit 26 is not necessarily provided.
前記音声処理部２２は、ＦＭ音源やＰＣＭ音源等の各種音源を備え、前記カラオケ装置１０による音声出力に係る各種制御を行う。好適には、電子回路により音を合成し、各種音色を発生するシンセサイザ（synthesizer）を備えている。このシンセサイザは、前記ハードディスク１８から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する。前記シンセサイザは、好適には、ＭＩＤＩ（Musical Instrument Digital Interface）端子を備えたものであり、前記演奏情報は、例えばＭＩＤＩ形式のデータである。そのＭＩＤＩデータに基づいて前記シンセサイザにより生成された音楽信号は、前記マイクロフォン４８から前記オーディオ入力端子４６を介して入力される利用者（演奏者）の歌声とミキシングされ、前記オーディオ出力端子５０を介して前記アンプ５２に供給されてそのアンプ５２により増幅されて前記スピーカ５４から出力される。 The sound processing unit 22 includes various sound sources such as an FM sound source and a PCM sound source, and performs various controls related to sound output by the karaoke apparatus 10. Preferably, a synthesizer that synthesizes sound by an electronic circuit and generates various timbres is provided. The synthesizer generates a music signal such as a musical instrument performance signal based on performance information of a karaoke performance song read from the hard disk 18 and sent. The synthesizer preferably includes a MIDI (Musical Instrument Digital Interface) terminal, and the performance information is, for example, data in the MIDI format. The music signal generated by the synthesizer based on the MIDI data is mixed with the singing voice of the user (performer) input from the microphone 48 via the audio input terminal 46, and via the audio output terminal 50. Is supplied to the amplifier 52, amplified by the amplifier 52, and output from the speaker 54.
前記操作パネル２４は、前記カラオケ装置１０の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、前記タッチパネルディスプレイ３０は、画像（映像）を表示させると共に利用者の操作に応じて前記カラオケ装置１０への操作入力を行う装置であり、そのタッチパネルディスプレイ３０に所定の画像（映像）を表示させる表示装置３２と、利用者の指や図示しない備え付けのペン等による前記タッチパネルディスプレイ３０への接触により入力を行うタッチパネル３４とを、備えている。前記表示制御部２６は、前記ＣＰＵ１２から供給される情報に基づいて前記表示装置３２に表示される画面（映像）の描画を制御する映像処理部である。前記入力制御部２８は、前記タッチパネル３４により入力される操作入力情報を前記ＣＰＵ１２等に供給する入力処理部である。以上の構成を備えていることで、前記タッチパネルディスプレイ３０は、前記ディスプレイ４４とは別に第２の映像表示装置として機能すると共に、前記カラオケ装置１０の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力装置として機能する。 The operation panel 24 selects a song that the user of the karaoke apparatus 10 wants to sing, adjusts the pitch related to the performance output of the song, adjusts the volume balance between the performance and the song, The input device includes operation buttons (switches) or knobs for performing various adjustments such as volume and tone. The touch panel display 30 is a device that displays an image (video) and inputs an operation to the karaoke device 10 according to a user's operation. The touch panel display 30 displays a predetermined image (video). And a touch panel 34 that performs input by touching the touch panel display 30 with a user's finger, an unillustrated pen, or the like. The display control unit 26 is a video processing unit that controls drawing of a screen (video) displayed on the display device 32 based on information supplied from the CPU 12. The input control unit 28 is an input processing unit that supplies operation input information input from the touch panel 34 to the CPU 12 and the like. With the above configuration, the touch panel display 30 functions as a second video display device separately from the display 44, and the user of the karaoke device 10 selects a song that the user wants to sing, It functions as an input device for adjusting the pitch related to the performance output, adjusting the volume balance between the performance and the song, and performing various adjustments such as echo, volume and tone.
前記カラオケ装置１０は、前記通信インターフェイス３６及びネットワーク接続端子５６を介して通信回線６０に接続されており、同様にその通信回線６０に接続された他の機器との相互間でその通信回線６０を介して情報の通信が可能とされている。前記通信回線６０は、例えば公衆電話回線、ＡＤＳＬ回線、或いは光ファイバ回線等から構成されるＷＷＷ（World Wide Web）等のインターネットに接続された広域情報通信網である。前記カラオケ装置１０は、好適には、前記通信回線６０を介して図示しないサーバ（ホスト装置）に接続されており、そのサーバから楽曲データ（カラオケデータ）、背景映像情報、及び曲間情報等のデジタルコンテンツ（Digital Contents）の配信を受け付けるものである。すなわち、前記カラオケ装置１０は、好適には、所定の通信回線に接続されてサーバとの間で各種情報の送受信を行う通信カラオケ装置であるが、斯かる通信回線に接続されない非通信型のカラオケ装置等にも本発明は好適に適用される。 The karaoke apparatus 10 is connected to a communication line 60 via the communication interface 36 and the network connection terminal 56. Similarly, the karaoke apparatus 10 is connected to other devices connected to the communication line 60. Communication of information is possible through the network. The communication line 60 is a wide area information communication network connected to the Internet such as a WWW (World Wide Web) constituted by, for example, a public telephone line, an ADSL line, or an optical fiber line. The karaoke device 10 is preferably connected to a server (host device) (not shown) via the communication line 60, and from the server, music data (karaoke data), background video information, inter-song information, etc. It accepts distribution of digital contents. That is, the karaoke apparatus 10 is preferably a communication karaoke apparatus that is connected to a predetermined communication line and transmits / receives various information to / from the server, but is not connected to such a communication line. The present invention is also suitably applied to devices and the like.
前記ＬＡＮインターフェイス３８は、前記カラオケ装置１０をＬＡＮ接続端子６２を介してＬＡＮ（local area network）６４に接続するための接続器であり、そのように前記ＬＡＮ６４に接続されることで、前記カラオケ装置１０は、同様に前記ＬＡＮ６４に接続された電子早見本装置６８等の他の機器との間で情報の送受信が可能とされる。また、前記カラオケ装置１０が設置される店舗等に複数台のカラオケ装置が備えられている場合において、同様に前記ＬＡＮ６４に接続されたカラオケ装置相互間において情報の送受信が可能とされる。例えば、前記ＬＡＮ６４に接続されたアクセスポイント６６を介して受信される電子早見本装置６８からの選曲入力を受け付けて前記ＲＡＭ１６に設けられた予約曲テーブルに記憶したり、そのアクセスポイント６６を介して前記カラオケ装置１０から電子早見本装置６８へ所定の情報を送信したりというように、電波を介して前記カラオケ装置１０と電子早見本装置６８との間における相互の情報のやりとりが実行される。 The LAN interface 38 is a connector for connecting the karaoke device 10 to a local area network (LAN) 64 via a LAN connection terminal 62, and thus connected to the LAN 64, the karaoke device 10 is also capable of transmitting / receiving information to / from other devices such as the electronic sample device 68 connected to the LAN 64. Further, when a plurality of karaoke apparatuses are provided in a store or the like where the karaoke apparatus 10 is installed, information can be transmitted and received between karaoke apparatuses connected to the LAN 64 in the same manner. For example, the music selection input from the electronic sample device 68 received via the access point 66 connected to the LAN 64 is received and stored in the reserved music table provided in the RAM 16, or via the access point 66. Mutual information exchange is performed between the karaoke device 10 and the electronic quick sample device 68 via radio waves, such as transmitting predetermined information from the karaoke device 10 to the electronic quick sample device 68.
前記無線通信部４０は、前記カラオケ装置１０と前記電子早見本装置６８等の入力装置との間の無線通信を行う。例えば、前記電子早見本装置６８等の入力装置から送信されるリモコン信号を受信するリモコン受信部として機能する。前記カラオケ装置１０と電子早見本装置６８との対応付け（くくりつけ）処理は、好適には、斯かるリモコン信号（赤外線信号）により前記無線通信部４０を介して行われる。すなわち、前記電子早見本装置６８は、それぞれ個別のシリアル番号を有しており、前記対応付け処理においては、例えばそのシリアル番号（例えば、下４桁）及び所定の接続コードを含む信号が接続通知として前記カラオケ装置１０へ送信され、前記無線通信部４０によりその接続信号を受信したカラオケ装置１０に対して前記電子早見本装置６８が対応付けられる。そのようにして前記カラオケ装置１０に対応付けられた電子早見本装置６８は、そのカラオケ装置１０の入力装置（遠隔操作装置）として機能し、その電子早見本装置６８から送信される信号が前記ＣＰＵ１２に供給されることで、前記カラオケ装置１０の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力が受け付けられるようになっている。なお、前記対応付け処理が行われた後、前記電子早見本装置６８と前記カラオケ装置１０との間の通信は、前記ＬＡＮ６４及びアクセスポイント６６等を介したＬＡＮ通信により行われる。また、本実施例においては、前記カラオケ装置１０に対応付け処理の行われた電子早見本装置６８等の入力装置もそのカラオケ装置１０の一部を構成するものであるとして以下の説明を行う。 The wireless communication unit 40 performs wireless communication between the karaoke device 10 and an input device such as the electronic quick sample device 68. For example, it functions as a remote control receiving unit that receives a remote control signal transmitted from an input device such as the electronic quick sample device 68. The association (sticking) process between the karaoke apparatus 10 and the electronic quick sample apparatus 68 is preferably performed via the wireless communication unit 40 by such a remote control signal (infrared signal). That is, the electronic sample device 68 has an individual serial number, and in the association process, for example, a signal including the serial number (for example, the last four digits) and a predetermined connection code is notified of the connection. The electronic quick sample device 68 is associated with the karaoke device 10 that is transmitted to the karaoke device 10 and receives the connection signal by the wireless communication unit 40. The electronic quick sample device 68 thus associated with the karaoke device 10 functions as an input device (remote control device) of the karaoke device 10, and a signal transmitted from the electronic quick sample device 68 is the CPU 12. , The user of the karaoke apparatus 10 selects a song that the user wants to sing, adjusts the pitch related to the performance output of the song, adjusts the volume balance between the performance and the song, and so on. Input for making various adjustments such as volume, tone, etc. is accepted. After the association process is performed, communication between the electronic sample device 68 and the karaoke apparatus 10 is performed by LAN communication via the LAN 64, the access point 66, and the like. Further, in the present embodiment, the following description will be given on the assumption that the input device such as the electronic quick sample device 68 subjected to the association process with the karaoke device 10 also constitutes a part of the karaoke device 10.
前記ハードディスク１８には、カラオケ演奏曲を出力させるための多数の楽曲データ（カラオケ情報）を記憶する楽曲データベース７０及び前記カラオケ装置１０の利用者毎に前記マイクロフォン４８から入力される音声情報に対応する歌唱データを記憶する歌唱データベース７２（図２を参照）をはじめとする各種データベースが設けられている。前記楽曲データベース７０は、前記カラオケ装置１０により出力可能な楽曲にそれぞれ対応する多数（例えば、数万曲分）の楽曲データ（カラオケデータ）を記憶する。この楽曲データは、前記音声処理部２２（シンセサイザ）により所定の楽器の演奏音を生成するための演奏情報と、歌詞文字映像（歌詞テロップ）を生成するための歌詞情報と、その歌詞情報に基づいて生成された歌詞文字映像を演奏の進行に合わせて順次色替わりさせてゆくための歌詞色替情報とを、含むものであり、コンテンツＩＤである各楽曲に固有の選曲番号により識別される。また、前記楽曲データは、曲名、アーティスト名（歌手名）、発表時期、及びジャンル等の属性情報が例えばヘッダ情報として記憶されている。上記ヘッダ情報に含まれるアーティスト名は、その楽曲を歌う（ＣＤ等の市販によりその人の歌であると一般に認識されている）オリジナルアーティストの名前である。また、上記ジャンルは、各楽曲の方向性を示すポップス、ロック、Ｒ＆Ｂ、ヒップホップ、演歌、アニメソング、民謡、洋楽、及び軍歌等の分類が各楽曲に対応して少なくとも１つ定められたものである。また、前記演奏情報は、例えば前記音声処理部２２により予め定められた複数種類の楽器のうち何れかの楽器の演奏音を出力させるためのＭＩＤＩ形式のデータであり、出力に係る演奏音（楽器）の種類と、各演奏音に対応して定められた楽譜情報とを、含んでいる。 The hard disk 18 corresponds to a music database 70 for storing a large number of music data (karaoke information) for outputting a karaoke performance music and voice information input from the microphone 48 for each user of the karaoke apparatus 10. Various databases including a song database 72 (see FIG. 2) for storing song data are provided. The music database 70 stores a large number (for example, tens of thousands of songs) of music data (karaoke data) corresponding to the music that can be output by the karaoke apparatus 10. The music data is based on performance information for generating a performance sound of a predetermined instrument by the sound processing unit 22 (synthesizer), lyrics information for generating a lyric character image (lyric telop), and the lyrics information. The lyric character video generated in this manner is sequentially changed in color as the performance progresses, and is identified by a music selection number unique to each music piece as a content ID. In the music data, attribute information such as a song name, artist name (singer name), announcement time, and genre is stored as header information, for example. The artist name included in the header information is the name of the original artist who sings the music (which is generally recognized as a person's song by CD or the like). In addition, the genre has at least one classification such as pop, rock, R & B, hip hop, enka, anime song, folk song, western music, and military song indicating the direction of each song corresponding to each song. It is. Further, the performance information is, for example, MIDI format data for outputting the performance sound of any of a plurality of types of musical instruments predetermined by the audio processing unit 22, and the performance sound (instrument) ) And musical score information determined corresponding to each performance sound.
前記歌唱データベース７２は、前記マイクロフォン４８から入力される音声情報（歌唱音声）に対応する歌唱データを前記カラオケ装置１０の利用者毎に記憶する。好適には、前記カラオケ装置１０の利用者毎に、そのカラオケ装置１０による楽曲の演奏出力に併行して前記マイクロフォン４８から入力される音声情報に対応する歌唱データを、利用者の識別情報であるユーザＩＤ及び併行して出力された楽曲の選曲番号と対応付けて記憶する。前記歌唱データとしては、前記マイクロフォン４８から入力された音声情報そのものが録音され、ＭＰＥＧデータやＷＡＶデータ等の音声データとして記憶されるものであってもよいが、少なくとも前記マイクロフォン４８から入力された音声情報における所定区間毎の音程に係る情報が記憶される。好適には、前記マイクロフォン４８から入力された音声情報における、前記併行して出力された楽曲の所定区間毎の音程の平均値及び分散値を算出するために必要な情報が、前記歌唱データとして記憶される。 The singing database 72 stores singing data corresponding to voice information (singing voice) input from the microphone 48 for each user of the karaoke apparatus 10. Preferably, for each user of the karaoke device 10, singing data corresponding to voice information input from the microphone 48 in parallel with the performance output of the music by the karaoke device 10 is user identification information. The user ID is stored in association with the music selection number of the music output in parallel. As the singing data, the audio information itself input from the microphone 48 may be recorded and stored as audio data such as MPEG data or WAV data, but at least the audio information input from the microphone 48 may be used. Information related to the pitch for each predetermined section in the information is stored. Preferably, in the voice information input from the microphone 48, information necessary for calculating an average value and a variance value of a pitch for each predetermined section of the music output in parallel is stored as the song data. Is done.
図２は、前記カラオケ装置１０のＣＰＵ１２に備えられた制御機能の要部を説明する機能ブロック線図である。この図２に示す歌唱データ記憶手段８０は、前記マイクロフォン４８から入力される音声情報に対応する歌唱データを記憶する。すなわち、前記カラオケ装置１０の利用者毎に、そのカラオケ装置１０による楽曲の演奏出力に併行して前記マイクロフォン４８から入力される音声情報に対応する歌唱データを、利用者の識別情報であるユーザＩＤ及び併行して出力された楽曲の選曲番号と対応付けて前記歌唱データベース７２に記憶させる。好適には、前記マイクロフォン４８から入力された音声情報そのものを録音し、ＭＰＥＧデータやＷＡＶデータ等の音声データとして前記歌唱データベース７２に記憶させる。また、好適には、前記マイクロフォン４８から入力された音声情報における所定区間毎の音程に係る情報を前記歌唱データベース７２に記憶させる。例えば、前記マイクロフォン４８から入力された音声情報における、前記併行して出力された楽曲の所定区間毎の音程の平均値及び分散値を算出するために必要な情報を、前記歌唱データとして前記歌唱データベース７２に記憶させる。この所定区間は、好適には、対象となる楽曲における拍（拍子）や歌詞情報のまとまり（例えば、１画面内に表示される歌詞文字映像を規定する区分）に対応するものであるが、楽曲によらず例えば数（ｍｓ）といった所定時間に対応するものであってもよい。以下の平均値算出手段８２、分散値算出手段８６、及び歌唱評価手段８８等の説明において同じである。 FIG. 2 is a functional block diagram for explaining a main part of the control function provided in the CPU 12 of the karaoke apparatus 10. The song data storage means 80 shown in FIG. 2 stores song data corresponding to the voice information input from the microphone 48. That is, for each user of the karaoke device 10, the song data corresponding to the voice information input from the microphone 48 in parallel with the performance output of the music by the karaoke device 10 is converted into a user ID that is user identification information. In addition, it is stored in the singing database 72 in association with the music selection number of the music outputted in parallel. Preferably, the audio information input from the microphone 48 is recorded and stored in the singing database 72 as audio data such as MPEG data or WAV data. Preferably, the singing database 72 stores information related to a pitch for each predetermined section in the voice information input from the microphone 48. For example, in the voice information input from the microphone 48, information necessary for calculating the average value and the variance value of the intervals for each predetermined section of the music that is output in parallel is used as the song data as the song data. 72 is stored. This predetermined section preferably corresponds to a set of beats (time signature) and lyrics information (for example, a category defining a lyric character image displayed in one screen) in the target music. However, it may correspond to a predetermined time such as a number (ms). The same applies to the following description of the average value calculating means 82, the variance value calculating means 86, the song evaluation means 88, and the like.
前記歌唱データ記憶手段８０は、前記楽曲の複数回の演奏出力にそれぞれ併行して前記マイクロフォン４８から入力される複数回分の音声情報に対応する歌唱データを、各楽曲毎にその楽曲の選曲番号と対応付けて記憶する。すなわち、前記カラオケ装置１０の利用者毎に、そのカラオケ装置１０による楽曲の複数回の演奏出力にそれぞれ併行して前記マイクロフォン４８から入力される音声情報に対応する歌唱データ（複数回のカラオケ演奏にそれぞれ対応する歌唱データ）を、利用者の識別情報であるユーザＩＤ及び併行して出力された楽曲の選曲番号と対応付けて前記歌唱データベース７２に記憶させる。すなわち、好適には、前記カラオケ装置１０により所定の楽曲のカラオケ演奏が行われる毎に、そのカラオケ演奏と併行して前記マイクロフォン４８から入力された音声情報に対応する歌唱データを前記歌唱データベース７２に記憶させることで、その楽曲に対応して前記歌唱データベース７２に記憶された複数回の演奏出力に対応する歌唱データを更新する。 The singing data storage means 80 includes singing data corresponding to a plurality of times of voice information input from the microphone 48 in parallel with a plurality of performance outputs of the music, and a song selection number of the music for each music. Store in association with each other. That is, for each user of the karaoke apparatus 10, singing data corresponding to voice information input from the microphone 48 in parallel with a plurality of performance outputs of music by the karaoke apparatus 10 (for a plurality of karaoke performances). The corresponding song data) is stored in the song database 72 in association with the user ID which is the identification information of the user and the song selection number of the music output in parallel. That is, preferably, every time a karaoke performance of a predetermined music is performed by the karaoke device 10, singing data corresponding to the voice information input from the microphone 48 along with the karaoke performance is stored in the singing database 72. By making it memorize | store, the song data corresponding to the performance output of the multiple times memorize | stored in the said song database 72 corresponding to the music are updated.
以下、前記歌唱データベース７２に記憶された前記複数回分の歌唱データに基づく、歌唱評価手段８８による歌唱評価制御について説明する。この歌唱評価手段８８による歌唱評価制御、及び以下に詳述する平均値算出手段８２、乖離値算出手段８４、及び分散値算出手段８６による制御は、好適には、前記カラオケ装置１０によるカラオケ演奏が行われ、そのカラオケ演奏に対応して前記歌唱データ記憶手段８０により歌唱データが前記歌唱データベース７２に記憶される（歌唱データベース７２の記憶内容が更新される）毎に実行されるものであるが、前記カラオケ装置１０によるカラオケ演奏をトリガとせず、例えば前記電子早見本装置６８やタッチパネルディスプレイ３０等により所定の歌唱評価実行操作が行われた場合に、前記歌唱データベース７２に記憶された複数回分の歌唱データが読み出されて実行されるものであってもよい。 Hereinafter, the song evaluation control by the song evaluation means 88 based on the plurality of song data stored in the song database 72 will be described. The singing evaluation control by the singing evaluation unit 88 and the control by the average value calculating unit 82, the divergence value calculating unit 84, and the variance value calculating unit 86, which will be described in detail below, are preferably performed by karaoke performance by the karaoke apparatus 10. The singing data is stored every time the singing data storage means 80 stores the singing data in the singing database 72 corresponding to the karaoke performance (the stored content of the singing database 72 is updated). For example, when a predetermined singing evaluation execution operation is performed by the electronic quick sample device 68, the touch panel display 30 or the like without triggering the karaoke performance by the karaoke device 10, the singing for a plurality of times stored in the singing database 72 is performed. Data may be read and executed.
前記平均値算出手段８２は、前記歌唱データベース７２に記憶された前記複数回分の歌唱データにおける、前記歌唱評価手段８８による評価対象となる楽曲の所定区間に対応する音程の平均値Ｍを算出する。好適には、前記歌唱データベース７２に記憶された前記複数回分の歌唱データにおける、前記所定区間毎の音程に係る情報に基づいて、各区間に対応する音程の平均値（複数回分の歌唱における音程の平均）Ｍｎを算出する。ここで、歌唱回数をＮ、区間ｎのｋ回目の歌唱結果（音程）をｋｎとすると、前記平均値Ｍｎは、好適には、次の（１）式に従って算出される。 The average value calculating means 82 calculates an average value M of pitches corresponding to a predetermined section of the music to be evaluated by the singing evaluation means 88 in the plurality of times of singing data stored in the singing database 72. Preferably, based on information related to the pitch for each predetermined section in the plurality of times of singing data stored in the singing database 72, the average value of the pitch corresponding to each section (the pitch of the pitch in the plurality of times of singing). Average) Mn is calculated. Here, if the number of times of singing is N, and the kth singing result (pitch) of section n is kn, the average value Mn is preferably calculated according to the following equation (1).
Ｍｎ＝（Σｋｎ）／Ｎ ・・・（１） Mn = (Σkn) / N (1)
前記乖離値算出手段８４は、前記平均値算出手段８２により算出される音程の平均値と、前記所定区間に対応する音程の手本値との乖離値を算出する。好適には、前記歌唱評価手段８８による評価対象となる楽曲に対応する楽曲データを前記楽曲データベース７０から読み出し、その楽曲データの演奏情報（ＭＩＤＩデータ）におけるガイドメロディ（メインボーカルの歌唱に対応する旋律）等から、その楽曲の前記各区間における音程の手本値Ｍｎ*を取得する。そして、前記平均値算出手段８２により算出される各区間の音程の平均値Ｍｎと、その区間に対応する音程の手本値Ｍｎ*との差の絶対値を前記乖離値として算出する。すなわち、前記平均値算出手段８２により算出される各区間ｎの平均値をＭｎ、区間ｎに対応する手本値をＭｎ*とすると、各区間における乖離値ΔＭｎは、好適には、次の（２）式に従って算出される。 The divergence value calculation means 84 calculates a divergence value between the average value of the pitch calculated by the average value calculation means 82 and the sample value of the pitch corresponding to the predetermined section. Preferably, the music data corresponding to the music to be evaluated by the song evaluation means 88 is read from the music database 70, and the guide melody (melody corresponding to the song of the main vocal) in the performance information (MIDI data) of the music data is read. ) Etc., the sample value Mn * of the pitch in each section of the music is acquired. Then, the absolute value of the difference between the average value Mn of the pitch of each section calculated by the average value calculating means 82 and the sample value Mn * of the pitch corresponding to that section is calculated as the divergence value. That is, if the average value of each section n calculated by the average value calculating means 82 is Mn and the model value corresponding to the section n is Mn * , the divergence value ΔMn in each section is preferably the following ( 2) Calculated according to the equation.
ΔＭｎ＝｜Ｍｎ−Ｍｎ*｜ ・・・（２） ΔMn = | Mn−Mn * | (2)
前記分散値算出手段８６は、前記歌唱データベース７２に記憶された前記複数回分の歌唱データにおける、前記歌唱評価手段８８による評価対象となる楽曲の所定区間に対応する音程の分散値Ｓｎを算出する。好適には、前記歌唱データベース７２に記憶された前記複数回分の歌唱データにおける、前記所定区間毎の音程に係る情報に基づいて、各区間に対応する音程の分散値（複数回分の歌唱における音程の分散）Ｓｎを算出する。ここで、歌唱回数をＮ、区間ｎのｋ回目の歌唱結果（音程）をｋｎ、前記平均値算出手段８２により算出される各区間ｎの平均値をＭｎとすると、前記分散値Ｓｎは、好適には、次の（３）式に従って算出される。 The variance value calculating means 86 calculates a variance value Sn of a pitch corresponding to a predetermined section of the music to be evaluated by the song evaluation means 88 in the singing data for the plurality of times stored in the song database 72. Preferably, based on the information related to the pitch for each predetermined section in the plurality of times of singing data stored in the singing database 72, the variance value of the pitch corresponding to each section (the pitch value in the plurality of times of singing). Variance) Sn is calculated. Here, when the number of singing is N, the kth singing result (pitch) of the section n is kn, and the average value of each section n calculated by the average value calculating means 82 is Mn, the variance value Sn is preferable. Is calculated according to the following equation (3).
Ｓｎ＝｛Σ（ｋｎ−Ｍｎ）2｝／Ｎ ・・・（３） Sn = {Σ (kn−Mn) 2 } / N (3)
前記歌唱評価手段８８は、前記乖離値算出手段８４により算出された乖離値ΔＭｎ及び前記分散値算出手段８６により算出された分散値Ｓｎに基づいて、前記所定区間ｎにおける歌唱評価を行う。図３は、所定の楽曲における歌唱区間ｎ＝１〜２０における各区間の音程の平均値Ｍｎ、手本値Ｍｎ*、及び分散値Ｓｎの一例を示す図である。この図３においては、各区間ｎにおける音程の平均値Ｍｎを黒い四角印、各区間ｎにおける音程の手本値Ｍｎ*をハッチング（右上から左下への斜線範囲で示す）の四角印、各区間ｎにおける音程の分散値Ｓｎを棒グラフでそれぞれ示している。図３に示す例において、各区間ｎに対応する前記乖離値ΔＭｎは、各区間ｎにおける音程の平均値Ｍｎを示す黒い四角印と、各区間ｎにおける音程の手本値Ｍｎ*を示すハッチングの四角印との乖離（四角印相互の中心間距離）に対応し、毎回の歌唱で出される音（音声）の音程が手本値（理想の音程）からどれだけずれているかを示している。また、各区間ｎに対応する前記分散値Ｓｎは、毎回の歌唱で出される音（音声）の安定性を示している。すなわち、複数回分の歌唱データを標本として、各区間ｎにおける前記乖離値ΔＭｎ及び分散値Ｓｎ複合的にみることで、以下に説明するように、各区間ｎの歌唱の特徴が詳しく見えてくる。 The singing evaluation unit 88 performs singing evaluation in the predetermined section n based on the divergence value ΔMn calculated by the divergence value calculating unit 84 and the variance value Sn calculated by the variance value calculating unit 86. FIG. 3 is a diagram illustrating an example of an average value Mn, a sample value Mn * , and a variance value Sn of intervals in each singing interval n = 1 to 20 in a predetermined music piece. In FIG. 3, the mean value Mn of the pitch in each section n is a black square mark, the sample value Mn * of the pitch in each section n is a hatched square mark (indicated by the hatched area from the upper right to the lower left), and each section Each of the pitch dispersion values Sn at n is shown by a bar graph. In the example shown in FIG. 3, the divergence value ΔMn corresponding to each section n includes a black square mark indicating the average value Mn of the pitch in each section n and hatching indicating a sample value Mn * of the pitch in each section n. Corresponding to the divergence from the square mark (distance between the centers of the square marks), it shows how much the pitch of the sound (voice) produced by each singing deviates from the sample value (ideal pitch). In addition, the variance value Sn corresponding to each section n indicates the stability of sound (speech) emitted in each singing. That is, singing data for a plurality of times is used as a sample, and the divergence value ΔMn and variance value Sn in each section n are viewed in combination, so that the characteristics of the singing in each section n can be seen in detail as described below.
例えば、前記区間ｎにおける乖離値ΔＭｎ及び分散値Ｓｎが共に比較的小さい場合、その区間ｎにおいて毎回の歌唱で出される音程に関して手本値からのずれが小さく、毎回の歌唱で出される音程が安定していることがわかる。この場合、歌唱者が前記区間ｎを比較的よく歌えていると考えることができる。また、前記区間ｎにおける乖離値ΔＭｎが比較的大きく、分散値Ｓｎが比較的小さい場合、その区間ｎにおいて毎回の歌唱で出される音程を平均してみると手本値からのずれが大きいが、毎回の歌唱で出される音程は安定していることがわかる。この場合、前記区間ｎにおける理想の音程が歌唱者の音域から外れている等して、その区間ｎにおける音を出すことができないものと考えることができる。また、前記区間ｎにおける乖離値ΔＭｎが比較的小さく、分散値Ｓｎが比較的大きい場合、その区間ｎにおいて毎回の歌唱で出される音程を平均してみると手本値からのずれが小さいが、毎回の歌唱で出される音程は安定していないことがわかる。この場合、理想となる音程を中心に音が出せているのでその音程は歌唱者の音域から外れていないが、理想となる音程を正確に把握できていないために発声音程が不安定になっているものと考えることができる。また、前記区間ｎにおける乖離値ΔＭｎ及び分散値Ｓｎが共に比較的大きい場合、その区間ｎにおいて毎回の歌唱で出される音程に関して手本値からのずれが大きく、毎回の歌唱で出される音程が安定していないことがわかる。この場合、歌唱者が前記区間ｎを上手く歌えておらず、所謂音痴である等して対処法もないと考えることができる。 For example, when the divergence value ΔMn and the variance value Sn in the section n are both relatively small, a deviation from the model value is small with respect to the pitch of each singing in the section n, and the pitch of each singing is stable. You can see that In this case, it can be considered that the singer sings the section n relatively well. In addition, when the deviation value ΔMn in the section n is relatively large and the variance value Sn is relatively small, the average value of the pitches produced in each singing in the section n has a large deviation from the model value. It can be seen that the pitch of each singing is stable. In this case, it can be considered that the sound in the section n cannot be produced because the ideal pitch in the section n is out of the range of the singer. In addition, when the deviation value ΔMn in the section n is relatively small and the variance value Sn is relatively large, the average deviation of pitches in each song in the section n is small, but the deviation from the model value is small. It can be seen that the pitch of each singing is not stable. In this case, since the sound can be output centering on the ideal pitch, the pitch does not deviate from the singer's range, but since the ideal pitch is not accurately grasped, the utterance pitch becomes unstable. Can be considered. In addition, when the deviation value ΔMn and the variance value Sn in the section n are both relatively large, a deviation from the model value is large with respect to the pitch of each singing in the section n, and the pitch of each singing is stable. You can see that they are not. In this case, it can be considered that the singer is not singing the section n well, and there is no countermeasure against it because it is a so-called sound.
前記歌唱評価手段８８は、好適には、前記乖離値算出手段８４により算出された乖離値ΔＭｎが規定の基準乖離値Ｍbo以上であるか否か、及び、前記分散値算出手段８６により算出された分散値Ｓｎが規定の基準分散値Ｓbo以上であるか否かに基づいて、前記区間ｎ毎における歌唱評価を行う。例えば、前記乖離値ΔＭｎが前記基準乖離値Ｍbo未満であり且つ前記分散値Ｓｎが前記基準分散値Ｓbo未満である場合（パターンＡ）、前記乖離値ΔＭｎが前記基準乖離値Ｍbo以上であり且つ前記分散値Ｓｎが前記基準分散値Ｓbo未満である場合（パターンＢ）、前記乖離値ΔＭｎが前記基準乖離値Ｍbo未満であり且つ前記分散値Ｓｎが前記基準分散値Ｓbo以上である場合（パターンＣ）、前記乖離値ΔＭｎが前記基準乖離値Ｍbo以上であり且つ前記分散値Ｓｎが前記基準分散値Ｓbo以上である場合（パターンＤ）それぞれについて、対象となる区間ｎに異なる評価結果を下す。この各パターンにおける評価結果は、好適には、前述したような前記区間ｎにおける乖離値ΔＭｎ及び分散値Ｓｎの大小関係と、その区間ｎにおける歌唱の特徴との関係に基づいて予め定められて記憶されたものである。 The singing evaluation unit 88 is preferably calculated by the variance value calculation unit 86 whether or not the divergence value ΔMn calculated by the divergence value calculation unit 84 is equal to or more than a predetermined reference divergence value Mbo. Based on whether or not the variance value Sn is equal to or greater than a prescribed reference variance value Sbo, the singing evaluation is performed for each section n. For example, when the deviation value ΔMn is less than the reference deviation value Mbo and the variance value Sn is less than the reference variance value Sbo (pattern A), the deviation value ΔMn is greater than or equal to the reference deviation value Mbo and the When the variance value Sn is less than the reference variance value Sbo (pattern B), the deviation value ΔMn is less than the reference deviation value Mbo and the variance value Sn is equal to or greater than the reference variance value Sbo (pattern C). When the deviation value ΔMn is equal to or greater than the reference deviation value Mbo and the variance value Sn is equal to or greater than the reference variance value Sbo (pattern D), different evaluation results are given for the target section n. The evaluation result in each pattern is preferably determined and stored in advance based on the relationship between the divergence value ΔMn and the variance value Sn in the section n as described above and the singing characteristics in the section n. It has been done.
図４は、前記歌唱評価手段８８による歌唱評価制御及び後述するアドバイス表示手段９２によるアドバイス表示制御等に用いられるアドバイステーブル７４を例示する図である。この図４に示すアドバイステーブル７４は、好適には、各区間における乖離値ΔＭｎ及び分散値Ｓｎの大小関係に対応する、その区間ｎにおける歌唱の特徴を反映したものであり、複数の楽曲に係る歌唱評価に共通して用いられるものであってもよいが、各楽曲に対応して個別に定められるものであってもよい。図４に示すアドバイステーブル７４においては、前記区間ｎにおける乖離値ΔＭｎが比較的小さい場合（０≦ΔＭｎ＜０．５）、乖離値ΔＭｎが中程度である場合（０．５≦ΔＭｎ＜１）、乖離値ΔＭｎが比較的大きい場合（１≦ΔＭｎ）それぞれについて、前記区間ｎにおける分散値Ｓｎが比較的小さい場合（０≦Ｓｎ＜１）、分散値Ｓｎが中程度である場合（１≦Ｓｎ＜２）、分散値Ｓｎが比較的大きい場合（２≦Ｓｎ）におけるアドバイスコメントが予め定められて記憶されている。前記歌唱評価手段８８は、好適には、図４に示すようなアドバイステーブル７４に定められた関係から、前記乖離値算出手段８４により算出された乖離値ΔＭｎ及び前記分散値算出手段８６により算出された分散値Ｓｎに基づいて、各区間ｎにおける歌唱評価としてのアドバイスコメントを導出する。 FIG. 4 is a diagram illustrating an advice table 74 used for singing evaluation control by the singing evaluation means 88 and advice display control by advice display means 92 to be described later. The advice table 74 shown in FIG. 4 preferably reflects the characteristics of singing in the section n corresponding to the magnitude relationship between the divergence value ΔMn and the variance value Sn in each section, and relates to a plurality of pieces of music. Although it may be used in common for singing evaluation, it may be determined individually corresponding to each song. In the advice table 74 shown in FIG. 4, when the deviation value ΔMn in the section n is relatively small (0 ≦ ΔMn <0.5), the deviation value ΔMn is medium (0.5 ≦ ΔMn <1). When the deviation value ΔMn is relatively large (1 ≦ ΔMn), the variance value Sn in the section n is relatively small (0 ≦ Sn <1), and the variance value Sn is medium (1 ≦ Sn). <2) An advice comment when the variance value Sn is relatively large (2 ≦ Sn) is determined and stored in advance. The singing evaluation means 88 is preferably calculated by the deviation value ΔMn calculated by the deviation value calculation means 84 and the variance value calculation means 86 from the relationship defined in the advice table 74 as shown in FIG. Based on the distributed value Sn, an advice comment as a singing evaluation in each section n is derived.
図２に示す評価結果表示手段９０は、前記歌唱評価手段８８による評価結果に対応する表示制御を行う。斯かる制御を行うために、好適には、アドバイス表示手段９２及びピアノロール表示手段９４を備えている。このアドバイス表示手段９２は、前記乖離値算出手段８４により算出された乖離値ΔＭｎ及び前記分散値算出手段８６により算出された分散値Ｓｎに基づいて、前記所定区間ｎの歌唱に関するアドバイスを表示させる。好適には、図４に示すようなアドバイステーブル７４に定められた関係から、前記乖離値算出手段８４により算出された乖離値ΔＭｎ及び前記分散値算出手段８６により算出された分散値Ｓｎに基づいて、各区間ｎにおけるアドバイスコメントを取得し、そのアドバイスコメント（例えば、そのアドバイスコメントに対応するテキスト）を含むアドバイス表示画面を、前記映像処理部２０等を介して前記ディスプレイ４４に表示させる。なお、このアドバイス表示画面は、前記電子早見本装置６８のタッチパネルディスプレイや、前記タッチパネルディスプレイ３０（表示装置３２）に表示されるものであってもよい。 The evaluation result display means 90 shown in FIG. 2 performs display control corresponding to the evaluation result by the singing evaluation means 88. In order to perform such control, an advice display unit 92 and a piano roll display unit 94 are preferably provided. The advice display unit 92 displays advice related to the song in the predetermined section n based on the deviation value ΔMn calculated by the deviation value calculation unit 84 and the variance value Sn calculated by the variance value calculation unit 86. Preferably, based on the relationship defined in the advice table 74 as shown in FIG. 4, the deviation value ΔMn calculated by the deviation value calculation unit 84 and the variance value Sn calculated by the variance value calculation unit 86. Then, an advice comment in each section n is acquired, and an advice display screen including the advice comment (for example, text corresponding to the advice comment) is displayed on the display 44 via the video processing unit 20 or the like. In addition, this advice display screen may be displayed on the touch panel display of the electronic quick sample device 68 or the touch panel display 30 (display device 32).
前記アドバイス表示手段９２は、好適には、前記乖離値算出手段８４により算出された乖離値ΔＭｎが規定の基準乖離値Ｍbo以上であるか否か、及び、前記分散値算出手段８６により算出された分散値Ｓｎが規定の基準分散値Ｓbo以上であるか否かに基づいて、前記所定区間ｎの歌唱に関するアドバイスを表示させる。例えば、前記乖離値算出手段８４により算出された乖離値ΔＭｎが規定の基準乖離値Ｍbo以上であり、且つ、前記前記分散値算出手段８６により算出された分散値Ｓｎが規定の基準分散値Ｓbo未満である場合には、前記区間ｎにおける理想の音程が歌唱者の音域から外れている等して、その区間ｎにおける音を出すことができないものと考えることができるため、その区間ｎの歌唱に関して、キーの変更を行うべき旨のアドバイスを表示させる。また、前記乖離値算出手段８４により算出された乖離値ΔＭｎが規定の基準乖離値Ｍbo未満であり、且つ、前記前記分散値算出手段８６により算出された分散値Ｓｎが規定の基準分散値Ｓbo以上である場合には、理想となる音程を中心に音が出せているのでその音程は歌唱者の音域から外れていないが、理想となる音程を正確に把握できていないために発声音程が不安定になっているものと考えることができるため、その区間ｎの歌唱に関して、前記評価対象となる楽曲を聴き直すべき旨のアドバイスを表示させる。 The advice display means 92 is preferably calculated by the variance value calculation means 86 as to whether or not the deviation value ΔMn calculated by the deviation value calculation means 84 is equal to or greater than a prescribed reference deviation value Mbo. Based on whether or not the variance value Sn is equal to or greater than a prescribed reference variance value Sbo, advice regarding singing in the predetermined section n is displayed. For example, the divergence value ΔMn calculated by the divergence value calculation means 84 is equal to or greater than a specified reference divergence value Mbo, and the variance value Sn calculated by the variance value calculation means 86 is less than the specified reference variance value Sbo. If it is, it can be considered that the ideal pitch in the section n is out of the range of the singer, so that the sound in the section n cannot be produced. , Display advice to change the key. Further, the divergence value ΔMn calculated by the divergence value calculating means 84 is less than a specified reference divergence value Mbo, and the variance value Sn calculated by the variance value calculating means 86 is not less than a specified reference variance value Sbo. In this case, since the sound can be output centering on the ideal pitch, the pitch does not deviate from the singer's range, but the pitch is unstable because the ideal pitch is not accurately grasped. Therefore, regarding the singing in the section n, advice indicating that the music to be evaluated should be listened again is displayed.
前記ピアノロール表示手段９４は、前記楽曲における演奏音の音階及び出力タイミングを表すピアノロールを表示させる。好適には、前記楽曲データベース７０に記憶された各楽曲（ＭＩＤＩデータ）のガイドメロディに対応する音階及び出力タイミングを表すピアノロールを表示させる。図５は、前記ピアノロール表示手段９４により表示されるピアノロール１００の一例を示す図である。この図５に示すピアノロール１００においては、画面における一端部（図５においては紙面向かって左側の端部）にピアノの鍵盤を模した映像１０２が表示されると共に、その映像１０２から各鍵盤が他端に向かって伸びるようなスクロール表示領域１０４が設定されている。このスクロール表示領域１０４には、各鍵盤（すなわち音階）に対応する位置に、対象となる楽曲データの例えばガイドメロディに対応するその音階の演奏音の出力タイミング及び音長を示す濃いグレーの帯映像１０６ａ〜１０６ｅ（以下、特に区別しない場合には単に帯映像１０６という）が表示される。対象となる楽曲データの演奏出力においては、前記スクロール表示領域１０４が前記ピアノの鍵盤を模した映像１０２に向かって、あたかもその映像１０２における各鍵盤に引き込まれるようにスクロール表示させられる。そして、前記スクロール表示領域１０４がスクロールさせられることでそのスクロール表示領域１０４に表示された前記帯映像１０６がそのスクロール表示領域１０４と前記映像１０２との境界における演奏線１０８に接触することで、その帯映像１０６に対応する音階の演奏音が出力され、斯かる帯映像１０６が前記演奏線１０８を通過している間、その演奏音の出力が継続される。 The piano roll display means 94 displays a piano roll indicating the scale and output timing of the performance sound in the music. Preferably, a piano roll representing the scale and output timing corresponding to the guide melody of each piece of music (MIDI data) stored in the music database 70 is displayed. FIG. 5 is a view showing an example of the piano roll 100 displayed by the piano roll display means 94. In the piano roll 100 shown in FIG. 5, an image 102 simulating a piano keyboard is displayed at one end portion (the left end portion in FIG. 5) of the screen. A scroll display area 104 that extends toward the other end is set. In this scroll display area 104, a dark gray belt image showing the output timing and the length of the performance sound of the scale corresponding to, for example, a guide melody of the target music data, at a position corresponding to each keyboard (ie, scale). 106a to 106e (hereinafter, simply referred to as a band image 106 unless otherwise distinguished) are displayed. In the performance output of the target music data, the scroll display area 104 is scroll-displayed so as to be drawn into each keyboard in the video 102 toward the video 102 imitating the piano keyboard. Then, when the scroll display area 104 is scrolled, the band image 106 displayed in the scroll display area 104 comes into contact with the performance line 108 at the boundary between the scroll display area 104 and the image 102, thereby The performance sound of the scale corresponding to the band image 106 is output, and while the band image 106 passes through the performance line 108, the output of the performance sound is continued.
前記ピアノロール表示手段９４は、前記歌唱評価手段８８により歌唱評価の行われた楽曲の出力に係る前記ピアノロール１００の表示に関して、前記乖離値算出手段８４により算出された乖離値ΔＭｎ及び前記分散値算出手段８６により算出された分散値Ｓｎに基づいて、前記所定区間ｎの演奏音に対応するピアノロール１００（帯映像１０６）の表示を変化させる。例えば、図５のピアノロール１００における帯映像１０６ｂ、１０６ｄ、１０６ｅに例示するように、前記分散値算出手段８６により算出された分散値Ｓｎに基づいて、各区間ｎに対応する帯映像１０６を波打たせる（くねらせる）ようにその表示を変更する。好適には、図５に示す帯映像１０６ｂ及び１０６ｅと、帯映像１０６ｄとの対比において示すように、前記分散値算出手段８６により算出された分散値Ｓｎが大きいほど、各区間ｎに対応する帯映像１０６を波打たせる度合いを大きくする（図５に示す帯映像１０６ｄは、帯映像１０６ｂ及び１０６ｅよりも大きく波打っている）。また、好適には、前記乖離値算出手段８４により算出された乖離値ΔＭｎに基づいて、前記所定区間ｎの演奏音に対応するピアノロール１００（帯映像１０６）の色（帯色）を変化させる。例えば、前記区間ｎにおける乖離値ΔＭｎが比較的小さい場合には青色、乖離値ΔＭｎが中程度である場合には黄色、乖離値ΔＭｎが比較的大きい場合には赤色といように、前記帯映像１０６の色を制御する。この図５を用いて説明したピアノロール１００は、好適には、前記カラオケ装置１０によるカラオケ演奏に際して、そのカラオケ演奏に係る歌詞文字映像を含む演奏映像の一部として、そのカラオケ演奏（楽曲の演奏出力）と併行して前記ディスプレイ４４に表示されるものであるが、前記歌唱データベース７２に記憶された歌唱データの再生に際して、その再生と併行して前記ディスプレイ４４に表示されるものであってもよい。また、前記カラオケ装置１０における他のアプリケーションソフトウェアにおいて、図５に示すようなピアノロール１００が表示されるものであってもよい。 The piano roll display means 94 relates to the divergence value ΔMn calculated by the divergence value calculation means 84 and the variance value with respect to the display of the piano roll 100 related to the output of the music subjected to the singing evaluation by the singing evaluation means 88. Based on the variance Sn calculated by the calculation means 86, the display of the piano roll 100 (band image 106) corresponding to the performance sound in the predetermined section n is changed. For example, as illustrated in the band images 106b, 106d, and 106e in the piano roll 100 of FIG. 5, the band image 106 corresponding to each section n is waved based on the variance value Sn calculated by the variance value calculating unit 86. Change the display so that it strikes. Preferably, as shown in a comparison between the band images 106b and 106e shown in FIG. 5 and the band image 106d, the band corresponding to each section n increases as the variance value Sn calculated by the variance value calculation means 86 increases. The degree to which the image 106 is waved is increased (the band image 106d shown in FIG. 5 is waved more than the band images 106b and 106e). Preferably, based on the deviation value ΔMn calculated by the deviation value calculation means 84, the color (band color) of the piano roll 100 (band image 106) corresponding to the performance sound in the predetermined section n is changed. . For example, the band image 106 is blue when the deviation value ΔMn in the section n is relatively small, yellow when the deviation value ΔMn is medium, and red when the deviation value ΔMn is relatively large. Control the color. The piano roll 100 described with reference to FIG. 5 preferably has a karaoke performance (music performance) as a part of a performance image including a lyric character image related to the karaoke performance when the karaoke device 10 performs the karaoke performance. Output) and displayed on the display 44. When the song data stored in the song database 72 is reproduced, the song 44 may be displayed on the display 44 in parallel with the reproduction. Good. Moreover, in other application software in the karaoke apparatus 10, a piano roll 100 as shown in FIG. 5 may be displayed.
図６は、前記カラオケ装置１０のＣＰＵ１２による歌唱評価制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。 FIG. 6 is a flowchart for explaining a main part of an example of the singing evaluation control by the CPU 12 of the karaoke apparatus 10 and is repeatedly executed at a predetermined cycle.
先ず、ステップ（以下、ステップを省略する）Ｓ１において、前記カラオケ装置１０により所定の楽曲のカラオケ演奏が行われたか否かが判断される。このＳ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、Ｓ１の判断が肯定される場合には、Ｓ２において、前記マイクロフォン４８から入力される音声情報に対応する歌唱データが、歌唱者のユーザＩＤ及びカラオケ演奏に係る楽曲の選曲番号と対応付けられて前記歌唱データベース７２に記憶される。次に、Ｓ３において、反覆演奏評価モードであるか否か、すなわち前記歌唱データベース７２に歌唱データが記憶される毎に、その歌唱データベース７２に記憶された複数回分の歌唱データに係る歌唱評価を行うモードが成立させられているか否かが判断される。このＳ３の判断が否定される場合には、それをもって本ルーチンが終了させられるが、Ｓ３の判断が肯定される場合には、Ｓ４以下の処理が実行される。 First, in step (hereinafter, step is omitted) S1, it is determined whether or not a karaoke performance of a predetermined music piece has been performed by the karaoke apparatus 10. If the determination at S1 is negative, the routine is terminated. If the determination at S1 is affirmative, the song data corresponding to the audio information input from the microphone 48 is determined at S2. Are stored in the singing database 72 in association with the user ID of the singer and the music selection number of the music related to the karaoke performance. Next, in S <b> 3, whether or not it is a repetitive performance evaluation mode, that is, each time song data is stored in the song database 72, singing evaluation related to a plurality of times of song data stored in the song database 72 is performed. It is determined whether or not the mode is established. If the determination in S3 is negative, the routine is terminated accordingly, but if the determination in S3 is affirmative, the processing in S4 and subsequent steps is executed.
Ｓ４においては、前記楽曲データベース７２から、評価の対象となる楽曲に係る複数回分の歌唱データが読み出される。次に、Ｓ５において、Ｓ４にて読み出された複数回分の歌唱データにおける、所定区間ｎ毎の音程に係る情報に基づいて、各区間ｎに対応する音程の平均値Ｍｎが算出される。次に、Ｓ６において、評価対象となる楽曲に対応する楽曲データが前記楽曲データベース７０から読み出され、その楽曲データの演奏情報（ＭＩＤＩデータ）におけるガイドメロディ等に対応する前記各区間ｎにおける音程の手本値Ｍｎ*と、Ｓ５にて算出された各区間の音程の平均値Ｍｎとの差の絶対値が乖離値ΔＭｎとして算出された後、Ｓ７以下の処理が実行される。 In S4, singing data for a plurality of times related to the music to be evaluated is read from the music database 72. Next, in S5, the average value Mn of the pitch corresponding to each section n is calculated based on the information related to the pitch for each predetermined section n in the singing data for a plurality of times read in S4. Next, in S6, music data corresponding to the music to be evaluated is read from the music database 70, and the pitch of each interval n corresponding to the guide melody or the like in the performance information (MIDI data) of the music data is read. After the absolute value of the difference between the sample value Mn * and the average value Mn of the intervals in each section calculated in S5 is calculated as the deviation value ΔMn, the processes in S7 and subsequent steps are executed.
Ｓ７においては、Ｓ４にて読み出された複数回分の歌唱データにおける、前記所定区間ｎ毎の音程に係る情報に基づいて、各区間ｎに対応する音程の分散値Ｓｎが算出される。次に、Ｓ８において、Ｓ６にて算出された乖離値ΔＭｎ及びＳ７にて算出された分散値Ｓｎに基づいて、前記所定区間ｎにおける歌唱評価が実行される。次に、Ｓ９において、Ｓ６にて算出された乖離値ΔＭｎ及びＳ７にて算出された分散値Ｓｎに基づいて、Ｓ８における歌唱評価に対応するアドバイスコメントを含む映像が前記ディスプレイ４４に表示されたり、図５に示すようなピアノロール１００における各区間ｎに対応する帯映像１０６の表示が変化させられる等の表示制御が行われた後、本ルーチンが終了させられる。以上の制御において、Ｓ２が前記歌唱データ記憶手段８０の動作に、Ｓ５が前記平均値算出手段８２の動作に、Ｓ６が前記乖離値算出手段８４の動作に、Ｓ７が前記分散値算出手段８６の動作に、Ｓ８が前記歌唱評価手段８８の動作に、Ｓ９が前記評価結果表示手段９０（アドバイス表示手段９２及びピアノロール表示手段９４の動作）に、それぞれ対応する。 In S7, the variance value Sn of the pitch corresponding to each section n is calculated based on the information related to the pitch for each predetermined section n in the singing data for a plurality of times read in S4. Next, in S8, the singing evaluation in the predetermined section n is executed based on the deviation value ΔMn calculated in S6 and the variance value Sn calculated in S7. Next, in S9, based on the deviation value ΔMn calculated in S6 and the variance value Sn calculated in S7, an image including an advice comment corresponding to the singing evaluation in S8 is displayed on the display 44, or After the display control such as changing the display of the band image 106 corresponding to each section n in the piano roll 100 as shown in FIG. 5 is performed, this routine is ended. In the above control, S2 is the operation of the song data storage unit 80, S5 is the operation of the average value calculation unit 82, S6 is the operation of the deviation value calculation unit 84, and S7 is the operation of the variance value calculation unit 86. S8 corresponds to the operation of the singing evaluation means 88, and S9 corresponds to the evaluation result display means 90 (operations of the advice display means 92 and the piano roll display means 94).
このように、本実施例によれば、評価対象となる楽曲の複数回の演奏出力にそれぞれ併行して音声入力装置である前記マイクロフォン４８から入力される複数回分の歌唱データを記憶する歌唱データ記憶手段８０（Ｓ２）と、その歌唱データ記憶手段８０により記憶された前記複数回分の歌唱データにおける、前記評価対象となる楽曲の所定区間ｎに対応する音程の平均値Ｍｎを算出する平均値算出手段８２（Ｓ５）と、その平均値算出手段８２により算出される音程の平均値Ｍｎと、前記所定区間ｎに対応する音程の手本値Ｍｎ*との乖離値ΔＭｎを算出する乖離値算出手段８４（Ｓ６）と、前記歌唱データ記憶手段８０により記憶された前記複数回分の歌唱データにおける、前記所定区間ｎに対応する音程の分散値Ｓｎを算出する分散値算出手段８６（Ｓ７）と、前記乖離値算出手段８４により算出された乖離値ΔＭｎ及び前記分散値算出手段８６により算出された分散値Ｓｎに基づいて、前記所定区間ｎにおける歌唱評価を行う歌唱評価手段８８（Ｓ８）とを、備えたものであることから、複数回分の歌唱データを評価の対象として、音程のずれを示す乖離値ΔＭｎ及び毎回の歌唱で出される音の安定を示す分散値Ｓｎに基づき各区間ｎにおける歌唱を詳細且つ客観的に評価することができる。すなわち、繰り返しカラオケ演奏を行う利用者が参考にし得る歌唱評価を実現するカラオケ装置１０を提供することができる。 Thus, according to the present embodiment, song data storage for storing a plurality of times of singing data input from the microphone 48 which is an audio input device in parallel with a plurality of performance outputs of the music to be evaluated. Means 80 (S2) and an average value calculating means for calculating an average value Mn of pitches corresponding to a predetermined section n of the music to be evaluated in the singing data for a plurality of times stored in the song data storage means 80 82 (S5), a deviation value calculation means 84 for calculating a deviation value ΔMn between the average value Mn of the pitch calculated by the average value calculation means 82 and the sample value Mn * of the pitch corresponding to the predetermined section n. (S6) and variance value calculation for calculating the variance value Sn of the pitch corresponding to the predetermined section n in the song data for the plurality of times stored by the song data storage means 80 Singing evaluation for performing singing evaluation in the predetermined section n based on the deviation value ΔMn calculated by the output means 86 (S7), the deviation value calculating means 84, and the variance value Sn calculated by the variance value calculating means 86 Since means 88 (S8) is provided, singing data for a plurality of times are evaluated, and a deviation value ΔMn indicating a shift in pitch and a variance value Sn indicating the stability of the sound produced in each singing Thus, the singing in each section n can be evaluated in detail and objectively. That is, the karaoke apparatus 10 which implement | achieves the singing evaluation which the user who performs karaoke performance repeatedly can refer can be provided.
また、予め定められた関係から、前記乖離値算出手段８４により算出された乖離値ΔＭｎ及び前記分散値算出手段８６により算出された分散値Ｓｎに基づいて、前記所定区間ｎの歌唱に関するアドバイスを表示させるアドバイス表示手段９２（Ｓ９）を備えたものであるため、音程のずれを示す乖離値ΔＭｎ及び毎回の歌唱で出される音の安定を示す分散値Ｓｎに基づいて、繰り返しカラオケ演奏を行う利用者が参考にし得るアドバイスを各区間ｎ毎に提示することができる。 In addition, based on a predetermined relationship, advice regarding singing in the predetermined section n is displayed based on the deviation value ΔMn calculated by the deviation value calculation unit 84 and the variance value Sn calculated by the variance value calculation unit 86. The user who performs the karaoke performance repeatedly based on the divergence value ΔMn indicating the deviation of the pitch and the variance value Sn indicating the stability of the sound produced in each singing since the advice display means 92 (S9) is provided. Can be presented for each section n.
また、前記アドバイス表示手段９２は、前記乖離値算出手段８４により算出された乖離値ΔＭｎが規定の基準乖離値Ｍbo以上であり、且つ、前記前記分散値算出手段８６により算出された分散値Ｓｎが規定の基準分散値Ｓbo未満である場合には、前記所定区間ｎの歌唱に関して、キーの変更を行うべき旨のアドバイスを表示させるものであるため、音程のずれを示す乖離値ΔＭｎ及び毎回の歌唱で出される音の安定を示す分散値Ｓｎに基づいて具体的且つ実用的なアドバイスを提示することができる。 Further, the advice display means 92 has a deviation value ΔMn calculated by the deviation value calculation means 84 equal to or greater than a prescribed reference deviation value Mbo, and the variance value Sn calculated by the variance value calculation means 86 is When it is less than the standard reference variance Sbo, the advice indicating that the key should be changed is displayed with respect to the singing of the predetermined section n. Therefore, the divergence value ΔMn indicating the pitch deviation and the singing each time Specific and practical advice can be presented on the basis of the dispersion value Sn indicating the stability of the sound produced in step S2.
また、前記アドバイス表示手段９２は、前記乖離値算出手段８４により算出された乖離値ΔＭｎが規定の基準乖離値Ｍbo未満であり、且つ、前記前記分散値算出手段８６により算出された分散値Ｓｎが規定の基準分散値Ｓbo以上である場合には、前記所定区間ｎの歌唱に関して、前記評価対象となる楽曲を聴き直すべき旨のアドバイスを表示させるものであるため、音程のずれを示す乖離値ΔＭｎ及び毎回の歌唱で出される音の安定を示す分散値Ｓｎに基づいて具体的且つ実用的なアドバイスを提示することができる。 Further, the advice display means 92 has a deviation value ΔMn calculated by the deviation value calculation means 84 that is less than a prescribed reference deviation value Mbo, and the variance value Sn calculated by the variance value calculation means 86 is When it is equal to or greater than the prescribed reference variance value Sbo, an advice indicating that the song to be evaluated should be listened to again is displayed for the song in the predetermined section n. In addition, specific and practical advice can be presented based on the dispersion value Sn indicating the stability of the sound produced in each singing.
また、前記楽曲における演奏音の音階及び出力タイミングを表すピアノロール１００を表示させるピアノロール表示手段９４（Ｓ９）を備え、そのピアノロール表示手段９４は、前記乖離値算出手段８４により算出された乖離値ΔＭｎ及び前記分散値算出手段８６により算出された分散値Ｓｎに基づいて、前記所定区間ｎの演奏音に対応するピアノロール１００（帯映像１０６）の表示を変化させるものであるため、音程のずれを示す乖離値ΔＭｎ及び毎回の歌唱で出される音の安定を示す分散値Ｓｎをピアノロール１００に反映させることで、繰り返しカラオケ演奏を行う利用者が参考にし得る歌唱評価を視覚的に分かり易く提示することができる。 The piano roll display means 94 (S9) for displaying the piano roll 100 indicating the scale and output timing of the performance sound in the music is provided. The piano roll display means 94 is a divergence calculated by the divergence value calculation means 84. Based on the value ΔMn and the variance value Sn calculated by the variance value calculation means 86, the display of the piano roll 100 (band image 106) corresponding to the performance sound in the predetermined section n is changed. Reflecting the deviation value ΔMn indicating the deviation and the variance value Sn indicating the stability of the sound produced in each singing on the piano roll 100 makes it easy to visually understand the singing evaluation that can be referred to by the user who repeatedly performs karaoke performances. Can be presented.
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。 The preferred embodiments of the present invention have been described in detail with reference to the drawings. However, the present invention is not limited to these embodiments, and may be implemented in other modes.
例えば、前述の実施例においては、前記歌唱評価手段８８による評価結果に対応する映像として、図４に示すアドバイステーブル７４に記憶されたアドバイスコメントを含む映像や、図５に示すようなピアノロール１００を前記ディスプレイ４４に表示させる例を説明したが、本発明はこれに限定されるものではなく、例えば、図３に示すような各区間ｎにおける音程の平均値Ｍｎ（手本値Ｍｎ*からのずれ）及び分散値Ｓｎを示すグラフを前記映像処理部２０等を介して前記ディスプレイ４４に表示させるものであってもよい。また、斯かる図３に示すようなグラフと共に、図４に示すアドバイステーブル７４に記憶されたアドバイスコメントや、図５に示すようなピアノロール１００を表示させる態様も考えられる。 For example, in the above-described embodiment, as a video corresponding to the evaluation result by the singing evaluation means 88, a video including an advice comment stored in the advice table 74 shown in FIG. 4 or a piano roll 100 as shown in FIG. the has been described an example to be displayed on the display 44, the present invention is not limited thereto, for example, the pitch in each section n, as shown in FIG. 3 average Mn (from model values Mn * And a graph indicating the variance value Sn may be displayed on the display 44 via the video processing unit 20 or the like. Moreover, the aspect which displays the advice comment memorize | stored in the advice table 74 shown in FIG. 4 and the piano roll 100 as shown in FIG. 5 with the graph as shown in FIG. 3 is also considered.
また、前述の実施例において、前記歌唱評価手段８８は、前記乖離値算出手段８４により算出された乖離値ΔＭｎが規定の基準乖離値Ｍbo以上であるか否か、及び、前記分散値算出手段８６により算出された分散値Ｓｎが規定の基準分散値Ｓbo以上であるか否かに基づいて、前記区間ｎ毎における歌唱評価を行うものであったが、前記歌唱評価手段８８による歌唱評価としては斯かる制御に限定されず、種々の態様が考えられる。例えば、前記分散値算出手段８６により算出された各区間ｎの分散値Ｓｎに関して、対象となる楽曲を通しての平均（分散値Ｓｎの平均）Ｍｓｎ及び分散（分散値Ｓｎの分散）Ｓｓｎを算出し、その分散Ｓｓｎが予め定められた閾値を超える区間ｎを、歌唱不安定区間として指摘する歌唱評価を行うものであってもよい。また、前記分散Ｓｓｎの上位複数区間を、歌唱不安定区間として指摘する等の態様も考えられる。 In the above-described embodiment, the singing evaluation unit 88 determines whether or not the divergence value ΔMn calculated by the divergence value calculation unit 84 is equal to or more than a predetermined reference divergence value Mbo, and the variance value calculation unit 86. The singing evaluation for each section n is performed based on whether or not the variance value Sn calculated by the above is equal to or more than a prescribed reference variance value Sbo. The present invention is not limited to such control, and various modes are conceivable. For example, with respect to the variance value Sn of each section n calculated by the variance value calculation means 86, an average (average of variance value Sn) Msn and variance (variance of variance value Sn) Ssn through the target music are calculated, You may perform the song evaluation which points out the area n where the dispersion | distribution Ssn exceeds the predetermined threshold value as a song unstable area. Moreover, the aspect of pointing out the high order several area of the said dispersion | distribution Ssn as a song unstable area etc. is also considered.
また、前述の実施例においては、多数の楽曲のうちから選択される楽曲の演奏出力と併行して、音声入力装置から入力される音声を増幅して出力させる一般的なカラオケ装置１０に本発明が適用された例を説明したが、本発明は、専ら歌唱の練習を行うために用いられる歌唱練習装置や、所謂音ゲー等のゲームを実行するコンシューマゲーム機等にも好適に適用されるものである。 In the above-described embodiment, the present invention is applied to the general karaoke apparatus 10 that amplifies and outputs the sound input from the sound input apparatus in parallel with the performance output of the music selected from a large number of music. However, the present invention is also preferably applied to a singing practice apparatus used exclusively for practicing singing, a consumer game machine for executing a game such as a so-called sound game, and the like. It is.
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。 In addition, although not illustrated one by one, the present invention is implemented with various modifications within a range not departing from the gist thereof.
１０：カラオケ装置、４８：マイクロフォン（音声入力装置）、８０：歌唱データ記憶手段、８２：平均値算出手段、８４：乖離値算出手段、８６：分散値算出手段、８８：歌唱評価手段、９２：アドバイス表示手段、９４：ピアノロール表示手段、１００：ピアノロール 10: Karaoke device, 48: Microphone (voice input device), 80: Singing data storage means, 82: Average value calculating means, 84: Deviation value calculating means, 86: Variance value calculating means, 88: Singing evaluation means, 92: Advice display means, 94: Piano roll display means, 100: Piano roll
Claims (5)
評価対象となる楽曲の複数回の演奏出力にそれぞれ併行して前記音声入力装置から入力される複数回分の歌唱データを記憶する記憶手段と、
該記憶手段により記憶された前記複数回分の歌唱データにおける、前記評価対象となる楽曲の所定区間に対応する音程の平均値を算出する平均値算出手段と、
該平均値算出手段により算出される音程の平均値と、前記所定区間に対応する音程の手本値との乖離値を算出する乖離値算出手段と、
前記記憶手段により記憶された前記複数回分の歌唱データにおける、前記所定区間に対応する音程の分散値を算出する分散値算出手段と、
前記乖離値算出手段により算出された乖離値及び前記分散値算出手段により算出された分散値に基づいて、前記所定区間における歌唱評価を行う歌唱評価手段と
を、備えたものであることを特徴とするカラオケ装置。 A karaoke device that amplifies and outputs a sound input from a sound input device in parallel with a performance output of a music selected from a large number of songs,
Storage means for storing singing data for a plurality of times input from the voice input device in parallel with a plurality of performance outputs of the music to be evaluated;
Average value calculating means for calculating an average value of intervals corresponding to a predetermined section of the music to be evaluated in the plurality of times of singing data stored by the storage means;
A deviation value calculating means for calculating a deviation value between an average value of the pitches calculated by the average value calculating means and a sample value of the pitch corresponding to the predetermined section;
A variance value calculating means for calculating a variance value of a pitch corresponding to the predetermined section in the plurality of times of singing data stored by the storage means;
Singing evaluation means for performing singing evaluation in the predetermined section based on the divergence value calculated by the divergence value calculating means and the variance value calculated by the variance value calculating means, Karaoke device to do.
該ピアノロール表示手段は、前記乖離値算出手段により算出された乖離値及び前記分散値算出手段により算出された分散値に基づいて、前記所定区間の演奏音に対応するピアノロールの表示を変化させるものである
請求項１から４の何れか１項に記載のカラオケ装置。 Piano roll display means for displaying a piano roll indicating the scale and output timing of the performance sound in the music,
The piano roll display means changes the display of the piano roll corresponding to the performance sound of the predetermined section based on the deviation value calculated by the deviation value calculation means and the variance value calculated by the variance value calculation means. The karaoke apparatus according to any one of claims 1 to 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012209733A JP6073618B2 (en) | 2012-09-24 | 2012-09-24 | Karaoke equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012209733A JP6073618B2 (en) | 2012-09-24 | 2012-09-24 | Karaoke equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014066740A true JP2014066740A (en) | 2014-04-17 |
| JP6073618B2 JP6073618B2 (en) | 2017-02-01 |
Family
ID=50743244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012209733A Active JP6073618B2 (en) | 2012-09-24 | 2012-09-24 | Karaoke equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6073618B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017068990A1 (en) * | 2015-10-22 | 2017-04-27 | ヤマハ株式会社 | Musical sound evaluation device, evaluation criteria generation device, and recording medium |
| JP2017090737A (en) * | 2015-11-12 | 2017-05-25 | ブラザー工業株式会社 | Karaoke system, karaoke device and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1195775A (en) * | 1997-09-19 | 1999-04-09 | Ricoh Co Ltd | Music reproducing device |
| JP2004205819A (en) * | 2002-12-25 | 2004-07-22 | Yamaha Corp | Karaoke equipment |
| JP2004206009A (en) * | 2002-12-26 | 2004-07-22 | Yamaha Corp | Karaoke machine |
| JP2008209640A (en) * | 2007-02-26 | 2008-09-11 | Daiichikosho Co Ltd | Karaoke sound effect output system |
| JP2009008861A (en) * | 2007-06-27 | 2009-01-15 | Daiichikosho Co Ltd | Karaoke system which notifies singer of difficult phrase during performance |
-
2012
- 2012-09-24 JP JP2012209733A patent/JP6073618B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1195775A (en) * | 1997-09-19 | 1999-04-09 | Ricoh Co Ltd | Music reproducing device |
| JP2004205819A (en) * | 2002-12-25 | 2004-07-22 | Yamaha Corp | Karaoke equipment |
| JP2004206009A (en) * | 2002-12-26 | 2004-07-22 | Yamaha Corp | Karaoke machine |
| JP2008209640A (en) * | 2007-02-26 | 2008-09-11 | Daiichikosho Co Ltd | Karaoke sound effect output system |
| JP2009008861A (en) * | 2007-06-27 | 2009-01-15 | Daiichikosho Co Ltd | Karaoke system which notifies singer of difficult phrase during performance |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017068990A1 (en) * | 2015-10-22 | 2017-04-27 | ヤマハ株式会社 | Musical sound evaluation device, evaluation criteria generation device, and recording medium |
| US10453435B2 (en) | 2015-10-22 | 2019-10-22 | Yamaha Corporation | Musical sound evaluation device, evaluation criteria generating device, method for evaluating the musical sound and method for generating the evaluation criteria |
| JP2017090737A (en) * | 2015-11-12 | 2017-05-25 | ブラザー工業株式会社 | Karaoke system, karaoke device and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6073618B2 (en) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6452229B2 (en) | Karaoke sound effect setting system | |
| JP6073618B2 (en) | Karaoke equipment | |
| JP2008089975A (en) | Electronic musical instrument | |
| JP6315677B2 (en) | Performance device and program | |
| JP4171680B2 (en) | Information setting device, information setting method, and information setting program for music playback device | |
| JP5847048B2 (en) | Piano roll type score display apparatus, piano roll type score display program, and piano roll type score display method | |
| JP6219750B2 (en) | Singing battle karaoke system | |
| JP5969421B2 (en) | Musical instrument sound output device and musical instrument sound output program | |
| JP2012247558A (en) | Information processing device, information processing method, and information processing program | |
| JP2007140165A (en) | Karaoke device and program for karaoke device | |
| JP5397637B2 (en) | Karaoke equipment | |
| JP4182782B2 (en) | Karaoke equipment | |
| JP6415136B2 (en) | Karaoke singing system | |
| JP6582517B2 (en) | Control device and program | |
| JP5847049B2 (en) | Instrument sound output device | |
| JP7571804B2 (en) | Information processing system, electronic musical instrument, information processing method, and machine learning system | |
| JP6144593B2 (en) | Singing scoring system | |
| JP5039609B2 (en) | Karaoke equipment | |
| JP4720858B2 (en) | Karaoke equipment | |
| JP6438823B2 (en) | Karaoke system and program | |
| JP6065827B2 (en) | Musical performance device and musical performance processing program | |
| JP6026835B2 (en) | Karaoke equipment | |
| JP6177091B2 (en) | Singing scoring system | |
| JP6196571B2 (en) | Performance device and program | |
| JP4429244B2 (en) | Karaoke equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150618 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160719 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6073618 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |