JP2012078700A - 歌唱音声評価装置 - Google Patents

歌唱音声評価装置 Download PDF

Info

Publication number
JP2012078700A
JP2012078700A JP2010225724A JP2010225724A JP2012078700A JP 2012078700 A JP2012078700 A JP 2012078700A JP 2010225724 A JP2010225724 A JP 2010225724A JP 2010225724 A JP2010225724 A JP 2010225724A JP 2012078700 A JP2012078700 A JP 2012078700A
Authority
JP
Japan
Prior art keywords
evaluation
pitch
singing voice
unit
singing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010225724A
Other languages
English (en)
Other versions
JP5618743B2 (ja
Inventor
Shingo Kamiya
伸悟 神谷
Tatsuya Terajima
辰弥 寺島
Shuichi Matsumoto
秀一 松本
Satoshi Tachibana
聡 橘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Daiichikosho Co Ltd
Original Assignee
Yamaha Corp
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp, Daiichikosho Co Ltd filed Critical Yamaha Corp
Priority to JP2010225724A priority Critical patent/JP5618743B2/ja
Publication of JP2012078700A publication Critical patent/JP2012078700A/ja
Application granted granted Critical
Publication of JP5618743B2 publication Critical patent/JP5618743B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)

Abstract

【課題】歌唱者によるハモリの歌唱が様々なアレンジで行われたとしても、そのハモリの歌唱についての評価をすること。
【解決手段】本発明の実施形態におけるカラオケ装置は、楽曲データの再生中に入力された歌唱音声を取得する取得手段と、歌唱音声の歌唱音高を特定する音高特定手段と、歌唱すべき各構成音について、指定音高と歌唱音高との一致度を算出する算出手段と、一致度が予め決められたしきい値以上である構成音に対応する歌唱音声についての第1評価値を、当該構成音の指定音高に対応した第1評価基準に従って算出する第1評価手段と、一致度が予め決められたしきい値未満である構成音に対応する歌唱音声についての第2評価値を、歌唱すべき各構成音の指定音高に対応した第2評価基準に従って算出する第2評価手段と、第1評価値および第2評価値に応じて、歌唱音声についての評価値を算出する全体評価手段と具備する。
【選択図】図2

Description

本発明は、歌唱音声を評価した結果を出力する技術に関する。
カラオケ装置において、歌唱音声を解析して評価点を出力する技術が開発されている。このような歌唱音声の評価は、歌唱すべき構成音であるメロディの音高と比較するものが主である。一方、歌唱者は、メロディとは異なる音高でハーモニーを楽しむ歌唱、いわゆるハモリの歌唱(以下、このような歌唱をハモリの歌唱という)をすることがある。このようなハモリの歌唱については、メロディとは異なる音高であるため、たとえ上手いハモリの歌唱が実現できていたとしても評価点が少なくなりがちであった。そのため、特許文献1に開示されたカラオケ装置では、ハーモニーが行われる区間を特定し、その区間においてメロディパートとは別にハモリの歌唱を評価するためのハーモニーパートを用意しておき、ハモリの歌唱についても評価対象とすることができるようになっている。
特開2004−279786号公報
しかしながら、特許文献1に開示された技術においては、評価の基準となるハーモニーパートを予め決めておく必要があるため、歌唱者による自由なアレンジによるハモリの歌唱、ハーモニーパート以外でのハモリの歌唱には対応できない場合があった。すなわち、歌唱者によるハーモニーが違和感のないものとして歌唱されたとしても、ハーモニーパートの製作者が意図しないような歌唱であった場合には、評価点が低くなってしまっていた。
本発明は、歌唱者によるハモリの歌唱が様々なアレンジで行われたとしても、そのハモリの歌唱についての評価をすることを目的とする。
上述の課題を解決するため、本発明は、楽曲データの再生中に入力された歌唱音声を取得する取得手段と、前記取得された歌唱音声の歌唱音高を特定する音高特定手段と、前記楽曲データにより指定される歌唱すべき各構成音について、前記楽曲データにより指定される指定音高と前記歌唱音高とを比較して、音高の一致度を算出する算出手段と、前記算出された一致度が予め決められたしきい値以上である構成音に対応する歌唱音声の第1評価値を、当該構成音の指定音高に対応した第1評価基準に従って算出する第1評価手段と、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第2評価値を、前記歌唱すべき各構成音の指定音高に対応した第2評価基準に従って算出する第2評価手段と、前記第1評価値および前記第2評価値に応じて、前記取得された歌唱音声についての評価値を算出する全体評価手段とを具備することを特徴とする歌唱音声評価装置を提供する。
また、別の好ましい態様において、前記第2評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第2評価値を、前記歌唱すべき各構成音の指定音高のうち、当該構成音より前の期間における各構成音の指定音高に対応した第2評価基準に従って算出することを特徴とする。
また、別の好ましい態様において、前記第2評価手段は、前記期間において同じ指定音高となる構成音の数に応じて、当該指定音高に対応する第2評価基準を変更して、前記第2評価値を算出することを特徴とする。
また、別の好ましい態様において、前記第2評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第2評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の直前における構成音の指定音高を除いた指定音高に対応した第2評価基準に従って算出することを特徴とする。
また、別の好ましい態様において、前記第2評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第2評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の指定音高に対して第1の度数だけずれた指定音高を除くとともに当該一の構成音の指定音高に対して第2の度数だけずれた指定音高を加えた指定音高に対応した第2評価基準に従って算出することを特徴とする。
本発明によれば、歌唱者によるハモリの歌唱が様々なアレンジで行われたとしても、そのハモリの歌唱についての評価をすることができる。
本発明の実施形態におけるカラオケ装置の構成を説明するブロック図である。 本発明の実施形態における歌唱音声評価機能の構成を説明する機能ブロック図である。 本発明の実施形態における算出部における一致度算出の具体例を説明する図である。 本発明の実施形態における音高履歴情報の内容を説明する図である。 本発明の実施形態における第2評価部における評価値算出の具体例を説明する図である。 本発明の実施形態における評価結果の表示内容の一例を説明する図である。
<実施形態>
[ハードウエア構成]
図1は、本発明の実施形態におけるカラオケ装置1の構成を説明するブロック図である。カラオケ装置1は、本発明の歌唱音声評価装置の一例であり、入力された歌唱音声の評価を行う装置である。カラオケ装置1は、歌唱者の歌唱音声が入力され、その歌唱音声の音域の評価を行う。まず、カラオケ装置1のハードウエア構成について説明する。
カラオケ装置1は、制御部10、操作部20、表示部30、通信部40、記憶部50、音響処理部60を有する。これらの各構成は、バスを介して接続されている。また、カラオケ装置1は、音響処理部60に接続されたスピーカ61およびマイクロフォン62を有する。
制御部10は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)などを有する。制御部10は、ROMまたは記憶部50に記憶された制御プログラムを実行することにより、バスを介してカラオケ装置1の各部を制御する。この例においては、制御部10は、制御プログラムを実行することにより、入力された歌唱音声の評価を行うための歌唱音声評価機能を実現する。
操作部20は、操作パネルなどに設けられた操作ボタン、リモコンに設けられた操作ボタン、キーボード、マウスなどの操作デバイスであって、歌唱者の操作を受け付けて、その内容を示す操作信号を制御部10に出力する。
表示部30は、液晶ディスプレイなどの表示デバイスであり、制御部10の制御に応じた内容の表示を行う。この表示の内容は、カラオケの楽曲の進行に応じた背景画像、歌詞テロップ、メニュー画面、歌唱音声の評価結果などである。
通信部40は、制御部10の制御に応じて、インターネットなどの通信回線と接続して、サーバ装置などの通信装置と情報のやり取りを行う。制御部10は、通信部40を介して取得した情報を用いて、記憶部50に記憶される情報を更新するようにしてもよい。
記憶部50は、ハードディスク、不揮発性メモリなどの記憶手段であり、楽曲データ、歌唱音声データ、および評価基準情報をそれぞれ記憶する記憶領域を有する。
楽曲データは、カラオケの歌唱対象となる楽曲に関連するデータが含まれ、例えば、ガイドメロディデータ(以下、GMデータという)、伴奏データ、歌詞データなどが含まれている。GMデータは、楽曲のボーカルパートのメロディを示すデータ、すなわち、歌唱すべき構成音の内容が指定されたデータであり、例えば、MIDI(Musical Instrument Digital Interface)形式により記述されている。伴奏データは、楽曲の伴奏の内容を示すデータであり、例えば、MIDI形式により記述されている。歌詞データは、楽曲の歌詞の内容を示すデータ、および表示部30に表示させた歌詞テロップを色替えするためのタイミングを示すデータを有する。また、楽曲データには、楽曲のサビ部分の位置、メロディの出だし部分の位置など、楽曲の各構成部分の位置を規定する情報も含まれていてもよい。
楽曲データは、歌唱者によって操作部20の操作により指定された楽曲に対応するものが制御部10によって読み出され、カラオケの伴奏音のスピーカ61からの出力、歌詞テロップの表示部30への表示に用いられる。
歌唱音声データは、カラオケの対象となった楽曲を歌唱する歌唱者によって、マイクロフォン62から入力された歌唱音声を示すデータであり、例えば、WAVE形式などで記憶される。このようにして記憶される歌唱音声データは、制御部10によって、カラオケの対象となった楽曲を示す楽曲データに対応付けられる。
評価基準情報は、歌唱音声評価機能において用いられる情報であり、歌唱音声の評価にあたり評価の基準となる各種パラメータなどが定められた情報である。この評価基準は、各音高に対応して定められている。例えば、音高Cに対応して定められた評価基準は、GMデータが指定する構成音の音高(以下、指定音高という)が音高Cであるときに、歌唱音声の評価をするための基準となる情報である。
なお、この例においては、オクターブ単位でずれている指定音高は同じ音高であるものとし、例えば、指定音高がC3であってもC4であっても、その指定音高の構成音に対応する歌唱音声の評価には、音高Cに対応した評価基準が用いられる。
マイクロフォン62は、歌唱者の歌唱音声が入力され、歌唱音声を示すオーディオ信号を音響処理部60に出力する。スピーカ61は、音響処理部60から出力されるオーディオ信号を放音する。音響処理部60は、DSP(Digital Signal Processor)などの信号処理回路、MIDI形式の信号からオーディオ信号を生成する音源などを有する。音響処理部60は、マイクロフォン62から入力されるオーディオ信号をA/D変換して制御部10に出力する。音響処理部60は、制御部10から楽曲データに基づくMIDI形式の信号が入力され、その信号に基づいてオーディオ信号を生成する。音響処理部60は、このように生成したオーディオ信号、制御部10から出力されたオーディオ信号、マイクロフォン62から入力されたオーディオ信号などを、エフェクト処理、増幅処理などの信号処理を施してからスピーカ61に出力する。
ここで、制御部10は、楽曲データを読み出して再生し、その楽曲の伴奏音をスピーカ61から出力させている期間において、音響処理部60から出力されるオーディオ信号を取得し、歌唱音声データを生成し、その楽曲データに対応付けて記憶部50へ記憶する。
以上が、カラオケ装置1のハードウエア構成についての説明である。
[歌唱音声評価機能]
次に、カラオケ装置1の制御部10が制御プログラムを実行することによって実現される歌唱音声評価機能について説明する。なお、以下に説明する歌唱音声評価機能を実現する歌唱音声評価部100における各構成の一部または全部については、ハードウエアによって実現してもよい。
図2は、本発明の実施形態における歌唱音声評価部100の構成を説明する機能ブロック図である。歌唱音声評価部100は、取得部110、音高特定部120、算出部130、音高記憶部140、第1評価部150、第2評価部160、全体評価部170および出力部180を有する。
取得部110は、記憶部50に記憶された歌唱音声データのうち、予め決められた評価期間の歌唱音声に対応する部分(この例においては、楽曲全体)の歌唱音声データを取得して、音高特定部120に出力する。この例においては、取得部110は、楽曲データの再生中に順次生成される歌唱音声データを、順次取得して出力する。なお、取得部110は、楽曲データの再生が終了し、歌唱音声データが記憶部50へ全て記憶された後に、取得して出力するようにしてもよい。
音高特定部120は、取得部110から取得した歌唱音声データから、歌唱すべき各構成音について、歌唱音声の音高(以下、歌唱音高という)を特定する。具体的には、音高特定部120は、各フレームについて歌唱音声データが示す音声信号の波形が負から正に変化する際のゼロクロスを検出し、そのゼロクロスの時間間隔を測定することによってフレーム毎の歌唱音高(周波数)を特定する。このとき、この音声信号から、ローパスフィルタによりノイズ成分となる高域成分をカットしたり、ハイパスフィルタにより直流成分をカットしたりしておいてもよい。なお、歌唱音高は、歌唱音声データにFFT(Fast Fourier Transform)を施して得られるスペクトルから特定してもよい。
音高特定部120は、このようにして特定した歌唱音高を示す情報を時系列に算出部130、第1評価部150および第2評価部160に出力する。
算出部130は、音高特定部120から出力された情報と記憶部50に記憶されたGMデータとを取得する。算出部130は、取得したGMデータに時系列に指定される歌唱すべき各構成音について、その構成音の指定音高と、音高特定部120において特定された歌唱音高とを比較して、音高の一致の程度を示す一致度を算出する。
算出部130は、歌唱音高を時系列に取得するから、GMデータに指定される各構成音と歌唱音高との時系列の対応関係を識別できる。なお、算出部130は、制御部10による楽曲データの再生において読み出された部分に対応するGMデータを取得するようにしてもよい。
また、この例においては、算出部130は、この一致度の算出において、オクターブ単位でずれているものについては、同じ音高であるものとして算出する。算出部130は、例えば、歌唱音高が440Hz(「A3」に相当)であれば、指定音高が「A3」以外の「A2」、「A4」であっても、音高が一致しているものとして算出する。
そして、算出部130は、各構成音について、一致度が予め決められたしきい値以上であるか否かを示す合否情報を第1評価部150および第2評価部160に出力する。以下の説明においては、合否情報は、一致度がしきい値以上であれば合格を示すものであり、しきい値未満であれば不合格を示すものとし、構成音と対応付けられて算出部130から出力される。
図3は、本発明の実施形態における算出部130における一致度算出の具体例を説明する図である。図3において、横軸は時刻、縦軸は音高を示している。GMデータによって指定される歌唱すべき各構成音は、GMで示した斜線のある四角部分に対応し、「C」、「E」などの記載は各構成音の指定音高(オクターブ単位については省略)を示している。四角の範囲は、時刻方向については構成音の長さを示している。また、音高方向については、その指定音高とみなされる周波数の範囲を示し、指定音高の周波数を中心に、±50centの範囲である。
音高特定部120において特定された歌唱音高は、Pで示した曲線に対応している。
横軸に記載したN1、N2、・・・は、各構成音の期間に対応した部分として時系列で表され、以下、N1部分の構成音を構成音N1などというものとする。例えば、構成音N2は、指定音高が「E」である。
算出部130は、構成音N1について、指定音高は「C」と歌唱音高と比較する。そして、算出部130は、この例においては、構成音N1に対応する期間に対して、歌唱音高が「C」の周波数±50centに含まれている期間の割合を、構成音N1についての一致度(この例においては、80%)として算出し、この一致度がしきい値(この例においては、30%)以上であるか否かを判定して、判定結果を示す合否情報を出力する。この例においては、算出部130は、構成音N1について、合格を示す合否情報を出力する。算出部130は、他の各構成音についても構成音N1と同様に処理を行い、構成音N2、N3について、合格を示す合否情報を出力し、構成音N4、N5、N6について、不合格を示す合否情報を出力する。
図2に戻って説明を続ける。音高記憶部140は、記憶部50に記憶されたGMデータを取得し、各構成音についての指定音高の履歴を音高履歴情報として記憶する。音高記憶部140が取得するGMデータについては、この例においては、算出部130において取得されるGMデータと同じであり、例えば、図3に示す構成音N3についてまで算出部130における処理が進んでいる場合には、音高記憶部140も構成音N3に対応する構成音までのGMデータを取得するようになっている。音高記憶部140が記憶する音高履歴情報について図4を用いて説明する。
図4は、本発明の実施形態における音高履歴情報の内容を説明する図である。音高履歴情報は、音高記憶部140が取得したGMデータに示される構成音の指定音高が記録された情報である。すなわち、音高履歴情報は、音高記憶部140が取得した部分までのGMデータによって示されるメロディの音高が履歴として記録されている。履歴として記録されると、その指定音高に対応したフラグが「0」から「1」として変更される。図4に示す例は、音高記憶部140が図3に示す場合における構成音N3の部分までのGMデータを取得した場合の例であり、構成音N1、N2、N3にそれぞれ対応する指定音高「C」、「E」、「G」について履歴として記録され、これらの指定音高に対応するフラグが「1」となっている。
このように、音高履歴情報には、これまで評価対象となった構成音の指定音高の履歴が記録されている。なお、音高記憶部140は、構成音の期間(音長)が予め決められた長さ(例えば、16分音符相当の長さ)より短い場合には、記録すべき指定音高として扱わずに、履歴として記録しないようにしてもよい。
図2に戻って説明を続ける。第1評価部150は、算出部130から取得した合否情報に基づいて、合格とされた構成音について、歌唱音声の評価を行って評価値を算出し、不合格とされた構成音については、評価値を「0」として算出する。すなわち、第1評価部150は、通常の歌唱についての評価を行う。そして、第1評価部150は、全体評価部170に評価値の算出結果を出力する。
ここで、第1評価部150における評価値の算出は以下のように行う。まず、第1評価部150は、GMデータを取得し、評価対象となる構成音の指定音高を特定し、特定した指定音高に対応する評価基準情報を記憶部50から取得する。第1評価部150は、評価対象となる構成音について、取得した評価基準情報に従って、音高特定部120において特定された歌唱音高から評価値を算出する。この評価基準情報に基づいて評価される内容は、例えば、指定音高と歌唱音高との一致の程度、歌唱音高の周波数変化、音量変化などから得られる歌唱技法の判定結果などである。
図3に示す具体例の場合であれば、第1評価部150は、構成音N1、N2、N3について、上記評価値の算出結果を出力し、構成音N4、N5、N6については、評価値「0」を出力する。
第2評価部160は、算出部130から取得した合否情報に基づいて、不合格とされた構成音について、歌唱音声の評価を行って評価値を算出し、合格とされた構成音については、評価値を「0」として算出する。すなわち、第2評価部160は、ハモリの歌唱についての評価を行う。そして、第2評価部160は、全体評価部170に評価値の算出結果を出力する。
ここで、第2評価部160における評価値の算出は以下のように行う。第2評価部160における評価値の算出においては、第1評価部150における評価値の算出と比べて、評価に用いる評価基準情報が異なっている。第1評価部150における評価値の算出においては、構成音の指定音高に対応した評価基準情報を用いていたのに対し、第2評価部160における評価値の算出においては、すでに評価対象となった構成音、すなわち、その構成音より前の構成音における指定音高のうち、いずれかの指定音高に対応する評価基準情報を用いるようになっている。すなわち、第2評価部160においては、音高記憶部140に記憶された音高履歴情報においてフラグが「1」となっている指定音高(以下、指定音高候補という)のいずれかに対応する評価基準を用いる。
第2評価部160は、評価対象となる構成音について、音高特定部120において特定された歌唱音高が、指定音高候補のいずれかに対応するかを検出し、対応する指定音高が検出された場合には、検出された指定音高を評価対象となる構成音の指定音高として特定する。具体的には、第2評価部160は、指定音高候補のそれぞれの指定音高について、歌唱音高がその指定音高の周波数±50centに含まれている期間が、評価対象となる構成音に対応する期間に対して予め決められた割合(この例においては、70%以上)以上となるものがあるかを検出する。そして、第2評価部160は、検出された指定音高がある場合には、その指定音高を評価対象となる構成音の指定音高として特定する。
第2評価部160は、その後の処理を第1評価部150における処理と同様に行う。すなわち、第2評価部160は、特定した指定音高に対応する評価基準情報を記憶部50から取得して、評価対象となる構成音について、取得した評価基準情報に従って、音高特定部120において特定された歌唱音高から評価値を算出し、全体評価部170に出力する。なお、第2評価部160における評価値の算出は、第1評価部150における評価値の算出よりとは異なる評価基準としてもよい。この場合には、第2評価部160において取得した評価基準情報における評価基準を評価値が低くなりやすくなるように厳しい基準に変更してもよいし、評価値が高くなるように緩やかな基準に変更してもよい。また、記憶部50に記憶されている評価基準情報が第1評価部150において用いられるものと第2評価部160で用いられるものとで別々に構成され、それぞれ評価基準が異なっているものとしてもよい。
続いて、図3に示す具体例の場合において、第2評価部160における評価値算出の具体例について、図5を用いて説明する。
図5は、本発明の実施形態における第2評価部160における評価値算出の具体例を説明する図である。図5は、図3に加えて指定音高候補(図5に示すAMに対応)を示した図である。すなわち、構成音N1は指定音高「C」であるから、音高履歴情報については、「C」のフラグが「1」となり、以降の時刻においては、「C」は指定音高候補として扱われる。そして、この例においては、構成音N3を過ぎた後においては、音高履歴情報は、図4に示す内容となり、指定音高候補は、「C」、「E」、「G」となる。
第2評価部160は、構成音N1、N2、N3については、取得した合否情報が合格を示すため、評価値は「0」とする。第2評価部160は、構成音N4については、取得した合否情報が不合格を示すため、歌唱音高が、指定音高候補のうちいずれの指定音高に対応するか検出する。この場合には、第2評価部160は、指定音高「E」を評価対象となる構成音の指定音高として特定する。そして、第2評価部160は、指定音高「E」に対応する評価基準情報を記憶部50から取得して、取得した評価基準情報に従って、評価対象となる構成音についての評価値を算出する。続く、構成音N5についても指定音高「G」として特定され、同様に評価値の算出が行われる。
そして、第2評価部160は、構成音N6について、取得した合否情報が不合格を示すことになる一方、歌唱音声が指定音高候補のうちいずれの指定音高にも対応しないため、評価値「0」として算出する。
図2に戻って説明を続ける。全体評価部170は、第1評価部150および第2評価部160における各構成音についての評価値の算出結果を取得する。そして、全体評価部170は、各構成音についての評価値に基づいて、楽曲全体としての歌唱音声の評価値を算出する。この例においては、全体評価部170は、第1評価部150において算出された評価値に基づいて、通常の歌唱に対応した楽曲全体の評価値と、第2評価部160において算出された評価値に基づいて、ハモリの歌唱に対応した楽曲全体の評価値とをそれぞれ算出する。全体評価部170は、このようにして算出した楽曲全体の評価値を示す情報を出力部180に出力する。
出力部180は、全体評価部170から出力された情報に基づいて、表示結果として表示部30に表示させる内容を決定して、その内容を表示部30に表示させるための制御情報を出力する。表示部30において表示させる内容とは、楽曲全体の評価値を示すものであればよい。この表示内容は様々なものとすることができるが、一例として図6に示すような表示内容としてもよい。
図6は、本発明の実施形態における評価結果の表示内容の一例を説明する図である。この例においては、最後に歌唱した歌唱者である「Aさん」および「Aさん」の前に歌唱した歌唱者の「Bさん」について、通常の歌唱に対応した評価値(第1評価部150において算出した評価値)に応じた点数、ハモリの歌唱に対応した評価値(第2評価部160において算出した評価値)に応じた点数およびその点数の合計について示す表示内容である。この例においては、「Aさん」の点数は、通常の歌唱については70点、ハモリの歌唱については20点が与えられ合計で90点であり、「Bさん」の点数は、通常の歌唱については80点、ハモリの歌唱については5点が与えられ合計で85点となっている。
このとき、出力部180は、それぞれの点数について、表示部30に表示されるタイミングがずれたものとなるように、制御情報を出力してもよい。例えば、通常の歌唱についての点数が表示された後に、ハモリの歌唱についての点数が表示されるようにすれば、通常の歌唱だけでは「Bさん」が「Aさん」より高得点だった状態を、ハモリの歌唱の点数を加算されることで逆転した状態となる。このように、タイミングをずらして各点数を表示させることで、単に点数を表示するよりも演出効果が得られるようにすることもできる。
このように、本発明の実施形態におけるカラオケ装置1は、歌唱者の歌唱音声について、メロディに沿った通常の歌唱以外にも、ハモリの歌唱についても評価値を算出することができる。このハモリの歌唱についての評価値の算出は、GMデータに示される構成音の指定音高に基づいて行われる。ここで、GMデータに示される構成音の指定音高は、楽曲のメロディを構成するものであり、基本的には、楽曲の調性に基づいて決められている。歌唱者によるハモリの歌唱が上手く聴こえない場合には、目標とする音高に比べて半音ずれる場合が多い。一方、楽曲の構成音の指定音高(指定音高候補)には、このように目標とする音高に比べて半音ずれるような音高は含まれることが少ないため、第2評価部160の処理においても、ハモリの歌唱について評価値の算出をすることができる。
<変形例>
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例1]
上述した実施形態において、カラオケ装置1は、楽曲が終了した後、楽曲全体を1つの評価期間としてハモリの歌唱の評価をしていたが、1つの楽曲を複数の評価期間に分割して、各期間において評価をしてもよい。例えば、複数の評価期間とは、楽曲の構成単位、例えば、歌詞の1番に相当する期間と2番に相当する期間であってもよいし、一定時間単位で区切られた期間であってもよい。
この場合には、全体評価部170は、楽曲データを参照したり、計時したりして複数の評価期間を認識し、各評価期間に対応する評価値を算出すればよい。このとき、各評価期間の評価値に応じて表示部30にコメントが表示されるようにしてもよい。例えば、楽曲のサビに対応する評価期間において、ハモリの歌唱の点数が相対的に高くなる場合には、「サビのハモリがいいですね」などのコメントが表示部30に表示されるようにすればよい。
[変形例2]
上述した実施形態において、音高記憶部140は、GMデータが示す構成音の指定音高が一度でも出現すれば、フラグを「1」として音高履歴情報に記録していたが、同じ指定音高となる構成音の数(以下、出現回数という)についても記録するようにしてもよい。
この場合には、第2評価部160において、出現回数に応じて評価基準を変更するようにしてもよい。第2評価部160は、例えば、評価対象となる構成音の指定音高と特定された指定音高の出現回数が多いほど、その評価基準を緩やかな基準に変更し、評価値が高くなるようにすればよい。また、第2評価部160は、出現回数が予め決められた回数以上の指定音高について、指定音高候補として取り扱うようにしてもよい。
[変形例3]
上述した実施形態において、第2評価部160は、音高履歴情報においてフラグが「1」である指定音高を指定音高候補として、評価対象となる構成音の指定音高として特定していたが、指定音高候補を予め決められたアルゴリズムによって変更するようにしてもよい。以下、アルゴリズムの複数の例について説明する。第2評価部160は、指定音高候補の決定にあたって、これらのアルゴリズムは単体としてのみ適用するのではなく、複数のアルゴリズムが重複して適用してもよい。
まず、アルゴリズムの第1の例は、評価対象である構成音の直前における構成音の指定音高を指定音高候補から除くものである。すなわち、図5に示す例において、評価対象である構成音が構成音N5である場合には、直前の構成音N4の指定音高「C」については、指定音高候補から除かれる。このようにすると、第2評価部160は、歌唱者による歌唱のタイミングがメロディに対して遅れているだけである場合に、ハモリの歌唱と認識しないようにすることができる。
アルゴリズムの第2の例は、評価対象である構成音の指定音高に対して、予め決められた度数(例えば、+4度(完全4度))だけずれている音高については、指定音高候補から除くものである。すなわち、評価対象である構成音の指定音高が「C」である場合には、「F」が、指定音高候補から除かれる。このように、ハモリの歌唱としてはあまり使用されない特定の音程関係となる音高が、指定音高候補から除かれるようにしてもよい。
なお、予め決められた度数は、+4度に限られるものではなく、半音(短2度)などであってもよい。
アルゴリズムの第3の例は、評価対象である構成音の指定音高に対して、予め決められた度数(例えば、+5度(完全5度))だけずれている音高については、指定音高候補に加えるものである。すなわち、評価対象である構成音の指定音高が「C」である場合には、「G」が、指定音高候補に加えられる。このように、ハモリの歌唱としてよく使用される特定の音程関係となる音高が、指定音高候補に加えられるようにしてもよい。
なお、予め決められた度数は、+5度に限られるものではなく、+3度(長3度)などであってもよい。
[変形例4]
上述した実施形態においては、音高記憶部140は、評価対象となる構成音の前の構成音までの指定音高についての履歴を音高履歴情報に記録していたが、GMデータに示される全ての構成音の指定音高を全て取得しておき、音高履歴情報に記録しておいてもよい。
この場合には、第2評価部160は、評価対象となる構成音の前の構成音までの指定音高の履歴に基づいて評価を行うのではなく、歌唱すべき全ての構成音の指定音高に基づいて評価を行うことになる。
[変形例5]
上述した実施形態においては、音高記憶部140は、評価対象となる構成音の前の構成音までの指定音高についての履歴を音高履歴情報に記録していたが、古い履歴については消去するようにしてもよい。すなわち、音高履歴情報には、最新の構成音から一定量遡った構成音までの指定音高が記録されるようにしてもよい。遡る一定量とは、例えば、予め決められた時間、構成音の数、小節数、楽曲を構成する区間の1つ分など様々に設定することができる。このようにすると、楽曲内で頻繁に転調が行われる場合であっても、ハモリの歌唱についての評価精度を向上させることができる。
[変形例6]
上述した実施形態において、歌唱者が操作部20を操作して、楽曲の音高を全体的に変更するいわゆるキーコントロールが可能になっている場合には、音高記憶部140は、音高履歴情報をキーコントロールの操作に応じて変更するようにしてもよい。例えば、1度上昇させるキーコントロールが操作部20の操作によって指示された場合には、音高記憶部140は、音高履歴情報の指定音高をすべて1度ずつ上昇させればよい。
[変形例7]
上述した実施形態においては、出力部180から出力される情報は、楽曲全体の評価値を示す情報であったが、それ以外の内容を示す情報であってもよい。出力部180から出力される情報は、歌唱者にその評価値を報知するためのものであればよいから、例えば、評価結果の内容を声で表した音声データであってもよい。また、出力部180から出力される情報は、音響処理部60における音源を用いて発音させるためのMIDI形式のシーケンスデータであってもよい
なお、歌唱者にハモリの歌唱の評価結果を報知するものとしては、発光、香り、動きなどを用いたものであってもよい。この場合には、様々な発光態様で発光するLED(Light Emitting Diode)などを用いた発光装置、様々な香りの成分をもつガスを放出可能な香り放出装置、様々な動作を行うことが可能なロボットなどを外部装置として接続する。そして、その外部装置を時系列に沿って制御するための制御情報を出力部180から出力される情報とすればよい。
[変形例8]
上述した実施形態における制御プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、カラオケ装置1は、制御プログラムをネットワーク経由でダウンロードしてもよい。
1…カラオケ装置、10…制御部、20…操作部、30…表示部、40…通信部、50…記憶部、60…音響処理部、61…スピーカ、62…マイクロフォン、100…歌唱音声評価部、110…取得部、120…音高特定部、130…算出部、140…音高記憶部、150…第1評価部、160…第2評価部、170…全体評価部、180…出力部

Claims (5)

  1. 楽曲データの再生中に入力された歌唱音声を取得する取得手段と、
    前記取得された歌唱音声の歌唱音高を特定する音高特定手段と、
    前記楽曲データにより指定される歌唱すべき各構成音について、前記楽曲データにより指定される指定音高と前記歌唱音高とを比較して、音高の一致度を算出する算出手段と、
    前記算出された一致度が予め決められたしきい値以上である構成音に対応する歌唱音声の第1評価値を、当該構成音の指定音高に対応した第1評価基準に従って算出する第1評価手段と、
    前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第2評価値を、前記歌唱すべき各構成音の指定音高に対応した第2評価基準に従って算出する第2評価手段と、
    前記第1評価値および前記第2評価値に応じて、前記取得された歌唱音声についての評価値を算出する全体評価手段と
    を具備することを特徴とする歌唱音声評価装置。
  2. 前記第2評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第2評価値を、前記歌唱すべき各構成音の指定音高のうち、当該構成音より前の期間における各構成音の指定音高に対応した第2評価基準に従って算出する
    ことを特徴とする請求項1に記載の歌唱音声評価装置。
  3. 前記第2評価手段は、前記期間において同じ指定音高となる構成音の数に応じて、当該指定音高に対応する第2評価基準を変更して、前記第2評価値を算出する
    ことを特徴とする請求項2に記載の歌唱音声評価装置。
  4. 前記第2評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第2評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の直前における構成音の指定音高を除いた指定音高に対応した第2評価基準に従って算出する
    ことを特徴とする請求項1乃至請求項3のいずれかに記載の歌唱音声評価装置。
  5. 前記第2評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第2評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の指定音高に対して第1の度数だけずれた指定音高を除くとともに当該一の構成音の指定音高に対して第2の度数だけずれた指定音高を加えた指定音高に対応した第2評価基準に従って算出する
    ことを特徴とする請求項1乃至請求項4のいずれかに記載の歌唱音声評価装置。
JP2010225724A 2010-10-05 2010-10-05 歌唱音声評価装置 Active JP5618743B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010225724A JP5618743B2 (ja) 2010-10-05 2010-10-05 歌唱音声評価装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010225724A JP5618743B2 (ja) 2010-10-05 2010-10-05 歌唱音声評価装置

Publications (2)

Publication Number Publication Date
JP2012078700A true JP2012078700A (ja) 2012-04-19
JP5618743B2 JP5618743B2 (ja) 2014-11-05

Family

ID=46238998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010225724A Active JP5618743B2 (ja) 2010-10-05 2010-10-05 歌唱音声評価装置

Country Status (1)

Country Link
JP (1) JP5618743B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332024A1 (en) * 2010-11-12 2015-11-19 Google Inc. Syndication Including Melody Recognition and Opt Out
JP2016085393A (ja) * 2014-10-28 2016-05-19 株式会社第一興商 ハモリ歌唱の採点を行うカラオケ採点装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004279786A (ja) * 2003-03-17 2004-10-07 Konami Co Ltd カラオケ装置、音程判定方法、ならびに、プログラム
JP2007004045A (ja) * 2005-06-27 2007-01-11 Brother Ind Ltd カラオケ装置及びプログラム
JP2008268368A (ja) * 2007-04-17 2008-11-06 Yamaha Corp 評価装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004279786A (ja) * 2003-03-17 2004-10-07 Konami Co Ltd カラオケ装置、音程判定方法、ならびに、プログラム
JP2007004045A (ja) * 2005-06-27 2007-01-11 Brother Ind Ltd カラオケ装置及びプログラム
JP2008268368A (ja) * 2007-04-17 2008-11-06 Yamaha Corp 評価装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332024A1 (en) * 2010-11-12 2015-11-19 Google Inc. Syndication Including Melody Recognition and Opt Out
US9396312B2 (en) * 2010-11-12 2016-07-19 Google Inc. Syndication including melody recognition and opt out
JP2016085393A (ja) * 2014-10-28 2016-05-19 株式会社第一興商 ハモリ歌唱の採点を行うカラオケ採点装置

Also Published As

Publication number Publication date
JP5618743B2 (ja) 2014-11-05

Similar Documents

Publication Publication Date Title
US9672800B2 (en) Automatic composer
US8802953B2 (en) Scoring of free-form vocals for video game
JP6690181B2 (ja) 楽音評価装置及び評価基準生成装置
JP4910854B2 (ja) こぶし検出装置、こぶし検出方法及びプログラム
JP5712669B2 (ja) 歌唱音声評価装置
JP6102076B2 (ja) 評価装置
JP5618743B2 (ja) 歌唱音声評価装置
JP2017027070A (ja) 評価装置及びプログラム
JP4900017B2 (ja) ビブラート検出装置、ビブラート評価装置、ビブラート検出方法、ビブラート評価方法およびプログラム
JP5447624B2 (ja) カラオケ装置
JP2020122948A (ja) カラオケ装置
JP5585320B2 (ja) 歌唱音声評価装置
JP2017067902A (ja) 音響処理装置
JP5782744B2 (ja) 歌唱音声評価装置
JP5830840B2 (ja) 音声評価装置
JP5567443B2 (ja) 歌唱音声評価装置
JP2015194767A (ja) 音声評価装置
JP2017173655A (ja) 音評価装置および音評価方法
JP5416396B2 (ja) 歌唱評価装置およびプログラム
JP2016180965A (ja) 評価装置およびプログラム
JP6788560B2 (ja) 歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置
JP6175034B2 (ja) 歌唱評価装置
JP5186793B2 (ja) カラオケ装置
JP6074835B2 (ja) 楽曲練習支援装置
JP5697395B2 (ja) 歌唱音声評価装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140916

R150 Certificate of patent or registration of utility model

Ref document number: 5618743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250