JP2006276693A - 歌唱評価表示装置およびプログラム - Google Patents

Abstract

【課題】 お手本となる歌い方のデータを任意に設定し、その歌い方に対する自身（練習者）の歌い方の違いを視覚的に捉えることができる。
【解決手段】 制御部１はピッチ検出部２０、音量検出部２２、変化点検出部２４のそれぞれにおいてマイク１８から集音した音声のピッチ、音量、発音の変化点を検出し、歌唱データを生成する。このときマイク１８により集音した音声がお手本となる歌い方を行う模範歌唱者の音声であった場合、制御部１はその模範歌唱データを模範歌唱データ記憶部４に記憶する。そして、練習者の操作により表示装置１６に模範歌唱データを表示すると共に、スピーカ８から該当する曲を放音する。制御部１はマイク１８により集音した練習者の歌声から歌唱データを生成し、模範歌唱データ記憶部４のデータと対比して表示装置１６に表示する。
【選択図】 図１

Description

本発明は、歌唱に対して評価結果を表示する装置に関する。

歌の練習や、歌の評価のために音程などを検出して表示する装置が種々開発されている。例えば、特許文献１においては、音声信号から母音を抽出して、そのピッチ、ピッチの変化、強さなどを時間軸に沿って図形的に表示している。また、特許文献２においては、楽譜上の音程と歌唱者の音程とのずれ量を検出して可視データに変換して表示している。また、特許文献３においては、発音訓練のための装置として、音声を図形化して表示するとともに、基準となる音声と訓練者の音声との類似度を分析して表示する装置が記載されている。
特開平０５−２３２８５６号公報 特開平０８−００６５７７号公報 特開２００３−１８６３７９号公報

ところで、実際の歌においては、基準音どおり（楽譜どおり）ではない部分が、その歌や歌い手の味を醸し出す。特に、名手と言われる人の歌には、楽譜には表せない微妙なニュアンスがある。したがって、このような名手をお手本として練習ができると好適である。
しかしながら、上述した特許文献１の装置にあっては入力音声のピッチなどを図形的に表示するだけであり、特許文献２の装置にあっては入力音声の音程と楽譜の音程を比較するだけである。また、特許文献３の装置は、入力音声と基準音声との類似度を求めているものであるため、歌の練習や評価には対応できない。
一方、複雑な記号や具体的な数値で歌い方を示しても、初心者には分かりにくく、譜面が読めない練習者もある。

この発明は上述した事情に鑑みてなされたもので、楽譜どおりではない歌い方をお手本として設定することができるとともに、お手本となる歌に対する自分の歌の状況を視覚的に、かつ直感的に捉えることができる歌唱評価表示装置およびプログラムを提供することを目的とする。

上記課題を解決するために、本発明は、予め歌唱音声の２種以上の属性を各々曲の進行に沿って記憶した手本音声情報記憶手段と、歌っている音声が入力されるとこれに対応する音声信号を出力する入力手段と、前記入力手段が出力する音声信号から２種以上の属性であって、前記手本音声情報記憶手段が記憶している各属性と同じ属性を検出する属性検出手段と、曲の開始からの経過時間を計時する経過時間計時手段と、前記経過時間計時手段の計時結果に基づき、前記手本音声情報記憶手段から前記各属性を前記曲の進行に従って読み出す属性読出手段と、各種表示を行う表示手段と、前記属性読出手段が読み出した各属性を各々異なる態様で前記曲の進行に従って前記表示手段に表示するとともに、前記表示手段の前記表示と対比可能な位置に、前記属性検出手段が検出した各属性を前記曲の進行に従って表示させ、かつ、この表示においては、前記属性検出手段が読み出した各属性と同一の属性については同じ態様で表示させる表示制御手段とを具備することを特徴とする歌唱評価表示装置を提供する。

本発明の好ましい態様において、前記表示制御手段は、前記表示手段に対して、曲の経過を示す時間軸を横軸にしたグラフ表示をし、前記各属性のうちの一は縦軸をその属性の値とした線によって表示し、前記各属性のうちの他の一は、前記線と横軸に囲まれた範囲において、色または濃淡として表示するようにしてもよい。

なお、前記各属性のうちの一は音程であり、前記各属性のうちの他の一は音量であるようにしてもよい。

また、同じ属性についての差を検出する差検出手段を設け、前記表示制御手段は、前記差検出手段の検出結果に応じて前記グラフ表示の背景色または濃淡を変化させるようにしてもよい。

また、本発明は、コンピュータに、予め歌唱音声の２種以上の属性を各々曲の進行に沿って記憶した手本音声情報記憶機能と、歌っている音声が入力されるとこれに対応する音声信号を出力する入力機能と、前記入力機能によって出力される音声信号から２種以上の属性であって、前記手本音声情報記憶機能によって記憶している各属性と同じ属性を検出する属性検出機能と、曲の開始からの経過時間を計時する経過時間計時機能と、前記経過時間計時機能の計時結果に基づき、前記手本音声情報記憶機能から前記各属性を前記曲の進行に従って読み出す属性読出機能と、各種表示を行う表示機能と、前記属性読出手段が読み出した各属性を各々異なる態様で前記曲の進行に従って前記表示機能に表示させるとともに、前記表示機能による前記表示と対比可能な位置に、前記属性検出機能が検出した各属性を前記曲の進行に従って表示させ、かつ、この表示においては、前記属性検出機能が読み出した各属性と同一の属性については同じ態様で表示させる表示制御機能とを行わせるプログラムを提供する。

お手本となる歌声の属性データと、練習者の声の属性データとが曲の進行に沿って比較表示されるので、基準音でない任意のお手本に対して、練習者自身の歌い方をリアルタイムに視覚的に比較することができる。

以下、本発明の実施形態について説明する。
図１は、本実施形態に係る楽器演奏教習装置１００の構成を示す図である。

図において、１は装置各部を制御する制御部であり、ＣＰＵ(Central Processing Unit)やＣＰＵで用いられるプログラムを記憶したＲＯＭ(Read Only Memory)、ＣＰＵのワークエリアとして用いられるＲＡＭ(Random Access Memory)等によって構成されている。１０は操作部であり、操作者の操作に従った各種指示信号を制御部１に供給する。
２は曲データ記憶部であり、演奏内容を示す演奏データが複数記憶されるとともに、各演奏データに対応した譜面を示す譜面データが記憶され、さらに、各曲の曲名を示す曲リストデータが記憶されている。この曲データ記憶部２内の各種データは、操作部１０の操作に応じて、制御部１の制御の下に読み出されるようになっており、譜面データや曲リストデータは表示装置１６に表示される。
また、６は伴奏制御部であり、制御部１の制御の下に曲データ記憶部２から曲データを読み出すと、その曲データを再生して楽音信号を生成し、スピーカ８から放音する。

次に、１８はマイクであり、歌唱者の声を集音して音声信号ＳＳとして出力する。音声信号ＳＳは、ピッチ検出部２０によってそのピッチが検出されてピッチデータＰＤとして出力される。ピッチ検出部２０におけるピッチ検出は、例えば、所定のフレーム単位（５〜１０ｍｓ程度）でＦＦＴ（Fast Fourier Transform）処理を行い、スペクトル分析等によって行う。なお、ピッチ検出については、スペクトル分析に限らず他の周知の手法を用いるようにしてもよい。このピッチ検出部２０が検出したピッチデータＰＤは制御部１に供給される。

また、マイク１８から出力される音声信号ＳＳの振幅（パワー）が音量として音量検出部２２によって検出され、音量データＶＤとして出力される。音量検出部２２が出力する音量データＶＤは制御部１に供給される。変化点検出部２４は音声信号ＳＳを解析してその変化点を検出し、変化点が検出された時刻を時刻データＴＤとして制御部１に供給する。本実施形態における変化点は、発音状態が変化する点としている。例えば、「あー」という音をのばして発音している途中で、「あ、あー」と「あ」を２度発音するときのような場合や、発音の仕方そのものが変化する場合などがある。また、いわゆる「こぶし」を回す歌い方の場合に、「こぶし」を付けているところも発音変化点として検出する。この検出は、瞬間的な音量変化やスペクトル変化が起こったか否かをみて行う。

実歌唱データ記憶部２６は、ピッチ検出部２０が出力するピッチデータＰＤと音量検出部２２が出力する音量データＶＤと変化点検出部２４が出力する時刻データＴＤを、時系列に沿って（すなわち、楽曲の進行に沿って）記憶する。
次に、模範歌唱データ記憶部４は、模範としたい歌唱のデータを記憶する記憶部であり、操作部１０の操作に従って制御部１がデータの書き込みを行う。

次に本実施形態の動作について説明する。
（模範歌唱データの書き込み）
まず、模範歌唱データの書き込み動作について説明する。操作者は、曲データ記憶部２内の曲リストデータを読み出すように操作部１０を操作する。これにより、制御部１は曲データ記憶部２内の曲リストデータを読み出し、表示装置１６に表示する。表示装置１６の表示を参照した操作者が、操作部１０を操作することによって所望の曲を選択すると、制御部１は、選択された曲の曲データを読み出すように伴奏制御部６に指示する。伴奏制御部６はこの指示に従って曲データを読み出し、再生を始める。これにより、スピーカ８からは選択された曲（伴奏）が放音される。また、当該曲の譜面データが曲データ記憶部２から１フレーズ分読み出され、表示装置１６に表示される。この楽譜の表示は楽曲が進行するに従って１フレーズ単位で更新される。

ここで、模範歌唱を記録する歌唱者は伴奏を聞き、また、表示装置１６に表示されている楽譜を見ながら、マイク１８に向かって歌を歌う。なお、このとき、スピーカ８から放音される伴奏音がマイク１８に入り込まないようにするために、スピーカ８に代えてヘッドホン（図示略）を使うとよい。

歌唱者が歌を歌うと、ピッチ検出部２０が出力するピッチデータＰＤ、音量検出部２２が出力する音量データＶＤおよび変化点検出部２４が出力する時刻データＴＤが制御部１に供給される。制御部１はこれらのデータを時系列に沿って、すなわち、曲の進行に沿って模範歌唱データ記憶部４に記憶してゆく。そして、曲が終了すると、記憶したデータに対して、曲データ記憶部２内の当該曲の曲データとの対応付けを行う。
以上のようにして、模範歌唱を記録する歌唱者は順次、模範とする歌を記録してゆく。なお、工場出荷時に模範とする歌唱のデータを事前に模範歌唱データ記憶部４に記憶しておいてもよい。

（歌唱評価動作）
次に、練習を行う歌い手の歌を評価する動作について説明する。まず、操作部１０を用いて練習を行うモードを設定し、次に選曲を行う。選曲に関する動作は上述の場合と同様である。
選曲が行われると、伴奏がスピーカから放音されるとともに、表示装置１６の画面には、図２に示す画面が表示される。この画面の最上部に示されるのは、曲データ記憶部２から読み出された１フレーズ分の楽譜である。画面の中段には表示されている譜面に対応する模範歌唱のデータのグラフが表示される。模範歌唱のデータは、前述のように曲データ記憶部２内の各曲データに対応付けられているので、選曲が行われると、模範歌唱のデータも同時に特定されて読み出される。図２の中段に示すグラフの横軸は楽曲開始からの経過時間であり、縦軸は音程である。模範歌唱の音程の推移は、ピッチデータＰＤに従って折れ線で表示されている。また、折れ線と横軸との間の領域は、模範歌唱の音量データＶＤの値に応じて、楽曲の進行に従って色が変化するように表示される。図では濃淡で示すが、例えば、音量が大きくなるほど赤に近づく色になり、音量が小さくなるほど青に近づく色になるというように、赤と青のグラデーションで表示される。また、図２に示す点ａと点ｂは、各々時刻データＴＤに基づいて丸印で表示される変化点である。

次に、図２に示す画面の下段には、中段のグラフと同じように音程を縦軸、横軸を経過時間にとったグラフが表示されている。このグラフは、現在歌っている歌い手のデータに基づいて表示される。すなわち、ピッチ検出部２０、音量検出部２２，変化点検出部２４からリアルタイムに出力されるピッチデータＰＤ、音量データＶＤおよび時刻データＴＤに従って表示される。下段のグラフは、図２に示す状態では時刻ｔｐが現在時刻であり、歌い手がここまで歌ったことを示している。

ここで、歌い手は、表示画面の中段のグラフと下段のグラフを見比べることにより、模範歌唱の歌い方と自分の歌い方の差をリアルタイムに目視によって知ることができる。例えば、中段と下段の横軸方向の同じ位置は、同じ時刻であるから、その時点で模範歌唱はどのような音程（グラフの高さ）で、どのような音量（グラフの色）であるかを見て直感的にその差を知ることができる。また、変化点の位置も差異も簡単に知ることができる。図２においては、点ａに対応する点ｃと、点ｂに対応する点ｄが表示され、模範歌唱とのタイミングのずれが判るようになっている。

そして、楽曲が進行して表示装置１６に表示されている楽譜のフレーズが終了すると、曲データ記憶部２からは次のフレーズの楽譜データが読み出されて表示され、また、表示画面の中段のグラフも次のフレーズに合わせて更新される。下段のグラフは現在時刻ｔｐが横軸の原点にいったん戻り、その後、曲の進行に従って右へ向かって移動し、原点と時刻ｔｐ間におけるデータが順次表示されてゆく。
以上のようにして楽曲が終了するまで、リアルタイムで模範歌唱との歌い方の差異を確認しながら練習することができる。
例えば、図２に示す領域ｅにおいては、模範歌唱に比べ音量が小さく、一方、領域ｆにおいては、模範歌唱パターンに比べ音量が大きいことがわかる。また、領域ｇ、領域ｈにおいては、いずれも模範歌唱パターンに比べ音程が低いことがわかる。

以上が発明の一実施形態の構成及び動作であるが、この発明は以下のように種々の態様で実施することができる。
（変形例１）
図２に示した表示画面においては、歌唱者は中段と下段のグラフを比較することによって、模範歌唱パターンと自分の歌唱パターンとの違いを視認できる場合を示したが、図３に示したように、模範歌唱パターンと、自分の歌唱パターンを重ねて表示画面に表示するようにしても良い。この場合、曲を歌い終わった後、歌い手が操作部１０を操作することにより、制御部１は模範歌唱データ記憶部４と実歌唱データ記憶部２６の夫々から模範歌唱データと歌い手の歌唱データである実歌唱データを読み出す。このとき読み出すデータはそれぞれ一曲分全体のデータでもよく、所望のフレーズのデータでもよい。これらは、操作部１０の操作によって指定される。そして読み出したデータを重ね合わせ、視覚的に模範歌唱データのグラフの形状より実歌唱データのグラフの形状がはみ出した部分の色（図では左下がりの斜線）と、模範歌唱データのグラフの形状より実歌唱のデータのグラフの形状が小さい部分の色（図では右下がりの斜線）と、模範歌唱データのグラフと実歌唱データのグラフが重複している部分の色とを、例えば青、紫、ピンクというように違えて表示する。これにより、歌い手は模範歌唱と自分の歌唱との違いをより明確に把握することができる。

（変形例２）
また、図２に示す表示画面の下段のグラフの背景色は、通常時は、例えばグレーで表示するようにし、模範歌唱のピッチに対して練習をしている歌唱者のピッチが外れた場合に、その背景色や濃淡を変えるようにしてもよい。例えば、ピッチが上に外れると背景色を濃くし、ピッチが下に外れると背景色を薄くするなどという表示制御を行っても良い。ここで、図４の（ａ）と（ｂ）に各々背景色を濃くした場合と薄くした場合の表示例を示す。

なお、ピッチの外れ方に応じてグラデーションを付けるようにしてもよい。例えば、ピッチが上に外れているときは、その度合いに従って赤が濃くなるようなグラデーションにし、ピッチが下に外れると青の色が濃くなるようなグラデーションを付けてもよい。このようにすることで、歌い手は自分の歌唱の音程がどの程度ずれているかを瞬時に把握することができる。
また、このような背景色の制御は、ピッチに限らず、音量についても同様に行うことができる。例えば、音量が模範歌唱に対して大き過ぎる場合はその度合いに応じて赤が濃くなるグラデーションとし、模範歌唱に対して小さすぎる場合は、その度合いに応じて青が濃くなるグラデーションとする、というような制御を行っても良い。

（変形例３）
上述した実施形態において示した、変化点は例えば、息継ぎ（ブレス）を示すものであってもよい。マイク１８が出力する音声信号ＳＳから息を吸い込む音を検出したり、あるいは、音量の瞬間的な途切れなどを検出し、検出時刻を時刻データＴＤとしてもよい。

（変形例４）
上述した実施形態においては、伴奏制御部６が伴奏を再生するようにしたが、伴奏は省略してもよい。ただし、メトロノームのような音を発生するなど、楽曲進行に沿ってテンポ（拍）を知らせる音や光を出すと好適である。アカペラを練習する場合などは、このようにした方が好適である。
（変形例５）
模範歌唱データ記憶部４の曲データに対して、歌詞を示す歌詞データも記憶させ、譜面データを読み出す際に対応する部分の歌詞データを読み出して表示部１６に表示してもよい。
（変形例６）
また、図１に破線で示すように、複数の小さなマイクの集合によって音声の音圧分布を検出する音圧検出部３０を設けてもよい。そして、制御部１は、音圧検出部３０からの検出信号に基づいて、音圧が所定値より高い場合は、しっかりとした歌声（複式呼吸による歌唱）と判定し、一方、音圧が所定値より低い場合は口先で歌っていると判定し、これらの判定結果を表示装置１６に表示する。
また、音声信号ＳＳのスペクトルやスペクトルの変化から声質の状態を検出する音質検出部３１を設けてもよい。これはあまり歌が上手でない人が歌うと、声が裏返ったり（急に裏声になってしまう状態）することがあるが、スペクトル検出によって基本波が急に１オクターブ近く上昇したら、裏返ったと検出するようにしてもよい。この検出信号は、制御部１に供給され、制御部１は、例えば、図５に示すような「苦しそうです」という警告表示を表示装置１６に表示する。このとき、制御部１は伴奏制御部６に制御信号を出力して、伴奏演奏のキーを下げるように指示してもよい。
発声が訓練されていない歌い手は、喉から声を出す場合が多いが、そのような声は歪みが大きい。スペクトルの分布から声の歪みを検出し、検出結果に応じて上述のような制御を行うようにしてもよい。

本発明の実施形態に係る楽器演奏教習装置の構成図である。 同実施形態に係る表示装置１６に表示する表示例である。 表示装置１６に表示するその他の表示例である。 表示装置１６に表示するその他の表示例である。 表示装置１６に表示するその他の表示例である。

符号の説明

１…制御部、２…曲データ記憶部、４…模範歌唱データ記憶部、６…伴奏制御部、８…スピーカ、１０…操作部、１６…表示装置、１８…マイク、２０…ピッチ検出部、２２…音量検出部、２４…変化点検出部、２６…実歌唱データ記憶部

Claims (5)

1. 予め歌唱音声の２種以上の属性を各々曲の進行に沿って記憶した手本音声情報記憶手段と、
   歌っている音声が入力されるとこれに対応する音声信号を出力する入力手段と、
   前記入力手段が出力する音声信号から２種以上の属性であって、前記手本音声情報記憶手段が記憶している各属性と同じ属性を検出する属性検出手段と、
   曲の開始からの経過時間を計時する経過時間計時手段と、
   前記経過時間計時手段の計時結果に基づき、前記手本音声情報記憶手段から前記各属性を前記曲の進行に従って読み出す属性読出手段と、
   各種表示を行う表示手段と、
   前記属性読出手段が読み出した各属性を各々異なる態様で前記曲の進行に従って前記表示手段に表示するとともに、前記表示手段の前記表示と対比可能な位置に、前記属性検出手段が検出した各属性を前記曲の進行に従って表示させ、かつ、この表示においては、前記属性検出手段が読み出した各属性と同一の属性については同じ態様で表示させる表示制御手段と
   を具備することを特徴とする歌唱評価表示装置。
2. 前記表示制御手段は、前記表示手段に対して、曲の経過を示す時間軸を横軸にしたグラフ表示をし、前記各属性のうちの一は縦軸をその属性の値とした線によって表示し、前記各属性のうちの他の一は、前記線と横軸に囲まれた範囲において、色または濃淡として表示することを特徴とする請求項１記載の歌唱評価表示装置。
3. 前記各属性のうちの一は音程であり、前記各属性のうちの他の一は音量であることを特徴とする請求項２記載の歌唱評価表示装置。
4. 同じ属性についての差を検出する差検出手段を設け、
   前記表示制御手段は、前記差検出手段の検出結果に応じて前記グラフ表示の背景色または濃淡を変化させることを特徴とする請求項２または３記載の歌唱評価表示装置。
5. コンピュータに、
   予め歌唱音声の２種以上の属性を各々曲の進行に沿って記憶した手本音声情報記憶機能と、
   歌っている音声が入力されるとこれに対応する音声信号を出力する入力機能と、
   前記入力機能によって出力される音声信号から２種以上の属性であって、前記手本音声情報記憶機能によって記憶している各属性と同じ属性を検出する属性検出機能と、
   曲の開始からの経過時間を計時する経過時間計時機能と、
   前記経過時間計時機能の計時結果に基づき、前記手本音声情報記憶機能から前記各属性を前記曲の進行に従って読み出す属性読出機能と、
   各種表示を行う表示機能と、
   前記属性読出手段が読み出した各属性を各々異なる態様で前記曲の進行に従って前記表示機能に表示させるとともに、前記表示機能による前記表示と対比可能な位置に、前記属性検出機能が検出した各属性を前記曲の進行に従って表示させ、かつ、この表示においては、前記属性検出機能が読み出した各属性と同一の属性については同じ態様で表示させる表示制御機能と
   を行わせるプログラム。

Images