JP2012203343A - 歌唱支援装置 - Google Patents

Abstract

【課題】歌唱者が特定の評価を受けた音と同じ特徴を持つ音が再出するタイミングを事前に歌唱者に伝えること。
【解決手段】画像ｅ１は、特定された評価期間が開始する時刻ｔ０から時間Ｔ１前の時刻ｔ１となったときに、進行方向ｒ１において時刻ｔ１が規定された位置に表示される。画像ｅ１は、過去の歌唱音声において音高がずれていた音がもうすぐ現れることを歌唱者に伝えるための画像である。画像ｅ２は、「半音高めに」という文字列を示し、進行方向ｒ１において評価期間ｘ１８が規定されている位置に表示されている。画像ｅ２は、歌唱者にとって苦手な音が登場するタイミングと、その際歌唱者が実行すべき歌い方とを伝えるための画像である。カラオケ装置は、これらの画像を複数表示させる場合に、強調すべき画像ほど立体的に飛び出させて表示させることで、どの画像に注意すればよいかを歌唱者に分かりやすく伝えることができる。
【選択図】図５Ａ

Description

本発明は、歌唱者の歌唱を支援する技術に関する。

従来より、カラオケなどで歌唱者が歌唱した音声（歌唱音声）を歌唱すべき基準と比較して評価し、その結果を画像で表示させる技術が知られている。特許文献１には、立体画像を、歌唱音声の音高が歌唱すべき音高よりも高いほど大きく飛び出させて表示し、低いほど大きく引っ込ませて表示させることで、その楽曲で歌唱すべき音高に対して自分の歌唱音声の音高がどのくらいずれているかを歌唱者に認識させる技術が記載されている。

特開平１０−０１１０８０号公報

ところで、歌唱者にとって、歌唱音声の評価が低いこと、例えば、歌唱音声の音高が歌唱すべき基準の音高とずれたことを認識しても、同じ音高の音の歌唱を曲中に改善することは難しい。それは、音高がずれたときに歌唱すべきであった基準の音高と同じ音高の音が次にいつ登場するのか知らなかったり、知っていたとしても歌いながらそのタイミングを図るのが難しかったりするからである。
本発明は、このような事情に鑑みてなされたもので、その目的の１つは、歌唱者が特定の評価を受けた音と同じ特徴を持つ音が再出するタイミングを事前に歌唱者に伝えることである。

上述の課題を解決するため、本発明は、楽曲を示す楽曲データと、前記楽曲の歌唱すべき位置を指定する位置指定データと、前記楽曲における各音に対応する期間のそれぞれに対応付けられた基準を示すリファレンスデータとを記憶する記憶手段と、前記楽曲の進行に従って前記楽曲データ、前記位置指定データおよび前記リファレンスデータを読み出す読出手段と、収音手段から供給されるオーディオ信号が示す歌唱音声と、読み出された前記リファレンスデータが示す基準とを比較した結果に応じた評価値を算出する第１算出手段と、前記第１算出手段により算出された評価値が予め定められた条件を満たす期間である場合に、当該期間に後続する期間であって、当該期間と共通する特徴を持つ期間を特定する特定手段と、前記特定手段により特定された期間を当該期間が開始するより前に報知する報知手段とを備えることを特徴とする歌唱支援装置を提供する。

また、別の好ましい態様において、前記第１算出手段が算出した評価値に応じて評価点を算出する第２算出手段と、前記特定手段により特定された期間において前記第１算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差に応じて、前記第２算出手段により算出された評価点を変更する変更手段とを備えることを特徴とする。

また、別の好ましい態様において、前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記第１算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を、前記特定手段により当該評価値を用いて特定された期間が開始するより前に前記表示手段に表示させることを特徴とする。

また、別の好ましい態様において、前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記特定手段により特定された期間において前記第１算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差をパラメータとし、当該パラメータに応じた画像を表示させることを特徴とする。

また、別の好ましい態様において、前記第１算出手段は、前記歌唱音声と、互いに種類が異なる複数の前記基準のそれぞれとを比較した結果に応じた評価値を算出し、
前記特定手段は、複数の当該基準のそれぞれについて前記期間を特定し、
前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記特定手段により特定された期間に対応付けられた基準と種類が共通する基準と比較して前記第１算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を表示させることを特徴とする。

また、別の好ましい態様において、前記表示手段は、画像を立体的な立体画像として表示することが可能であり、前記表示制御手段は、前記画像を前記表示手段に立体的に表示させることを特徴とする。

また、別の好ましい態様において、前記表示制御手段は、前記画像を、前記パラメータに応じて前記立体画像の態様を変えて前記表示手段に表示させることを特徴とする。

本発明によれば、歌唱者が特定の評価を受けた音と同じ特徴を持つ音が再出するタイミングを事前に歌唱者に伝えることが可能になる。

実施形態に係るカラオケ装置の全体構成を示すブロック図である。 カラオケ装置の制御部の機能的構成を示すブロック図である。 ディスプレイに表示される画面の一例を示す図である。 歌唱音声から算出された評価値又は平均値を音高毎に示す表である。 評価値に応じて表示される画像の一例を示す図である。 評価値に応じて表示される画像の一例を示す図である。 評価値に応じて表示される画像の一例を示す図である。 評価値に応じて表示される画像の例を示す図である。 評価点を加点する処理で動作する機能の機能ブロック図を示す図である。 変形例に係る評価値に応じて表示される画像の例を示す図である。

［実施形態］
以下、本発明の実施形態について図面を参照して説明する。
図１は、カラオケ装置１の全体構成を示すブロック図である。カラオケ装置１は、例えばカラオケ店などに設置され、いわゆるカラオケの機能を利用者に提供すると共に、利用者（歌唱者）が歌唱した音声（歌唱音声）を評価し、その評価に基づいて歌唱を支援する装置であり、本発明に係る「歌唱支援装置」の一例に相当する。カラオケ装置１は、制御部１０と、操作部２１と、音響処理部２２と、収音部２３と、放音部２４と、立体画像表示部２５と、記憶部３０とを備えている。
制御部１０は、ＣＰＵ（Central Processing Unit）とメモリとを備えている。ＣＰＵは、メモリに記憶されているプログラムを実行することにより、カラオケ装置１の各部を制御する。メモリは、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とを備えており、ＣＰＵによって用いられるプログラムやデータを記憶する。
操作部２１は、複数の操作ボタンを備えており、利用者が操作した内容を示す操作データを制御部１０に供給する。
収音部２３は、マイクロホン等の収音手段であり、歌唱者が発した歌唱音声が入力され、歌唱音声を示すオーディオ信号を音響処理部２２に出力する。
放音部２４は、スピーカー等の放音手段であり、音響処理部２２から出力されるオーディオ信号を放音する。
音響処理部２２は、ＤＳＰ（Digital Signal Processor）などの信号処理回路、ＭＩＤＩ（Musical Instrument Digital Interface）形式の信号からオーディオ信号を生成する音源などを有する。音響処理部２２は、収音部２３から入力されるオーディオ信号をＡ／Ｄ変換して制御部１０に出力する。音響処理部２２は、制御部１０からＭＩＤＩ形式のデータが入力され、そのデータに基づいてオーディオ信号を生成する。音響処理部２２は、このように生成したオーディオ信号、制御部１０から出力されたオーディオ信号、収音部２３から入力されたオーディオ信号などを、エフェクト処理、増幅処理などの信号処理を施してから放音部２４に出力する。
立体画像表示部２５は、画像を立体的に表した立体画像として表示することが可能なディスプレイを備えており、制御部１０から供給される立体画像を示す画像データに応じた立体画像を表示する。なお、ここでいう画像は、画像を動かして表現された映像（動画）を含む概念である。立体画像表示部２５は、本発明に係る「表示手段」の一例に相当する。

記憶部３０は、ハードディスクを備えており、楽曲データベース３１０と画像素材データベース３２０とを記憶している。楽曲データベース３１０には、カラオケで再生される楽曲に関するデータが記録されており、詳細には、伴奏データ３１１とリファレンスデータ３１２と歌詞データ３１３とが記録されている。
伴奏データ３１１は、楽曲を示すデータであり、楽曲の伴奏パートを示している。伴奏データ３１１は、例えば、ＭＩＤＩ形式により記述されている。伴奏データ３１１には、その伴奏が再生されたときに時間的な再生位置を示す再生時刻データが付随する。再生時刻データは、その時間的な位置を、伴奏データ３１１の再生が開始された時刻を起点とした経過時間（以下「再生経過時間」という。）で示す。伴奏データ３１１は、本発明に係る「楽曲データ」の一例に相当する。
リファレンスデータ３１２は、歌唱すべき基準を示すデータであり、例えば、ＭＩＤＩ形式により記述されている。詳細には、リファレンスデータ３１２は、楽曲における各音の期間のそれぞれに対応付けられた基準となる音高（以下「基準音高」という。）を示す。これら各音の期間は、上記再生経過時間に対応付けて示され、詳細には、その開始と終了とが、再生経過時間で示される。これらの期間は、歌唱音声を評価するために用いられる期間（以下「評価期間」という。）である。
歌詞データ３１３は、楽曲の歌詞の内容を示すデータ、および立体画像表示部２５に表示させた歌詞テロップを色替えするためのタイミングを示すデータを有する。
画像素材データベース３２０には、歌唱中に立体画像表示部２５により表示される画像の素材を表す画像データが記録されており、詳細には、文字、符号、マーク又は図形等の画像を表す画像データが記録されている。

次に、このようなハードウェア構成において、制御部１０が機能プログラムを実行したときに構築される機能ブロックについて、図２を参照して説明する。
図２は、制御部１０の機能的構成を示すブロック図である。制御部１０は、再生部１１１と、第１算出部１１２と、第２算出部１１３と、特定部１１４と、試算部１１５と、画像生成部１１６と、表示制御部１１７とを有する。
再生部１１１は、操作部２１から楽曲の再生を指示する操作データが供給されると、その楽曲の伴奏データ３１１を再生するとともに、楽曲の進行に従って再生経過時間に対応する伴奏データ３１１及びリファレンスデータ３１２を読み出す。そして、再生部１１１は、伴奏データ３１１を音響処理部２２に供給して伴奏音を放音させ、歌詞データ３１３を表示制御部１１７に供給して歌詞を表示させる。再生部１１１は、伴奏音の放音と歌詞の表示とが同期するようにこれらのデータを供給する。また、再生部１１１は、伴奏データ３１１を再生している間、読み出した伴奏データ３１１に付随する再生時刻データ及びリファレンスデータ３１２を、周期的に第１算出部１１２、第２算出部１１３、画像生成部１１６及び表示制御部１１７に供給する。再生部１１１は、本発明に係る「読出手段」の一例に相当する。

第１算出部１１２は、歌唱者の歌唱音声を、基準音高と比較した結果に応じた評価値を算出する手段であり、詳細には、以下のとおり動作する。第１算出部１１２は、図１に示した収音部２３から音響処理部２２を介して供給されたオーディオ信号が表す歌唱音声の音高と、再生部１１１により読み出されて供給されたリファレンスデータ３１２が示す基準音高とを比較し、その差の値を例えばセント値で算出する。第１算出部１１２は、この差の値を、歌唱音声の音高が基準音高よりも低ければ正の値、高ければ負の値で算出する。第１算出部１１２は、この差の値を、リファレンスデータ３１２が再生部１１１から供給される度に算出する。そして、第１算出部１１２は、評価期間に算出された差の値を平均したものを評価値として算出する。第１算出部１１２は、算出した評価値を示すデータを、第２算出部１１３に供給する。また、第１算出部１１２は、算出した評価値を示すデータと、この評価値を算出する際歌唱音声と比較した基準音高を示すデータとを特定部１１４及び試算部１１５に供給する。

第２算出部１１３は、供給されたデータが示す評価値が第１閾値以上である場合に、評価点の基礎となる点数から減じる（減点する）処理を実行する。第２算出部１１３は、伴奏データ３１１の再生が終了するまでこの処理を行い、その結果の点数を最終的な評価点として算出する。このように、評価点は、評価値の値が大きいほど、すなわち、音高が基準音高から離れるほど、また、減点される評価期間が多いほど、すなわち、評価値が第１閾値以上となる回数が多いほど、低くなる。なお、第１閾値は、歌唱音声と構成音の音声との音高のずれを許容する程度を示す値であり、例えば、歌唱を厳しく評価する場合に小さくし、優しく評価する場合に大きくすれば良い。第２算出部１１３は、伴奏の再生が終わると、すなわち、再生時刻データが供給されなくなると、算出した評価点を示すデータを、画像生成部１１６に供給する。

特定部１１４は、第１算出部１１２により今後評価値が算出された結果評価点を低くしそうな評価期間を特定する手段である。詳細には、特定部１１４は、次のように動作する。まず、特定部１１４は、供給されたデータが示す評価値が、第２閾値以上であるか否かを判断する。この際、特定部１１４は、この評価値が算出される際に歌唱音声と比較された基準音高と音高が共通する基準音高とについて算出された評価値が過去にあれば、それらを含めた平均値が第２閾値以上であるか否かを判断する。この第２閾値は、第１閾値よりも大きい値であり、歌唱音声の音高が基準音高に対して大きくずれていた音、すなわち、歌唱者が基準音高に沿って上手に歌えなかった音を判定するための値である。第２閾値も、第１閾値同様、歌唱を厳しく評価する場合に小さくし、優しく評価する場合に大きくすれば良い。特定部１１４は、上記いずれかの値が第２閾値以上であると判断した場合、リファレンスデータ３１２が示す評価期間のうち、評価値を示すデータと共に供給されたデータが示す基準音高に対応付けられた評価期間に後続する評価期間であって、この評価期間と共通する基準音高を持つ評価期間を特定する。特定部１１４は、特定した評価期間を示すデータ（例えば、評価期間が開始する再生経過時間及び終了する再生経過時間を示すデータ）を試算部１１５及び画像生成部１１６に供給する。

試算部１１５は、特定部１１４が特定した評価期間における歌唱音声を第１閾値未満とするために必要な音声の出し方を試算する。詳細には、試算部１１５は、第１算出部１１２により算出された評価値が正の値であれば、すなわち、基準音高よりも歌唱音声の音高が低かったのであれば、例えばこの歌唱音声を“半音高く”したと仮定し、この仮定の下評価値を試算する。この仮定は、歌唱音声の音高を高低のいずれにするかということと、その程度（半音又は１音等）とで表される。そして、試算部１１５は、試算した評価値が第１閾値未満となっていれば、この試算で仮定した内容（「半音高く」）を示すデータを画像生成部１１６に供給する。また、試算部１１５は、試算した評価値が第１閾値以上であれば、歌唱音声を“１音高く”したと仮定して試算し、これを第１閾値未満の評価値が試算されるまで繰り返す。試算部１１５は、第１閾値未満の評価値が試算されたときに仮定した内容を示すデータを、画像生成部１１６に供給する。この仮定した内容は、歌唱音声と基準音高とが相違する程度を表し、評価値に応じて定められる。

画像生成部１１６は、特定部１１４からデータが供給された場合、このデータが示す評価期間に応じた画像を示す画像データを画像素材データベース３２０から読み出し、試算部１１５からデータが供給された場合、このデータが示す仮定の内容に応じた画像を示す画像データを画像素材データベース３２０から読み出す。ここでいう仮定の内容に応じた画像とは、評価値に応じた画像でもある。つまり、評価値は、画像を生成するためのパラメータとして用いられ、本発明に係る「パラメータ」の一例に相当する。そして、それぞれの場合において、画像生成部１１６は、供給される再生時刻データが示す再生経過時間に応じてこれらの画像を編集又は合成等した画像データを生成し、生成した画像データを表示制御部１１７に供給する。ここで生成される画像の具体例は、後述する。
表示制御部１１７は、立体画像表示部２５を制御して、画像生成部１１６から供給された画像データが表す画像を、供給される再生時刻データが示す再生経過時間に応じて上述したディスプレイに表示させる。例えば、表示制御部１１７は、上述した評価期間に応じた画像であれば、その評価期間が開始するより前に表示させる。各画像が表示されるタイミングについては、後述する。
なお、画像生成部１１６は、第２算出部１１３からデータが供給された場合、このデータが示す評価点に応じた画像を示す画像データを生成し、表示制御部１１７は、この画像データが示す画像をディスプレイに表示させる。これにより、算出された評価点が歌唱者に伝えられる。

以上の各部の動作により図１に示す立体画像表示部２５のディスプレイに表示される画像について説明する。
図３は、ディスプレイに表示される画面の一例を示す図である。歌詞テロップａは、歌詞を表す文字列を示した画像である。歌詞テロップａは、図１に示した伴奏データ３１１のうち現時点までに再生された部分に対応する歌詞を表す文字列が白抜きの文字から黒い文字に変化する（色替えする）ことで、現在歌唱すべき位置が分かるように表示されている。この例では、文字列「ＡＢＣＤＥ」が色替えされ、文字列「Ｆ」の色替えが途中まで進んだ画像が表示され、現在「Ｆ」という部分を歌唱すべきであることが示されている。
基準画像ｂは、上述した歌唱音声の基準音高を示す画像であり、詳細には、各構成音の基準音高とその評価期間を表す棒状の画像である。基準画像ｂは、五線譜に重ねて表示されており、この五線譜は、各線に沿った矢印ｒ１が示す方向に時刻が規定されている。この方向は、五線譜に規定された時刻が進行する方向であり、以下では、「進行方向ｒ１」という。基準画像ｂは、この五線譜のどこに表示されているかによって基準音高を表し、進行方向ｒ１の長さによって評価期間を表す。基準画像ｂは、図１に示したリファレンスデータ３１２が示す基準音高とこれに対応付けられた評価期間とに基づき表示される。図３では、ｂ１からｂ１０まで１０個の基準画像ｂが表示されており、それぞれｘ１からｘ１０までの評価期間を表している。
歌唱結果線ｃは、歌唱音声の音高の軌跡を示す線が、基準画像ｂと共に表示された五線譜に重ねて示されたものであり、以下の図において、二点鎖線で示されている。詳細には、歌唱結果線ｃは、図１に示した収音部２３から出力されたオーディオ信号により表される音声の音高と、それが供給されたときの時刻とが上記五線譜において示す点を順番に結んだ線である。

図４は、図３の歌唱結果線ｃで示される歌唱音声から算出された評価値又は平均値を音高毎に示す表である。図４については、図３も参照しながら説明する。この表では、音高が「Ｃ」から「Ｇ」まで表されている。また、本実施形態では、第１閾値を２０、第２閾値を８０とし、この表では、各音高における評価値と各閾値との関係が表されている。
音高「Ｃ」は、基準画像ｂ１が示す基準音高であり、この基準音高と評価期間ｘ１における歌唱結果線ｃが示す音高とが比較された結果、評価値が「３５」と算出されている。この場合、評価値が第１閾値以上であるため、評価点は減点される一方、評価値が第２閾値未満であるため、評価期間は特定されない。音高「Ｄ」は、基準画像ｂ２及びｂ４が示す基準音高である。この場合、この基準音高と評価期間ｘ２、ｘ４における歌唱結果線ｃが示す音高とが比較された結果、評価値がそれぞれ「５」、「２５」と算出され、その平均値が「１５」と算出されている。この場合、平均値が第１閾値未満であるため、評価点の減点も評価期間の特定もされない。また、音高「Ｅ」は、基準画像ｂ３が示す基準音高であり、この基準音高と評価期間ｘ３における歌唱結果線ｃが示す音高とが比較された結果、評価値が「９５」と算出されている。この場合、評価値が第２閾値以上であるため、評価点が減点され、評価期間も特定される。音高「Ｆ」は、図３においてまだ評価値が算出されていない基準音高である。音高「Ｇ」は、基準画像ｂ５が示す基準音高であり、この基準音高と評価期間ｘ５における歌唱結果線ｃが示す音高とが比較された結果、評価値が「０」と算出されている。この場合、評価値が第１閾値未満であるため、評価点の減点も評価期間の特定もされない。
以上のとおり算出された評価値に応じて表示される画像について、図５Ａ、図５Ｂ、図５Ｃを参照しながら説明する。

図５Ａ、図５Ｂ、図５Ｃは、それぞれ、算出された評価値に応じて表示される画像の一例を示す図である。これらの画像が表示された画面では、図３、図４において算出された評価値が第２閾値以上であった評価期間ｘ３における基準音高と音高が共通する基準音高（つまり、音高が「Ｅ」の基準音高）が、基準画像ｂ１８により示されている。基準画像ｂ１８は、この基準音高に対応付けられた評価期間ｘ１８を示している。評価期間ｘ１８は、時刻ｔ０に開始する。
図５Ａでは、評価期間ｘ１８の開始（時刻ｔ０）から時間Ｔ１前の時刻ｔ１に表示される画面が示されている。この画面では、歌詞を示す文字列のうち、「ＫＬ」が色替えされて表示されている。
画像ｅ１は、「注意！」という文字列を枠で囲った画像であり、上述した特定部１１４から供給されたデータが示す評価期間に応じて表示される画像である。詳細には、画像ｅ１は、この評価期間が開始する時刻ｔ０から時間Ｔ１前の時刻ｔ１となったときに、進行方向ｒ１において時刻ｔ１が規定された位置に表示される。画像ｅ１は、過去の歌唱音声において音高がずれていた音、すなわち、注意して歌唱しなければならない音（注意すべき音）がもうすぐ現れることを歌唱者に伝えるための画像である。

画像ｅ２は、上述した試算部１１５から供給されたデータが示す仮定の内容に応じて表示される画像であり、この例では、「半音高く」という仮定の内容に応じた「半音高めに」という文字列を示す画像である。つまり、画像ｅ２は、歌唱音声の音高と基準音高とが相違する程度に応じて表示される画像である。また、画像ｅ２は、上述した特定部１１４から供給されたデータが示す評価期間に応じて表示される画像であり、この例では、進行方向ｒ１において評価期間ｘ１８が規定されている位置に表示されている。画像ｅ２は、歌唱者にとって基準音高どおりに歌唱するのが苦手な音が登場するタイミング、すなわち、歌唱音声が低く評価されそうなタイミング（評価期間ｘ１８が開始する時刻ｔ０）と、その際歌唱者が実行すべき歌い方（半音高くして歌うこと）とを伝えるための画像である。画像ｅ１、ｅ２が表示されることで、今までよりも半音高めに歌うべき音（注意すべき音）がもうすぐ現れることを歌唱者が気づき易くすることができる。
なお、時間Ｔ１は、歌唱者が音高がずれていた音を歌唱するための準備をするための時間であり、どのタイミングでどのように歌唱すれば良いかを歌唱者が理解して、歌いながらそのタイミングを計るだけの長さであることが望ましい。

図５Ｂでは、時刻ｔ０の前の時刻ｔ２に表示された画面が示されている。時刻ｔ２は、評価期間ｘ１８の前の評価期間ｘ１７が開始する時刻である。この画面では、歌詞を示す文字列のうち、「ＫＬＭＮＯＰ」が色替えされて表示されている。画像ｅ３は、注意すべき音が次の音であることを伝えるための画像であり、時刻ｔ２に表示される「次です！」という文字列を示す画像である。画像ｅ３が表示されることで、歌唱者は、注意すべき音を発するタイミングをその音の直前に掴むことができる。
図５Ｃでは、時刻ｔ０に表示された画面が示されている。この画面では、歌詞を示す文字列のうち、「ＫＬＭＮＯＰＱ」が色替えされて表示されている。画像ｅ４は、今が注意すべき音であることを伝えるための画像であり、時刻ｔ０に表示される「今です！」という文字列を示す画像である。つまり、画像ｅ４は、注意すべき音を発するべきタイミングに表示されるため、歌唱者は、このタイミングを目で見て確かめることができる。以上のとおり、カラオケ装置１は、画像ｅ１、ｅ２、ｅ３、ｅ４を表示させることで、図２に示す特定部１１４により特定された評価期間をこの評価期間が開始するより前に歌唱者に報知する。これらの画像は、図２に示す画像生成部１１６、表示制御部１１７及び立体画像表示部２５が協働することで表示され、これらの各部は、本発明に係る「報知手段」として機能する。

図６は、評価値が算出された結果に応じた画像の例を示す図である。図６（ａ）では、「！」という記号を示す画像ｆ１が示されている。画像ｆ１のような記号を表示することで、文字列を表示するよりもより短い時間で歌唱者に注意を喚起することができる。
図６（ｂ）では、ブロック矢印の白抜きされた部分に「半音」という文字列を示した画像ｆ２と、同じく「１音」という文字列を示した画像ｆ３とが示されている。画像ｆ２は、矢印の指す方向が鉛直方向上方に向くように表示されることで、「半音高く」という仮定の内容を示す。画像ｆ３は、矢印の指す方向が鉛直方向下方に向くように表示されることで、「半音低く」という仮定の内容を示す。
図６（ｃ）では、「ビブラートがんばれ！」という文字列を、波線と共に示した画像ｆ４と、画像ｆ４の波線の間隔を密にした画像ｆ５とが示されている。これらの波線は、ビブラートで震えさせた音の振動を表したものであり、ビブラートさせる音の振幅及び波長をそれぞれ表している。なお、振幅及び波長は、厳密に表されていなくとも良く、“多いか少ないか”といった程度で伝えられれば良い。図６（ｂ）、（ｃ）に示すように、図形又は絵柄で伝えたい内容を示すことで、文字列で示すよりも、短時間でその内容を歌唱者に伝えることができる。
図６（ｄ）では、図５Ａ、図５Ｂ、図５Ｃに示す画像ｅ２を、立体的に飛び出して見えるように表示した画像ｆ６、ｆ７、ｆ８を示している。図６（ｄ）では、直交するｘ軸、ｙ軸、ｚ軸で方向を示し、ディスプレイの左右方向をｘ軸方向、上下方向をｙ軸方向、ディスプレイの表示面に対する垂直方向をｚ軸方向として示した。また、図６（ｄ）では、各画像が立体的に飛び出して見える程度を、立体でない画像との矢印ｚが示す方向のずれｚ６、ｚ７、ｚ８（ｚ６＜ｚ７＜ｚ８）によって示し、このずれが大きいほど立体的に飛び出して見えているものとした。これらの画像は、注意すべき音を発するタイミングが近づくに連れて、画像ｆ６、ｆ７、ｆ８の順番に表示される。これにより、歌唱者は、図５Ａ、図５Ｂ、図５Ｃに示す画像ｅ１、ｅ３、ｅ４が表示されなくとも、時刻ｔ０が近づいてくるタイミングを知ることができる。なお、図６（ｄ）では、画像全体が飛び出して見えるように表示されているが、文字列の部分だけを飛び出させてもよいし、また、時間の経過と共に１文字ずつ順番に飛び出させてもよい。
図６に示したこれらの画像は、本発明に係る「パラメータに応じた画像」の一例にそれぞれ相当する。また、図６（ｄ）に示した各画像は、「パラメータに応じて立体画像の態様を変えて」表示された本発明に係る「画像」の一例にそれぞれ相当する。

［変形例］
上述した実施形態は、本発明の実施の一例に過ぎず、次のように種々の応用・変形が可能であり、また、必要に応じて組み合わせることも可能である。

（変形例１）
本発明に係るカラオケ装置の制御部は、開始のタイミングが表示された評価期間において算出された評価値が、この評価期間を特定する際用いた評価値（又はそれらの平均値）よりも小さくなっている場合、この歌唱音声の評価をさらに高めても良い。例えば、制御部は、この場合に、評価点に予め定められた点数を加点しても良い。
図７は、本変形例に係る制御部１０ａが評価点を加点する処理において動作する機能の機能ブロック図を示す図である。以下では、上述した実施形態と異なる点を中心に説明する。制御部１０ａは、第１算出部１１２ａと、第２算出部１１３ａと、特定部１１４ａと、画像生成部１１６と、変更部１１８とを有する。第１算出部１１２ａは、算出した評価値を示すデータと、この評価値を算出した際歌唱音声と比較した基準音高を示すデータとを変更部１１８に供給する。第２算出部１１３ａは、算出した評価点を変更部１１８に供給する。特定部１１４ａは、特定した評価期間を示すデータを変更部１１８に供給する。
変更部１１８は、特定部１１４ａにより特定された評価期間において第１算出部１１２ａが算出した評価値と、特定部１１４ａがこの評価期間を特定する際用いた評価値との差に応じて、評価点を変更する。例えば、第１算出部１１２ａが図３に示す評価期間ｘ３において評価値を算出し、特定部１１４ａは、評価期間ｘ３の基準音高と音高が共通する基準音高に対応付けられた評価期間ｘ１８を特定する。変更部１１８は、評価期間ｘ３において算出された評価値（説明の便宜上、「第１評価値」という。）に比べて、特定された評価期間ｘ１８において第１算出部１１２ａにより算出された評価値（同様に、「第２評価値」という。）が小さい場合、評価点に予め定められた値を加算する（加点する）。変更部１１８は、こうして変更した評価点を示すデータを、画像生成部１１６に供給する。そして、画像生成部１１６以降の各部が動作して、このデータが示す評価点を表す画像がディスプレイに表示される。

これにより、歌唱者は、表示された評価期間において上手く歌唱することで、効率よく評価点を向上させることができ、また、過去の歌唱音声による減点を取り返すことができる。そして、カラオケ装置は、表示する画像が評価点を向上させる効果を高めることで、上記評価点の変更をしない場合に比べて、この画像に対してより多く注意を歌唱者に払わせることができる。なお、本変形例において、評価値が反対に大きくなっている場合は、歌唱音声の評価をさらに低くしても良く、例えば、評価点から予め定められた点数を減じても良い。これにより、カラオケ装置は、表示する画像に注意していないと余計に減点することで、この画像に対する歌唱者の注意をより引きつけることができる。なお、上述した実施形態では、評価点が大きいほど上手に歌えたことを示したが、評価点が小さいほど上手に歌えたことを示しても良く、その場合、変更部１１８は、評価点に加点する代わりに減点すれば良い。いずれの場合も、変更部１１８は、上記第１評価値及び第２評価値の差に応じて、評価点を変更すればよい。

（変形例２）
上述した変形例１に示す場合おいて、第２評価値が第１評価値よりも小さい場合、つまり、歌唱音声の音高のずれが改善された場合に、そのことを伝えるための画像を表示させても良い。例えば、カラオケ装置は、この場合に、図５Ｃに示す画像ｅ２、ｅ４を縮小させたり、反対に拡大させたりしても良い。また、カラオケ装置は、この場合に、これらの画像とは別に、音高のずれが改善されたことを伝えるための画像（例えば、「上手く歌えました」という文字列など）を表示させても良い。これにより、歌唱者は、例えば画像ｅ２に示される内容（「半音高めに」）に従って歌うことで、評価点が向上したことを確認することができる。なお、上述した実施形態では、評価値が小さいほど上手に歌えたことを示したが、評価値が大きいほど上手に歌えたことを示しても良く、その場合、カラオケ装置は、第２評価値が第１評価値よりも大きい場合に、そのことを伝えるための画像を表示させれば良い。いずれの場合も、カラオケ装置は、上記第１評価値及び第２評価値の差に応じた画像を表示させれば良い。つまり、ここでいう「差」は、画像を生成するためのパラメータとして用いられ、本発明に係る「パラメータ」の一例に相当する。

（変形例３）
本発明に係るカラオケ装置の制御部は、音高に限らず、様々な種類の基準を用いても良い。例えば、制御部は、音量又は音長等を基準として用いても良いし、「ビブラート」又は「フォール」等の歌唱技法を基準として用いても良い。
「ビブラート」を基準として用いる場合であれば、制御部は、予め定められた時間よりも長い評価期間（以下「ビブラート期間」という。）において、そのビブラート期間に対応付けられた基準音高よりも高い音高と低い音高とを歌唱音声が繰り返した場合に、ビブラートがされたものとして評価値を算出する。詳細には、制御部は、この繰り返しの周期及び振幅が、各々に対して予め定められた値と近いほど、評価値を小さく算出する。そして、制御部は、ビブラート期間にビブラートがない（つまり、繰り返しがない）、又はビブラートが下手であった（つまり、算出した評価値が第２閾値以上であった）場合、次に現れるビブラート期間の直前において「ビブラートに注意」などの表示をすると良い。なお、制御部は、ビブラートを評価する処理に、例えば、特開２００８−２６８３６９号公報に記載されている技術など周知の技術を用いてもよい。
また、「フォール」を基準として用いる場合であれば、制御部は、予め定められたフォールすべき評価期間（以下「フォール期間」という。）において、そのフォール期間に対応付けられた基準音高よりも予め定められたセント値以上高い音高から基準音高まで歌唱音声の音高が変化した場合に、フォールがされたものとして評価値を算出する。この場合、制御部は、音高の変化が大きいほど、評価値を小さく算出すればよい。そして、制御部は、次に現れるフォール期間の直前において「フォールさせましょう」などの表示をすると良い。なお、制御部は、フォールを評価する処理に、例えば、特開２００８−２２５１１５号公報に記載されている技術など周知の技術を用いてもよい。

（変形例４）
本発明に係るカラオケ装置の制御部は、ある評価期間において算出した評価値が第２閾値以上である場合に、その評価値を算出する際比較された基準（上述した実施形態では音高）とは異なる種類の基準を用いて評価期間を特定しても良い。また、制御部は、評価期間の長さ、又は評価期間に対応する基準とその直前の評価期間に対応する基準との差、等を用いて評価期間を特定しても良い。ここで用いられる基準、長さ及び差等は、いずれも、評価期間に対応して決められているものであり、評価期間の特徴を表すという点で共通している。つまり、制御部は、評価値が第２閾値以上である場合に、この評価値を算出した評価期間と共通する特徴を持つ評価期間を特定する。
例えば、評価期間の長さがある長さ未満であるか、その長さ以上であるかがその評価期間の特徴であるものとする。つまり、評価期間は、この特徴により、短いものと長いものとに分けられる。この場合、制御部は、算出した評価値が第２閾値以上である場合、例えばこの評価値を算出した評価期間が長いものであれば、この評価期間に後続する期間であって、上述したある長さ以上の評価期間、すなわち、評価値を算出した評価期間と共通する特徴を持つ評価期間を特定する。これにより、制御部は、例えば評価期間が長い、つまり、音長が長い音だと基準音高どおり上手く歌唱できない歌唱者に対して、「音長が長い」音が現れることをその音に対応する期間が開始するより前に伝えることができる。

（変形例５）
本発明に係るカラオケ装置の制御部は、同じ特徴を持つ評価期間の評価値が複数算出された場合、上述した実施形態においては、それらの平均値が第２閾値以上である場合に評価期間を特定したが、算出した評価値が第２閾値以上であればその度に評価期間を特定しても良い。また、制御部は、算出した評価値のうち最も値が大きいものが第２閾値以上であれば常に評価期間を特定しても良いし、この場合に、さらに、算出した評価値が第１閾値未満であった場合には、その後は評価期間を常に特定するという動作を止めても良い。いずれの場合も、制御部は、算出した評価値が予め定められた条件を満たす場合に評価期間を特定する。

（変形例６）
本発明に係るカラオケ装置の制御部は、歌唱音声に対して、これらの互いに種類が異なる複数の基準を並行してそれぞれ比較して複数の評価点を算出しても良い。なお、複数の評価値が算出された結果、異なる種類の基準毎に異なる評価期間が特定された場合は、制御部は、それぞれの評価期間に応じた画像をディスプレイに表示させれば良い。その際、制御部は、算出された評価値が小さい種類の基準により特定された評価期間ほど強調して表示させても良く、例えば、立体的に大きく飛び出して見えるように表示させても良い。これにより、歌唱者は、より評価値が低かった基準の種類を知ることができ、評価点を向上させるために効果的な種類の基準を改善することに注力することができる。なお、制御部は、上記の例で立体的に大きく飛び出して見えるように表示させる代わりに、立体的に大きく引っ込んで見えるように表示させても良く、いずれの場合も、算出されたそれぞれの評価値に応じて立体画像の態様を変えて表示させれば良い。これらの評価値は、本発明に係る「パラメータ」の一例にそれぞれ相当する。なお、ここでいう立体画像の態様は、ディスプレイの表示面の垂直方向における画像全体の位置を異ならせて表されても良いし、画像が表す立体物のその方向における起伏の大きさを異ならせて表されても良い。

（変形例７）
本発明に係るカラオケ装置においては、立体画像の態様を、様々に変えて表示させても良い。例えば、カラオケ装置は、立体的に飛び出して見えるように表示した画像を、さらに、ディスプレイの左右方向（ｘ軸方向）又は上下方向（ｙ軸方向）に大きさ又は位置をずらしてディスプレイに表示させてもよい。以下、図６（ｄ）に示した画像ｆ６を例にとって説明する。
図８は、本変形例に係る評価値に応じて表示される画像の例を示す図である。図８（ａ）では、立体でない画像とのｚ軸方向の距離がｚ６、ｚ９、ｚ１０（ｚ６＜ｚ９＜ｚ１０）と変化するのに伴い、ｘ軸方向の長さ及びｙ軸方向の長さが変化する画像ｆ６、ｆ９、ｆ１０を示している。画像ｆ６、ｆ９、ｆ１０は、ｘ軸方向の長さがそれぞれｘ６、ｘ９、ｘ１０（ｘ６＜ｘ９＜ｘ１０）であり、ｙ軸方向の長さがそれぞれｙ６、ｙ９、ｙ１０（ｙ６＜ｙ９＜ｙ１０である。これらの画像は、時間の経過と共に飛び出して見えると共に、文字が大きく表示される。これにより、カラオケ装置は、歌唱者がこれらの画像に気付きやすくし、かつ、文字列を大きく表示しない場合に比べて、これらの画像が伝えている内容（つまり文字列）を認識しやすくすることができる。
図８（ｂ）では、立体でない画像とのｚ軸方向の距離がｚ６、ｚ１１、ｚ１２（ｚ６＜ｚ１１＜ｚ１２）と変化するのに伴い、ｘ軸方向の位置及びｙ軸方向の位置が変化する画像ｆ６、ｆ１１、ｆ１２を示している。画像ｆ１１は、立体でない画像に対してｚ軸方向に距離ｚ１１ずれると共に、ｘ軸方向の正の方向に距離ｘ１１ずれ、かつ、ｙ軸方向の負の方向に距離ｙ１１ずれた画像である。また、画像ｆ１２は、立体でない画像に対してｚ軸方向に距離ｚ１２ずれると共に、ｘ軸方向の負の方向に距離ｙ１２ずれ、かつ、ｙ軸方向の正の方向に距離ｙ１２ずれた画像である。これらの画像は、時間の経過と共に飛び出して見えると共に、ディスプレイの斜めの方向に揺れているように表示される。これにより、カラオケ装置は、ｘ軸方向及びｙ軸方向の位置を変化させない場合に比べて、歌唱者がこれらの画像に気付きやすくすることができる。

（変形例８）
本発明においては、評価値を、様々な方法で算出しても良い。第１算出部１１２は、上述した実施形態では、評価期間に算出された上述した差の値を平均したものを評価値として算出したが、例えば、これらの値を合計して算出しても良いし、これらの値のうち、第１閾値以上であったものの割合を評価値として算出しても良い。いずれの場合も、第１算出部１１２は、上述した実施形態において比較した歌唱音声の音高と、基準音高とを比較した結果に応じた評価値を算出すれば良い。

（変形例９）
本発明においては、評価値を算出する際比較される歌唱音声の基準の種類を、利用者が選択できるようにしても良い。例えば、カラオケ装置は、比較可能な歌唱音声の基準の種類をディスプレイに表示させ、操作部の操作により選択された種類について、リファレンスデータが示す基準と歌唱音声とを比較して評価値を算出すれば良い。これにより、歌唱者は、自分が練習したい基準の種類を選択して、その基準どおりに歌唱するのが苦手な音が登場するタイミングを確認しながら練習することができる。

（変形例１０）
本発明に係るカラオケ装置は、歌唱者が歌唱すべき時刻又は歌唱すべき位置を、伴奏音に限らず、画像等で指定しても良い。例えば、上述した実施形態においては、図３に示したように、歌詞テロップａの色を変化させて色が変化する境目を現在歌唱すべき位置として指定しているので、歌唱者は、伴奏音がなくとも歌唱すべき位置を知ることができる。また、これに限らず、図３に示した五線譜に、現在再生されているところを示すマークを表示させ、矢印ｒ１の方向に移動させて歌唱すべき位置を指定しても良い。上述した実施形態に係る「再生時刻データ」、「歌詞データ３１３」及び本変形例に係るマークを表示させるデータは、いずれも、再生されると楽曲の歌唱すべき位置を指定するデータであり、本発明に係る「位置指定データ」の一例に相当する。

（変形例１１）
本発明に係る制御部は、上述した実施形態において説明した方法に限らず、様々な方法で評価点を算出しても良い。例えば、制御部が算出した評価値が第１閾値以下である場合に２点、第２閾値以下である場合に１点加点し、その合計を評価点とするというように、加点式で算出しても良い。また、評価期間を、各構成音の長さとしたが、これとは異なる期間としても良く、例えば、１秒や２秒といった一定の時間、１拍、２拍といった期間、あるいは１小節、１フレーズといった期間を評価期間としても良いし、評価期間の長さをユーザが操作部２１の操作などにより設定できるようにしても良い。

（変形例１２）
本発明に係る制御部は、上述した実施形態において説明した方法に限らず、様々な方法で評価期間を特定しても良い。例えば、制御部は、上述した実施形態では、評価値が、第２閾値以上である場合に評価期間を特定したが、第１閾値以上である場合、それ以外の値以上である場合、又は第１閾値以上第２閾値未満の場合等、様々な範囲にある場合としても良い。また、制御部は、第２閾値又は第１閾値よりも小さい場合に特定しても良い。この場合、特定された評価期間は、歌唱音声の音高が基準音高に近かった音、すなわち、歌唱者が基準音高に沿って上手に歌えた音と同じ音高の音を歌唱する期間である。よって、制御部は、歌唱者が上手に歌えたことを示す画像（例えば「この音はバッチリでした」又は「あなたの十八番ですね」等の文字列や似顔絵などの画像）を表示させればよい。これにより、歌唱者は、自分が上手く歌えた音を歌唱するタイミングを知ることができ、今までと同じように歌唱することを意識して準備することができる。上述したいずれの場合においても、制御部は、評価値が予め定められた条件を満たす場合に、評価期間を特定すれば良い。これにより、カラオケ装置は、歌唱音声が評価された結果を参考にして歌唱することができるタイミングを歌唱者に歌唱中に伝えることができる。

（変形例１３）
本発明に係るカラオケ装置は、上述した実施形態においては、立体画像を表示する手段（立体画像表示部２５）を備えていたが、これに限らず、２次元の画像を表示する手段、例えば、２次元画像を表示可能なディスプレイを有する画像表示部を備えていても良い。この画像表示部は、本発明に係る「表示手段」の一例に相当する。この場合、画像生成部は、図６（ｄ）に示すような立体的に飛び出して見える画像を、遠近法を用いて２次元の画像で生成すれば良い。また、本発明においては、立体的に見える画像は表示せずに、平面的に表現された画像だけを表示させても良く、この場合、大きさ、色又は形状を変化させることで、その画像の歌唱者への気付かせやすさを調整すれば良い。例えば、上述した注意すべき音が現れるタイミングが近づくに連れて、小さい画像から大きい画像に変化させたり、画像の色を無彩色から有彩色に変化させたりすれば良い。

（変形例１４）
本発明に係るプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることも可能である。

（変形例１５）
上述した実施形態においては、歌唱者に注意を喚起する表示を注意すべき音の１音前にしたが、これに代えて、２音前や１拍というようにしてもよい。要するに歌唱者が注意すべき音のタイミングを掴みやすいように適宜設定すればよい。また、次の小節やフレーズに注意すべき音が含まれている場合に、その小節の開始時や、その小節の一つ前の小節の終了時において注意喚起の表示をしてもよい。さらに、「何小節名の何番目の音が注意すべき音です。」や「サビの最初の音が注意すべき音です」などの旨を示す文字や画像などを表示してもよい。

（変形例１６）
上述した実施形態においては、表示装置に注意喚起の表示をしたが、これに代えて、注意喚起すべきタイミングで、音響処理部２２を制御して放音部２４から音を発したり、さらに、図１に破線で示すように振動部４０を設け、注意喚起すべきタイミングで振動部４０を振動させて歌唱者に報知するようにしたりしてもよい。なお、振動部４０は収音部２３の筐体に内蔵させてもよい。また、画像と音とを組み合わせて、これらを同時に歌唱者に報知するようにしてもよい。この場合、カラオケ装置１は、立体画像表示部２５及び振動部４０等の複数の装置を同時に、又は連続的に動作させて、歌唱者に報知すればよい。

１…カラオケ装置、１０、１０ａ…制御部、２１…操作部、２２…音響処理部、２３…収音部、２４…放音部、２５…立体画像表示部、３０…記憶部、４０…振動部、１１１…再生部、１１２、１１２ａ…第１算出部、１１３、１１３ａ…第２算出部、１１４、１１４ａ…特定部、１１５…試算部、１１６…画像生成部、１１７…表示制御部、１１８…変更部、３１０…楽曲データベース、３１１…伴奏データ、３１２…リファレンスデータ、３１３…歌詞データ、３２０…画像素材データベース

Claims (7)

1. 楽曲を示す楽曲データと、前記楽曲の歌唱すべき位置を指定する位置指定データと、前記楽曲における各音に対応する期間のそれぞれに対応付けられた基準を示すリファレンスデータとを記憶する記憶手段と、
   前記楽曲の進行に従って前記楽曲データ、前記位置指定データおよび前記リファレンスデータを読み出す読出手段と、
   収音手段から供給されるオーディオ信号が示す歌唱音声と、読み出された前記リファレンスデータが示す基準とを比較した結果に応じた評価値を算出する第１算出手段と、
   前記第１算出手段により算出された評価値が予め定められた条件を満たす期間である場合に、当該期間に後続する期間であって、当該期間と共通する特徴を持つ期間を特定する特定手段と、
   前記特定手段により特定された期間を当該期間が開始するより前に報知する報知手段と
   を備えることを特徴とする歌唱支援装置。
2. 前記第１算出手段が算出した評価値に応じて評価点を算出する第２算出手段と、
   前記特定手段により特定された期間において前記第１算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差に応じて、前記第２算出手段により算出された評価点を変更する変更手段とを備える
   ことを特徴とする請求項１に記載の歌唱支援装置。
3. 前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記第１算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を、前記特定手段により当該評価値を用いて特定された期間が開始するより前に前記表示手段に表示させる
   ことを特徴とする請求項１又は２に記載の歌唱支援装置。
4. 前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記特定手段により特定された期間において前記第１算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差をパラメータとし、当該パラメータに応じた画像を表示させる
   ことを特徴とする請求項１ないし３のいずれかに記載の歌唱支援装置。
5. 前記第１算出手段は、前記歌唱音声と、互いに種類が異なる複数の前記基準のそれぞれとを比較した結果に応じた評価値を算出し、
   前記特定手段は、複数の当該基準のそれぞれについて前記期間を特定し、
   前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記特定手段により特定された期間に対応付けられた基準と種類が共通する基準と比較して前記第１算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を表示させる
   ことを特徴とする請求項１ないし４のいずれかに記載の歌唱支援装置。
6. 前記表示手段は、画像を立体的な立体画像として表示することが可能であり、
   前記表示制御手段は、前記画像を前記表示手段に立体的に表示させる
   ことを特徴とする請求項３ないし５のいずれかに記載の歌唱支援装置。
7. 前記表示制御手段は、前記画像を、前記パラメータに応じて前記立体画像の態様を変えて前記表示手段に表示させる
   ことを特徴とする請求項６に記載の歌唱支援装置。

Images