<第1実施形態>
図1~図11Bを参照して、第1実施形態に係るカラオケ装置について説明する。
==カラオケ装置==
カラオケ装置Kは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。図1に示すように、カラオケ装置Kは、カラオケ本体10、スピーカ20、表示装置30、マイク40、及びリモコン装置50を備える。
カラオケ本体10は、選曲された楽曲のカラオケ演奏制御、歌詞や背景映像等の表示制御、マイク40を通じて入力された音声信号の処理といった、カラオケ演奏やカラオケ歌唱に関する各種の制御を行う。スピーカ20はカラオケ本体10からの放音信号に基づいて放音するための構成である。表示装置30はカラオケ本体10からの信号に基づいて映像や画像を画面に表示するための構成である。マイク40は利用者のカラオケ歌唱の歌唱音声をアナログの音声信号に変換してカラオケ本体10に入力するための構成である。リモコン装置50は、カラオケ本体10に対する各種操作をおこなうための装置である。
図2に示すように、本実施形態に係るカラオケ本体10は、記憶手段10a、通信手段10b、入力手段10c、演奏手段10d、及び制御手段10eを備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
[記憶手段]
記憶手段10aは、各種のデータを記憶する大容量の記憶装置である。記憶手段10aは、楽曲データを記憶する。
楽曲データは、個々の楽曲を特定するための楽曲識別情報が付与されている。楽曲識別情報は、楽曲を識別するための楽曲ID等、各楽曲に固有の情報である。楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは、カラオケ演奏音の元となるデータである。リファレンスデータは、カラオケ演奏された楽曲の歌唱すべき主旋律を示すデータである。リファレンスデータは、複数のノート毎の音高により構成されるノートパターンを複数含む。
記憶手段10aは、各楽曲に対応する歌詞テロップをカラオケ演奏に合わせて表示装置30等に表示させるための歌詞テロップデータ、カラオケ演奏時に表示装置30等に表示される背景映像等の背景映像データ、及び楽曲の属性情報を記憶する。属性情報は、たとえば、歌手名、楽曲の音楽ジャンル情報、楽曲のテンポ情報等を含む。
[通信手段・入力手段]
通信手段10bは、リモコン装置50との通信を行うためのインターフェースを提供する。入力手段10cは、利用者が各種の指示入力を行うための構成である。入力手段10cは、カラオケ本体10に設けられたボタン等である。或いは、リモコン装置50が入力手段10cとして機能してもよい。
[演奏手段]
演奏手段10dは、制御手段10eの制御に基づき、楽曲のカラオケ演奏、及びマイク40を通じて入力された歌唱音声に基づく信号の処理を行う。演奏手段10dは、音源、ミキサ、アンプ等を含む(いずれも図示なし)。
[制御手段]
制御手段10eは、カラオケ装置Kにおける各種の制御を行う。制御手段10eは、CPUおよびメモリ(いずれも図示無し)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
本実施形態においてはCPUがメモリに記憶されるプログラムを実行することにより、制御手段10eは、評価処理部100、指定部200、及び推定部300として機能する。
(評価処理部)
評価処理部100は、利用者が行ったカラオケ歌唱における音高の正確性を、当該カラオケ歌唱を行った楽曲のリファレンスデータから抽出した所定長のノートパターン毎に評価した結果を示すノートパターン評価情報と、当該評価をしたノートパターンに関するノートパターン情報とを紐付けて、評価情報として利用者毎に記憶手段10aに記憶させる。
音高の正確性は、カラオケ歌唱を行った楽曲の一のノートにおける、歌唱音声に基づく歌唱音声データが示す音高と、当該楽曲のリファレンスデータが示す音高との一致度合いである。あるノートについて、歌唱音声データが示す音高とリファレンスデータが示す音高との差分が小さいほど、音高の正確性が高いと判断できる。音高の正確性は、たとえば100点を満点とする数値で示すことができ、公知の歌唱採点技術を用いて採点することができる。
ノートパターンは、複数のノート毎の音高により構成されている。所定長は、たとえば2小節分等、予め所定の長さが設定されている。楽曲のリファレンスデータからノートパターンを抽出する処理は、公知の手法を用いることができる。
本実施形態において、評価処理部100は、リファレンスデータから抽出した所定長のノートパターン毎に音高の正確性を評価する。評価処理部100は、たとえば、一のノートパターンに含まれる複数のノートそれぞれについて音高の正確性を求め、それらの統計値(平均値、中央値等)を一のノートパターンにおける音高の正確性とすることができる。
評価処理部100は、ノートパターン毎に音高の正確性の評価結果(すなわち、ノートパターン評価情報)を紐付け、評価情報として、利用者毎に記憶させる。評価をしたノートパターン自体は、「ノートパターン情報」の一例である。
たとえば、利用者Uが、歌唱区間が16小節ある楽曲X1(BPM=120)をカラオケ歌唱するとする。また、所定長は「2小節」であるとする。この場合、評価処理部100は、楽曲X1のリファレンスデータから、8つのノートパターンX1NP01~X1NP08を抽出する。各ノートパターンは、0msecから4,000msecまでの間の音高のデータで示される。評価処理部100は、8つのノートパターン毎に音高の正確性を求め、ノートパターン評価情報X1NPE01~X1NPE08とする。
評価処理部100は、8つのノートパターンX1NP01~X1NP08に対し、ノートパターン評価情報X1NPE01~X1NPE08を紐付けて評価情報X1EI01~X1EI08とし、利用者Uの利用者識別情報と併せて記憶手段10aに記憶させる。利用者識別情報は、たとえば、利用者IDのような各利用者に固有の情報である。8つのノートパターンX1NP01~X1NP08は「ノートパターン情報」の一例である。
図3は、楽曲X1のリファレンスデータ、抽出された8つのノートパターンX1NP01~X1NP08、及びノートパターン評価情報X1NPE01~X1NPE08の一部を示している。なお、図3の時間は、各ノートにおけるノートオンのタイミングである。また、本実施形態の音高「C4」は周波数261.63Hzの「ド」の音である。
ここで、本実施形態において、ノートパターン情報は、抽出した所定長のノートパターンに含まれる最初のノートにおける音高であるオフセット値に基づいて生成された、当該所定長のノートパターンに対応するノートパターン画像、及び当該オフセット値を含む。
この場合、評価処理部100は、抽出した一のノートパターンに含まれる最初のノートにおける音高であるオフセット値を特定し、当該オフセット値を基準とした当該一のノートパターンに対応するノートパターン画像を生成する。
たとえば、評価処理部100は、ノートパターンX1NP01に含まれる最初のノートにおける音高C4をオフセット値とし、ノートパターンX1NP01に含まれる他のノートの音高を示したノートパターン画像X1IP01を生成する(図4参照)。評価処理部100は、ノートパターン評価情報X1NPE01「98.00」、ノートパターン画像X1IP01、及びオフセット値C4を評価情報X1EI01として記憶手段10aに記憶させる。
また、評価処理部100は、ノートパターンX1NP02に含まれる最初のノートにおける音高E4をオフセット値とし、ノートパターンX1NP02に含まれる他のノートの音高を示したノートパターン画像X1IP02を生成する(図5参照)。評価処理部100は、ノートパターン評価情報X1NPE02「93.55」、ノートパターン画像X1IP02、及びオフセット値E4を評価情報X1EI02として記憶手段10aに記憶させる。
同様に、評価処理部100は、ノートパターンX1NP03~ノートパターンX1NP08についても、それぞれノートパターン画像X1IP03~X1IP08を生成する。評価処理部100は、ノートパターン評価情報X1NPE03~X1NPE08、ノートパターン画像X1IP03~X1IP08、及び各オフセット値を、それぞれ評価情報X1EI03~X1EI08として記憶手段10aに記憶させる。
また、評価処理部100は、利用者がカラオケ歌唱を行った他の楽曲についても上記と同様の処理を行う。たとえば、図6は、利用者Uがカラオケ歌唱を行った楽曲X2のノートパターンX2NP03に対応するノートパターン画像X2IP03を示している。図6の例において、ノートパターン評価情報X2NPE03は「95.10」、オフセット値は「C4」である。また、図7は、利用者Uがカラオケ歌唱を行った楽曲X3のノートパターンX3NP09に対応するノートパターン画像X3IP09を示している。図7の例において、ノートパターン評価情報X3NPE09は「87.35」、オフセット値は「C4」である。
また、楽曲毎に演奏のテンポが異なる場合がある。この場合、評価処理部100は、一のテンポを基準としてノートパターン画像を生成する。具体的に、評価処理部100は、ある楽曲についてノートパターン画像を生成する際、既にノートパターン画像を生成した他の楽曲と演奏のテンポが異なる場合、ある楽曲のテンポを他の楽曲のテンポに補正したうえで、ノートパターン画像を生成する。演奏のテンポは、楽曲毎の属性情報を参照することにより特定することができる。
また、評価処理部100は、利用者が楽曲のキー設定を変更してカラオケ歌唱した場合、リファレンスデータから抽出した所定長のノートパターンをキー設定の変更に合わせて調整する。たとえば、利用者Uが楽曲X1を2半音下げてカラオケ歌唱した場合、評価処理部100は、楽曲X1に対応するリファレンスデータから抽出した2小節のノートパターンに含まれるノートの音高をそれぞれ200cent下げるよう調整する。
(指定部)
指定部200は、ある楽曲のリファレンスデータから抽出可能な所定長のノートパターンを少なくとも一つ指定する。
ノートパターンの指定は、たとえば、利用者がリモコン装置50を介して、任意の楽曲及びその楽曲に含まれる任意のノートパターンを選択することにより実行される。
たとえば、利用者Uが、リモコン装置50を介して楽曲Y1のノートパターンY1NP05を選択したとする。指定部200は、当該選択に基づいてノートパターンY1NP05を所定長のノートパターンとして指定する。
(推定部)
推定部300は、記憶手段10aに記憶されている利用者の評価情報に基づいて、仮想評価を推定する。
仮想評価は、指定されたノートパターンを利用者がカラオケ歌唱したと仮定した場合の評価である。仮想評価としては、たとえばノートパターン評価情報を用いることができる。
仮想評価の推定は様々な方法により行うことができる。本実施形態において、推定部300は、記憶手段10aに記憶されている利用者の評価情報の中から、オフセット値が、指定されたノートパターンに含まれる最初のノートにおける音高と一致または近似するノートパターン画像を特定し、指定されたノートパターンから生成した基準画像を、特定したノートパターン画像と比較し、当該基準画像に一致または近似するノートパターン画像に紐付けられたノートパターン評価情報に基づいて、仮想評価を推定する。
たとえば、利用者Uの評価情報に、図4~図7に示したノートパターン画像が含まれているとする。また、上述の通り、指定部200は、利用者Uの選択に基づいて、楽曲Y1のノートパターンY1NP05を、所定長のノートパターンとして指定したとする。図8は、楽曲Y1の複数のリファレンスデータのうち、ノートパターンY1NP05の音高を示している。
この場合、推定部300は、記憶手段10aから楽曲Y1のリファレンスデータを読み出し、指定されたノートパターンY1NP05を抽出する。そして、推定部300は、記憶手段10aに記憶されている利用者Uの評価情報に含まれるノートパターン画像の中から、オフセット値が、指定されたノートパターンY1NP05の最初のノートにおける音高C4と一致または近似するノートパターン画像を特定する。ここでは、オフセット値が「C4」で一致するノートパターン画像X1IP01、X2IP03、及びX3IP09の3つが特定される。
次に、推定部300は、指定されたノートパターンY1NP05から基準画像Y1RI05を生成する(図9参照)。基準画像の生成は、ノートパターン画像の生成と同様の手法で行うことができる。
推定部300は、基準画像Y1RI05を、特定したノートパターン画像X1IP01、X2IP03、及びX3IP09それぞれと比較する。
比較は様々な方法により行うことができる。たとえば、推定部300は、基準画像と、特定した各ノートパターン画像との差分を最小二乗法によりそれぞれ求め、最も差分の小さいノートパターン画像を基準画像と一致度が最も高いノートパターン画像として決定する。
たとえば上記例において、推定部300は、100(cent)×500(msec)で囲まれた面積を「1」として、基準画像Y1RI05と、特定した各ノートパターン画像X1IP01、X2IP03、及びX3IP09それぞれとの差分の面積を求める。差分の面積が少ないほど、ノートパターン画像の一致度が高い(すなわち、基準画像に最も近似する)といえる。
図10Aに示すように、基準画像Y1RI05と、ノートパターン画像X1IP01との差分の面積は「16」である。図10Bに示すように、基準画像Y1RI05と、ノートパターン画像X2IP03との差分の面積は「3」である。図10Cに示すように、基準画像Y1RI05と、ノートパターン画像X3IP09との差分の面積は「7」である。すなわち、ノートパターン画像X2IP03の一致度が最も高い。なお、図10Bの時間3,500msec以後のように、基準画像とノートパターン画像のいずれかが休符の区間において差分の面積は0とする。
この場合、推定部300は、基準画像Y1RI05に最も近似するノートパターン画像X2IP03に紐付けられたノートパターン評価情報に基づいて、仮想評価を「95.10」と推定する。
なお、推定部300は、最も近似するノートパターン画像を用いる代わりに、所定範囲で近似するノートパターン画像を複数特定し、差分の多寡に応じてノートパターン評価情報を加重平均した値を仮想評価として推定してもよい。所定範囲は、たとえば、差分の面積が一定値以下といったものである。
たとえば上記例において、所定範囲が「差分の面積が10以下」であるとする。この場合、推定部300は、ノートパターン画像X2IP03(差分の面積「3」)に対応するノートパターン評価情報「95.10」と、ノートパターン画像X3IP09(差分の面積「7」)に対応するノートパターン評価情報「87.35」の加重平均を算出する。
より具体的には、推定部30は、基準画像Y1RI05により近似しているノートパターン画像X2IP03に対応するノートパターン評価情報「95.10」に対し、0.7の重み付けを行い、ノートパターン画像X3IP09に対応するノートパターン評価情報「87.35」に対し、0.3の重み付けを行うことで、仮想評価として「92.775」を推定する。
また、記憶手段10aに記憶されているある利用者の評価情報において、同一のノートパターンについてそれぞれノートパターン評価情報が記憶されている場合がありうる。同一のノートパターンとは、たとえば、同じ楽曲の同じ歌唱区間を2回以上歌唱してそれぞれのノートパターン評価情報が記憶された場合、同じ楽曲で歌唱すべき主旋律が同じである一番と二番を歌唱した場合、異なる楽曲で歌唱すべき主旋律の一部がたまたま同じだった場合等である。この場合、推定部300は、複数のノートパターン評価情報を統計的に処理することで仮想評価を推定することができる。
たとえば、同一のノートパターンNP01~NP10について、ノートパターン評価情報NPE01~NPE10が記憶されていたとする(なお、ノートパターン評価情報NPE01~NPE10は異なる値であってもよいし、同一の値であってもよい)。
この場合、推定部300は、同一のノートパターンに対応するノートパターン評価情報として、ノートパターン評価情報NPE01~NPE10の統計値(平均値、中央値等)を仮想評価として推定することができる。
また、評価処理部100は、オフセット値を用いることなく、抽出したノートパターンから絶対音高に基づいてノートパターン画像を生成してもよい。この場合、推定部300は、利用者が指定したノートパターンの基準画像と、当該利用者の評価情報に含まれるノートパターン画像とを、最初のノートにおける音高との一致または近似を判断することなく、直接比較することができる。
また、評価処理部100は、リファレンスデータから抽出したノートパターンから、最初のノートの音高であるオフセット値に基づいてノートパターン関数を生成することができる。評価処理部100は、生成したノートパターン関数を、ノートパターン評価情報等と紐付け、評価情報として記憶手段10aに記憶させる。ノートパターン関数及びオフセット値は、「ノートパターン情報」の一例である。
この場合、推定部300は、指定部200が指定した所定長のノートパターンから関数を生成し、上記ノートパターン関数と比較し、一致するノートパターン関数と紐付けられているノートパターン評価情報を、仮想評価として推定する。なお、これらの関数は、複数の変域(横軸)毎に値域(縦軸)が一定の関数の集合となる。
また、評価処理部100は、ノートパターン画像やノートパターン関数を生成する代わりに、ノートパターンデータをノートパターン評価情報等と紐付け、評価情報として記憶手段10aに記憶させる。ノートパターンデータは、リファレンスデータと同様の数値情報である。ノートパターンデータは、「ノートパターン情報」の一例である。
この場合、推定部300は、指定部200が指定した所定長のノートパターンに含まれるノートの音高と、ノートパターンデータの音高とを所定のタイミング毎に比較し、差分を求める。そして、推定部300は、差分の合計値が最も小さいノートパターンデータを、指定した所定長のノートパターンに一致または近似するノートパターンデータとして特定する。推定部300は、特定したノートパターンデータに紐付けられているノートパターン評価情報を、仮想評価として推定する。所定のタイミングは、たとえば、0msec、500msec毎、1拍目、2拍目等、予め設定されている一のタイミングである。
==カラオケ装置Kの動作について==
次に、図11A及び図11Bを参照して本実施形態におけるカラオケ装置Kの動作の具体例について述べる。図11Aは、カラオケ装置Kにおける評価処理部100の動作例を示すフローチャートである。図11Bは、カラオケ装置Kにおける指定部200及び推定部300の動作例を示すフローチャートである。以下の説明では、ノートパターン情報が、ノートパターン画像及びオフセット値を含む例について説明する。
[評価処理部の動作]
利用者Uは、リモコン装置50を介して楽曲X1を選曲する。評価処理部100は、記憶手段10aから楽曲X1のリファレンスデータを読み出し、所定長のノートパターンを複数抽出する(楽曲のリファレンスデータからノートパターンを複数抽出。ステップ10)。
カラオケ装置Kは、楽曲X1のカラオケ演奏を開始する。利用者Uは、カラオケ演奏に合わせてカラオケ歌唱を開始する(カラオケ歌唱の開始。ステップ11)。
評価処理部100は、利用者が行ったカラオケ歌唱における音高の正確性を、ステップ10で抽出した一のノートパターンについて評価し、ノートパターン評価情報を求める(ノートパターン評価情報を求める。ステップ12)。
また、評価処理部100は、ステップ10で抽出した一のノートパターンに含まれる最初のノートにおける音高であるオフセット値に基づいて、ノートパターン画像を生成する(ノートパターン画像を生成。ステップ13)。
評価処理部100は、ステップ12で求めたノートパターン評価情報を、ステップ13で生成したノートパターン画像、及びオフセット値と紐付け、一のノートパターンの評価情報として、利用者Uの使用者識別情報と併せて記憶手段10aに記憶させる(評価情報を記憶。ステップ14)。
評価処理部100は、利用者Uが楽曲X1のカラオケ歌唱を終了するまで(ステップ15でYの場合まで)、ステップ12からステップ14の処理を繰り返し行う。
[指定部及び推定部の動作]
ここでは、記憶手段10aが、利用者Uについて、ノートパターン画像及びオフセット値を含む複数の評価情報を記憶しているとする。
利用者Uは、リモコン装置50を介し、楽曲Y1のリファレンスデータから抽出可能な所定長のノートパターンを選択する。指定部200は、当該選択に基づいて、ノートパターンを指定する(ノートパターンを指定。ステップ20)。
推定部300は、記憶手段10aから楽曲Y1のリファレンスデータを読み出し、ステップ20で指定されたノートパターンを抽出する(指定されたノートパターンを抽出。ステップ21)。
推定部300は、記憶手段10aに記憶されている利用者Uの評価情報の中から、オフセット値が、ステップ20で指定されたノートパターンに含まれる最初のノートにおける音高と一致または近似するノートパターン画像を特定する(オフセット値が一致または近似するノートパターン画像を特定。ステップ22)。
推定部300は、ステップ20で指定されたノートパターンから基準画像を生成する(基準画像を生成。ステップ23)。
推定部300は、ステップ22で特定したノートパターン画像と、ステップ23で生成した基準画像とを比較する(ノートパターン画像と基準画像とを比較。ステップ24)。
推定部300は、ステップ23で生成した基準画像に一致または近似するノートパターン画像に紐付けられたノートパターン評価情報に基づいて、仮想評価を推定する(仮想評価を推定。ステップ25)。
以上から明らかなように、本実施形態に係るカラオケ装置Kは、利用者が行ったカラオケ歌唱における音高の正確性を、当該カラオケ歌唱を行った楽曲のリファレンスデータから抽出した所定長のノートパターン毎に評価した結果を示すノートパターン評価情報と、当該評価をしたノートパターンに関するノートパターン情報とを紐付けて、評価情報として利用者毎に記憶手段10aに記憶させる評価処理部100と、ある楽曲のリファレンスデータから抽出可能な所定長のノートパターンを少なくとも一つ指定する指定部200と、記憶手段10aに記憶されている利用者の評価情報に基づいて、指定されたノートパターンを当該利用者がカラオケ歌唱したと仮定した場合の仮想評価を推定する推定部300と、を有する。
このようなカラオケ装置Kによれば、利用者により指定されたある楽曲のノートパターンについて、当該利用者が仮にカラオケ歌唱を行った場合に得られる可能性が高い評価を推定することができる。利用者は、たとえば、当該ある楽曲をカラオケ歌唱するかどうかを決定する際に、推定された評価を参照することができる。すなわち、本実施形態に係るカラオケ装置Kによれば、カラオケ歌唱における音高の正確性の評価を、ノートパターンに基づいて推定することができる。
また、本実施形態に係るカラオケ装置Kにおいて、ノートパターン情報は、抽出した所定長のノートパターンに含まれる最初のノートにおける音高であるオフセット値に基づいて生成された、当該所定長のノートパターンに対応するノートパターン画像、及び当該オフセット値を含む。また、推定部300は、記憶手段10aに記憶されている利用者の評価情報の中から、オフセット値が、指定されたノートパターンに含まれる最初のノートにおける音高と一致または近似するノートパターン画像を特定し、指定されたノートパターンから生成した基準画像を、特定したノートパターン画像と比較し、当該基準画像に一致または近似するノートパターン画像に紐付けられたノートパターン評価情報に基づいて、仮想評価を推定する。このようなカラオケ装置Kによれば、カラオケ歌唱における音高の正確性の評価を、ノートパターンに対応するノートパターン画像に基づいて推定することができる。
<変形例>
上記実施形態における評価情報として、楽曲の音楽ジャンル情報及び/またはテンポ情報を含めることができる。楽曲の音楽ジャンル情報及びテンポ情報は、楽曲の属性情報に含まれるものを利用できる。
たとえば、上記実施形態における楽曲X1、楽曲X2、及び楽曲Y1の属性情報において、それぞれ音楽ジャンル情報「J-POP」が含まれ、楽曲X3の属性情報において、音楽ジャンル情報「ENKA」が含まれているとする。
この場合、評価処理部100は、楽曲X1の評価情報(評価情報X1EI01~X1EI08それぞれ)に音楽ジャンル情報「J-POP」を含め、記憶手段10aに記憶させる。同様に、評価処理部100は、楽曲X2の評価情報に音楽ジャンル情報「J-POP」を含め、記憶手段10aに記憶させる。一方、評価処理部100は、楽曲X3の評価情報に音楽ジャンル情報「ENKA」を含め、記憶手段10aに記憶させる。
推定部300は、ある楽曲の音楽ジャンル情報及び/またはテンポ情報と、記憶手段10aに記憶されている利用者の評価情報に含まれる音楽ジャンル情報及び/またはテンポ情報に基づいて、仮想評価を推定することができる。
たとえば、上記実施形態における推定部300は、記憶手段10aに記憶されている利用者Uの評価情報に含まれるノートパターン画像の中から、オフセット値が、指定されたノートパターンY1NP05の最初のノートにおける音高C4と一致するノートパターン画像であって、音楽ジャンル情報が楽曲Y1と一致する楽曲のノートパターン画像を特定する。上記実施形態で述べたように、オフセット値が「C4」で一致するノートパターン画像は、楽曲X1のノートパターン画像X1IP01、楽曲X2のノートパターン画像X2IP03、及び楽曲X3のノートパターン画像X3IP09の3つである。一方、楽曲Y1の音楽ジャンル情報「J-POP」と音楽ジャンル情報が一致するのは楽曲X1及び楽曲X2である。
よって、推定部300は、楽曲X1のノートパターン画像X1IP01、及び楽曲X2のノートパターン画像X2IP03のみを特定する。その後、推定部300は、第1実施形態と同様の処理を行うことにより、仮想評価を推定することができる。
なお、上記例では、音楽ジャンル情報を用いて説明を行ったがこれに限られない。たとえば、推定部300は、テンポ情報を用い、利用者の評価情報に含まれるノートパターン画像の中から、オフセット値が、指定されたノートパターンの最初のノートにおける音高と一致するノートパターン画像であって、テンポ情報が一致または近似する楽曲のノートパターン画像のみを特定してもよい。或いは、推定部300は、音楽ジャンル情報及びテンポ情報の両方が一致する楽曲のノートパターン画像のみを特定してもよい。
以上から明らかなように、本変形例に係るカラオケ装置Kにおいて、評価情報は、楽曲の音楽ジャンル情報及び/またはテンポ情報を含む。推定部300は、ある楽曲の音楽ジャンル情報及び/またはテンポ情報と、記憶手段10aに記憶されている利用者の評価情報に含まれる音楽ジャンル情報及び/またはテンポ情報に基づいて、仮想評価を推定する。このように音楽ジャンル情報及び/またはテンポ情報を利用することにより、複数の楽曲の評価情報の中から、ある楽曲と共通する要素を含む楽曲の評価情報のみを用いて仮想評価を推定することができる。すなわち、仮想評価をより正確に推定することができる。
<第2実施形態>
次に、図12を参照して、第2実施形態に係るカラオケ装置について説明する。本実施形態では、ある楽曲全体を通してカラオケ歌唱を行ったと仮定した場合の仮想評価を推定する例について述べる。第1実施形態と同様の部分については詳細な説明を省略する。
(指定部)
本実施形態に係る指定部200は、ある楽曲のリファレンスデータから抽出可能な所定長のノートパターンを全て指定する。
ノートパターンの指定は、たとえば、利用者がリモコン装置50を介して、任意の楽曲を選択することにより実行される。
たとえば、利用者Uが、リモコン装置50を介して楽曲Z1を選択したとする。指定部200は、当該選択に基づいて、所定長のノートパターンとして楽曲Z1のリファレンスデータに含まれる全てのノートパターンを指定する。なお、以下の説明において、楽曲Z1における所定長のノートパターンは、48個(ノートパターンZ1NP01~Z1NP48)あるとする。
(推定部)
本実施形態に係る推定部300は、仮想評価として、指定されたノートパターンを含むある楽曲を利用者がカラオケ歌唱したと仮定した場合の評価を推定する。
たとえば、推定部300は、記憶手段10aに記憶されている利用者の評価情報の中から、オフセット値が、指定された一のノートパターンに含まれる最初のノートにおける音高と一致または近似するノートパターン画像を特定し、指定された一のノートパターンから生成した基準画像を、特定したノートパターン画像と比較し、当該基準画像に一致または近似するノートパターン画像に紐付けられたノートパターン評価情報に基づいて、当該一のノートパターンの仮想評価を求める。推定部300は、同様の処理を指定された全てのノートパターンについて行う。推定部300は、求めた仮想評価の統計値(平均値、中央値等)を仮想評価として推定することができる。
ここで、指定部200は、利用者Uの選択に基づいて、所定長のノートパターンとして楽曲Z1に含まれる全てのノートパターンZ1NP01~Z1NP48を指定したとする。
この場合、推定部300は、記憶手段10aから楽曲Z1のリファレンスデータを読み出し、指定されたノートパターンZ1NP01~Z1NP48を抽出する。そして、推定部300は、記憶手段10aに記憶されている利用者Uの評価情報に含まれるノートパターン画像の中から、オフセット値が、一のノートパターンZ1NP01の最初のノートにおける音高と一致または近似するノートパターン画像を特定する。
次に、推定部300は、一のノートパターンZ1NP01から基準画像Z1RI01を生成する。推定部300は、基準画像Z1RI01を、特定したノートパターン画像と比較し、一のノートパターンZ1NP01の仮想評価を求める。推定部300は、他のノートパターンZ1NP02~Z1NP48についても同様の処理を行う。
推定部300は、ノートパターンZ1NP01~Z1NP48の仮想評価の統計値を求め、楽曲Z1を利用者Uがカラオケ歌唱したと仮定した場合の評価として推定する。
==カラオケ装置Kの動作について==
次に、図12を参照して本実施形態におけるカラオケ装置Kの動作の具体例について述べる。図12は、カラオケ装置Kにおける指定部200及び推定部300の動作例を示すフローチャートである。以下の説明では、ノートパターン情報が、ノートパターン画像及びオフセット値を含む例について説明する。また、評価処理部100の処理は第1実施形態と同様である。
[指定部及び推定部の動作]
ここでは、記憶手段10aが、利用者Uについて、ノートパターン画像及びオフセット値を含む複数の評価情報を記憶しているとする。
利用者Uは、リモコン装置50を介し、楽曲Z1を選択する。指定部200は、当該選択に基づいて、所定長のノートパターンとして楽曲Z1のリファレンスデータに含まれる全てのノートパターンを指定する(全てのノートパターンを指定。ステップ30)。
推定部300は、記憶手段10aから楽曲Z1のリファレンスデータを読み出し、ステップ30で指定された全てのノートパターンを抽出する(指定された全てのノートパターンを抽出。ステップ31)。
推定部300は、記憶手段10aに記憶されている利用者Uの評価情報の中から、オフセット値が、ステップ30で指定された一のノートパターンに含まれる最初のノートにおける音高と一致または近似するノートパターン画像を特定する(一のノートパターンについて、オフセット値が一致または近似するノートパターン画像を特定。ステップ32)。
推定部300は、ステップ30で指定された一のノートパターンから基準画像を生成する(一のノートパターンの基準画像を生成。ステップ33)。
推定部300は、ステップ32で特定したノートパターン画像と、ステップ33で生成した基準画像とを比較する(ノートパターン画像と基準画像とを比較。ステップ34)。
推定部300は、ステップ33で生成した基準画像に一致または近似するノートパターン画像に紐付けられたノートパターン評価情報に基づいて、一のノートパターンの仮想評価を求める(一のノートパターンの仮想評価を求める。ステップ35)。
推定部300は、ステップ30で指定された全てのノートパターンの仮想評価を求めるまで(ステップ36でYの場合まで)、ステップ32からステップ35の処理を繰り返し行う。
推定部300は、ステップ30で指定された全てのノートパターンの仮想評価の統計値を求め、楽曲Z1を利用者Uがカラオケ歌唱したと仮定した場合の評価として推定する(仮想評価を推定。ステップ37)。
以上から明らかなように、本実施形態に係るカラオケ装置Kにおいて指定部200は、ある楽曲のリファレンスデータから抽出可能な所定長のノートパターンを全て指定する。推定部300は、仮想評価として、指定されたノートパターンを含むある楽曲を利用者がカラオケ歌唱したと仮定した場合の評価を推定する。このようなカラオケ装置Kによれば、利用者がある楽曲全体を通してカラオケ歌唱を行ったと仮定した場合の仮想評価をノートパターンに基づいて推定することができる。
<第3実施形態>
次に、図13及び図14を参照して、第3実施形態に係るカラオケ装置について説明する。本実施形態では、仮想評価に基づいて、利用者に対してカラオケ歌唱する楽曲を推奨する例について述べる。上記実施形態と同様の部分については詳細な説明を省略する。
[制御手段]
図13に示すように、本実施形態においてはCPUがメモリに記憶されるプログラムを実行することにより、制御手段10eは、評価処理部100、指定部200、推定部300、及びレコメンド部400として機能する。
(レコメンド部)
レコメンド部400は、推定部300により推定された複数の仮想評価に基づいて、利用者に対してカラオケ歌唱する楽曲を推奨する。
楽曲を推奨する方法は様々な手法を用いることができる。たとえば、レコメンド部400は、表示装置30またはリモコン装置50の表示画面に楽曲名を表示させることにより、カラオケ歌唱を推奨することができる。
具体例として、利用者Uがカラオケ装置Kを利用する際に、リモコン装置50を介して「楽曲のレコメンド」を選択したとする。カラオケ装置Kの指定部200は、当該選択に基づいて、カラオケ装置Kが設置されている店舗において歌唱回数の多い順に所定数の楽曲を指定する。所定数は、たとえば10曲、20曲のように予め設定されている値である。
なお、楽曲の指定は、一の店舗における歌唱回数ではなく、全国的な歌唱回数を用いて行ってもよい。全国的な歌唱回数の情報は、たとえば、カラオケ装置Kと通信可能に接続されているサーバ装置(図示なし)が記憶しているものを用いることができる。
推定部300は、指定された楽曲毎に、たとえば第2実施形態と同様の処理を行うことにより、楽曲毎の仮想評価を推定する。
レコメンド部400は、推定された複数の仮想評価を参照し、利用者に対してカラオケ歌唱する楽曲を推奨する。たとえば、レコメンド部400は、仮想評価が高い順に5曲を選択し、カラオケ歌唱する楽曲として推奨することができる。或いは、レコメンド部400は、仮想評価が予め設定された条件(たとえば、仮想評価が「80」以上)を満たす楽曲を選択し、カラオケ歌唱する楽曲として推奨することができる。
==カラオケ装置Kの動作について==
次に、図14を参照して本実施形態におけるカラオケ装置Kの動作の具体例について述べる。図14は、カラオケ装置Kにおける指定部200及び推定部300の動作例を示すフローチャートである。なお、評価処理部100の処理は上記実施形態と同様である。また、記憶手段10aは、利用者Uについて複数の評価情報を記憶しているとする。
[指定部及び推定部の動作]
利用者Uは、リモコン装置50を介し、「楽曲のレコメンド」を選択する。指定部200は、当該選択に基づいて、カラオケ装置Kが設置されている店舗において歌唱回数の多い順に所定数の楽曲を指定する(所定数の楽曲を指定。ステップ40)。
そして、指定部200は、指定された一の楽曲について、所定長のノートパターンとして当該一の楽曲のリファレンスデータに含まれる全てのノートパターンを指定する(一の楽曲の全てのノートパターンを指定。ステップ41)。
推定部300は、記憶手段10aから一の楽曲のリファレンスデータを読み出し、ステップ41で指定された全てのノートパターンを抽出する(指定された全てのノートパターンを抽出。ステップ42)。
推定部300は、ステップ42で抽出された全てのノートパターンの仮想評価の統計値を求め、一の楽曲を利用者Uがカラオケ歌唱したと仮定した場合の評価として推定する(一の楽曲の仮想評価を推定。ステップ43)。なお、仮想評価の推定は、たとえば第2実施形態のステップ32からステップ37と同様に行うことが可能である。
推定部300は、ステップ40で指定された所定数の楽曲毎の仮想評価を求めるまで(ステップ44でYの場合まで)、ステップ41からステップ43の処理を繰り返し行う。
レコメンド部400は、推定部300により推定された複数の仮想評価に基づいて、利用者Uに対してカラオケ歌唱する楽曲を推奨する(カラオケ歌唱する楽曲を推奨。ステップ45)。
以上から明らかなように、本実施形態に係るカラオケ装置Kは、推定部300により推定された複数の仮想評価に基づいて、利用者に対してカラオケ歌唱する楽曲を推奨するレコメンド部400を有する。このように仮想評価を用いることにより、利用者にとって歌唱しやすい楽曲や高い評価を得られる可能性のある楽曲を推奨することができる。
<第4実施形態>
次に、図15を参照して、第4実施形態に係るカラオケ装置について説明する。本実施形態では、仮想評価に基づいて、利用者に対してカラオケ歌唱する楽曲及びキー設定を推奨する例について述べる。上記実施形態と同様の部分については詳細な説明を省略する。
(推定部)
本実施形態に係る推定部300は、複数の仮想評価として、利用者がある楽曲を異なるキー設定でカラオケ歌唱したと仮定した場合の評価を推定する。キーは、たとえば、7種類(-3、-2、-1、0、+1、+2、+3)設定可能である。
具体例として、利用者Uがカラオケ装置Kを利用する際に、リモコン装置50を介して「楽曲のレコメンド」を選択したとする。カラオケ装置Kの指定部200は、当該選択に基づいて、カラオケ装置Kが設置されている店舗において歌唱回数の多い順に楽曲Z1~楽曲Z20の20曲を指定する。なお、楽曲Z1は、ノートパターンZ1NP01~Z1NP48を含むとする。また、キーK1~K7の7種類が設定可能であるとする。
推定部300は、指定された楽曲毎、且つキー設定毎に、たとえば第2実施形態と同様の処理を行うことで、楽曲毎且つキー毎の仮想評価を推定する。
たとえば、推定部300は、記憶手段10aから楽曲Z1のリファレンスデータを読み出し、設定可能な一のキーK1に基づいてシフトさせたノートパターンZ1NP01S~Z1NP48Sを抽出する。そして、推定部300は、記憶手段10aに記憶されている利用者Uの評価情報に含まれるノートパターン画像の中から、オフセット値が、一のノートパターンZ1NP01Sの最初のノートにおける音高と一致または近似するノートパターン画像を特定する。
次に、推定部300は、一のノートパターンZ1NP01Sから基準画像Z1RI01Sを生成する。推定部300は、基準画像Z1RI01Sを、特定したノートパターン画像と比較し、一のノートパターンZ1NP01Sの仮想評価を求める。推定部300は、他のノートパターンZ1NP02S~Z1NP48Sについても同様の処理を行う。
推定部300は、ノートパターンZ1NP01S~Z1NP48Sの仮想評価の統計値を求め、楽曲Z1を利用者Uが一のキーK1でカラオケ歌唱したと仮定した場合の評価として推定する。同様に、推定部300は、楽曲Z1について、キーK2~K7それぞれにおける仮想評価を推定する。また、推定部300は、楽曲Z2~楽曲Z20についても、キーK1~K7それぞれにおける仮想評価を推定する。すなわち、この例において、推定部300は、140通りの仮想評価を推定する。
(レコメンド部)
本実施形態に係るレコメンド部400は、複数の仮想評価に基づいて、利用者に対してカラオケ歌唱する楽曲及びキー設定を推奨する。
楽曲及びキー設定を推奨する方法は様々な手法を用いることができる。たとえば、レコメンド部400は、表示装置30またはリモコン装置50の表示画面に楽曲名及びキー設定を表示させることにより、カラオケ歌唱及び好ましいキー設定を推奨することができる。
レコメンド部400は、推定された複数の仮想評価を参照し、利用者に対してカラオケ歌唱する楽曲及びキー設定を推奨する。たとえば、レコメンド部400は、上述の140通りの仮想評価の中から、仮想評価が高い順に10曲を選択する。レコメンド部400は、当該10曲を、設定されているキーと併せて利用者に対して推奨する。なお、この場合、キーが異なる同じ楽曲が推奨される可能性もありうる。
==カラオケ装置Kの動作について==
次に、図15を参照して本実施形態におけるカラオケ装置Kの動作の具体例について述べる。図15は、カラオケ装置Kにおける指定部200及び推定部300の動作例を示すフローチャートである。なお、評価処理部100の処理は上記実施形態と同様である。また、記憶手段10aは、利用者Uについて複数の評価情報を記憶しているとする。
[指定部及び推定部の動作]
利用者Uは、リモコン装置50を介し、「楽曲のレコメンド」を選択する。指定部200は、当該選択に基づいて、カラオケ装置Kが設置されている店舗において歌唱回数の多い順に所定数の楽曲を指定する(所定数の楽曲を指定。ステップ50)。
そして、指定部200は、指定された一の楽曲について、所定長のノートパターンとして当該一の楽曲のリファレンスデータに含まれる全てのノートパターンを指定する(一の楽曲の全てのノートパターンを指定。ステップ51)。
推定部300は、記憶手段10aから一の楽曲のリファレンスデータを読み出し、設定可能な一のキーに応じてシフトさせた全てのノートパターンを抽出する(一のキーに応じてシフトさせた全てのノートパターンを抽出。ステップ52)。
推定部300は、ステップ52で抽出された全てのノートパターンの仮想評価の統計値を求め、一の楽曲を利用者Uが一のキーでカラオケ歌唱したと仮定した場合の評価として推定する(一の楽曲を一のキーでカラオケ歌唱した仮想評価を推定。ステップ53)。なお、仮想評価の推定は、たとえば第2実施形態のステップ32からステップ37と同様に行うことが可能である。
推定部300は、一の楽曲について設定可能な全てのキーに応じた仮想評価を推定するまで(ステップ54でYの場合まで)、且つステップ50で指定された所定数の楽曲毎の仮想評価を求めるまで(ステップ55でYの場合まで)、ステップ51からステップ53の処理を繰り返し行う。
レコメンド部400は、推定部300により推定された複数の仮想評価に基づいて、利用者Uに対してカラオケ歌唱する楽曲及びキー設定を推奨する(カラオケ歌唱する楽曲及びキー設定を推奨。ステップ56)。
以上から明らかなように、本実施形態に係るカラオケ装置Kにおける推定部300は、複数の仮想評価として、利用者がある楽曲を異なるキー設定でカラオケ歌唱したと仮定した場合の評価を推定し、レコメンド部400は、複数の仮想評価に基づいて、利用者に対してカラオケ歌唱する楽曲及びキー設定を推奨する。このように仮想評価を用いることにより、利用者にとって歌唱しやすい楽曲及びキー設定や、高い評価を得られる可能性のある楽曲及びキー設定を推奨することができる。
<その他>
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。