JP2009162818A - 楽曲提示装置、楽曲提示プログラム - Google Patents

Abstract

【課題】歌唱者の歌唱特性を分析して歌唱者が歌うのに適した曲やジャンルを提示することができる楽曲提示装置および楽曲提示プログラムを提供すること。
【解決手段】楽曲提示装置には、楽曲に関する楽曲関連情報、および、当該情報に対応づけられた比較用パラメタが予め記憶されている。そして、楽曲提示装置において、ユーザの歌唱にかかる音声データを取得し、当該音声データを分析して、ユーザの歌唱の特徴を示す複数の歌唱特徴パラメタを算出する。次に、歌唱特徴パラメタと比較用パラメタとを比較して、当該歌唱特徴パラメタと比較用パラメタとの類似度を算出する。そして、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている楽曲関連情報を少なくとも１つ選択し、当該関連情報に基づいて所定の情報を提示する。
【選択図】図３０

Description

本発明は、ユーザに楽曲を提示する楽曲提示装置および楽曲提示プログラムに関し、より特定的には、ユーザの歌声を分析して楽曲を提示する楽曲提示装置、および楽曲提示プログラムに関する。

カラオケ装置において、カラオケ曲を演奏するのみならず、歌唱者の歌唱を分析して何らかの結果を報告する機能を有するものが実用化されている。例えば、歌唱者の歌唱音声のフォルマントを分析し、その歌唱者に声の似ている歌手の似顔絵を表示するようなカラオケ装置が開示されている（例えば、特許文献１）。当該カラオケ装置は、複数の歌手の声のフォルマントデータが予め登録されたデータベースを備えている。そして、歌唱者の歌唱音声を分析したフォルマントデータと当該データベースに登録されているフォルマントデータとを照合し、類似度の高い歌手の似顔絵を表示している。更に、その歌手の曲のリストも表示可能となっている。
特開２０００−５６７８５号公報

しかしながら、上述したような上記特許文献１に開示されたカラオケ装置においては、以下に示す問題点があった。すなわち、当該カラオケ装置では、歌唱者の声（フォルマントデータ）とデータベースに登録されている歌手の声が似ているか否かを判断基準としているだけであり、歌唱者の歌唱の特性（歌い方等）を考慮するものではなかった。つまり、歌唱者の声が似ている歌手の似顔絵や、その歌手の曲リストが提示されるだけであり、必ずしも提示された曲がその歌唱者にとって歌いやすい曲、あるいは、歌うのに適した曲であるとは限らない。例えば、歌唱者にとって得意なジャンルの曲を提示するようなことはできなかった。

それ故に、本発明の目的は、歌唱者の歌唱特性を分析して歌唱者が歌うのに適した曲やジャンルを提示することができる楽曲提示装置および楽曲提示プログラムを提供することである。

本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施形態との対応関係の一例を示したものであって、本発明を何ら限定するものではない。

第１の発明は、音声データ取得手段（２１）と、歌唱特徴分析手段（２１）と、楽曲関連情報記憶手段（２４）と、比較用パラメタ記憶手段（２４）と、比較手段（２１）と、選択手段（２１）と、提示手段（１２、２１）とを備える、楽曲提示装置である。音声データ取得手段は、ユーザの歌唱にかかる音声データを取得する。歌唱特徴分析手段は、音声データを分析して、ユーザの歌唱の特徴を示す複数の歌唱特徴パラメタを算出する。楽曲関連情報記憶手段は、楽曲に関する楽曲関連情報を記憶する。比較用パラメタ記憶手段は、歌唱特徴パラメタと比較するための比較用パラメタを楽曲関連情報に対応づけて記憶する。比較手段は、歌唱特徴パラメタと比較用パラメタとを比較して、当該歌唱特徴パラメタと比較用パラメタとの類似度を算出する。選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている楽曲関連情報を少なくとも１つ選択する。提示手段は、選択手段が選択した楽曲関連情報に基づいて情報を提示する。

第１の発明によれば、ユーザの歌唱の特性を考慮した楽曲関連情報に基づく情報、例えば、ユーザが歌うのに適したカラオケ曲についての情報や、ユーザの歌唱に適した音楽ジャンルをユーザに提示することが可能となる。

第２の発明は、第１の発明において、楽曲関連情報記憶手段は、少なくとも楽曲を再生するための楽曲データを楽曲関連情報として記憶する。また、比較用パラメタ記憶手段は、楽曲の音楽的特徴を示すパラメタを比較用パラメタして楽曲データに対応づけて記憶する。そして、選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている楽曲データを少なくとも１つ選択する。更に、提示手段は、選択手段が選択した楽曲データに基づいて楽曲の情報を提示する。

第２の発明によれば、ユーザが歌うのに適したカラオケ曲等の楽曲に関する情報を提示することができる。

第３の発明は、第２の発明において、楽曲関連情報記憶手段は、楽曲の音楽ジャンルを示すジャンルデータを楽曲関連情報として更に記憶する。また、比較用パラメタ記憶手段は、音楽ジャンルの音楽的特徴を示すパラメタを比較用パラメタとして更に記憶する。また、楽曲提示装置は、楽曲−ジャンル類似度データ記憶手段（２４）と、音声−ジャンル類似度算出手段（２１）とを更に備える。楽曲−ジャンル類似度データ記憶手段は、楽曲と音楽ジャンルとの類似度を示す楽曲−ジャンル類似度データを記憶する。音声−ジャンル類似度算出手段は、歌唱特徴パラメタと音楽ジャンルとの類似度を算出する。そして、選択手段は、音声−ジャンル類似度算出手段によって算出された類似度と、楽曲−ジャンル類似度データ記憶手段に記憶された楽曲−ジャンル類似度データとに基づいて楽曲データの選択を行う。

第４の発明は、第３の発明において、楽曲データには、当該楽曲の演奏に用いられている楽器と当該楽曲のテンポと当該楽曲の調とを示すための楽譜データが含まれている。また、楽曲提示装置は、楽譜データに含まれる楽器、テンポ、調に基づいて楽曲と音楽ジャンルとの類似度を算出する楽曲−ジャンル類似データ算出手段を更に備える。

第３乃至第４の発明によれば、ユーザの歌唱特性に適した音楽ジャンルを考慮して、カラオケ曲等の楽曲の提示を実現することができる。

第５の発明は、第１の発明において、歌唱特徴パラメタおよび比較パラメタには、プレイヤの歌唱にかかる音程の正確さ、音程の揺れ、周期的な音声の入力、音域のいずれかを評価した値が含まれる。

第５の発明によれば、より的確に類似度を算出することが可能となる。

第６の発明は、第２の発明において、楽曲データには、当該楽曲に用いられている楽器と当該楽曲のテンポと当該楽曲の調と当該楽曲を構成する複数の音符を示すための楽譜データが含まれている。また、歌唱特徴分析手段は、前記音声データから音量値を示すデータである音量値データと音程を示すデータである音程データとを算出する音量音程データ算出手段を含む。そして、歌唱特徴分析手段は、音量値データおよび音程データの少なくともいずれか一方と楽譜データとを比較して歌唱特徴パラメタを算出する。

第６の発明によれば、楽譜と音量、音程とに基づいて歌声の分析を行うため、より的確に歌唱の特徴を算出することができる。

第７の発明は、第６の発明において、歌唱特徴分析手段は、音量値データから所定の周期における周波数成分の出力値に基づいて歌唱特徴パラメタを算出する。

第８の発明は、第６の発明において、歌唱特徴分析手段は、楽譜データで示される楽譜のメロディパートにおける各音符の開始タイミングと、音量値データに基づく音声の入力タイミングとのずれに基づいて歌唱特徴パラメタを算出する。

第９の発明は、第６の発明において、歌唱特徴分析手段は、楽譜データで示される楽譜の音符の音程と、音程データに基づく音程とのずれに基づいて歌唱特徴パラメタを算出する。

第１０の発明は、第６の発明において、歌唱特徴分析手段は、音程データにおける単位時間毎の音程の変化量に基づいて歌唱特徴パラメタを算出する。

第１１の発明は、第６の発明において、歌唱特徴分析手段は、音量値データおよび音程データから、同じ音程が所定時間以上維持されている音声のうち、最大の音量値である音程に基づいて歌唱特徴パラメタを算出する。

第１２の発明は、第６の発明において、歌唱特徴分析手段は、プレイヤの音声に含まれる高周波成分の量を音声データから算出し、当該算出した結果に基づいて歌唱特徴パラメタを算出する。

第７乃至第１２の発明によれば、ユーザの歌唱と特徴をより的確に捉えた歌唱特徴パラメタを算出することが可能となる。

第１３の発明は、第１の発明において、楽曲関連情報記憶手段は、少なくとも音楽ジャンルを示すジャンルデータを楽曲関連情報として記憶する。また、比較用パラメタ記憶手段は、音楽ジャンルの音楽的特徴を示すパラメタを比較用パラメタとして音楽ジャンルに対応づけて記憶する。更に、選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている音楽ジャンルを選択する。そして、提示手段は、楽曲関連情報に基づく情報として音楽ジャンルの名称を提示する。

第１３の発明によれば、ユーザの歌唱特性に適している音楽ジャンルを提示することができる。

第１４の発明は、第２の発明において、楽曲データには、当該楽曲の演奏に用いられている楽器と当該楽曲のテンポと当該楽曲の調とを示すための楽譜データが含まれている。また、楽曲提示装置は、楽譜データから比較用パラメタを楽曲毎に算出する楽曲パラメタ算出手段を更に備えている。そして、比較用パラメタ記憶手段は、楽曲パラメタ算出手段が算出した比較用パラメタを記憶する。

第１５の発明は、第１４の発明において、楽曲パラメタ算出手段は、楽譜データに基づいて、音符間の音程差と、拍内における音符の位置と、音符の長さが所定閾値以上である音符の合計時間とに基づいて比較用パラメタを算出する。

第１４乃至第１５の発明によれば、ユーザが自ら楽曲を作曲したり、所定のサーバ等から楽曲をダウンロードすることで楽曲を新たに取得したような場合にでも、当該自作曲やダウンロード曲を分析して比較用パラメタを生成、記憶することができる。これにより、当該自作曲やダウンロード曲についてもユーザの歌唱特性に適しているか否かを提示することができる。

第１６の発明は、ユーザに楽曲を提示する楽曲提示装置のコンピュータを、音声データ取得手段（Ｓ４４）と、歌唱特徴分析手段（Ｓ４５）と、楽曲関連情報記憶手段（Ｓ６５）と、比較用パラメタ記憶手段（Ｓ４７、Ｓ４８）と、比較手段（Ｓ４９）と、選択手段（Ｓ４９）と、提示手段（Ｓ５１）として機能させる、楽曲提示プログラムである。音声データ取得手段は、ユーザの歌唱にかかる音声データを取得する。歌唱特徴分析手段は、音声データを分析して、ユーザの歌唱の特徴を示す複数の歌唱特徴パラメタを算出する。楽曲関連情報記憶手段は、楽曲に関する楽曲関連情報を記憶する。比較用パラメタ記憶手段は、歌唱特徴パラメタと比較するための比較用パラメタを楽曲関連情報に対応づけて記憶する。比較手段は、歌唱特徴パラメタと比較用パラメタとを比較して、当該歌唱特徴パラメタと比較用パラメタとの類似度を算出する。選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている楽曲関連情報を少なくとも１つ選択する。提示手段は、選択手段が選択した楽曲関連情報に基づいて情報を提示する。

第１６の発明によれば、上記第１の発明と同様の効果を得ることができる。

第１７の発明は、第１６の発明において、楽曲関連情報記憶手段は、少なくとも楽曲を再生するための楽曲データを楽曲関連情報として記憶する。また、比較用パラメタ記憶手段は、楽曲の音楽的特徴を示すパラメタを比較用パラメタして楽曲データに対応づけて記憶する。そして、選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている楽曲データを少なくとも１つ選択する。更に、提示手段は、選択手段が選択した楽曲データに基づいて楽曲の情報を提示する。

第１７の発明によれば、上記第２の発明と同様の効果を得ることができる。

第１８の発明は、第２の発明において、楽曲関連情報記憶手段は、楽曲の音楽ジャンルを示すジャンルデータを楽曲関連情報として更に記憶する。また、比較用パラメタ記憶手段は、音楽ジャンルの音楽的特徴を示すパラメタを比較用パラメタして更に記憶する。また、楽曲提示プログラムは、楽曲提示装置のコンピュータを、楽曲−ジャンル類似度データ記憶手段（Ｓ６３）と、音声−ジャンル類似度算出手段（Ｓ６６）として更に機能させる。楽曲−ジャンル類似度データ記憶手段は、楽曲と音楽ジャンルとの類似度を示す楽曲−ジャンル類似度データを記憶する。音声−ジャンル類似度算出手段は、歌唱特徴パラメタと音楽ジャンルとの類似度を算出する。そして、選択手段は、音声−ジャンル類似度算出手段によって算出された類似度と、楽曲−ジャンル類似度データ記憶手段に記憶された楽曲−ジャンル類似度データとに基づいて楽曲データの選択を行う。

第１８の発明によれば、上記第３の発明と同様の効果を得ることができる。

第１９の発明は、第１８の発明において、楽曲データには、当該楽曲の演奏に用いられている楽器と当該楽曲のテンポと当該楽曲の調とを示すための楽譜データが含まれている。また、楽曲提示装置は、楽曲提示装置のコンピュータを、楽譜データに含まれる楽器、テンポ、調に基づいて楽曲と音楽ジャンルとの類似度を算出する楽曲−ジャンル類似データ算出手段（Ｓ４）として更に機能させる。

第１９の発明によれば、上記第４の発明と同様の効果を得ることができる。

第２０の発明は、第１６の発明において、歌唱特徴パラメタおよび比較パラメタには、プレイヤの歌唱にかかる音程の正確さ、音程の揺れ、周期的な音声の入力、音域のいずれかを評価した値が含まれる。

第２０の発明によれば、上記第５の発明と同様の効果を得ることができる。

第２１の発明は、第１７の発明において、楽曲データには、当該楽曲に用いられている楽器と当該楽曲のテンポと当該楽曲の調と当該楽曲を構成する複数の音符を示すための楽譜データが含まれている。また、歌唱特徴分析手段は、音声データから音量値を示すデータである音量値データと音程を示すデータである音程データとを算出する音量音程データ算出手段を含む。そして、歌唱特徴分析手段は、音量値データおよび音程データの少なくともいずれか一方と楽譜データとを比較して歌唱特徴パラメタを算出する。

第２１の発明によれば、上記第６の発明と同様の効果を得ることができる。

第２２の発明は、第２１の発明において、歌唱特徴分析手段は、音量値データから所定の周期における周波数成分の出力値に基づいて前記歌唱特徴パラメタを算出する。

第２３の発明は、第２１の発明において、歌唱特徴分析手段は、楽譜データで示される楽譜のメロディパートにおける各音符の開始タイミングと、音量値データに基づく音声の入力タイミングとのずれに基づいて歌唱特徴パラメタを算出する。

第２４の発明は、第２１の発明において、歌唱特徴分析手段は、楽譜データで示される楽譜の音符の音程と、音程データに基づく音程とのずれに基づいて歌唱特徴パラメタを算出する。

第２５の発明は、第２１の発明において、歌唱特徴分析手段は、音程データにおける単位時間毎の音程の変化量に基づいて歌唱特徴パラメタを算出する。

第２６の発明は、第２１の発明において、歌唱特徴分析手段は、音量値データおよび音程データから、同じ音程が所定時間以上維持されている音声のうち、最大の音量値である音程に基づいて歌唱特徴パラメタを算出する。

第２７の発明は、第２１の発明において、歌唱特徴分析手段は、プレイヤの音声に含まれる高周波成分の量を音声データから算出し、当該算出した結果に基づいて歌唱特徴パラメタを算出する。

第２２乃至第２７の発明によれば、上記第７乃至第１２の発明と同様の効果を得ることができる。

第２８の発明は、第１６の発明において、楽曲関連情報記憶手段は、少なくとも音楽ジャンルを示すジャンルデータを楽曲関連情報として記憶する。また、比較用パラメタ記憶手段は、音楽ジャンルの音楽的特徴を示すパラメタを比較用パラメタとして音楽ジャンルに対応づけて記憶する。更に、選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている音楽ジャンルを選択する。そして、提示手段は、楽曲関連情報に基づく情報として音楽ジャンルの名称を提示する。

第２８の発明によれば、上記第１３の発明と同様の効果を得ることができる。

第２９の発明は、第１７の発明において、楽曲データには、当該楽曲の演奏に用いられている楽器と当該楽曲のテンポと当該楽曲の調とを示すための楽譜データが含まれている。また、楽曲提示プログラムは、楽曲提示装置のコンピュータを、楽譜データから比較用パラメタを楽曲毎に算出する楽曲パラメタ算出手段（Ｓ３）として更に機能させる。そして、比較用パラメタ記憶手段は、楽曲パラメタ算出手段が算出した比較用パラメタを記憶する。

第２９の発明によれば、上記第１４の発明と同様の効果を得ることができる。

第３０の発明は、第２９の発明において、楽曲パラメタ算出手段は、楽譜データに基づいて、音符間の音程差と、拍内における音符の位置と、音符の長さが所定閾値以上である音符の合計時間とに基づいて比較用パラメタを算出する。

第３０の発明によれば、上記第１５の発明と同様の効果を得ることができる。

本発明によれば、歌唱者の歌唱の特性に適した楽曲や音楽ジャンルを提示することができる。

以下、本発明の実施の形態について、図面を参照して説明する。尚、この実施例により本発明が限定されるものではない。

図１は、本発明の一実施形態に係る携帯型ゲーム装置（以下、単にゲーム装置と呼ぶ）１０の外観図である。図２は、このゲーム装置１０の斜視図である。図１において、ゲーム装置１０は、第１のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１１および第２のＬＣＤ１２を含む。ハウジング１３は上側ハウジング１３ａと下側ハウジング１３ｂとによって構成されており、第１のＬＣＤ１１は上側ハウジング１３ａに収納され、第２のＬＣＤ１２は下側ハウジング１３ｂに収納される。第１のＬＣＤ１１および第２のＬＣＤ１２の解像度はいずれも２５６ｄｏｔ×１９２ｄｏｔである。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用することができる。また任意の解像度のものを利用することができる。

上側ハウジング１３ａには、後述する１対のスピーカ（図３の３０ａ、３０ｂ）からの音を外部に放出するための音抜き孔１８ａ、１８ｂが形成されている。

上側ハウジング１３ａと下側ハウジング１３ｂとを開閉可能に接続するヒンジ部にはマイクロフォン用孔３３が設けられている。

下側ハウジング１３ｂには、入力装置として、十字スイッチ１４ａ、スタートスイッチ１４ｂ、セレクトスイッチ１４ｃ、Ａボタン１４ｄ、Ｂボタン１４ｅ、Ｘボタン１４ｆ、およびＹボタン１４ｇが設けられている。また、さらなる入力装置として、第２のＬＣＤ１２の画面上にタッチパネル１５が装着されている。下側ハウジング１３ｂには、電源スイッチ１９、メモリカード１７を収納するための挿入口、スティック１６を収納するための挿入口が設けられている。

タッチパネル１５は、抵抗膜方式のタッチパネルである。ただし、本発明は抵抗膜方式に限らず、任意の押圧式のタッチパネルを用いることができる。タッチパネル１５は、スティック１６に限らず指で操作することも可能である。本実施形態では、タッチパネル１５として、第２のＬＣＤ１２の解像度と同じく２５６ｄｏｔ×１９２ｄｏｔの解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１５の解像度と第２のＬＣＤ１２の解像度が一致している必要はない。

メモリカード１７はゲームプログラムを記録した記録媒体であり、下部ハウジング１３ｂに設けられた挿入口に着脱自在に装着される。

次に、図３を参照してゲーム装置１０の内部構成を説明する。

図３において、ハウジング１３に収納される電子回路基板２０には、ＣＰＵコア２１が実装される。ＣＰＵコア２１には、バス２２を介して、コネクタ２３が接続されるとともに、入出力インターフェース回路（図面ではＩ／Ｆ回路と記す）２５、第１ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６、第２ＧＰＵ２７、ＲＡＭ２４、およびＬＣＤコントローラ３１、およびワイヤレス通信部３５が接続される。コネクタ２３には、メモリカード１７が着脱自在に接続される。メモリカード１７は、ゲームプログラムを記憶するＲＯＭ１７ａと、バックアップデータを書き換え可能に記憶するＲＡＭ１７ｂを搭載する。メモリカード１７のＲＯＭ１７ａに記憶されたゲームプログラムはＲＡＭ２４にロードされ、ＲＡＭ２４にロードされたゲームプログラムがＣＰＵコア２１によって実行される。ＲＡＭ２４には、ゲームプログラムの他にも、ＣＰＵコア２１がゲームプログラムを実行して得られる一時的なデータや、ゲーム画像を生成するためのデータが記憶される。Ｉ／Ｆ回路２５には、タッチパネル１５、右スピーカ３０ａ、左スピーカ３０ｂ、図１の十字スイッチ１４ａやＡボタン１４ｄ等から成る操作スイッチ部１４、およびマイクロフォン３６が接続される。右スピーカ３０ａと左スピーカ３０ｂは、音抜き孔１８ａ、１８ｂの内側にそれぞれ配置される。マイクロフォン３６は、マイクロフォン用孔３３の内側に配置される。

第１ＧＰＵ２６には、第１ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）２８が接続され、第２ＧＰＵ２７には、第２ＶＲＡＭ２９が接続される。第１ＧＰＵ２６は、ＣＰＵコア２１からの指示に応じて、ＲＡＭ２４に記憶されているゲーム画像を生成するためのデータに基づいて第１のゲーム画像を生成し、第１ＶＲＡＭ２８に描画する。第２ＧＰＵ２７は、同様にＣＰＵコア２１からの指示に応じて第２のゲーム画像を生成し、第２ＶＲＡＭ２９に描画する。第１ＶＲＡＭ２８および第２ＶＲＡＭ２９はＬＣＤコントローラ３１に接続されている。

ＬＣＤコントローラ３１はレジスタ３２を含む。レジスタ３２はＣＰＵコア２１からの指示に応じて０または１の値を記憶する。ＬＣＤコントローラ３１は、レジスタ３２の値が０の場合は、第１ＶＲＡＭ２８に描画された第１のゲーム画像を第１のＬＣＤ１１に出力し、第２ＶＲＡＭ２９に描画された第２のゲーム画像を第２のＬＣＤ１２に出力する。また、レジスタ３２の値が１の場合は、第１ＶＲＡＭ２８に描画された第１のゲーム画像を第２のＬＣＤ１２に出力し、第２ＶＲＡＭ２９に描画された第２のゲーム画像を第１のＬＣＤ１１に出力する。

ワイヤレス通信部３５は、他のゲーム装置のワイヤレス通信部との間で、ゲーム処理に利用されるデータやその他のデータをやりとりする機能を有している。

なお、本発明はゲーム装置に限らず、ハウジングで支持された押圧式のタッチパネルを備えた任意の装置に適用することができる。例えば、携帯ゲーム装置や、据え置き型ゲーム装置のコントローラや、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）に適用することができる。また、本発明はタッチパネルの下にディスプレイが設けられていないような入力装置にも適用することができる。

次に、図４〜図６を用いて、本実施形態で想定するゲームの概要について説明する。本実施形態で想定するゲームはカラオケゲームであり、ゲーム装置１０においてカラオケ曲が演奏され、スピーカー３０から出力される。プレイヤは、その演奏に合わせて、マイクロフォン３６（マイクロフォン用孔３３）に向かって歌うことで、カラオケを楽しむことができる。更に、本ゲームでは、プレイヤの歌声を分析し、プレイヤに適した音楽のジャンルやおすすめ曲を提示する、楽曲提示機能を備えている。本発明は、当該楽曲提示機能に関する発明であるため、以下の説明では、当該楽曲提示機能を実現する処理について説明する。

まず、カラオケゲームが起動され、図示しない初期メニューから「カラオケ」のメニューを選ぶと、図４のようなカラオケメニュー画面が表示される。この画面では、２つの選択項目「トレーニング」および「診断」と、「戻る」ボタンが表示されている。当該項目からプレイヤが「トレーニング」を選ぶと、カラオケの練習を行うためのカラオケ処理が実行される。一方、「タイプ診断」を選ぶと、上記楽曲提示の処理が実行される。なお、「戻る」が選ばれた場合は、上記初期メニューに戻る。

具体的には、プレイヤが図４のメニューから「診断」を選択すると、図５のような曲一覧画面が表示される。当該画面から、プレイヤは所望の曲を選ぶ。選び終われば、図６のような、マイク１０１や歌詞１０２等が表示された画面が表示され、選択した楽曲のカラオケ曲の演奏が開始される。プレイヤは、曲にあわせてマイクロフォン３６に向かって歌唱すると、マイクロフォン３６に入力された歌声の分析処理が実行される。より具体的には、プレイヤの歌声から音量値を示すデータ（以下、音量値データと呼ぶ）と音程に関するデータ（以下、音程データと呼ぶ）が生成される。そして、当該２つのデータに基づいて、プレイヤの歌い方の特徴を示すパラメータ（以下、歌声パラメタと呼ぶ）が算出される。例えば、音程感、リズム、ビブラート等の特徴を示すパラメータが算出される。

その後、当該歌声パラメタとメモリカード１７に予め記憶されている楽曲パラメタ（ゲーム処理に際しては、ＲＡＭ２４に読み込まれる）とが比較される。ここで、楽曲パラメタとは、予め楽曲データを分析することによって生成されたものである。そして、楽曲パラメタは、楽曲の特徴を示すと共に、その曲がどのような歌声パラメタを有する歌声に向いているかを示すものである。そのため、上記歌声パラメタと楽曲パラメタとの値の傾向が類似しているほど、その歌声に適した楽曲であると判定される。このような、類似性を判定することによって、プレイヤの歌声（歌い方、歌唱の特性）に適している楽曲が検索される。（本実施形態では、当該類似性の判定については、ピアソンの積率相関係数を利用する）そして、その検索結果が「おすすめ曲」として表示される。更に、本実施形態では、プレイヤの歌い方に適している楽曲のジャンル（おすすめジャンル）の表示も行われる。その結果、プレイヤが上記の曲を歌い終われば、例えば、「あなたに適したジャンルは○○○○です。おすすめする曲は、△△△△です。」のような表示が行われることになる。

このように、本実施形態におけるゲームでは、プレイヤが上記のような「診断」において歌唱を行うことで、そのプレイヤの歌声に適している楽曲や音楽のジャンルを提示する処理が行われる。

次に、上記のような楽曲提示処理の処理概要を説明する。図７は、本実施形態にかかる楽曲提示処理の処理概要を説明するための図である。ここで、図７の記法について説明すると、図７において、四角形で表される要素は、情報源、または情報出口を示している。これは、外部の情報源や外部への情報の出力先を意味している。また、円で表されている要素は、プロセス（入力データを処理して何らかの加工を加え、結果となるデータを出力するもの）を示している。また、２本の平行線で表される要素は、データストア（データの保管場所）を示している。また、矢印線で表される要素は、データの移動経路を示すデータフローを示している。

まず、本実施形態では、図７の楽譜データ（Ｄ２）、楽曲分析データ（Ｄ３）、楽曲−ジャンル相関リスト（Ｄ４）に相当する内容が記録されているメモリカード１７がゲーム製品として市場に流通する。そして、当該メモリカードがゲーム装置１０に装着されることで本実施形態のゲーム処理が実行されることになる。そのため、図７の楽曲分析（Ｐ２）は製品の出荷前において予め実行される。そして、楽曲分析データ（Ｄ３）、楽曲−ジャンル相関リスト（Ｄ４）が生成されて、ゲームデータの一部としてメモリカード１７に記憶されることになる。

具体的には、楽曲分析（Ｐ２）においては、楽曲データ（Ｄ２）の楽譜データが入力されて後述するような分析処理が行われる。その分析結果として、楽曲分析データ（Ｄ３）および楽曲−ジャンル相関リスト（Ｄ４）が出力される。楽曲分析データには、分析した楽曲の音程感、リズムやビブラート等を示す楽曲パラメタが格納されている。また、楽曲−ジャンル相関リストには、楽曲とジャンルとの類似度を示す楽曲−ジャンル相関データが格納される。例えば、ある楽曲については、「ロック」というジャンルは８０点、「ポップス」というジャンルは５０点、のようなデータが格納される。これらのデータの詳細については、後ほど説明する。

この他、ジャンルマスタ（Ｄ１）がゲーム開発者等によって予め作成され、メモリカード１７に記憶される。当該ジャンルマスタは、本実施形態で用いられる楽曲のジャンルと、そのジャンルに向いている歌声の特性とを対応づけて予め定義したデータである。

次に、上記図４のメニューから、プレイヤが「診断」を選択したときに行われる楽曲提示処理の概要について説明する。当該処理では、まず、上述したような処理（プレイヤの操作）が行われて、プレイヤの歌声がマイクロフォン３６に入力される。当該歌声から音量データ、および音程データが生成され、当該データに基づいて歌声分析（Ｐ１）が実行される。そして、分析結果として、歌声パラメタが出力され、歌声分析データ（Ｄ５）として保存される。当該歌声パラメタの詳細については後述するが、プレイヤの歌声を、力強さや、音程感、リズム等の観点から評価したパラメタである（項目内容としては、基本的には、上記楽曲パラメタと共通の項目を有することになる）。

次に、上記歌声分析データ（Ｄ５）と上記ジャンルマスタ（Ｄ１）とを入力として、歌声−ジャンル相関分析（Ｐ３）が実行される。この処理は、歌唱者の歌声が、どの音楽ジャンルに適しているかを分析する処理である。当該分析処理において、上記入力された歌声とジャンルとの相関値（類似性の度合いを示す値）が算出される。そして、当該分析処理の結果である歌声−ジャンル相関データが、歌声−ジャンル相関リスト（Ｄ６）として保存される。

続いて、歌声−楽曲相関分析（Ｐ４）が行われる。当該処理では、上記楽曲分析データ（Ｄ３）、曲−ジャンル相関リスト（Ｄ４）、歌声分析データ（Ｄ５）、および歌声−ジャンル相関リスト（Ｄ６）を入力とする。そして、これらのデータに基づいて、プレイヤの歌声と、ゲーム装置１０に記憶されている楽曲との相関値が算出される。そして、算出された相関値が所定値以上の楽曲だけが抽出されて、候補曲リスト（Ｄ３）が作成される。

次に、候補曲リストを入力とした選曲処理（Ｐ５）が実行される。この処理では、候補曲リストの中から、おすすめ曲を１曲だけランダムに選択する処理が実行される。そして、選択された楽曲が、おすすめ曲としてプレイヤに提示される。

また、上記音声−ジャンル相関リスト（Ｄ６）を入力とした、タイプ診断（Ｐ６）も実行される。この処理では、歌声−ジャンル相関データから、相関値が最も高いジャンルを選択して、そのジャンル名が出力される。当該ジャンル名が、タイプ診断結果として、上記おすすめ曲と共に表示されることになる。

このように、本実施形態では、楽譜データを分析して、楽曲の特徴を示すデータ（楽曲パラメタ）を生成する。また、プレイヤの歌声を分析して歌い方の特徴を示すデータ（歌声パラメタ）も生成する。図８は、これらのデータをレーダーチャートとして模式的に示したものである。図８（ａ）が、上記楽曲パラメタに相当する内容であり、図８（ｂ）は、歌声パラメタに相当する内容である。そして、これらの分析データの類似度、つまり、図８の（ａ）と（ｂ）のチャートの図形を比較して、これらの図形の類似度を算出するような処理を実行する。そして、当該類似度に基づいて、プレイヤの歌声に適したジャンルや楽曲を提示する（類似しているほど、プレイヤの歌声にその楽曲が適していることになる）。これにより、プレイヤが歌うのに適した楽曲やジャンルを提示することができ、カラオケゲームの興趣を高めることが可能となる。

次に、本実施形態で用いられる各種データについて説明する。まず、本実施形態の楽曲提示処理において、音声および楽曲の分析結果となる上記歌声パラメタおよび楽曲パラメタについて説明する。歌声パラメタは、歌声の特徴をいくつかの項目に分類し、各項目ごとに数値化したものである。本実施形態では、歌声パラメタとして、図９の表に示すような１０個のパラメタを用いている。

図９において、声の大きさ５０１は、歌声の大きさを示すパラメタである。マイクロフォン３５に入力される音量が大きいほど、大きな値となる。

ノリ５０２は、２分音符周期でアクセント（一定量以上の音量）が発生しているか否かを評価したパラメタである。例えば、図１１に示すように、音を波形で表した場合に、所定の大きさ以上の振幅（すなわち、一定量以上の音量）の発生周期が２分音符周期であるか否かを評価したものである。２分音符の周期で所定値以上の音量の音声が入力されると、ノリがよいとみなし、大きな値となる。

抑揚５０３は、ノリ５０２と同様に音量の変化（音量の波）の発生度合いを観測して評価したパラメタであるが、ノリと異なり、２小節周期で観測したものである。

力強さ５０４は、ノリ５０２と同様に音量の変化（音量の波）の発生度合いを観測して評価したパラメタであるが、ノリと異なり、８分音符周期で観測したものである。

音程感５０５は、楽譜のメロディパートの各音符に対して、正しい音程で歌えたかどうかを評価したパラメタである。正しい音程で歌えた音符の数が多いほど、値が大きくなる。

リズム５０６は、楽譜を構成する各音符のタイミングに合ったリズムで歌えたかどうかについて評価したパラメタである。音符の開始タイミングで正しく歌い始めていると、値が大きくなる。すなわち、音符の開始タイミングにおいて、所定値以上の音量が入力されていれば、値が大きくなる。

ビブラート５０７は、歌唱中のビブラートの発生度合いを評価したパラメタである。楽曲を歌い終えるまでの間にビブラートがかかっている総時間が長いほど、値が大きくなる。

こぶし５０８は、歌唱中のこぶしの発生度合いを評価したパラメタである。歌い始め（音符の開始タイミング）において、低い音程から一定の時間内に正しい音程になると、値が大きくなる。

音域５０９は、プレイヤが一番得意な音程を評価したパラメタである。換言すれば、声の高さを評価したパラメタともいえる。歌唱中、一番大きな音量で歌えた音域が高いほど、値が大きくなる。一番大きな音量で歌えた音域、としているのは、得意な音程ほど大きな声が出ると考えられるからである。

声質５１０は、声の明るさ（よく通る声であるか、籠もった声であるか）を評価したパラメタである。当該パラメタは、音声スペクトルのデータから算出される。音声に高周波成分が多いと、値が大きくなる。

次に、楽曲パラメタについて説明する。楽曲パラメタは、楽譜データを分析すること得られるパラメタであり、楽曲の特徴を表す項目ごとに数値化したものであって、同じ項目名の歌声パラメタと比較されるものである。そして、楽曲パラメタの意味合いとしては、「この曲は、このような歌声パラメタを有する歌声の人に向いた曲である」という意味合いとなる。本実施形態では、楽曲パラメタとして、図１１の表に示すような５個のパラメタを用いている。

図１１において、音程感６０１は、楽曲における音程の変化とその歌いやすさの難易度を評価したパラメタである。楽譜中に音程の変化が大きくなるような箇所が多く出現するほど、歌いにくい曲として評価される。

リズム６０２は、楽曲のリズムとその歌いやすさについて評価したパラメタである。

ビブラート６０３は、楽曲におけるビブラートのかけやすさを評価したパラメタである。

こぶし６０４は、楽曲でのこぶしのかけやすさを評価したパラメタである。

声質６０５は、楽曲がどのような声質の人に適しているかを評価したパラメタである。

以上のようなパラメタがプレイヤの音声、および楽曲の楽譜データからそれぞれ算出される。そして、本実施形態では、上記歌声パラメタと楽曲パラメタの類似性が高いほどプレイヤの歌声に適した楽曲であると判定し、おすすめ曲として提示する処理が実行される。

次に、ゲーム処理の際にＲＡＭ２４に記憶されるデータについて説明する。図１２は、図３に示したＲＡＭ２４のメモリマップを示す図解図である。図１２において、ＲＡＭ２４は、ゲームプログラム領域２４１、データ記憶領域２４６、および作業領域２５２を含む。ゲームプログラム領域２４１およびデータ記憶領域２４６のデータは、メモリカード１７のＲＯＭ１７ａに予め記憶されたものが、ＲＡＭ２４にコピーされたものである。また、ここでは説明の便宜上、各データをテーブルデータの形式で説明するが、これらのデータは、実際にテーブルデータの形式で記憶されている必要はなく、ゲームプログラムにおいて、このテーブルに相当する内容の処理が記憶されていてもよい。

ゲームプログラム領域２４１は、ＣＰＵコア２１によって実行されるゲームプログラムを記憶し、このゲームプログラムは、メイン処理プログラム２４２と、歌声分析プログラム２４３と、おすすめ曲検索プログラム２４４と、タイプ診断プログラム２４５などによって構成される。

メイン処理プログラム２４２は、後述する図２９のフローチャートの処理に対応するプログラムである。歌声分析プログラム２４３は、プレイヤの歌声を分析するための処理をＣＰＵコア２１に実行させるためのプログラムであり、おすすめ曲検索プログラム２４４は、プレイヤの歌声に適した楽曲を検索するための処理をＣＰＵコア２１に実行させるためのプログラムである。また、タイプ診断プログラム２４５は、プレイヤの歌声に適した楽曲ジャンルを判定する処理をＣＰＵコア２１に実行させるためのプログラムである。

データ記憶領域２４６には、ジャンルマスタ２４７、楽曲データ２４８、楽曲分析データ２４９、楽曲−ジャンル相関リスト２５０、音声データ２５１などのデータが記憶される。

ジャンルマスタ２４７は、上記図７で示したジャンルマスタＤ１に相当するデータである。すなわち、楽曲のジャンルと各ジャンル毎の歌声パラメタの特徴とを定義したデータである。当該ジャンルマスタ２４７と後述の歌声分析データ２５３とに基づいて、タイプ診断が実行される。

図１３は、ジャンルマスタ２４７のデータ構造の一例を示した図である。ジャンルマスタ２４７は、ジャンル名２４７１と歌声パラメタ定義２４７２との集合から成る。ジャンル名２４７１は、本実施形態で使われる楽曲の楽曲ジャンルを示すデータである。歌声パラメタ定義２４７２は、各楽曲ジャンル毎の歌声の特徴が定義されたパラメタであり、図９を用いて説明した上記１０個の歌声パラメタについてそれぞれ所定の値が定義されて格納されている。

図１２に戻り、楽曲データ２４８は、本実施形態のゲーム処理で用いられる各楽曲についてのデータであり、図７の楽曲データＤ２に相当する。図１４は、楽曲データ２４８のデータ構造の一例を示した図である。楽曲データ２４８は、楽曲番号２４８１と、書誌データ２４８２と楽譜データ２４８３との集合から成る。楽曲番号２４８１は、各楽曲を一意に識別するための番号である。書誌データ２４８２は、各楽曲の曲名等の書誌的事項を示すデータである。楽譜データ２４８３は、各楽曲の演奏（再生）に用いられるデータであると同時に、楽曲分析処理の基になるデータでもある。楽譜データ２４８３は、楽曲を構成する各パートの使用楽器についてのデータと、楽曲のテンポや調に関するデータと、各音符を示すデータを含む。

図１２に戻り、楽曲分析データ２４９は、上記楽譜データ２４８３を分析することで得られたデータである。楽曲分析データ２４９は、図７を用いて上述した楽曲分析データＤ３に相当する。図１５は、楽曲分析データ２４９のデータ構造の一例を示した図である。楽曲分析データ２４９は、楽曲番号２４９１と楽曲パラメタ２４９２との集合から成る。楽曲番号２４９１は、上記楽曲データ２４８の楽曲番号２４８１に対応するデータである。楽曲パラメタ２４９２は、図１１を用いて上述したような、楽曲の特徴を示すためのパラメタである。

図１２に戻り、楽曲−ジャンル相関リスト２５０は、上記図７の楽曲−ジャンル相関リストＤ４に相当するデータであり、楽曲とジャンルとの類似度を示すデータが格納される。図１６は、楽曲−ジャンル相関リスト２５０のデータ構造の一例を示した図である。楽曲番号２５０１は、上記楽曲データ２４８の楽曲番号２４８１に対応するデータである。ジャンル相関値２５０２は、各楽曲と本実施形態における音楽ジャンルとの相関値である。なお、図１６では、相関値は−１〜＋１の範囲で表しており、＋１に近いほど相関度が高いことを示す。相関値については、以下においても同様である。

図１２に戻り、音声データ２５１は、ゲーム中に用いられる各楽器の音等の音声データが記憶されている。すなわち、ゲーム処理中においては、上記楽譜データ２４８３に基づいて当該音声データ２５１から適宜楽器音が読み出される。そして、当該楽器音がスピーカ３０から出力されることでカラオケ曲が演奏（再生）されることになる。

次に、作業領域２５２には、ゲーム処理において一時的に用いられる各種データが格納される。作業領域２５２には、歌声分析データ２５３、歌声−ジャンル相関リスト２５４、中間候補リスト２５５、候補曲リスト２５６、おすすめ曲２５７、タイプ診断結果２５８等が記憶される。

歌声分析データ２５３は、プレイヤの歌声に分析処理を行った結果、生成されるデータである。上記図７の歌声分析データＤ５に相当する。図１７は、歌声分析データ２５３のデータ構造の一例を示した図である。歌声分析データ２５３には、図９を用いて上述した歌声パラメタの内容が歌声パラメタ２５３２として、パラメタ名２５３１と対応づけられて記憶される。そのため、本データの内容についての詳細説明は省略する。

歌声−ジャンル相関リスト２５４は、図７の歌声−ジャンル相関リストＤ６に相当するデータであり、プレイヤの歌声と楽曲ジャンルとの相関度を示すデータである。図１８は、歌声−ジャンル相関リスト２５４のデータ構造の一例を示した図である。歌声−ジャンル相関リスト２５４は、ジャンル名２５４１と相関値２５４２の集合から成る。ジャンル名２５４１は、楽曲のジャンルを示すデータである。相関値２５４２は、各ジャンルと歌声との相関値を示すデータである。

中間候補リスト２５５は、プレイヤに提示するおすすめ曲の候補となる曲を検索する処理の過程で用いられるデータである。図１９は、中間候補リスト２５５のデータ構造の一例を示した図である。中間候補リスト２５５は、楽曲番号２５５１と、相関値２５５２の集合から成る。楽曲番号２５５１は、上記楽曲データ２４８の楽曲番号２４８１に対応するデータである。相関値２５５２は、楽曲番号２５５１で示される楽曲とプレイヤの歌声との相関値である。

候補曲リスト２５６は、プレイヤに提示するおすすめ曲の候補となる曲についてのデータである。上述した中間候補リスト２５５から、相関値２５５２が所定値以上のデータが抽出されることで生成される。図２０は、候補曲リスト２５６のデータ構造の一例を示した図である。候補曲リスト２５６は、楽曲番号２５６１と、相関値２５６２の集合から成る。各項目の内容は、上記中間候補リスト２５５と同様であるため、説明は省略する。

おすすめ曲２５７には、後述するおすすめ曲検索処理の結果としての”おすすめ曲”の曲番号が格納される。

タイプ診断結果２５８には、後述するようなタイプ診断処理の結果である音楽ジャンル名が記憶される。

次に、ゲーム装置１０において実行されるゲーム処理の流れを図２１〜図３４を用いて説明する。まず、上述したような、プレイヤによる実際のゲームプレイに先立って（つまり、製品出荷前に）行われる、楽曲分析データ２４９、および、楽曲−ジャンル相関リスト２５０を作成する処理について説明する。図２１は、楽曲分析処理（図７の楽曲分析Ｐ２に相当）を示すフローチャートである。図２１において、まず、ステップＳ１において、楽曲データ２４８から一曲分の楽譜データ２４８３が読み込まれる。

次に、ステップＳ２において、読み込んだ楽譜データ２４８３から楽器、テンポ、および、メロディパートの音符のデータが取得される。

次に、ステップＳ３において、上記楽譜データ２４８３から取得したデータを分析して、図１１に示したような楽曲パラメタの各項目の評価値を算出する処理が実行される。以下、図１１で示した楽曲パラメタの各項目毎に説明する。なお、他の実施形態においては、分析にさらに他のパラメタを含めてもよく、ステップＳ２で取得するデータも上記の３種類に限られるものではない。

まず、音程感６０１の評価値については、楽譜内に出現する音程の変化を評価する処理が行われ、評価値が算出される。具体的には、以下のような内容の処理が実行される。

まず、２つの音符間の音程それぞれに難度値が設定される。例えば、音符間の音程が広い場合には、歌う際に音程をそのとおりに変化させるのが難しいので高い難度値が設定される。図２２は、当該難度値の設定の一例として、音程の広さに比例した難度値を設定したものである。１半音の難度値を１として、図２２（ａ）では、音符３０１と音符３０２との音程は１音分（２半音分）あるため、難度値は２とする。図２２（ｂ）では、２つの音符の間の音程は３音分であるため、難度値は６となっている。同様に、図２２（ｃ）では、音程が６音分であり、難度値が１２となっている。なお、難度値は必ずしも音程の広さに比例しなくともよく、他の設定手法で設定してもよい。

次に、メロディパートにおける各音程の出現確率が算出される。そして、各音程について、次の式を用いて出現難度値を算出する。
出現難度値＝出現確率×音程の難度値
次に、各音程の出現難度値を合計して、合計難度値を算出する。そして、次の式で評価値を算出する。
評価値＝合計難度値×α
ここで、αは、所定の係数である（以下、同様）。そして、当該評価値が音程感６０１の評価値として記憶されることになる。

次に、リズム６０２の評価値については、次のような処理が行われて算出される。まず、１拍（４分音符の長さ）を１２等分して、それぞれの位置（以下、拍内位置）に難度値が設定される。図２３は、当該難度値の設定例を示す図である。図２３では、拍の先頭が最も簡単な難度値１であって、次に簡単な先頭から８分音符分ずれた位置は難度値２となっている。その他の位置は歌うのが難しいためにさらに高い難度値が設定される。

次に、上記各拍内位置におけるメロディパートの音符の出現率が算出される。更に、上記拍内位置毎に、当該出現率にそれぞれの拍内位置に設定されている難度値を乗じた値（拍内難度値）が算出される。更に、当該算出した拍内難度値を合計した、拍内難度合計値が算出される。そして、次の式で評価値が算出される。
評価値＝拍内難度合計値×α
そして、当該評価値が、リズム６０２の評価値として記憶されることになる。

次に、ビブラート６０３の評価値は、以下のようにして算出される。まず、メロディパートにおける音符の長さが０．５５秒以上の音符の発音時間が合計される（発音時間合計値）。そして、当該発音時間をビブラートに適した音とみなし、以下の式でビブラートの評価値が算出される。
評価値＝発音時間合計値×α
そして、当該評価値が、ビブラート６０３の評価値として記憶されることになる。

次に、こぶし６０４の評価値については、以下のような処理が行われて算出される。まず、上記音程感と同様に、半音を１とした単位で、２つの音符間の音程それぞれに値（音程値）を設定する。この値は、音程が広いほど高い数値が設定される。

次に、メロディパートから各音程の出現確率が算出される。そして、各音程について、以下の式で音提出現値を算出する。
音程出現値＝出現確率×音程毎の音程値
次に、算出された各音程の音程出現値を合計して、合計音程出現値を算出する。そして、以下の式で評価値が算出される。
評価値＝合計音程出現値×α
更に、当該評価値と、上記ビブラート６０３の評価値との平均が算出され、当該算出された値がこぶし６０４の評価値として記憶されることになる。

次に、声質６０５の評価値は、以下のようにして算出される。まず、楽曲を構成する楽器毎に、声質に対応した値（声質値）が設定される。図２４は、声質値の設定の一例を示す図である。図２４では、エレキに”１”が、シンセリードおよびトランペットに”２”が、フルートに”９”が、それぞれ声質値として設定されている。ここでは、声の明るさを１０段階で示し、”１”が最も声が明るいことを示すものとする。そのため、図２４では、エレキやシンセリード、トランペットは、明るい声に向いていることを示し、フルートは、あまり明るくない声、例えば、やわらかい声やしっとりとした声に向いていることを示している。

次に、上記のような声質値に基づき、楽曲で使用されている各楽器の声質値が合計されて、合計声質値が算出される。そして、以下の式で、評価値が算出される。
評価値＝合計声質値×α
そして、当該評価値が、声質６０５の評価値として記憶されることになる。

以上のような分析処理が実行されることで、１曲分の楽曲パラメタが算出される。そして、当該楽曲パラメタが、分析対象となった楽曲と対応づけられて楽曲分析データ２４９に追加出力される。

図２１に戻り、次に、ステップＳ４において、後述する楽曲ジャンル相関分析処理が実行される。当該処理では、楽曲とジャンルとの類似度を算出して、その結果を楽曲−ジャンル相関リスト２５０に出力するための処理が実行される。

次に、ステップＳ５において、全ての楽曲を分析したか否かが判定される。まだ分析していない楽曲が残っていれば（ステップＳ５でＮＯ）、ステップＳ１に戻り、次の曲について楽曲パラメタの算出が行われる。一方、全楽曲の分析が終わっていれば（ステップＳ５でＹＥＳ）、楽曲分析処理は終了する。

次に、上述したような楽曲−ジャンル相関リスト２５０の生成について説明する。図２５は、上記ステップＳ４で示した楽曲ジャンル相関分析処理の詳細を示すフローチャートである。当該処理では、１つの楽曲について、以下のような３つの傾向値がジャンル毎に導出される。

まず、ステップＳ１１において、楽器傾向値が算出される。楽器傾向値は、ある楽曲で用いられている楽器の種類から、当該楽曲がどのジャンルに向いている曲であるかを推定するために用いられる。つまり、各ジャンルでよく使われる楽器を考慮するための値である。

楽器傾向値の算出においては、まず、本実施形態の楽曲で用いられている全楽器について、ある楽器がどのジャンルでどの程度用いられているかの度合いを示す傾向値が設定される。図２６は、当該傾向値の設定の一例である。ここでは、傾向値は０〜１０の範囲であるとし、値が高いほど、よく用いられていることを示すものとする（後述の残り２種類の傾向値についても同様とする）。図２６では、例えばバイオリンは、ポップスでは”４”、ロックでは”１”という値が設定されている。そのため、ある楽曲でバイオリンが用いられていた場合、その曲については、ポップスへの相関度が高く評価され、ロックへの相関度は低く評価されることになる。

そして、上記のような傾向値の設定と、処理対象の楽曲に用いられている楽器の種類とに基づいて、楽器傾向値がジャンル毎に算出される。

図２５に戻り、次に、ステップＳ１２において、テンポ傾向値の算出が実行される。テンポ傾向値は、ある楽曲のテンポから、当該楽曲はどのジャンルに傾向した曲であるかを推定するために用いられる。例えば、テンポの遅い曲はロックよりもバラードに傾向しており、テンポの速い曲はバラードよりもロックに傾向している、等を推定できる。つまり、速い曲が多いジャンルや遅い曲が多いジャンル等を考慮するための値である。

テンポ傾向値の算出においては、まず、図２７に示すような、あるテンポがどのジャンルでどの程度用いられているかの度合いを示す傾向値が設定される。図２７では、テンポ６５までは、ポップスが”４”、ロックが”１”と設定されている。そのため、ある楽曲のテンポが６０であった場合は、ロックよりはポップスへの相関度が高く評価されることになる。

そして、上記のような傾向値の設定と処理対象の楽曲に用いられているテンポとに基づいて、テンポ傾向値がジャンル毎に算出される。

図２５に戻り、次に、ステップＳ１３において、長短調傾向値の算出が実行される。長短調傾向値は、ある楽曲の調から、当該楽曲がどのジャンルに傾向した曲であるかを推定するために用いられる。つまり、ジャンル毎の短調・長調の頻度を考慮するための値である。

長短調傾向値の算出においては、まず、図２８に示すように、短調および長調がどのジャンルでどの程度用いられているかの度合いを示す傾向値が設定される。図２８では、短調は、ポップスが”７”、ロックが”３”と設定されている。そのため、ある楽曲が短調である場合は、ロックよりポップスへの相関度が高く評価されることになる。

そして、上記のような傾向値の設定と処理対象の楽曲に用いられている調の種類とに基づいて、長短調傾向値がジャンル毎に算出される。

図２５に戻り、各傾向値の算出が終われば、ステップＳ１４において、上記のような３つの傾向値をジャンル毎に分けて合計する。そして、当該各ジャンル毎の合計値が楽曲番号と対応づけられて、楽曲−ジャンル相関リスト２５０に出力される。以上で、楽曲ジャンル相関分析処理は終了する。

以上のような処理で作成された楽曲分析データ２４９、および、楽曲−ジャンル相関リスト２５０が、ゲームプログラムなどと共にメモリカード１７に保存される。そして、プレイヤによるゲームプレイの際に、ＲＡＭ２４に読み込まれて、以下に示すような処理で用いられることになる。

次に、実際にプレイヤがプレイする際にゲーム装置１０において実行されるカラオケゲーム処理の流れを図２９〜図３４を用いて説明する。図２９は、ゲーム装置１０において実行されるカラオケゲーム処理の流れを示すフローチャートである。ゲーム装置１０の電源が投入されると、ゲーム装置１０のＣＰＵコア２１は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、ＲＡＭ２４等の各ユニットが初期化される。そして、メモリカード１７に格納されたゲームプログラムがＲＡＭ２４に読み込まれ、当該ゲームプログラムの実行が開始される。その結果、第１ＧＰＵ２６を介して第１ＬＣＤ１１にゲーム画像が表示されることによって、ゲームが開始される。以降、ステップＳ２１〜Ｓ２７の処理ループが１フレーム毎に繰り返される（ステップＳ２６が実行される場合を除く。）ことによって、ゲームが進行していく。

まず、ステップＳ２１において、上記図４で示したようなメニューを画面に表示する処理が実行される。

次に、ステップＳ２２において、プレイヤからの選択操作が受け付けられる。プレイヤからの操作が受け付けられると、ステップＳ２３において、「トレーニング」が選択されたか否かが判定される。

ステップＳ２３の判定の結果、「トレーニング」が選択されていれば（ステップＳ２３でＹＥＳ）、ＣＰＵコア２１は、ステップＳ２７において、カラオケ曲の再生を行うカラオケ処理を実行する。なお、本実施形態においては、当該カラオケ処理については本発明と直接関連しないので説明は省略する。

一方、ステップＳ２３の判定の結果、「トレーニング」が選択されていなければ（ステップＳ２３でＮＯ）、ステップＳ２４において、「診断」が選択されたか否かが判定される。その結果、「診断」が選択されていたときは（ステップＳ２４でＹＥＳ）、ステップＳ２６において、後述する歌声分析処理が実行される。一方、「診断」が選択されていないときは（ステップＳ２４でＮＯ）、ステップＳ２５において、「戻る」が選択されたか否かが判定される。その結果、「戻る」が選択されていなければ（ステップＳ２５でＮＯ）、上記ステップＳ２１に戻って処理が繰り返され、「戻る」が選択されていれば（ステップＳ２５でＹＥＳ）、本実施形態にかかるカラオケゲーム処理は終了する。

次に、歌声分析処理について説明する。図３０は、上記ステップＳ２６で示した歌声分析処理の詳細を示すフローチャートである。なお、図３０において、ステップＳ４３〜Ｓ４６の処理ループは１フレーム毎に繰り返される。

まず、図３０において、ステップＳ４１において、上述したような曲選択画面（図５参照）が表示される。そして、プレイヤによる楽曲選択操作が受け付けられる。

プレイヤによって楽曲が選択されれば、続くステップＳ４２において、選択された楽曲の楽譜データ２４８３が読み込まれる。

次に、ステップＳ４３において、上記読み込まれた楽譜データ２４８３に基づいて楽曲の再生処理が実行される。続くステップＳ４４において、音声データ（つまり、プレイヤの歌声）を取得する処理が実行される。マイクロフォン３６に入力された音声にアナログ−デジタル変換の処理等が施され、入力音声データが生成される。なお、本実施形態での音声のサンプリング周波数は、４ｋｈｚ（１秒間に４０００サンプル）とする。つまり、１秒間に入力された音声を４０００個に分けて数値化している。そして、当該入力音声データを高速フーリエ変換することで周波数領域のデータが生成され、このデータを基にプレイヤの歌声の音量値データ、および音程データが生成される。音量値データについては、フレーム毎に直近の２５６サンプルを用いて、各サンプル値の２乗平均値を算出した値を音量値データとしている。また、音程データは、周波数に基づいて音程が検出され、各音程を示すための数値（例えば０〜１２７の値）で示される。

次に、ステップＳ４５において、分析処理が実行される。この処理では、上記音量値データおよび音程データを分析して、歌声分析データ２５３を生成するための処理が実行される。歌声分析データ２５３の各歌声パラメタ２５３２は、以下のような内容の処理が実行されることで算出される。

”声の大きさ”については、次のような内容の処理が実行される。まず、一定の音量値を１００点として（つまり、基準点）、１フレーム毎に点数が求められる。そして、曲の開始から終了に渡っての点数の平均が算出されて、”声の大きさ”として記憶される。

次に、”ノリ”については、２分音符周期でアクセント（一定量以上の音量）が発生しているか否かを分析する処理が実行される。具体的には、まず、Ｇｏｅｒｔｚｅｌアルゴリズムを使用して、フレーム毎の音量データに対して２分音符周期の周波数成分が観測される。そして、観測された結果値に所定の定数が乗算され、０〜１００点の範囲でのりが算出される。

次に、”抑揚”は、基本的には上記”ノリ”の処理と同様の処理が行われて算出される。但し、”ノリ”と異なり、２小節周期の周波数成分が観測される。

次に、”力強さ”は、基本的には上記”ノリ”の処理と同様の処理が行われて算出される。但し、”ノリ”と異なり、８分音符周期の周波数成分が観測される。

次に、”音程感”については、以下のような割合が算出されて記憶される。すなわち、歌詞が含まれている部分が演奏されているフレーム中において、プレイヤの歌声の音程（上記音程データから算出）が上下１半音以内の範囲に収まっているフレームの割合が算出されることで、”音程感”が得られる。

次に、”リズム”については、次のような割合が算出されて記憶される。すなわち、歌詞がついている音符に対する歌唱の開始タイミングが一定時間以内に収まっていて、且つ、歌い始めた最初のフレームでプレイヤの歌声の音程が上下１半音以内の範囲に収まっている音符数の全音符数に対する割合が算出される。

次に、”ビブラート”については、ビブラートがかかっていると認識された回数（時間）を調べることで得られる。１秒間に音の揺れが何回発生したかを評価するが、全周波数について調べると処理負荷が高くなるため、本実施形態では、３Ｈｚ、４．５Ｈｚ、６．５Ｈｚの３つの周波数における成分を調べる。これは、一般的に、３〜６．５ｈｚの範囲における音の揺れが、ある程度の時間続けば、ビブラートがかかっていると認識される（聞こえる）と考えられるからである。そのため、この範囲内の上限値、下限値、中間値において調べることで、効率的に調べることができる。具体的には、次のような処理が実行される。まず、Ｇｏｅｒｔｚｅｌアルゴリズムを使用して、入力されたプレイヤの音声の３Ｈｚ、４．５Ｈｚ、６．５Ｈｚの成分を調べる。そして、当該３つの周波数成分の最大値が一定閾値を超えたフレーム数の合計に、所定の係数αを乗じて算出された値が”ビブラート”として記憶される。

次に、”こぶし”については、次のような内容の処理が実行される。まず、各音符の始まりの位置からプレイヤの歌声の音程が正しい音程（音符が示す音程）に達するまでの間、直前のフレームから比べて音程が上昇しているフレームを検出する。そして、当該フレームに関しての評価点数として、音程の上昇量に応じて加点が行われる。そして、当該評価点数の曲全体での合計点を算出する。更に、当該合計点に所定の係数αを乗じて算出された値が、”こぶし”として記憶される。

次に、”音域”については、まず、全音階について、一定時間以上同じ音程をキープした音量値の平均が楽曲の再生開始時間からカウントされる。そして、中心音程からガウス分布に従って、上下１オクターブ分の値を加算した値が最大となる音程（０〜２５）×４を”音域”とする。

次に、”声質”については、次のような内容の処理が実行される。まず、入力されたプレイヤの音声から、図３１に例示するようなスペクトルデータが求められる。そして、当該スペクトルの特徴を示す直線（回帰直線）が算出される。当該直線は右下がりとなることが自然であるが、当該直線の傾きが小さければ、高周波成分を多く含む声（明るい声）であり、右下がりの傾きが大きければ、こもりがちな声であると判定されるような処理が実行される。より具体的には、まず、入力されたプレイヤの音声のＦＦＴスペクトルの再生開始から終了までの平均が算出される。そして、周波数方向をｘ、利得方向をｙ標本値としたグラフの回帰直線の傾きが算出される。そして、当該傾きに所定の係数αを乗じた値が、”声質”として記憶される。

図３０に戻り、ステップＳ４５の分析処理が終われば、ステップＳ４６において、上記分析処理の結果算出された各歌声パラメタが歌声分析データ２５３として保存される。すなわち、フレーム毎に歌声分析データが保存される、つまり、リアルタイムで歌声分析の結果が保存されることになる。これにより、例えば、歌声分析処理を中断するような処理を行っても、途中までの歌声に基づいた歌声分析データ２５３を用いて以下の処理を実行することが可能となる。

次に、ステップＳ４７において、楽曲の再生が終了したか否が判定される。楽曲の再生が終了していなければ（ステップＳ４７でＮＯ）、上記ステップＳ４３に戻って処理が繰り返される。

一方、楽曲の再生が終了すれば（ステップＳ４７でＹＥＳ）、次に、ステップＳ４８において、上記歌声分析データ２５３とジャンルマスタ２４７とに基づいて、歌声−ジャンル相関リスト２５４が作成される。すなわち、歌声分析データ２５３の各歌声パラメタと、ジャンルマスタ２４７の各歌声パラメタ定義２４７２との相関値が算出される。本実施形態では、当該相関値は、ピアソンの積率相関係数を用いて算出される。相関係数とは、２つの確率変数の間の相関（類似性の度合い）を示す指標で、−１から１の間の値をとる。１に近いときは２つの確率変数には正の相関があるといい、類似性が高いとされる。また、−１に近ければ負の相関があるといいい、類似性が低いとされる。具体的には、２組の数値からなるデータ列

が与えられたとき、相関係数は以下のように求められる。

ただし、上記式において、

は、それぞれデータ

の相加平均である。本実施形態では、歌声分析データ２５３の各歌声パラメタとジャンルマスタの各歌声パラメタ定義２４７２との相関値は、上記データ列のｘに歌声分析データ２５３の歌声パラメタが代入され、ｙに歌声パラメタ定義２４７２が代入されることで算出される。

上記のような式を用いて各ジャンルについて歌声との相関値が算出される。そして、当該算出結果に基づいて図１７に示したような歌声−ジャンル相関リスト２５４が作成されて、作業領域２５２に記憶される。

次に、ステップＳ４９において、タイプ診断処理が実行される。図３２は、当該タイプ診断処理の詳細を示すフローチャートである。図３２において、まず、ステップＳ８１において、上記ステップＳ４８で作成された歌声−ジャンル相関リスト２５４が読み込まれる。次に、ステップＳ８２において、最も相関値２５４２の値が高いジャンル名２５４１が選択される。そして、ステップＳ８３において、当該選択されたジャンル名２５４１がタイプ診断結果２５８として記憶される。以上で、タイプ診断処理は終了する。

図３０に戻り、タイプ診断処理が終了すれば、次に、ステップＳ５０において、おすすめ曲検索処理が実行される。当該処理は、上記図７における歌声−楽曲相関分析Ｐ４に相当する処理である。すなわち、楽曲分析データ２４９、楽曲−ジャンル相関リスト２５０、歌声分析データ２５３、および歌声−ジャンル相関リスト２５４とに基づいて、プレイヤの歌声と楽曲データ２４８内の各楽曲との相関値を求め、プレイヤの歌声に適した楽曲を検索する処理が実行される。

図３３は、上記ステップＳ５０で示したおすすめ曲検索処理の詳細を示すフローチャートである。図３３において、まず、ステップＳ６１において、候補曲リスト２５６の初期化が行われる。

次に、ステップＳ６２において、歌声分析データ２５３が読み込まれる。更に、ステップＳ６３において、歌声−ジャンル相関リスト２５４が読み込まれる。これにより、歌声に関するパラメタ（つまり、歌声の分析結果）が一通り読み込まれることになる。

次に、ステップＳ６４において、楽曲分析データ２４９から１曲分の楽曲パラメタが読み込まれる。更に、ステップＳ６５において、楽曲−ジャンル相関リスト２５０から、ステップＳ６４で読み込まれた楽曲に対応するデータが読み込まれる。これにより、１曲分の楽曲に関するパラメタ（つまり、楽曲の分析結果）が読み込まれることになる。

次に、ステップＳ６６において、プレイヤの歌声と上記読み込まれた楽曲との相関値が、上述したピアソンの積率相関係数を用いて算出される。具体的には、上記歌声パラメタ（図１７参照）の値、および、歌声−ジャンル相関リスト２５４（図１８参照）の各ジャンルの相関値が、上記式１のデータ列のｘとして代入される（歌声パラメタについては、より正確には、楽曲パラメタと同じ項目のみ用いられる。具体的には、音程感、リズム、ビブラート、こぶし、声質の５項目が用いられる）。そして、上記楽曲パラメタの各値（図１５参照）、および、楽曲−ジャンル相関リスト２５０（図１６参照）から読み込まれた、現在処理対象となっている楽曲についての各ジャンルの相関値が上記データ列のｙとして代入されることで、相関値が算出される。つまり、図８に示したような２つのレーダーチャートの図形の類似度（歌声と楽曲の類似度）と、図１６（処理対象の楽曲分のみ）および図１８の内容をレーダーチャートで示した場合の図形の類似度（歌声のジャンル傾向と楽曲のジャンル傾向の類似度）とを考慮した、プレイヤの歌声と上記読み込まれた楽曲との総合的な類似度を算出する処理が行われる。

次に、ステップＳ６７において、上記ステップＳ６６で算出された相関値が所定値以上であるか否かが判定される。その結果、所定値以上の楽曲については（ステップＳ６７でＹＥＳ）、ステップＳ６８において、当該楽曲の楽曲番号および算出された相関値が候補曲リスト２５６に追加記憶される。

次に、ステップＳ６９において、全楽曲の相関値が算出されたか否かが判定される。その結果、まだ全楽曲の相関値の算出が終わっていなければ（ステップＳ６９でＮＯ）、上記ステップＳ６４に戻り、まだ相関値の算出が終わっていない曲について処理を繰り返す。

一方、上記ステップＳ６９の判定の結果、全楽曲の相関値を算出していれば（ステップＳ６９でＹＥＳ）、次に、ステップＳ７０において、候補曲リスト２５６からランダムに１曲が選択される。そして、ステップＳ７１において、選択された楽曲の楽曲番号がおすすめ曲２５７として記憶される。なお、候補からランダムに選択するのではなく、最も相関値の高い１曲を選択するようにしてもよい。以上で、おすすめ曲検索処理は終了する。

図３０に戻り、タイプ診断処理が終われば、続くステップＳ５１において、おすすめ曲とタイプ診断の結果を表示する処理が実行される。すなわち、おすすめ曲２５７に格納されている楽曲番号に基づいて、楽曲データ２４８から書誌データ２４８２が取得される。そして、当該書誌データ２４８２に基づいて、楽曲名等が画面に表示される（このとき、当該おすすめ曲が再生されるようにしてもよい）。更に、タイプ診断結果２５８に格納されているジャンル名が読み出され、画面に表示される。以上で、歌声分析終了は終了する。

このように、本実施形態では、プレイヤの歌声を分析し、歌声の特性を示すデータを算出、生成している。そして、楽譜データから楽曲の特徴を分析したデータと、当該歌声の特性を分析したデータとの類似性を調べる処理を行うことで、プレイヤ（歌唱者）に適した楽曲を検索し、提示することができる。これにより、プレイヤが歌うのに適した楽曲を提示し、カラオケゲームの興趣を高めることができる。また、カラオケが苦手なプレイヤに対しても、歌いやすい楽曲を提示して、カラオケを楽しませる契機を提供することができ、今までカラオケを避けていたようなプレイヤに対しても、気持ちよくカラオケゲームを楽しませることが可能となる。これにより、広い層のプレイヤが楽しめるカラオケゲームを提供することが可能となる。更に、プレイヤの歌声に適した楽曲ジャンルも提示することができる。そのため、プレイヤは提示されたジャンルに着目してカラオケ曲を選択することによって、自分の歌声等に適した楽曲を選びやすくなり、カラオケゲームの興趣を高めることができる。

なお、上記の楽曲分析処理については、プレイヤのゲームプレイ前（ゲーム製品であるメモリカード１７の出荷前）に事前に実行する場合を例として説明した。これに限らず、ゲーム処理内において行うようにしてもよい。例えば、楽曲データ２４８について所定のサーバからダウンロードで追加できるようにゲームプログラムを構成しておく。そして、当該ダウンロードによって楽曲をゲーム装置１０に追加記憶させるときに、上述したような楽曲分析処理を行うようにしても良い。これにより、追加した楽曲についても分析データを作成することができ、プレイヤに適した楽曲の選択の幅を広げることが可能となる。更に、プレイヤが楽曲を自分で作曲できるようにゲームプログラムを構成し、プレイヤが作曲した楽曲についても、上記楽曲分析処理を行って楽曲分析データおよび楽曲−ジャンル相関リストを更新するようにしてもよい。これにより、カラオケゲームの興趣を高めることができる。

また、ステップＳ５０で実行されるおすすめ曲検索の処理方法に関しても、あくまで一例であり、これらに限らず、楽曲パラメタと歌声パラメタから類似度が算出できれば、どのような処理方法を用いても良い。例えば、以下のような処理方法を用いても良い。

図３４は、上記ステップＳ５０で示したおすすめ曲検索処理の別の処理方法の例を示すフローチャートである。図３４において、まず、ステップＳ９１において、中間候補リスト２５５および候補曲リスト２５６の初期化が行われる。

次に、ステップＳ９２において、歌声分析データ２５３が読み込まれる。続くステップＳ９３において、楽曲−ジャンル相関リスト２５０が読み込まれる。更に、ステップＳ９４において、歌声−ジャンル相関リスト２５４が読み込まれる。

次に、ステップＳ９５において、楽曲分析データ２４９から１曲分の楽曲パラメタが読み込まれる。

次に、ステップＳ９６において、プレイヤの歌声（すなわち、歌声分析データ２５３）と、当該読み込まれた楽曲パラメタにかかる楽曲との相関値が、上述したピアソンの積率相関係数を用いて算出される。

次に、ステップＳ９７において、上記ステップＳ９６で算出された相関値が所定値以上であるか否かが判定される。その結果、所定値以上の楽曲については（ステップＳ９７でＹＥＳ）、ステップＳ９８において、当該楽曲の楽曲番号および算出された相関値が中間候補リスト２５５に追加記憶される。

次に、ステップＳ９９において、全楽曲の相関値が算出されたか否かが判定される。その結果、まだ全楽曲の相関値の算出が終わっていなければ（ステップＳ９９でＮＯ）、上記ステップＳ９５に戻り、まだ相関値の算出が終わっていない曲について処理を繰り返す。

一方、上記ステップＳ９９の判定の結果、全楽曲の相関値を算出していれば（ステップＳ９９でＹＥＳ）、例えば、図３５（ａ）に示すような内容の中間候補リスト２５５が生成されたことになる。図３５（ａ）の中間候補リスト２５５では、相関値が０以上の楽曲が抽出されたものとする。そして、続くステップＳ１００において、歌声−ジャンル相関リスト２５４から、歌声との相関値が所定値以上のジャンル（以下、適正ジャンルと呼ぶ）のジャンル名２５４１が取得される。例えば、歌声−ジャンル相関リスト２５４の内容を相関値の高い順にソートし直すと、図３５（ｂ）に示すような内容であったとする。そして、ここでは、相関値が所定値以上のジャンルを「ポップス」のみとする。その結果、適正ジャンルのジャンル名２５４１は「ポップス」になる。なお、ここでは、説明の便宜上、適正ジャンルを１つだけに絞っているが、複数のジャンル名２５４１を取得するようにしてもよい。

次に、ステップＳ１０１において、楽曲−ジャンル相関リスト２５０が参照されながら、中間候補リスト２５５から「適正ジャンル」の相関値が所定値以上の楽曲の楽曲番号が抽出される。そして、当該楽曲番号が候補曲リスト２５６に追加記憶される。例えば、楽曲−ジャンル相関リスト２５０について、相関値の高い順にソートした内容が、図３５（ｃ）に示すような内容であったとする。そして、上記「適正ジャンルの相関値が所定値以上」を「相関値が最も高いジャンル」（図３５（ｃ）で「１位」のジャンル）と仮定する。この場合は、上記適正ジャンルは「ポップス」であるため、図３５（ｃ）の内容から、最も相関値が高いジャンルが「ポップス」である楽曲（図３５（ｃ）では、楽曲１，楽曲３、楽曲５）が抽出される。その結果、図３５（ｄ）に示すような内容の候補曲リスト２５６が生成される。そして、当該候補曲リストを用いて、上記ステップＳ５１の処理を行うようにしても良い。

また、上記のような処理方法の他、以下のような方法を用いても良い。例えば、まず、上記歌声分析データ２５３と楽曲分析データ２４９との相関値を算出する。次に、歌声−ジャンル相関リスト２５４の内容から、相関値の高い順に重み付け値を設定する。また、楽曲−ジャンル相関リスト２５０の内容から、相関値の高い順に重み付け値を設定する。そして、当該重み付け値を歌声分析データ２５３と楽曲分析データ２４９との相関値に乗じるようにして相関値を調整し、調整後の相関値に基づいておすすめ曲を選択するようにしても良い。このように、楽曲パラメタと歌声パラメタから類似度が算出できれば、どのような処理方法を用いても良い。

また、楽曲および歌声の分析対象となる項目、すなわち楽曲パラメタや歌声パラメタについても、上述した内容だけに限るものではない。楽曲や歌声の特徴を示し、相関値が算出できるようなパラメタであれば、上記のような項目に限らない。

本発明にかかる楽曲提示装置および楽曲提示プログラムは、ユーザの歌声を分析し、ユーザの歌唱の特徴に適した楽曲や音楽のジャンルを提示することができ、カラオケ装置やカラオケゲームを実行するゲーム装置等に有用である。

本発明の第１の実施形態に係るゲーム装置１０の外観図 本発明の第１の実施形態に係るゲーム装置１０の斜視図 本発明の第１の実施形態に係るゲーム装置１０のブロック図 本実施形態において想定するゲームの画面の一例 本実施形態において想定するゲームの画面の一例 本実施形態において想定するゲームの画面の一例 本実施形態にかかる楽曲提示処理の処理概要を説明するための図 本実施形態にかかる楽曲提示処理の処理概要を説明するための図 歌声パラメタの一例 楽曲パラメタの一例 ”ノリ”を説明するための図 図３のＲＡＭ２４のメモリ空間を図解的に示したメモリマップ ジャンルマスタのデータ構造の一例を示した図 楽曲データのデータ構造の一例を示した図 楽曲分析データのデータ構造の一例を示した図 楽曲−ジャンル相関リストのデータ構造の一例を示した図 歌声分析データのデータ構造の一例を示した図 歌声−ジャンル相関リストのデータ構造の一例を示した図 中間候補リストのデータ構造の一例を示した図 候補曲リストのデータ構造の一例を示した図 楽曲分析処理を示すフローチャート 音程感の評価に用いられる難度の設定の一例を示す図 リズムの評価に用いられる難度の設定の一例を示す図 声質の評価に用いられる声質値の設定の一例を示す図 図２１のステップＳ４で示した楽曲ジャンル相関分析処理の詳細を示すフローチャート 楽器傾向値の算出の際に用いられる傾向値の設定の一例 テンポ傾向値の算出の際に用いられる傾向値の設定の一例 長短調傾向値の算出の際に用いられる傾向値の設定の一例 ゲーム装置１０において実行されるカラオケゲーム処理の流れを示すフローチャート 図２９のステップＳ２６で示した歌声分析処理の詳細を示すフローチャート 声質分析の際のスペクトルデータの一例 図３０のステップＳ４９で示したタイプ診断処理の詳細を示すフローチャート 図３０のステップＳ５０で示したおすすめ曲検索処理の詳細を示すフローチャート おすすめ曲検索処理を説明するための図 図３０のステップＳ５０で示したおすすめ曲検索処理の別の処理例を示すフローチャート

符号の説明

１０ 携帯型ゲーム装置
１１ 第１ＬＣＤ
１２ 第２ＬＣＤ
１３ ハウジング
１４ 操作スイッチ部
１５ タッチパネル
１６ スタイラスペン
１７ メモリカード
１８ 音抜き孔
２０ 電子回路基板
２１ ＣＰＵコア
２２ バス
２３ コネクタ
２４ ＲＡＭ
２５ インターフェース回路
２６ 第１ＧＰＵ
２７ 第２ＧＰＵ
２８ 第１ＶＲＡＭ
２９ 第２ＶＲＡＭ
３１ ＬＣＤコントローラ
３２ レジスタ
３３ マイクロフォン孔
３６ マイクロフォン

Claims (30)

1. ユーザの歌唱にかかる音声データを取得する音声データ取得手段と、
   前記音声データを分析して、ユーザの歌唱の特徴を示す複数の歌唱特徴パラメタを算出する歌唱特徴分析手段と、
   楽曲に関する楽曲関連情報を記憶する楽曲関連情報記憶手段と、
   前記歌唱特徴パラメタと比較するための比較用パラメタを前記楽曲関連情報に対応づけて記憶する比較用パラメタ記憶手段と、
   前記歌唱特徴パラメタと前記比較用パラメタとを比較して、当該歌唱特徴パラメタと比較用パラメタとの類似度を算出する比較手段と、
   前記歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている前記楽曲関連情報を少なくとも１つ選択する選択手段と、
   前記選択手段が選択した楽曲関連情報に基づいて情報を提示する提示手段とを備える、楽曲提示装置。
2. 前記楽曲関連情報記憶手段は、少なくとも前記楽曲を再生するための楽曲データを楽曲関連情報として記憶し、
   前記比較用パラメタ記憶手段は、前記楽曲の音楽的特徴を示すパラメタを前記比較用パラメタして前記楽曲データに対応づけて記憶し、
   前記選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている前記楽曲データを少なくとも１つ選択し、
   前記提示手段は、前記選択手段が選択した楽曲データに基づいて楽曲の情報を提示する、請求項１に記載の楽曲提示装置。
3. 前記楽曲関連情報記憶手段は、楽曲の音楽ジャンルを示すジャンルデータを楽曲関連情報として更に記憶し、
   前記比較用パラメタ記憶手段は、前記音楽ジャンルの音楽的特徴を示すパラメタを前記比較用パラメタとして更に記憶し、
   前記楽曲提示装置は、
   前記楽曲と前記音楽ジャンルとの類似度を示す楽曲−ジャンル類似度データを記憶する楽曲−ジャンル類似度データ記憶手段と、
   前記歌唱特徴パラメタと音楽ジャンルとの類似度を算出する音声−ジャンル類似度算出手段とを更に備え、
   前記選択手段は、前記音声−ジャンル類似度算出手段によって算出された類似度と、前記楽曲−ジャンル類似度データ記憶手段に記憶された楽曲−ジャンル類似度データとに基づいて前記楽曲データの選択を行う、請求項２に記載の楽曲提示装置。
4. 前記楽曲データには、当該楽曲の演奏に用いられている楽器と当該楽曲のテンポと当該楽曲の調とを示すための楽譜データが含まれており、
   前記楽曲提示装置は、前記楽譜データに含まれる楽器、テンポ、調に基づいて前記楽曲と前記音楽ジャンルとの類似度を算出する楽曲−ジャンル類似データ算出手段を更に備える、請求項３に記載の楽曲提示装置。
5. 前記歌唱特徴パラメタおよび比較パラメタには、前記プレイヤの歌唱にかかる音程の正確さ、音程の揺れ、周期的な音声の入力、音域のいずれかを評価した値が含まれる、請求項１に記載の楽曲提示装置。
6. 前記楽曲データには、当該楽曲に用いられている楽器と当該楽曲のテンポと当該楽曲の調と当該楽曲を構成する複数の音符を示すための楽譜データが含まれており、
   前記歌唱特徴分析手段は、
   前記音声データから音量値を示すデータである音量値データと音程を示すデータである音程データとを算出する音量音程データ算出手段を含み、
   前記音量値データおよび音程データの少なくともいずれか一方と前記楽譜データとを比較して前記歌唱特徴パラメタを算出する、請求項２に記載の楽曲提示装置。
7. 前記歌唱特徴分析手段は、前記音量値データから所定の周期における周波数成分の出力値に基づいて前記歌唱特徴パラメタを算出する、請求項６に記載の楽曲提示装置。
8. 前記歌唱特徴分析手段は、前記楽譜データで示される楽譜のメロディパートにおける各音符の開始タイミングと、前記音量値データに基づく音声の入力タイミングとのずれに基づいて前記歌唱特徴パラメタを算出する、請求項６に記載の楽曲提示装置。
9. 前記歌唱特徴分析手段は、前記楽譜データで示される楽譜の音符の音程と、前記音程データに基づく音程とのずれに基づいて前記歌唱特徴パラメタを算出する、請求項６に記載の楽曲提示装置。
10. 前記歌唱特徴分析手段は、前記音程データにおける単位時間毎の音程の変化量に基づいて前記歌唱特徴パラメタを算出する、請求項６に記載の楽曲提示装置。
11. 前記歌唱特徴分析手段は、前記音量値データおよび音程データから、同じ音程が所定時間以上維持されている音声のうち、最大の音量値である音程に基づいて前記歌唱特徴パラメタを算出する、請求項６に記載の楽曲提示装置。
12. 前記歌唱特徴分析手段は、前記プレイヤの音声に含まれる高周波成分の量を前記音声データから算出し、当該算出した結果に基づいて前記歌唱特徴パラメタを算出する、請求項６に記載の楽曲提示装置。
13. 前記楽曲関連情報記憶手段は、少なくとも音楽ジャンルを示すジャンルデータを楽曲関連情報として記憶し、
    前記比較用パラメタ記憶手段は、前記音楽ジャンルの音楽的特徴を示すパラメタを前記比較用パラメタとして前記音楽ジャンルに対応づけて記憶し、
    前記選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている前記音楽ジャンルを選択し、
    前記提示手段は、前記楽曲関連情報に基づく情報として前記音楽ジャンルの名称を提示する、請求項１に記載の楽曲提示装置。
14. 前記楽曲データには、当該楽曲の演奏に用いられている楽器と当該楽曲のテンポと当該楽曲の調とを示すための楽譜データが含まれており、
    前記楽曲提示装置は、前記楽譜データから前記比較用パラメタを楽曲毎に算出する楽曲パラメタ算出手段を更に備え、
    前記比較用パラメタ記憶手段は、前記楽曲パラメタ算出手段が算出した比較用パラメタを記憶する、請求項２に記載の楽曲提示装置。
15. 前記楽曲パラメタ算出手段は、前記楽譜データに基づいて、音符間の音程差と、拍内における音符の位置と、音符の長さが所定閾値以上である音符の合計時間とに基づいて前記比較用パラメタを算出する、請求項１４に記載の楽曲提示装置。
16. ユーザに楽曲を提示する楽曲提示装置のコンピュータを、
    ユーザの歌唱にかかる音声データを取得する音声データ取得手段と、
    前記音声データを分析して、ユーザの歌唱の特徴を示す複数の歌唱特徴パラメタを算出する歌唱特徴分析手段と、
    前記楽曲に関する楽曲関連情報を記憶する楽曲関連情報記憶手段と、
    前記歌唱特徴パラメタと比較するための比較用パラメタを前記楽曲関連情報に対応づけて記憶する比較用パラメタ記憶手段と、
    前記歌唱特徴パラメタと前記比較用パラメタとを比較して、当該歌唱特徴パラメタと比較用パラメタとの類似度を算出する比較手段と、
    前記歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている前記楽曲関連情報を少なくとも１つ選択する選択手段と、
    前記選択手段が選択した楽曲関連情報に基づいて情報を提示する提示手段として機能させる、楽曲提示プログラム。
17. 前記楽曲関連情報記憶手段は、少なくとも前記楽曲を再生するための楽曲データを楽曲関連情報として記憶し、
    前記比較用パラメタ記憶手段は、前記楽曲の音楽的特徴を示すパラメタを前記比較用パラメタして前記楽曲データに対応づけて記憶し、
    前記選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている前記楽曲データを少なくとも１つ選択し、
    前記提示手段は、前記選択手段が選択した楽曲データに基づいて楽曲の情報を提示する、請求項１６に記載の楽曲提示プログラム。
18. 前記楽曲関連情報記憶手段は、楽曲の音楽ジャンルを示すジャンルデータを楽曲関連情報として更に記憶し、
    前記比較用パラメタ記憶手段は、前記音楽ジャンルの音楽的特徴を示すパラメタを前記比較用パラメタして更に記憶し、
    前記楽曲提示プログラムは、前記楽曲提示装置のコンピュータを、
    前記楽曲と前記音楽ジャンルとの類似度を示す楽曲−ジャンル類似度データを記憶する楽曲−ジャンル類似度データ記憶手段と、
    前記歌唱特徴パラメタと音楽ジャンルとの類似度を算出する音声−ジャンル類似度算出手段として更に機能させ、
    前記選択手段は、前記音声−ジャンル類似度算出手段によって算出された類似度と、前記楽曲−ジャンル類似度データ記憶手段に記憶された楽曲−ジャンル類似度データとに基づいて前記楽曲データの選択を行う、請求項１７に記載の楽曲提示プログラム。
19. 前記楽曲データには、当該楽曲の演奏に用いられている楽器と当該楽曲のテンポと当該楽曲の調とを示すための楽譜データが含まれており、
    前記楽曲提示プログラムは、前記楽曲提示装置のコンピュータを、前記楽譜データに含まれる楽器、テンポ、調に基づいて前記楽曲と前記音楽ジャンルとの類似度を算出する楽曲−ジャンル類似データ算出手段として更に機能させる、請求項１８に記載の楽曲提示プログラム。
20. 前記歌唱特徴パラメタおよび比較パラメタには、前記プレイヤの歌唱にかかる音程の正確さ、音程の揺れ、周期的な音声の入力、音域のいずれかを評価した値が含まれる、請求項１６に記載の楽曲提示プログラム。
21. 前記楽曲データには、当該楽曲に用いられている楽器と当該楽曲のテンポと当該楽曲の調と当該楽曲を構成する複数の音符を示すための楽譜データが含まれており、
    前記歌唱特徴分析手段は、
    前記音声データから音量値を示すデータである音量値データと音程を示すデータである音程データとを算出する音量音程データ算出手段を含み、
    前記音量値データおよび音程データの少なくともいずれか一方と前記楽譜データとを比較して前記歌唱特徴パラメタを算出する、請求項１７に記載の楽曲提示プログラム。
22. 前記歌唱特徴分析手段は、前記音量値データから所定の周期における周波数成分の出力値に基づいて前記歌唱特徴パラメタを算出する、請求項２１に記載の楽曲提示プログラム。
23. 前記歌唱特徴分析手段は、前記楽譜データで示される楽譜のメロディパートにおける各音符の開始タイミングと、前記音量値データに基づく音声の入力タイミングとのずれに基づいて前記歌唱特徴パラメタを算出する、請求項２１に記載の楽曲提示プログラム。
24. 前記歌唱特徴分析手段は、前記楽譜データで示される楽譜の音符の音程と、前記音程データに基づく音程とのずれに基づいて前記歌唱特徴パラメタを算出する、請求項２１に記載の楽曲提示プログラム。
25. 前記歌唱特徴分析手段は、前記音程データにおける単位時間毎の音程の変化量に基づいて前記歌唱特徴パラメタを算出する、請求項２１に記載の楽曲提示プログラム。
26. 前記歌唱特徴分析手段は、前記音量値データおよび音程データから、同じ音程が所定時間以上維持されている音声のうち、最大の音量値である音程に基づいて前記歌唱特徴パラメタを算出する、請求項２１に記載の楽曲提示プログラム。
27. 前記歌唱特徴分析手段は、前記プレイヤの音声に含まれる高周波成分の量を前記音声データから算出し、当該算出した結果に基づいて前記歌唱特徴パラメタを算出する、請求項２１に記載の楽曲提示プログラム。
28. 前記楽曲関連情報記憶手段は、少なくとも音楽ジャンルを示すジャンルデータを楽曲関連情報として記憶し、
    前記比較用パラメタ記憶手段は、前記音楽ジャンルの音楽的特徴を示すパラメタを前記比較用パラメタとして前記音楽ジャンルに対応づけて記憶し、
    前記選択手段は、歌唱特徴パラメタとの類似度が高い比較用パラメタに対応づけられている前記音楽ジャンルを選択し、
    前記提示手段は、前記楽曲関連情報に基づく情報として前記音楽ジャンルの名称を提示する、請求項１６に記載の楽曲提示プログラム。
29. 前記楽曲データには、当該楽曲の演奏に用いられている楽器と当該楽曲のテンポと当該楽曲の調とを示すための楽譜データが含まれており、
    前記楽曲提示装置は、前記楽曲提示装置のコンピュータを、前記楽譜データから前記比較用パラメタを楽曲毎に算出する楽曲パラメタ算出手段として更に機能させ、
    前記比較用パラメタ記憶手段は、前記楽曲パラメタ算出手段が算出した比較用パラメタを記憶する、請求項１７に記載の楽曲提示プログラム。
30. 前記楽曲パラメタ算出手段は、前記楽譜データに基づいて、音符間の音程差と、拍内における音符の位置と、音符の長さが所定閾値以上である音符の合計時間とに基づいて前記比較用パラメタを算出する、請求項２９に記載の楽曲提示プログラム。

Images