JP2008006218A - 音楽ゲーム機 - Google Patents

Abstract

【課題】音楽の特徴及びユーザの音声のそれぞれをゲーム内容に反映させる機能を無駄なく実現することが可能な音楽ゲーム機を提供する。
【解決手段】音楽再生信号を取り込むライン入力端子４と、ユーザの音声を取り込んで音声信号に変換するマイク６と、各信号の特定周波数成分に関する微分値及び積分値の少なくともいずれか一方を出力する信号処理部１０と、音楽再生信号に対応して信号処理部から出力される信号に基づいて、音楽再生信号にて再生されるべき音楽の特徴を判別し、音声信号に対応して信号処理部から出力される信号に基づいて音声信号を分類する判別部３０、３１と、判別部３０、３１にて判別された音楽の特徴及び音声信号の分類結果のそれぞれをゲーム内容に反映させるゲーム制御部３２とを音楽ゲーム機に設ける。
【選択図】図２

Description

本発明は、ユーザの音声を取り込んでゲーム内容に反映させる機能を備えた音楽ゲーム機に関する。

この種のゲーム機として、マイクから入力された音声信号を解析する専用の処理部を有し、その処理部の解析結果をキャラクタの形態に反映させるゲーム機が知られている（例えば特許文献１参照）。
特開２００１−２９６４９号公報

音楽再生機器から出力される音楽再生信号を取り込んでその音楽再生信号にて再生されるべき音楽の特徴、例えばジャンルを判別し、その判別結果をゲーム内容に反映させる音楽ゲーム機が検討されている。このような音楽ゲーム機において、音楽の特徴を判別するための構成要素とは別に音声信号を解析するための専用の処理部を付加した場合、機能的に重複した部分が併設されて無駄が生じるおそれがある。

そこで、本発明は、音楽の特徴及びユーザの音声のそれぞれをゲーム内容に反映させる機能を無駄なく実現することが可能な音楽ゲーム機を提供することを目的とする。

本発明の音楽ゲーム機は、入力信号の特定周波数成分に関する微分値及び積分値のうち、少なくともいずれか一方に相当する信号を出力する信号処理部（１０）と、音楽再生機器（１００）から出力される音楽再生信号を取り込んで前記信号処理部に入力させる音楽再生信号入力部（４）と、ユーザの音声を取り込んで音声信号に変換し、該音声信号を前記信号処理部に入力させる音声入力部（６）と、前記音楽再生信号の入力に対応して前記信号処理部から出力される信号に基づいて、前記音楽再生信号にて再生されるべき音楽の特徴を判別し、かつ前記音声信号の入力に対応して前記信号処理部から出力される信号に基づいて前記音声信号を分類する判別部（３０、３１）と、前記判別部にて判別された前記音楽の特徴及び前記音声信号の分類結果のそれぞれをゲーム内容に反映させるゲーム制御部（３２）と、を備えることにより上記課題を解決する。

本発明の音楽ゲーム機において、信号処理部は、音楽再生機器からの音楽再生信号又はユーザからの音声信号の入力に対して、特定周波数成分に関する微分値及び積分値のうち、少なくともいずれか一方に相当する信号を出力する。その出力信号に基づいて判別部にて音楽の特徴が判別され、あるいは音声信号が分類され、それらの特徴及び分類結果のそれぞれがゲーム制御部にてゲーム内容に反映される。音楽のジャンル、テンポといった特徴は、音楽再生信号の特定周波数成分の微分値又は積分値と相関性を有しているため、その相関性を利用すれば、音楽再生信号の入力に対応して信号処理部から出力される信号に基づいて音楽の特徴を判別することができる。一方、音声信号も音を波形化したものである点で音楽再生信号と共通性を有している。このため、音声信号の特定周波数成分に関する微分値、あるいは積分値には、発声内容、すなわち音声の調子、強弱、抑揚、単語の相違といった様々な要素と何らかの相関性を持った変化が現れる。その変化に着目すれば、音声認識のような高度の音声解析は望めないとしても、音声信号を発声内容に応じてある程度は分類することができる。これにより、少なくとも信号処理部を共通化し、場合によっては判別部の処理機能の一部をも共通化して、安価なコストでより多くの遊戯機能をユーザに提供することができる。

本発明の音楽ゲーム機の一形態において、前記信号処理部は、前記特定周波数成分の微分値及び積分値のそれぞれに相当する信号を出力し、前記判別部は、前記信号処理部から出力される信号を所定のサンプリング単位時間（Ｔｎ）ずつ取り込んで、前記サンプリング単位時間（Ｔｎ）内に各信号の値が所定レベルを超えるか否かを判定し、前記所定レベルを超える値が検出されたと判定された回数を所定のサンプリング周期（Ｔｍ）毎でかつ前記信号別に集計した解析データ（Ｄ１）を生成するデータ生成部（３０）と、前記解析データに記述された集計値（ｓｕｍ０１…ｓｕｍ０Ｎ、ｓｕｍ１１…ｓｕｍ１Ｎ、ｓｕｍ２１……ｓｕｍ２Ｎ）に基づいて前記音楽の特徴を判別し、かつ前記音声信号を分類するデータ解析部（３１）とを有していてもよい。この形態によれば、信号処理部から出力される微分値及び積分値のばらつきの程度が判別部にて作成される解析データの集計値に反映される。これらのばらつきは音楽のジャンル、テンポといった特徴、あるいはユーザの発声内容の変化と相関性を有しているため、その集計値を利用することにより音楽の特徴を判別し、あるいはユーザの音声を分類することができる。特定周波数成分に関する微分値及び積分値の双方を信号処理部から出力させているので、信号強度が頻繁に変化を繰り返すような場合には微分値に関する集計値が大きくなり、信号の全体的な揺らぎが大きい場合には積分値に関する集計値が大きくなる。このような変化の傾向を利用して音楽の特徴をより細かく判別することができる。そして、データ生成部の解析データを生成する機能を音声信号の分類に関しても活用することにより、音声信号を分類する機能を設けるために必要な追加的負担をさらに軽減することができる。

本発明の音楽ゲーム機の一形態において、前記信号処理部は、前記入力信号の低周波成分の微分値及び積分値の少なくともいずれか一方に相当する信号と、前記入力信号の高周波成分の微分値及び積分値の少なくともいずれか一方に相当する信号とをそれぞれ出力し、前記判別部は、前記信号処理部から出力される信号のそれぞれを所定のサンプリング単位時間（Ｔｎ）ずつ取り込んで、前記サンプリング単位時間内に各信号の値が所定レベルを超えるか否かを判定し、前記所定レベルを超える値が検出されたと判定された回数を所定のサンプリング周期（Ｔｍ）毎でかつ前記信号別に集計した解析データ（Ｄ１）を生成するデータ生成部（３０）と、前記解析データに記述された集計値（ｓｕｍ０１…ｓｕｍ０Ｎ、ｓｕｍ１１…ｓｕｍ１Ｎ、ｓｕｍ２１……ｓｕｍ２Ｎ）に基づいて前記音楽の特徴を判別し、かつ前記音声信号を分類するデータ解析部（３１）とを有していてもよい。この形態によれば、解析データに記述された集計値を利用することにより音楽の特徴を判別し、あるいはユーザの音声を分類することができる点は上述した形態と同様である。しかも、信号処理部から低周波成分の微分値及び積分値の少なくともいずれか一方に相当する信号と、前記入力信号の高周波成分の微分値及び積分値の少なくともいずれか一方に相当する信号とをそれぞれ出力させているので、低周波成分及び高周波成分のそれぞれの変化の傾向を集計値から把握して、音楽の特徴をより細かく判別することができる。そして、データ生成部の解析データを生成する機能を音声信号の分類に関しても活用することにより、音声信号を分類する機能を設けるために必要な追加的負担をさらに軽減することができる。

解析データに記述された集計値を利用する形態において、前記データ解析部は、前記集計値のそれぞれの平均値（Ｍ０〜Ｍ２）を演算し、得られた平均値のばらつきを評価することによって前記音楽の特徴としてのジャンルを判別し、かつ、前記平均値の大小関係に基づいて前記音声信号を分類してもよい。音楽のジャンルと、音楽再生信号の特定周波数成分に関する微分値あるいは積分値のばらつきとの間に存在する相関性を利用して音楽のジャンルを判別することができる。また、音声信号の分類に関しては、音楽の特徴判別と同様に集計値の平均値を利用するので、集計値の演算機能をも共通化することが可能となり、それにより、音声信号を分類する機能を設けるために必要な追加的負担のさらなる軽減を図ることができる。

平均値の大小関係に基づいて音声信号を分類する形態において、前記データ解析部は、前記平均値の大小関係が予め定められた複数のパターン（パターンＡ〜Ｅ）のいずれに該当するかにより前記音声信号を分類してもよい。この形態によれば、複数のパターンを予め定めておくことにより、得られた平均値の大小関係を容易に分類することができる。

平均値の大小関係が予め定められた複数のパターンを利用して音声信号を分類する形態において、前記データ解析部は、２つの平均値間の差をいずれか一方の平均値で割り算して得られる分岐参照値（Ｆ＝（Ｍ０−Ｍ１）／Ｍ０）をさらに参照して前記平均値の大小関係が前記複数のパターンのいずれに該当するかを判別してもよい。分岐参照値を設定することにより、パターン数を増加させて音声再生信号をさらに細かく分類することができる。

本発明の音楽ゲーム機の一形態において、前記判別部は、前記音声信号の分類結果に基づいてゲーム画面（３）に出現させるべきキャラクタを決定し、前記ゲーム制御部は、前記データ解析部にて決定されたキャラクタを前記ゲーム画面に出現させることにより前記音声信号の分類結果を前記ゲーム内容に反映させてもよい。この形態によれば、ユーザの発声内容に応じたキャラクタを画面に表示させるという遊戯機能をユーザに提供することができる。

なお、以上の説明では本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記したが、それにより本発明が図示の形態に限定されるものではない。

以上に説明したように、本発明の音楽ゲーム機によれば、音楽再生機器から出力される音声再生信号、及び音声入力部から出力される音声信号のいずれをも信号処理部に入力してそれらの信号の特定周波数成分に関する微分値及び積分値のうち少なくともいずれか一方に相当する信号を出力させているので、音楽の特徴と、音楽再生信号の特定周波数成分の微分値又は積分値との相関性を利用して音楽の特徴を判別する一方で、ユーザの発声内容に対応した微分値又は積分値の変化に着目して音声信号を適度に分類することができる。これにより、少なくとも信号処理部を共通化し、場合によっては判別部の処理機能の一部をも共通化して、安価なコストでより多くの遊戯機能をユーザに提供することができる。

図１は本発明の一形態に係る携帯型のゲーム機を示している。音楽ゲーム機としてのゲーム機１は、携帯型音楽プレーヤ１００と組み合わせて使用されるものであり、筐体２と、その筐体２の前面に取り付けられた表示装置としてのＬＣＤ３とを備えている。筐体２にはライン入力端子４、フォン端子５及びマイク６が設けられている。ライン入力端子４は携帯型音楽プレーヤ１００のライン出力端子１０１と中継ケーブル１０２を介して接続される。フォン端子５はイヤフォン１０３と接続される。つまり、本形態のゲーム機１は、携帯型音楽プレーヤ１００とこれに組み合わされるべき音声出力装置との間に介装されて使用される。携帯型音楽プレーヤ１００と組み合わされる音声出力装置はイヤフォン１０３に限らない。すなわち、携帯型音楽プレーヤ１００は、スピーカ、ヘッドフォン等の各種の音声出力装置に向けて音声変換用の音楽再生信号を出力できるものであればよく、その記録媒体の形式、再生方式といった細部は問わない。さらに、音楽プレーヤは携帯型に限らず、家庭用オーディオ、テレビ、パーソナルコンピュータ、市販の携帯電子ゲームといった音楽を出力する各種の機器を含む。また、マイク６は、ユーザの音声を取り込んで音声信号に変換する。なお、マイク６には、ユーザの音声以外にも、周囲の音、電子機器からの音声又は音楽などを入力可能である。

ゲーム機１は、携帯型音楽プレーヤ１００のライン入力端子４から出力される音楽再生信号をイヤフォン１０３へ通過させる中継器として機能するとともに、携帯型音楽プレーヤ１００から出力される音楽再生信号を解析し、その解析結果に応じたゲームをユーザに提供するゲーム機としての機能を有している。図２は、ゲーム機１の内部に設けられた制御系のうち、特に音楽再生信号及び音声信号を取り込んで解析する機能に関わる部分の構成を示すブロック図である。ゲーム機１は、音楽再生信号入力部としてのライン入力端子４及び音声入力部としてのマイク６からフォン端子５へアナログの音楽再生信号及び音声信号を通過させるバイパス経路Ｒ１と、ライン入力端子４及びマイク６から分岐経路Ｒ２を介して取り込まれる音楽再生信号及び音声信号を処理する信号処理部１０と、その信号処理部１０の出力信号を取り込む制御ユニット１１とを有している。なお、経路Ｒ１、Ｒ２はいずれも右チャンネル、左チャンネル及びアースチャンネルの３本のラインで構成されるが、図では１本で代表して示している。ライン入力端子４とマイク６は、それぞれを切り替える図示しない切り替えスイッチによって接続され、入力される信号として、音楽再生信号と音声信号とを切り替えることができる。例えば、ライン入力端子４に中継ケーブル１０２からの差し込みがあると、切り替えスイッチは、ライン入力端子４と分岐経路Ｒ１、Ｒ２とを接続する。差し込みがない場合、切り替えスイッチは、マイク６と分岐経路Ｒ１、Ｒ２とを接続する。

信号処理部１０は、ライン入力端子４から取り込まれた音楽再生信号又はマイク６にて変換された音声信号の低周波成分のみを通過させる一対のローパスフィルタ（ＬＰＦ）１２Ａ、１２Ｂと、その音楽再生信号又は音声信号の高周波成分のみを通過させるハイパスフィルタ（ＨＰＦ）１３Ａと、ＬＰＦ１２Ａの出力信号を微分する微分回路１４と、ＬＰＦ１２Ｂの出力信号を積分する積分回路１５と、ＨＰＦ１３Ａの出力信号を微分する微分回路１６と、各回路１４〜１６の出力信号をデジタル信号に変換して制御ユニット１１に出力するＡ／Ｄ変換器１７Ａ〜１７Ｃとを備えている。ＬＰＦ１２Ａ、１２Ｂが通過させる周波数域は例えば１０００Ｈｚ以下に設定され、ＨＰＦ１３Ａが通過させる周波数域は例えば１０００Ｈｚ以上に設定される。なお、周波数域の設定値はこれらの例に限らない。例えば、ＬＰＦ１２Ａ、１２Ｂが通過させる周波数域を５００Ｈｚ以下に設定し、ＨＰＦ１３Ａが通過させる周波数域を１０００Ｈｚ以上に設定してもよい。さらに、ＬＰＦ１２Ａ、１２Ｂが通過させる周波数域は互いに等しく設定されてもよいし、相違してもよい。両者の通過周波数域が一致する場合には、ＬＰＦ１２Ａ、１２Ｂに代えて単一のＬＰＦを設け、その出力信号を微分回路１４及び積分回路１５に分岐してもよい。

制御ユニット１１は、マイクロプロセッシングユニット（ＭＰＵ）と、そのＭＰＵの動作に必要な周辺装置、例えばＲＡＭ、ＲＯＭ等の記憶装置、を組み合わせたコンピュータユニットとして構成されている。制御ユニット１１には、上述したＬＣＤ３が制御対象として接続されるとともに、ゲームの指示等を与えるための入力装置２０、音声、効果音等を発生させるためのスピーカユニット（ＳＰ）２１が接続される。さらに、スピーカユニット２１への接続経路にはフォン端子５も接続される。

制御ユニット１１は、ＬＣＤ３にゲーム画面を表示させる等の処理を実行することにより、ユーザに対して各種のゲーム機能を提供する。そのゲームに付帯した機能として、制御ユニット１１はライン入力端子４から音楽再生信号が入力されているときの信号処理部１０の出力信号を解析して音楽のジャンルを判別する機能を有している。図３は制御ユニット１１の機能ブロック図である。制御ユニット１１のＭＰＵ（図示せず）が所定の制御プログラムを記憶装置２５から読み込んで実行することにより、制御ユニット１１の内部には、論理的装置として、判別部としてのデータ生成部３０及びデータ解析部３１と、ゲーム制御部３２とが生成される。データ生成部３０は信号処理部１０の出力信号を処理して解析データＤ１を生成し、これを記憶装置２５に記憶する。データ解析部３１は、解析データＤ１を読み出し、演算結果識別データＤ２を参照して、所定の手法により音楽のジャンルを判別し、その判別結果に応じて履歴データＤ４を更新する。そのジャンル判別には記憶装置２５に記録された判別参照データＤ３が参照される。ゲーム制御部３２は、履歴データＤ４を参照しつつ所定のゲームプログラム（不図示）に従ってゲームを実行する。

さらに、制御ユニット１１は、マイク６からの音声信号が信号処理部１０にて処理された場合、その出力信号を解析して音声を分類し、その分類結果に基づいてＬＣＤ３のゲーム画面上にキャラクタを出現させる機能をも有している。その機能を実現する場合、制御ユニット１１は、ジャンル判別機能と同様の手順でデータ生成部３０にて信号処理部１０の出力信号を処理して解析データＤ１を生成し、これを記憶装置２５に記憶する。データ解析部３１は、解析データＤ１を読み出して所定の手法により音声信号を分類し、その分類結果に応じて保持キャラクタデータＤ５を更新する。ゲーム制御部３２は、上述した履歴データＤ４に加えて、保持キャラクタデータＤ５をも参照してゲームを実行する。

次に、図４〜図８を参照してゲーム機１によるジャンル判別に関する処理を説明する。図４はライン入力端子４から信号処理部１０に入力される音楽再生信号の波形の一例である。信号処理部１０では、ＬＰＦ１２Ａ、１２Ｂにより音楽再生信号の低周波成分が取り出され、ＨＰＦ１３Ａにより高周波成分が取り出される。取り出された低周波成分の微分値が微分回路１４から出力され、低周波成分の積分値が積分回路１５から出力され、高周波成分の微分値が微分回路１６から出力される。出力された微分値及び積分値はＡ／Ｄ変換器１７Ａ〜１７Ｃでデジタル信号に変換されて制御ユニット１１のデータ生成部３０に入力される。データ生成部３０には、信号処理部１０から出力される微分値及び積分値を処理するための基準時間として、図４に示すサンプリング周期Ｔｍと、図５（積分回路１５の出力波形の一例を示す図である）に示すサンプリング単位時間Ｔｎの二種類の時間長が設定されている。サンプリング周期Ｔｍはサンプリング単位時間Ｔｎの整数倍である。一例として、サンプリング周期Ｔｍが５秒、サンプリング単位時間Ｔｎが２０ミリ秒にそれぞれ設定される。

制御ユニット１１のデータ生成部３０では、微分値及び積分値をサンプリング単位時間Ｔｎずつ取り込んで、そのサンプリング単位時間Ｔｎ内に微分値及び積分値がそれぞれ所定レベルを超えるか否かを判定する。そして、所定レベルを超える値が検出されたと判定された回数をサンプリング周期Ｔｍ毎に、かつ微分値及び積分値別に集計して解析データＤ１を生成する。例えば、図４に設定された一つのサンプリング周期Ｔｍにおける低周波成分の積分値が図５のように変動していた場合、データ生成部３０では各サンプリング単位時間Ｔｎ内で積分値が所定の閾値ＴＨを超えるか否かを監視し、積分値が閾値ＴＨを超えた場合に積分値が所定レベルを超えたと判定する。但し、一つのサンプリング単位時間Ｔｎ内で積分値が閾値ＴＨを超えた回数に関係なく、一度でも超えたならば回数は１としてカウントされる。この判定処理をサンプリング周期Ｔｍ内においてサンプリング単位時間Ｔｎ毎に繰り返し、サンプリング周期Ｔｍの経過時点で所定レベルを超えたと判定された回数を計数する。サンプリング周期Ｔｍが５秒、サンプリング単位時間Ｔｎが２０ミリ秒であれば、一周期Ｔｍにおける回数の最小値は０、最大値は２５０である。

制御ユニット１１のデータ生成部３０は上記のような処理を微分値及び積分値のそれぞれについて個別に実行し、計測された回数をサンプリング周期Ｔｍ毎に順次集計して図６のように解析データＤ１を生成する。図６の解析データＤ１において、チャンネルｃｈ０は微分回路１４からの出力に、チャンネルｃｈ１は積分回路１５からの出力に、チャンネルｃｈ２は微分回路１６からの出力にそれぞれ対応する。サンプル番号ｓｍｐ１〜ｓｍｐＮは音楽再生信号の開始時点からの周期の番号に対応する。ここでは音楽再生信号が全部でＮ周期に相当するものと仮定している。そして、サンプル番号ｓｍｐＸ（但し、Ｘは１〜Ｎ）におけるチャンネルｃｈ０の集計値ｓｕｍ０Ｘは、処理開始時点からのＸ番目のサンプリング周期ＴｍＸにおいて低周波成分の微分値が所定のレベルＴＨを超えたと判定された回数を示す。例えば、ｓｕｍ０１は最初のサンプリング周期において低周波成分の微分値が閾値ＴＨを超えたと判定された回数に相当する。他のチャンネルｃｈ１〜ｃｈ２についても同様である。

制御ユニット１１のデータ解析部３１は、解析データＤ１に記述されている集計値について、チャンネル毎、つまり微分値及び積分値毎の平均値Ｍ０〜Ｍ２と、低周波成分及び高周波成分の微分値に関して解析データＤ１に記述されている集計値の変動係数ＣＶ０、ＣＶ２とを演算する（図６参照）。ここで、変動係数とは、集計値の標準偏差を平均値で割った値を百分率で表わした値であり、データのばらつきの大きさを評価する尺度として統計処理に用いられる値の一種である。例えば集計値の標準偏差をＳＤ、平均値をＭとすれば、変動係数ＣＶ＝（ＳＤ／Ｍ）×１００で与えられる。さらに、データ解析部３１は、演算結果識別データＤ２を参照し、平均値Ｍ０、Ｍ１、Ｍ２、変動係数ＣＶ０、ＣＶ２のそれぞれに対応する識別値ｄＭ０、ｄＭ１、ｄＭ２、ｄＣＶ０、ｄＣＶ２を取得する。演算結果識別データＤ２は、平均値Ｍ０、Ｍ１、Ｍ２及び変動係数ＣＶ０、ＣＶ２のそれぞれの値と、識別値ｄＭ０、ｄＭ１、ｄＭ２、ｄＣＶ０、ｄＣＶ２とを対応付けるテーブルの集合である。識別値は平均値又は変動係数が取り得る範囲を所定段数で区分したときの各区分を代表する値である。例えば、平均値Ｍ０のテーブルでは、図７に示したように、平均値Ｍ０が取り得る０〜２５０の値の範囲を３つの閾値ａ、ｂ、ｃ（但し、ａ＜ｂ＜ｃ）により４段階に区分し、各区分を識別値０〜３にて代表している。そして、データ解析部３１は、図７のテーブルを参照することにより、平均値Ｍ０に対応する０〜３のいずれか一つの値を識別値ｄＭ０として取得する。平均値Ｍ１、Ｍ２及び変動係数ＣＶ０、ＣＶ２についても、図示しないが同様なテーブルが用意されている。データ解析部３１は、取得された平均値Ｍ１、Ｍ２及び変動係数ＣＶ０、ＣＶ２に対応する識別値ｄＭ１、ｄＭ２、ｄＣＶ０、ｄＣＶ２を同様の手順で取得する。なお、平均値Ｍ１、Ｍ２にそれぞれ対応する識別値ｄＭ１、ｄＭ２は０〜２の３段階、変動係数ＣＶ０、ＣＶ２にそれぞれ対応する識別値ｄＣＶ０、ｄＣＶ２は０又は１の２段階にそれぞれ区分されている。但し、各識別値の区分段数は適宜に変更してよい。

データ解析部３１は、取得された識別値ｄＭ０〜ｄＭ２及びｄＣＶ０、ｄＣＶ２を、識別値ｄＭ０、ｄＭ１、ｄＭ２、ｄＣＶ０、ｄＣＶ２の順に並べることにより、音楽再生信号の波形を特徴付ける５桁の数値を判定値として取得する。例えば、識別値ｄＭ０が１、ｄＭ１が０、ｄＭ２が０、ｄＣＶ０が０、ｄＣＶ２が１の場合には、判定値として１０００１が得られる。判定値は本例では１４４通り得られることになる。なお、判定値を得るための識別値ｄＭ０〜ｄＭ２及びｄＣＶ０、ｄＣＶ２の並び順は本形態に限定されず、任意に指定してもよい。

さらに、データ解析部３１は、上述した５桁の判定値に基づいて、音楽再生信号にて再生されるべき音楽のジャンルを判別する。このジャンル判別においては判別参照データＤ３が参照される。図８に例示したように、判定参照データＤ３には、音楽のジャンルＡ〜Ｘと上述の１４４通りの判定値とが対応付けて記述されている。ここでいうジャンルとは、例えば、クラッシック、ロック、バラード、ＪＡＺＺといった音楽の内容を区別するために使用される概念である。データ解析部３１では、判定参照データＤ３と比較して、得られた判定値に一致するジャンルをその音楽再生信号に対応するジャンルとして決定する。例えば、判定値が１０００１のときは、図８に例示するようにその音楽再生信号に対応するジャンルとして、ジャンルＡが決定される。さらに、ジャンル決定後、データ解析部３１は判別結果に応じて履歴データＤ４を更新する。例えば、図９に示すように、履歴データＤ４はジャンルＡ〜Ｘと、それぞれの入力回数Ｎａ〜Ｎｘとが対応付けて記述されており、データ解析部３１は判別したジャンルの回数に１を加算することにより履歴データＤ４を更新する。また、予め履歴データＤ２の記述回数について特定数を設けておき、判別結果が出力される毎にその判別されたジャンルが履歴データＤ２に記述されていくようにしてもよい。この場合、記述回数が特定数を超えた場合は最も古い時期の記述が消去され、最新の判別結果が記述されるように履歴データＤ２が更新されるようにすればよい。

次に、図１０及び図１１を参照して、上述したジャンル判別を実施するために制御ユニット１１が実行する処理の手順を説明する。図１０は、制御ユニット１１（データ生成部３０）が解析データＤ１を生成するために実行する解析データ生成処理ルーチンを示す。このルーチンは、例えばユーザが入力装置２０（図２参照）からジャンル判別を指示した状態で、信号処理部１０から微分値及び積分値がそれぞれ出力されたことを条件として実行される。なお、信号処理部１０から出力される微分値及び積分値は制御ユニット１１の内部バッファに逐次蓄積されて本ルーチンによる処理を受ける。

解析データ生成処理ルーチンでは、最初のステップＳ１において、制御ユニット１１は、データ処理の対象となるチャンネルｃｈの番号を指定する変数ｎを初期値０にセットし、続くステップＳ２にて、内部バッファからチャンネルｃｈｎのサンプリング単位時間相当の出力信号（微分値又は積分値）を取り込む。次のステップＳ３において、制御ユニット１１は、取り込まれた出力信号が所定レベルを超えているか否かを判定する。所定レベルを超えている場合、制御ユニット１１はステップＳ４に進み、チャンネルｃｈｎ用の内部カウンタに１を加算し、その後、ステップＳ５へ進む。一方、ステップＳ３にて所定レベルを超えていない場合、制御ユニット１１はステップＳ４をスキップしてステップＳ５へ進む。

ステップＳ５において、制御ユニット１１は変数ｎに２がセットされているか否か判断し、２でなければステップＳ６で変数ｎに１を加算してステップＳ２へ戻る。一方、ステップＳ５で変数ｎが２の場合、制御ユニット１１はステップＳ７へ進む。ステップＳ２〜Ｓ６の処理が繰り返されることにより、３つのチャンネルｃｈ０〜ｃｈ２、つまり低周波成分に対する微分回路１４、積分回路１５、高周波成分に対する微分回路１６のそれぞれの出力がサンプリング単位時間相当長に亘って検査される。

ステップＳ７において制御ユニット１１はサンプリング周期Ｔｍ分の処理が終了したか否かを判定する。例えば、ステップＳ５が肯定判断された回数がサンプリング周期Ｔｍをサンプリング単位時間Ｔｎで除した値に一致する場合にサンプリング周期Ｔｍ分の処理が終了したと判断すればよい。ステップＳ７が否定判断された場合、制御ユニット１１はステップＳ１へ戻り、内部バッファに蓄えられている次のサンプリング単位時間の信号の処理へと進む。一方、ステップＳ７が肯定判断された場合、制御ユニット１１はステップＳ８へ進み、内部カウンタに記録されている値を今回のサンプリング周期に対応するサンプル番号ｓｍｐＸの集計値ｓｕｍ０Ｘ、ｓｕｍ１Ｘ、ｓｕｍ２Ｘ（図６参照）として記憶装置２５の解析データＤ１に追加する。解析データＤ１がまだ存在しない場合には解析データＤ１を新たに作成して集計値を最初のサンプル番号ｓｍｐ１に対応付けて記録する。

続くステップＳ９において、制御ユニット１１は内部カウンタの値を初期値０にリセットし、さらに次のステップＳ１０で解析データＤ１の生成処理が終了したか否かを判断する。例えば、全てのチャンネルｃｈ０〜ｃｈ２の出力が０近傍のいわゆる無音状態が所定秒以上続いた場合に処理が終了したと判断することができる。そして、処理が終了していなければ、制御ユニット１１はステップＳ１へ戻る。処理が終了したと判断した場合、制御ユニット１１は解析データ生成処理ルーチンを終える。以上の処理により、図６に示したような解析データＤ１が生成される。

図１１は、制御ユニット１１（データ解析部３１）が解析データＤ１から音楽のジャンルを判別するために実行するデータ解析処理ルーチンを示す。このルーチンは、図１０の解析データ生成処理ルーチンの終了後に続けて実行される。データ解析処理ルーチンにおいて、制御ユニット１１は、最初のステップＳ２１で、データ処理の対象となるチャンネルｃｈの番号を指定する変数ｎを初期値０にセットし、続くステップＳ２２にて、記憶装置２５に記録された解析データＤ１から変数ｎに対応するチャンネル番号ｃｈｎの集計値を読み込み、それらの平均値と低周波成分及び高周波成分の微分値の集計値に対する変動係数とを演算する。次のステップＳ２３において、制御ユニット１１は変数ｎに２がセットされているか否か判断し、２でなければステップＳ２４で変数ｎに１を加算してステップＳ２２へ戻る。一方、ステップＳ２３で変数ｎが２の場合、制御ユニット１１はステップＳ２５へ進む。ステップＳ２２〜Ｓ２４の処理が繰り返されることにより、３つのチャンネルｃｈ０〜ｃｈ２のそれぞれの平均値Ｍ０〜Ｍ２と低周波成分及び高周波成分の微分値の集計値についての変動係数ＣＶ０、ＣＶ２とが演算される。

ステップＳ２５において、制御ユニット１１は、演算結果識別データＤ４を参照し、得られた平均値Ｍ０〜Ｍ２及び変動係数ＣＶ０、ＣＶ２にそれぞれ対応する識別値ｄＭ０、ｄＭ１、ｄＭ２、ｄＣＶ０、ｄＣＶ２を取得する。次のステップＳ２６において、制御ユニット１１は、記憶装置２５の判別参照データＤ３を参照して、識別値ｄＭ０、ｄＭ１、ｄＭ２、ｄＣＶ０、ｄＣＶ２を順に並べた５桁の判定値に対応するジャンルを選択することにより、音楽のジャンルを判別する。さらに、制御ユニット１１は、次のステップＳ２７において、判別されたジャンルの回数に１が加算されるように履歴データＤ２を更新し、この後、データ解析処理ルーチンを終える。

次に図１２〜図１４を参照して、マイク６からの音声信号を解析して音声を分類するマイクモードに関する処理を説明する。なお、マイクモードは、例えばマイク６から信号処理部１０への入力が可能とされた状態で、ユーザが入力装置２０に対してマイクモードを指示するための所定の操作を実施した場合に起動される特別のモードである。

マイクモードにおいて、マイク６からの音声信号はライン入力端子４からの音楽再生信号と同様に信号処理部１０に入力される。信号処理部１０では音声信号の低周波成分に対する微分値及び積分値と、音声信号の高周波成分に対する微分値とがデジタル信号化されて出力される。それらの出力信号に基づいて制御ユニット１１のデータ生成部３０にて解析データＤ１が生成される。この場合の解析データＤ１は、上述した音楽再生信号の場合と同様に、サンプリング周期Ｔｍ内で微分値及び積分値のそれぞれが閾値ＴＨを超えた回数の集計値をチャンネルｃｈ０〜ｃｈ２毎に記録したものである。つまり、音声信号が入力された場合におけるデータ生成部３０の処理内容は、音楽再生信号が入力された場合のそれと同様である。

一方、データ解析部３１は、音楽再生信号に対応する解析データＤ１を処理する場合と、音声信号に対応する解析データＤ１を処理する場合とで処理内容が相違する。すなわち、音声信号に対応する解析データＤ１を処理する場合、データ解析部３１は、解析データＤ１に記述されている集計値についてチャンネル毎の平均値Ｍ０〜Ｍ２を演算する（図６参照）。そして、データ解析部３１は、得られた平均値Ｍ０〜Ｍ２の大小関係を比較することにより、平均値Ｍ０、Ｍ１、Ｍ２間の大小関係が図１２に示すパターンＡ〜パターンＥのいずれに該当するかによって音声信号を分類する。例えば、平均値Ｍ０＞平均値Ｍ１＞平均値Ｍ２の場合には音声信号がパターンＢに分類される。パターンＡ〜Ｅは、各平均値Ｍ０〜Ｍ２を結ぶベクトルにより平均値Ｍ０〜Ｍ２の大小関係を特徴付けるものである。但し、平均値Ｍ０〜Ｍ２の大小関係が所定の関係にある場合には、さらに、平均値Ｍ０と平均値Ｍ１の差の割合を示す分岐参照値Ｆ＝（Ｍ０−Ｍ１）／Ｍ０が演算され、この分岐参照値Ｆがパターンの分岐に使用される。図１２の例では、パターンＡとパターンＣとの分岐、パターンＤとパターンＥとの分岐に関して分岐参照値Ｆが使用される。

音声信号がパターンＡ〜Ｅのいずれかに分類されると、データ解析部３１は分類されたパターンに応じてゲーム画面に出現させるべきキャラクタを決定する。例えば、パターンＡ〜Ｅのそれぞれに対して互いに異なる１以上のキャラクタが予め対応付けられ、その対応関係に従って、分類されたパターンに対応するキャラクタをデータ解析部３１が選択することによりキャラクタが決定される。なお、ここでいうキャラクタとは、例えば、人や動植物、想像上の動植物の他、物品、文字や記号等をアレンジしてＬＣＤ３で表示したものであり、特に表示内容は限定されない。決定されたキャラクタはゲーム制御部３２によるゲームの制御に従って適宜のタイミングでＬＣＤ３のゲーム画面上に表示される。さらに、データ解析部３１はキャラクタの決定内容に応じて保持キャラクタデータＤ５を更新する。一度出現したキャラクタは、ユーザが保持できるキャラクタとしてカウントされ、保持キャラクタデータＤ５に記録される。例えば、図１３に示すように、保持キャラクタデータＤ５は、ゲーム画面上に表示させ得るキャラクタＡ〜Ｘと、ユーザが保持するキャラクタとを対応付けたテーブルとして構成されており、データ解析部３１はパターンの分類結果に応じて出現させたキャラクタの個数に１を加算することにより保持キャラクタデータＤ５を更新する。なお、ゲーム内容に応じて、同じキャラクタを複数保持できるように設定してもよいし、キャラクタ一つに付き一つしか保持できないように設定してもよい。キャラクタの保持可能な個数に制限を設けた場合は、設定した個数以降は、保持キャラクタデータＤ５の個数は更新されない。

次に、図１４を参照して、マイクモードにて音声を分類するために制御ユニット１１が実行する処理の手順を説明する。なお、図１４の処理に先立って、制御ユニット１１（データ生成部３０）は音声信号に対応した解析データＤ１を生成するために図１０に示す解析データ生成処理ルーチンを実行するが、この点に関しては音楽再生信号に対する処理と同様のため説明を省略する。音声信号に対応する解析データＤ１が生成されると、これに続いて制御ユニット１１は図１４に示すデータ解析処理ルーチンを実行する。

図１４のデータ解析処理ルーチンにおいて、制御ユニット１１は、最初のステップＳ３１で、データ処理の対象となるチャンネルｃｈの番号を指定する変数ｎを初期値０にセットし、続くステップＳ３２にて、記憶装置２５に記憶された解析データＤ１から変数ｎに対応するチャンネル番号ｃｈｎの集計値を読み込み、それらの平均値を演算する。次のステップＳ３３において、制御ユニット１１は変数ｎに２がセットされているかを判断し、２でなければステップＳ３４で変数ｎに１を加算してステップＳ３２へ戻る。一方、ステップＳ３３で変数ｎが２の場合、制御ユニット１１はステップＳ３５へ進む。ステップＳ３２〜Ｓ３４の処理が繰り返されることにより、３つのチャンネルｃｈ０〜ｃｈ２のそれぞれの平均値が演算される。

ステップＳ３５において、制御ユニット１１は平均値Ｍ０〜Ｍ２の大小関係を比較する。次のステップＳ３６において、制御ユニット１１は平均値Ｍ０〜Ｍ２が所定の大小関係、つまり、上述したパターンＡ、Ｃの関係、又はパターンＤ、Ｅの関係にあるか否か判断する。所定の大小関係にある場合、制御ユニット１１はステップＳ３７にて分岐参照値Ｆを演算し、その後にステップＳ３８へ進む。ステップＳ３６が否定判断された場合、制御ッユニット１１はステップＳ３７をスキップしてステップＳ３８へ進む。ステップＳ３８において、制御ユニット１１は平均値Ｍ０〜Ｍ２の大小関係、さらに分岐参照値Ｆが演算されている場合にはその分岐参照値Ｆに基づいて音声信号がパターンＡ〜Ｅ（図１２参照）のいずれに分類されるかを判断する。続くステップＳ３９において、制御ユニット１１は分類されたパターンに対応するキャラクタをゲーム画面上に出現させるべきキャラクタとして決定する。その後、制御ユニット１１はステップＳ４０に進み、決定したキャラクタの個数に１が加算されるように保持キャラクタデータＤ５を更新し、この後、データ解析処理ルーチンを終える。

以上のようにして決定されたキャラクタはゲーム制御部３２が実行するゲームにおいて様々に利用することができる。例えば、ゲーム制御部３２がキャラクタを育成するゲームを実行する場合、ゲーム制御部３２は、保持キャラクタデータＤ５に記述されているキャラクタを育成キャラクタとは別のゲストキャラクタとして出現させてもよい。ゲストキャラクタは、例えばユーザが希望に応じて呼び出してＬＣＤ３に表示するキャラクタとして位置付けることができる。音声信号の分類結果に応じて異なるゲストキャラクタを出現させることにより、音声入力を利用したゲストキャラクタの収集という内容のゲーム機能をユーザに提供することができる。

本形態のゲーム機１においては、履歴データＤ４にジャンル別の判別回数が記録されているので、履歴データＤ４を参照することにより、ゲーム機１を経由してユーザが聴取した音楽のジャンル毎の頻度、ユーザのジャンルの好み等を分析し、ゲーム制御部３２にて実行されるゲームの内容にジャンルの判別結果を反映させることが可能となる。例えば、ゲーム制御部３２がキャラクタを育成するゲームを実行する場合には、履歴データＤ４に記述されているジャンル毎の判別回数の分布に応じてキャラクタの態様、性格等の特性を変化させる、といった操作をゲーム制御部３２にて行うことができる。そして、音楽ジャンルの判別に使用するための信号処理部１０、データ生成部３０、データ解析部３１の機能を利用してユーザの音声を分類し、その分類結果をゲーム内容に反映させることができる。これにより、音楽の特徴及びユーザの音声のそれぞれをゲーム内容に反映させる機能を無駄なく実現することができるので、音声判別のために専用の処理回路を付加する必要がなく、安価なコストでより多くの遊戯機能を提供することができる。

本発明は以上の形態に限定されることなく、種々の形態で実施することができる。例えば、信号処理部は音声再生信号又は音声信号の低周波成分に対する微分回路及び積分回路と高周波成分に対する微分回路とを備えるものに限定されず、特定周波数成分に対する微分回路及び積分回路の少なくともいずれか一方を備えている限りにおいて種々の変形が可能である。音楽再生信号の微分値及び積分値には音楽の変化の傾向が反映されるので、微分値及び積分値の少なくともいずれか一方を信号処理部から出力させることにより、その変化の傾向から音楽の特徴を判別し、かつ音声を分類することができる。上記の形態では低周波成分及び高周波成分のそれぞれについて微分値を出力させているが、両周波数成分の積分値を信号処理部から出力させてもよいし、単一の周波数域に関する微分値及び積分値を信号処理部から出力させてもよい。さらには、単一の周波数域に関する微分値又は積分値のいずれか一方のみを信号処理部から出力させてもよい。

上記の形態では、音楽の特徴としてジャンルを判別したが、本発明はこれに限定されることなく、音楽のテンポその他の各種の特徴を判別部にて判別してもよい。例えば、音楽のテンポは音楽再生信号の低周波成分の積分値に比較的強い相関性を有している。すなわち、音楽再生信号の低周波成分は、音楽に含まれている規則的なベースリズムの影響を強く受け、その積分値波形では、低周波成分に含まれる不規則な変動が鈍されてベースリズムによる規則的な波形がより明瞭に現れる。このため、低周波成分の積分値波形のピーク間隔、つまり、極大値間の間隔は音楽のテンポと相関性を有している。判別部にて、所定のサンプリング周期毎に積分値波形のピーク間隔を求めることにより音楽のテンポを判別することができる。なお、ピーク間隔が不規則であれば、特徴判別部で平均値、中央値、最頻値等の統計値をピーク間隔として演算してもよい。そして、音声信号の低周波成分の積分値波形には、音声信号に含まれる不規則な変動が鈍されて音声の規則的な揺らぎを示す規則的な波形がより明瞭に現れる。このような規則的な変化を利用して音声を分類することができる。

上記の形態では低周波成分の積分値及び微分値と高周波成分の微分値とがサンプリング単位時間内に所定レベルを超えた回数をそれぞれ集計し、その集計値の平均値及び変動係数を演算して音楽再生信号波形のばらつき具合を判別したが、音楽の特徴を判別するために判別部が実行する処理の内容は、平均値及び変動係数のみを利用する例に限らない。例えば、集計値の標準偏差、分散、合計、といった各種の統計値をさらに参照して音楽のジャンル等を判別してもよい。統計値は任意の複数の種類を利用してもよい。また、低周波成分及び高周波成分の微分値の変動係数のみを演算したが、これに限定されず、全ての微分値及び積分値の各集計値の変動係数を演算してジャンル等の判別に利用してもよい。データの解析に音楽再生信号の波形を特徴付ける５桁の判定値を利用したが、演算する各種の統計値に合わせた桁数を設定してもよい。例えば、低周波成分の積分値及び微分値と高周波成分の微分値のそれぞれの平均値及び変動係数を演算するのであれば、音楽再生信号の波形を特徴付ける判定値は６桁となる。また、音声の分類についても各種の統計値を利用してもよい。

本形態では、ゲーム制御部にて音楽のジャンルをキャラクタの形態の変化等に反映させ、あるいは音声信号の分類結果に応じて決定されたキャラクタをゲーム画面に出現させる例を示したが、音楽の特徴の判別結果、あるいは音声信号の分類結果とゲーム内容との関係はこれらの例に限定されない。例えばゲームの難易度、進行速度、特典の発生確率の変化といった各種の変化を音楽の特徴、あるいは音声信号の分類結果と関連付けて生じさせてもよい。

信号処理部はＩＣ、ＬＳＩといった回路素子を組み合わせたハードウエア装置として構成してもよいし、ＭＰＵとソフトウエアとを組み合わせた論理的装置として構成されてもよい。データ生成部及びデータ解析部のそれぞれについても、ハードウエア装置として構成されてもよい。信号入力部はライン入力端子に限らない。例えば音楽再生機器からＦＭ電波等の無線を利用して送信される再生信号を受信して音楽再生信号に変換する装置を信号入力部として利用してもよい。

本発明の携帯型ゲーム機を携帯型音楽プレーヤとイヤフォンとの間に配置した状態を示す図。 図１のゲーム機の制御系における音楽ジャンル判別に関わる部分のブロック図。 図２の制御ユニットの機能ブロック図。 音楽再生信号とサンプリング周期との関係を示す図。 サンプリング周期内における積分値の波形とサンプリング単位時間との関係の一例を示す図。 解析データの内容を示す図。 演算結果識別データの内容を示す図。 判別参照データの内容を示す図。 履歴データの内容を示す図。 制御ユニットにて実行される解析データ生成処理ルーチンを示すフローチャート。 制御ユニットにて実行されるデータ解析処理ルーチンを示すフローチャート。 音声信号を分類するためのパターンを示す図。 保持キャラクタデータの内容を示す図。 マイクモード時に制御ユニットにて実行されるデータ解析処理ルーチンを示すフローチャート。

符号の説明

１ ゲーム機
２ 筐体
３ ＬＣＤ
４ ライン入力端子（音楽再生信号入力部）
６ マイク（音声入力部）
１０ 信号処理部
１１ 制御ユニット
３０ データ生成部（判別部）
３１ データ解析部（判別部）
３２ ゲーム制御部
１００ 携帯型音楽プレーヤ（音楽再生機器）

Claims (7)

1. 入力信号の特定周波数成分に関する微分値及び積分値のうち、少なくともいずれか一方に相当する信号を出力する信号処理部と、
   音楽再生機器から出力される音楽再生信号を取り込んで前記信号処理部に入力させる音楽再生信号入力部と、
   ユーザの音声を取り込んで音声信号に変換し、該音声信号を前記信号処理部に入力させる音声入力部と、
   前記音楽再生信号の入力に対応して前記信号処理部から出力される信号に基づいて、前記音楽再生信号にて再生されるべき音楽の特徴を判別し、かつ前記音声信号の入力に対応して前記信号処理部から出力される信号に基づいて前記音声信号を分類する判別部と、
   前記判別部にて判別された前記音楽の特徴及び前記音声信号の分類結果のそれぞれをゲーム内容に反映させるゲーム制御部と、
   を備えたことを特徴とする音楽ゲーム機。
2. 前記信号処理部は、前記特定周波数成分の微分値及び積分値のそれぞれに相当する信号を出力し、
   前記判別部は、前記信号処理部から出力される信号を所定のサンプリング単位時間ずつ取り込んで、前記サンプリング単位時間内に各信号の値が所定レベルを超えるか否かを判定し、前記所定レベルを超える値が検出されたと判定された回数を所定のサンプリング周期毎でかつ前記信号別に集計した解析データを生成するデータ生成部と、前記解析データに記述された集計値に基づいて前記音楽の特徴を判別し、かつ前記音声信号を分類するデータ解析部とを有している、
   ことを特徴とする請求項１に記載の音楽ゲーム機。
3. 前記信号処理部は、前記入力信号の低周波成分の微分値及び積分値の少なくともいずれか一方に相当する信号と、前記入力信号の高周波成分の微分値及び積分値の少なくともいずれか一方に相当する信号とをそれぞれ出力し、
   前記判別部は、前記信号処理部から出力される信号のそれぞれを所定のサンプリング単位時間ずつ取り込んで、前記サンプリング単位時間内に各信号の値が所定レベルを超えるか否かを判定し、前記所定レベルを超える値が検出されたと判定された回数を所定のサンプリング周期毎でかつ前記信号別に集計した解析データを生成するデータ生成部と、前記解析データに記述された集計値に基づいて前記音楽の特徴を判別し、かつ前記音声信号を分類するデータ解析部とを有している、
   ことを特徴とする請求項１に記載の音楽ゲーム機。
4. 前記データ解析部は、前記集計値のそれぞれの平均値を演算し、得られた平均値のばらつきを評価することによって前記音楽の特徴としてのジャンルを判別し、かつ、前記平均値の大小関係に基づいて前記音声信号を分類する、ことを特徴とする請求項２又は３に記載の音楽ゲーム機。
5. 前記データ解析部は、前記平均値の大小関係が予め定められた複数のパターンのいずれに該当するかにより前記音声信号を分類することを特徴とする請求項４に記載の音楽ゲーム機。
6. 前記データ解析部は、２つの平均値間の差をいずれか一方の平均値で割り算して得られる分岐参照値をさらに参照して前記平均値の大小関係が前記複数のパターンのいずれに該当するかを判別することを特徴とする請求項５に記載の音楽ゲーム機。
7. 前記判別部は、前記音声信号の分類結果に基づいてゲーム画面に出現させるべきキャラクタを決定し、前記ゲーム制御部は、前記データ解析部にて決定されたキャラクタを前記ゲーム画面に出現させることにより前記音声信号の分類結果を前記ゲーム内容に反映させる、ことを特徴とする請求項１〜６のいずれか一項に記載の音楽ゲーム機。

Images