JP2009193082A - カラオケ装置 - Google Patents

Abstract

【課題】ダンスゲームをスムーズに実行でき、カラオケによるカロリー消費量を知ることができるカラオケ装置を提供する。
【解決手段】カラオケ曲の演奏中にカラオケ装置のモニタ６にダンスのステップを指示するステップ指示映像を表示する。このステップ指示映像はダンスゲームの制御装置であるダンスコントロールユニット４が生成する。ダンスコントロールユニット４にはステップボード９が接続されており、利用者がステップボード９上でするステップを採点する。また、歌唱によるカロリー消費量およびステップによるカロリー消費量を算出してこれをモニタに表示し、利用者にカロリー消費量を知らせる。
【選択図】 図１

Description

この発明は、カラオケ曲を歌唱するとともに、ダンスゲームをすることのできるカラオケ装置に関する。

一般的なカラオケ装置は、カラオケ曲を自動演奏するとともに、モニタに歌詞を表示して歌唱をガイドする機能を備えている。そして近年、マイクから入力される歌唱音声の音高や音量を分析し、これを採点するゲーム機能を備えたものも実用化されている。

一方、モニタの画面下から音楽に乗って現れる４方向矢印（←↑↓→）のパターンに合わせて同方向のフットパネルをタイミング良く踏んで得点を競うダンスゲームがアーケードゲームとして人気を集めている。

カラオケ装置もダンスゲーム機も曲データを記憶し、これを自動演奏する点では共通しているが、従来は別々の装置であったため、曲データを共有したりゲームと歌唱を一緒にしたりすることができなかった。

また、歌唱もダンスも身体動作を伴うため相当量のカロリーを消費するものであり、利用者のなかには歌唱やダンスでどの程度のカロリーを消費したか知りたいという需要があった。

この発明は、ダンスゲームをスムーズに実行できるカラオケ装置および歌唱やダンスで消費したカロリーを表示することができるカラオケ装置を提供することを目的とする。

請求項１の発明は、曲を自動演奏するための楽曲データを記憶する記憶手段と、前記記憶手段から読み出された楽曲データに基づいて自動演奏の楽音を発生する楽音発生手段と、前記楽音発生手段による楽音の発生に対応したダンスの身振りを表示する身振り指示映像を生成する身振り指示映像生成手段と、前記身振り指示映像を出力する映像出力手段と、利用者の歌唱音声を入力する歌唱音声入力手段と、利用者の身振りを検出する身振りセンサと、前記歌唱音声入力手段から入力された歌唱音声に基づき、歌唱によるカロリー消費量を検出する歌唱カロリー検出手段と、前記身振りセンサの検出内容に基づいて前記利用者の身振りによるカロリー消費量を検出する身振りカロリー検出手段と、を備えたことを特徴とする。

請求項２の発明は、請求項１の発明において、前記映像出力手段は、前記歌唱カロリー検出手段が検出し歌唱によるカロリー消費量と、前記身振りセンサ検出手段が検出した身振りによるカロリー消費量と、を個別に表示する個別カロリー映像を出力することを特徴とする。

この発明では、曲を自動演奏するとともに、この曲に合わせてダンスをするための身振りを指示する身振り指示映像を生成する。この身振り指示映像をモニタ（例えば、カラオケ装置のモニタや、カラオケ装置に外付けされたモニタ）に出力する。利用者は、モニタに表示された身振り指示映像を見てダンスをすることができる。なお、身振り指示として全身の振りを指示してもよいが、身体の一部のみ、たとえばステップ（脚の振り）のみを指示するようにしてもよい。

また、歌唱においては、発声するためや音高を上下させるために腹筋や背筋を使う身体運動であり、歌唱の身振りはステップなどを伴い全身の筋肉を使う身体運動である。そこで、歌唱音声を入力しその音量や音高の上下などに基づいてこの歌唱によるカロリー消費量を検出することができる。また、身振りを検出することで利用者がどの程度の運動をしているかを検出し、これに基づいて身振りによるカロリー消費量を検出することができる。また、身振りによるカロリー消費量の検出は、身振りセンサを用いて身振りを採点することで、ダンスをゲーム化したダンスゲームに適用することができる。これにより、カラオケ装置で身振りを交えて歌唱する、または、ダンスゲームをするというアミューズメント動作で消費したカロリーを知ることができ、カラオケをカロリー消費の運動に用いることができるようになる。

以上のようにこの発明によれば、身振りデータを自動生成することにより、身振りデータが記憶されていない従来の曲であってもダンスゲームを楽しむことができる。また、歌唱や身振りによって消費されるカロリー量を検出することにより、利用者はこのゲームがどの程度の運動になったかを知ることができる。

この発明の実施形態であるカラオケシステムの構成図 同カラオケシステムのカラオケ装置のブロック図 同カラオケシステムのゲームコントロールユニットのブロック図 カラオケ装置に記憶されている楽曲データの構成を示す図 ダンスゲーム時のモニタの表示例を示す図 カラオケ装置の動作を示すフローチャート カラオケ装置の動作を示すフローチャート カラオケ装置の動作を示すフローチャート ゲームコントロールユニットの動作を示すフローチャート ゲームコントロールユニットの動作を示すフローチャート ゲームコントロールユニットの動作を示すフローチャート カロリー消費量の表示画面の例を示す図

図面を参照してこの発明のカラオケシステムについて説明する。図１は同カラオケシステムの外観図である。図２は同カラオケシステムを構成するカラオケ装置のブロック図である。図３は同カラオケシステムを構成するゲーム装置のブロック図である。

このカラオケシステムは、カラオケ装置とダンスゲーム装置からなっている。このカラオケシステムが本願発明のカラオケ装置に対応し、この実施形態のカラオケ装置は、カラオケシステムのうち主として曲の演奏機能を担当する装置をいう。なお、この実施形態ではカラオケ装置とダンスゲーム装置をそれぞれ別の装置で構成し、ケーブルで接続するようにしているが、一体の装置または同じラックにマウントされるまたは一緒に縦積みされるコンポーネントとして構成してもよい。また、モニタは外付けであっても、一体型であってもよいが、この発明のカラオケ装置において、モニタは必須ではない。

このカラオケシステムでは、カラオケ装置の演奏する曲に合わせて利用者が歌唱することができるとともに、カラオケ装置の演奏する曲に合わせて利用者がダンスゲームをすることができる。ここで、ダンスゲームとは、モニタ画面の下から音楽にあわせてスクロールするステップ指示映像（４方向矢印（←↓↑→）のパターン）に合わせて同方向のフットパネルをタイミング良く踏んで得点を競うゲームである。このステップ指示映像がこの発明の身振り指示映像に対応する。

カラオケ装置は、本体装置１、コントロールアンプ２、この発明の歌詞用背景映像発生手段であるＤＶＤチェンジャ３、スピーカ５（図２参照）、モニタ６などを備えている。

また、ダンスゲーム装置は、ゲームコントロールユニット４、この発明の身振りセンサであるステップボード９、ゲーム操作パネル１１、ビルコインボックス１２、照明装置１３などを備えている。すなわち、この実施形態では、ダンスの身振りとしてステップのみを指示・検出するようにしている。

利用者が演奏する曲を選曲したとき、それが通常のカラオケ曲（一般曲）であれば、カラオケ装置は、モニタ６に歌詞を表示しながら通常どおりのカラオケ演奏を実行する。一方、ダンスゲーム用の曲（専用曲）が選曲された場合は、利用者がゲーム操作パネル１１のスタートボタン１１ａをオンしたとき曲の演奏をスタートさせ、この演奏と並行してモニタ６にステップ指示映像を表示する（図５参照）。利用者はこのステップ指示映像に合わせてステップし、ステップボード９のフットパネル９ａ〜９ｄを踏む。各フットパネル９ａ〜９ｄにはスイッチ９０（図３参照）が設けられており、このスイッチ９０のオンタイミングに基づいて利用者のステップの正確さを採点し、曲の演奏中または曲の終了後にその得点を表示する。また、カラオケ歌唱用の一般曲であっても上記スタートボタン１１ａを押すことによってダンスゲーム用の曲としてステップ指示映像を表示することも可能である。

図２において、カラオケ本体装置１のＣＰＵ２０が、このカラオケシステム全体の動作を制御する。このＣＰＵ２０には、ＲＯＭ２１、ＲＡＭ２２、ハードディスク２７、通信制御部２６、リモコン受信部２３、操作部２４、表示部２５、この発明の歌詞映像生成手段であるグラフィック回路２８、映像ミキサ２９、この発明の楽音発生手段である楽音発生部３０、この発明の歌唱音声再生手段である音声再生部３１が接続されているとともに、インタフェース３５、３６が接続されている。インタフェース３５には、前記コントロールアンプ２およびＤＶＤチェンジャ３が接続されている。インタフェース３６には、前記ゲームコントロールユニット４が接続されている。

ＲＯＭ２１には、このカラオケ装置を起動するためのプログラムなどが記憶されている。カラオケ曲（一般曲、専用曲を含めて以下このように呼ぶ。）を演奏するための楽曲データはＤＶＤドライブ３にセットされているＤＶＤ３ａおよびハードディスク２７に記憶されている。また、ハードディスク２７には、上記楽曲データのほか、システムプログラム、カラオケ演奏プログラム、通信プログラムなどの各種プログラム、文字パターンデータなどが記憶されている。システムプログラムは、この装置の基本動作を制御するプログラムであり、カラオケ装置の起動時にＲＡＭ２２に読み込まれる。カラオケ演奏プログラムは、楽曲データに基づいてカラオケ演奏部３０や音声再生部３１を駆動してカラオケ演奏音を発生するためのプログラムである。通信プログラムは、配信センタから前記楽曲データやこの発明の身振りデータであるステップデータをダウンロードするためのプログラムである。文字パターンデータは、コード情報として与えられる歌詞、曲名などのテキスト情報を文字パターンに展開するためのデータである。

ＲＡＭ２２には、上記プログラムを読み込むエリアのほか、現在演奏中の楽曲データや次に演奏する楽曲データを読み出す実行データ記憶エリア、後述の各種フラグ、レジスタなどが設定される。

楽音発生部３０は音源ＬＳＩなどを備え、前記楽曲データに基づいてカラオケ曲演奏の楽音を発生する。また、音声再生部３１は、ＴｗｉｎＶＱなどの圧縮方式で記録された音声信号を再生する回路である。この音声再生部３１は、カラオケ曲のバックコーラスを再生するほか、特定モード（音多モード）指定に応じて、予め録音されているプロの歌唱を再生する。すなわち、歌唱者が初心者で専門の歌手の歌唱を聴きたい場合や、利用者がダンスゲームをして歌唱をできない場合などに、このプロの歌唱を再生する音多モードが指定される。

楽曲データは、楽音発生部３０に楽音を発生させるための楽音トラックのほか、上記予め録音されたプロの歌唱音声のＴｗｉｎＶＱデータで構成される音声トラックを有している。ＣＰＵ２０は、カラオケ曲の演奏時、音多モードに応じて、楽音トラックの読み出しと同期してこの音声トラックのデータを音声再生部３１に入力する。

音多モードは、音多切換スイッチ５０（同図（Ｂ）参照）の操作により、音多オフ、音多オン、ダンスゲーム時音多オンの３つのモードに順次設定される。設定されたモードは、ＲＡＭ２２に設定される音多モードレジスタに記憶される。音多モードのデフォルトは、歌詞オフであり、カラオケ曲が選曲されるごとに、音多モードは音多オフに再設定される。なお、前記音多切換スイッチ５０は、リモコン８、操作部２４、ゲーム操作パネル１１のいずれかまたはその他どこに設けてもよく、ＣＰＵ２０にその操作信号を通知できればよい。

楽音発生部３０が発生した演奏音および指示に応じて音声再生部３１が再生した歌唱音声は、コントロールアンプ２に入力される。コントロールアンプ２には、歌唱者が歌唱音声を入力するためのマイク７が接続されている。コントロールアンプ２は、マイク７から入力されたまたは音声再生部３１が再生した歌唱音声および前記カラオケ演奏の楽音をミキシングしてスピーカ５に出力する。

また、コントロールアンプ２は、マイク７から入力された歌唱音声を分析・変換するための回路部であるハモリユニットを備えており、マイク７から入力された歌唱音声の周波数や音量を分析して、ＭＩＤＩデータに変換したり、マイク７から入力された歌唱音声を他の所定周波数の音声に変換してハーモニー音声を生成することができる。ハーモニー音声を生成した場合には、これを前記楽音、歌唱音声とミキシングしてスピーカ５に出力する。

また、歌唱音声から周波数や音量を抽出して作成されたＭＩＤＩデータは、ＣＰＵ２０に入力される。ＣＰＵ２０は、このＭＩＤＩデータをリファレンス（楽曲データの楽音トラックに含まれているガイドメロディトラックなど）と比較することによって歌唱者の歌唱を採点する。さらにＣＰＵ２０は、このＭＩＤＩデータにより発声回数、発声音量、単位時間当たりの発声頻度、音高、音高のジャンプ間隔などに基づいて、歌唱者がこの歌唱によってどの程度カロリーを消費したかを算出する。

歌唱によるカロリー消費量の算出は、「音量が大きいほどカロリー消費量が大きい、音高が高いほどカロリー消費量が大きい、連続する２音の音高の間隔（ジャンプ）が大きいほどカロリー消費量が大きい、連続する２音の間隔が短いほどカロリー消費量が大きい、単位時間当たりの発音回数が多いほどカロリー消費量が大きい」などのルールを関数化したものを用いて行う。このルール（関数）は、ハードディスク２７に記憶されており、起動時にＲＡＭ２２に読み出される。

通信制御部２６は、通信回路を介して配信センタ１９と交信し、楽曲データやステップデータなどをダウンロードするためのコントローラである。通信制御部１６は、ＤＭＡ回路を内蔵しており、ダウンロードされた楽曲データなどを直接ハードディスク２７に書き込む。

リモコン受信部２３はリモコン８から送られてくる赤外線信号を受信してデータを復元する。リモコン８は、曲番号を入力してカラオケ曲を予約するためのテンキーなど複数のキースイッチを備えている。利用者がキースイッチを操作すると、リモコン８は操作されたキースイッチに対応する赤外線コードの信号を送信する。リモコン受信部２３はこの赤外線コード信号を受信してデータに復元し、ＣＰＵ２０に入力する。ＣＰＵ２０はこのデータに基づいてカラオケ曲の予約などの処理を実行する。操作部２４は、カラオケ本体装置１のフロントパネルに設けられており、上記リモコン８と同様のキースイッチを備えている。表示部２５も上記操作部２４と同様カラオケ装置本体のフロントパネルに設けられており、現在演奏中の曲番号や予約曲数などを表示するＬＥＤマトリクス表示器を含んでいる。

グラフィック回路２８は、歌詞テロップの映像信号を発生し、映像ミキサ２９に入力する。楽曲データは、楽音を発生する楽音トラックに加えて、楽音の発生に同期して歌詞を表示するための歌詞トラックを含んでいる。ＣＰＵ２０は、カラオケ曲の演奏時に、楽音トラックのデータを楽音発生部３０に入力するのと同期して歌詞トラックのデータを読み出し、このデータに対応するフォントデータをハードディスク２７から読み出して歌詞を文字パターンに展開する。この展開は、グラフィック回路２８のＶＲＡＭ上で行われる。グラフィック回路２８は、この文字パターンを映像信号（ＮＴＳＣコンポジット信号）化して映像ミキサ２９に出力する。

映像ミキサ２９は、グラフィック回路２８から文字テロップを入力するための内部入力端子のほか、２つの外部映像入力端子２９ａ，２９ｂを備えている。外部映像入力端子２９ａには、前記ＤＶＤドライブ３が接続され、外部映像入力端子２９ｂには前記ゲームコントロールユニット４が接続されている。

通常のカラオケ演奏時には、グラフィック回路２８から歌詞テロップの映像信号を入力するとともに、外部入力端子２９ａからＤＶＤドライブ３が再生する背景映像を入力し、背景映像上に歌詞テロップをスーパーインポーズ合成してモニタ６に入力する。ＤＶＤドライブ３が再生するＤＶＤ３ａの背景映像は、カラオケ曲のジャンルや季節などに対応し、カラオケ曲の雰囲気にあった風景などの映像であり、カラオケ歌唱の雰囲気を盛り上げる機能を有している。

また、ダンスゲーム実行時には、外部入力端子２９ｂからゲームコントロールユニット４の発生する映像を入力してモニタ６に出力する。このとき歌詞表示モード（後述）に応じて、グラフィック回路２８から入力される歌詞テロップを上記映像にスーパーインポーズ合成する。ゲームコントロールユニット４が出力する映像信号は、図５に示すように、ゲーム用の背景映像上に上方向にスクロールするステップ指示映像がスーパーインポーズ合成されたものである。ゲーム用の背景映像は、ＣＧ（コンピュータグラフィック）のキャラクタがダンスをしているというような映像であり、ゲームを盛り上げる機能を有するとともに、ステップ指示映像が見やすい配色になっている。ゲームコントロールユニット４から入力される上記の映像信号に歌詞テロップをスーパーインポーズ合成すると、歌詞テロップが最前景に表示され、ステップ指示映像が見づらくなる可能性があるため、ユーザが歌詞表示モードを選択してこれを消去できるようになっている。

歌詞表示モードは、歌詞表示切換スイッチ５１（同図（Ｂ）参照）の操作により、歌詞オン、歌詞オフ、ダンスゲーム時歌詞オフの３つのモードに順次設定される。設定されたモードは、ＲＡＭ２２に設定される歌詞表示モードレジスタに記憶される。歌詞表示モードのデフォルトは、歌詞オンであり、カラオケ曲が選曲されるごとに、歌詞表示モードは歌詞オンに再設定される。なお、前記歌詞表示切換スイッチ５１は、リモコン８、操作部２４、ゲーム操作パネル１１のいずれかまたはその他どこに設けてもよく、ＣＰＵ２０にその操作信号を通知できればよい。ＣＰＵ２０は、歌詞表示切換スイッチ５１の操作信号に応じて歌詞テロップの生成のオン・オフや映像ミキサ２９の切り換えを制御する。

インタフェース３６は、ゲームコントロールユニット４のインタフェース４３に接続され、ゲームコントロールユニット４に対して種々のデータを送信するとともに、ゲームコントロールユニット４から種々のデータを受信するインタフェースである。ゲームコントロールユニット４に対して送信されるデータは、ダンスゲームを実行するためのステップデータまたは属性情報、カラオケ曲の各拍毎に生成されるビートマーク情報、曲の区間を示す演奏マークなどである。また、ゲームコントロールユニット４から受信するデータは、スタート信号やダンスゲームの得点、カロリー消費量などである。

図３において、ステップ指示映像は、ステップデータに基づいてＣＰＵ４０が生成する。また、ゲーム用の背景映像は、ＣＤ−ＲＯＭドライブ４２にセットされているＣＤ−ＲＯＭ４２ａに記憶されているムービーデータを再生したものである。すなわち、ＣＤ−ＲＯＭドライブ４２がこの発明の身振り用背景映像発生手段に対応する。

ここで、ステップデータとは、曲の進行（特に曲のリズム）にあわせて４方向の矢印（←↓↑→）が描かれているフットパネル９ａ〜９ｄのどれを踏むかを示すデータであり、専用曲にはその曲に１対１で対応するステップデータがカラオケ本体装置１のハードディスク２７またはＤＶＤ３ａに記憶されている。また、一般曲のステップデータを生成するための素材となる８ステップ程度のパターンデータが、ゲームコントロールユニット４のＣＤ−ＲＯＭ４２ａに複数記憶されている。

ゲームコントロールユニット４は、前記ＣＰＵ４０を備え、このＣＰＵ４０には、メモリ４１、ＣＤ−ＲＯＭドライブ４２、インタフェース４３、グラフィックコントローラ４４、インタフェース４５、４６を備えている。

メモリ４１には、ダンスゲームを実行するとき、演奏中のカラオケ曲に対応するステップデータが書き込まれる。専用曲が選曲されると、ステップデータはカラオケ本体装置１から送信される。また、一般曲でゲームを行うとき、カラオケ本体装置１から送信されてくるのは、その曲のジャンル、拍子、テンポなどの属性情報であるため、ＣＰＵ４０はこの属性情報に基づいてステップデータを生成する。

ＣＤ−ＲＯＭドライブ４２にセットされているＣＤ−ＲＯＭ４２ａには、８ステップ程度のパターンデータが多数記憶されており、ＣＰＵ４０は、属性情報に基づいてこのパターンデータから適当なものを選択・組み合わせすることによってステップデータをリアルタイムに生成する。

インタフェース４３はカラオケ本体装置１と通信するためのインタフェースであり、カラオケ本体装置１から専用曲のステップデータ、一般曲の属性情報を受信するほか、１拍毎に発生するビートマーク、曲の切れ目（サビ、コーラス、間奏など）を示す演奏マークを受信する。また、このインタフェース４３を介して、ゲームコントロールユニット４からカラオケ本体装置１に向けて、スタートボタン１１ａのオン信号であるスタート信号やダンスゲームの採点結果（得点）、ゲームによるカロリー消費量などの情報が送信される。

グラフィックコントローラ４４は、ＣＰＵ４０から入力されるステップ指示映像を映像信号に変換し、この映像をＣＤ−ＲＯＭドライブ４２から入力されるゲーム用の背景映像にスーパーインポーズ合成してカラオケ本体装置１（映像ミキサ２９の外部映像入力端子２９ｂ）に出力する。ここで、前記映像ミキサ２９およびこのグラフィックコントローラ４４がこの発明の映像出力手段に対応する。

インタフェース４５には前記ゲーム操作パネル１１およびステップボード９が接続されている。ステップボード９は、前後左右の矢印が付された４枚のフットパネル９ａ〜９ｄの内部に設けられた４個のスイッチ９０（９０ａ〜９０ｄ）、および、該矢印が付されたフットパネル９ａ〜９ｄとこれらに囲まれたホームポジションのフットパネル９ｅの内部に設けられた５つの圧力センサ９１（９１ａ〜９１ｅ）を備えている。スイッチ９０のオン・オフ状態および圧力センサ９１の検出値はインタフェース４５を介してＣＰＵ４０に伝達される。

また、ゲーム操作パネル１１には、スタートボタン１１ａ、難易度選択ボタン１１ｂが設けられている。難易度選択ボタン１１ｂは、ステップ指示映像として表示されるステップデータの難易度を選択するためのボタンスイッチであり、Ａ、Ｂ、Ｃの３種類が設けられている。Ａボタン、Ｂボタン、Ｃボタンは、それぞれＡ（高難易）、Ｂ（中難易）、Ｃ（低難易）の難易度に対応している。なお、ゲームモード設定時のデフォルトはＣ（低難易）である。スタートボタン１１ａ，難易度選択ボタン１１ｂのオン操作はインタフェース４５を介してＣＰＵ４０に伝達される。スタートボタン１１ａがオンされると、ＣＰＵ４０はスタート信号をカラオケ本体装置１のＣＰＵ２０に送信する。また、難易度選択ボタン１１ｂが操作されると、メモリ４１に記憶している３種類のステップデータからその操作された難易度選択ボタンに対応するものを選択する。

インタフェース４６には、前記コインボックス１２および照明装置１３が接続されている。コインボックス１２は、ＣＰＵ４０に対して投入されたコインの枚数の情報であるクレジット情報を送信する。ダンスゲームを課金サービスとする場合、ＣＰＵ４０はこのクレジット情報に基づいてダンスゲームを実行するか否かを決定する。また、照明装置１３は、ダンスゲームの実行時にＣＰＵ４０の制御によって点滅制御される。ＣＰＵ４０は、カラオケ本体装置１から入力される拍タイミングの情報であるビートマークに基づいて、照明装置１３の点滅制御を行う。

利用者によるリモコン８の操作によって専用曲が選曲されると、カラオケ本体装置１のＣＰＵ２０は、ハードディスク２７またはＤＶＤ３ａからＲＡＭ２２へ楽曲データを読み込むとともに、この楽曲データに対応して記憶されているステップデータをインタフェース３６を介してゲームコントロールユニット４に送信する。

ゲームコントロールユニット４のＣＰＵ４０は、カラオケ本体装置１から（インタフェース４３を介して）ステップデータが入力されると、これをメモリ４１に書き込み、利用者によるスタートボタン１１ａ、難易度選択ボタン１１ｂの操作があるまで待機する。難易度選択ボタン１１ｂが操作されると、操作されたボタンに対応する難易度のステップデータを選択する。また、スタートボタン１１ａが操作されると、スタートボタン１１ａがオンされた旨を示すスタート信号をインタフェース４３→インタフェース３６を介してＣＰＵ２０に通知する。

ＣＰＵ２０は、このスタート信号の入力をトリガとしてカラオケ曲（専用曲）の演奏をスタートし、曲の拍タイミングに同期したビートマークをインタフェース３６→インタフェース４３を介してＣＰＵ４０に入力する。

ＣＰＵ４０は、このビートマークに同期して、ステップ指示映像を生成し、グラフィックコントローラ４４に入力する。なお、ＣＤ−ＲＯＭドライブ４２は、カラオケ曲のスタート（最初のビートマークの入力など）をトリガとしてゲーム用の背景映像の再生をスタートする。グラフィックコントローラ４４は、ＣＤ−ＲＯＭドライブ４２から入力される背景映像にＣＰＵ４０から入力されグラフィックコントローラ４４のＶＲＡＭ上に展開したステップ指示映像をスーパーインポーズ合成してその合成映像をカラオケ本体装置１（映像ミキサ２９）の外部映像入力端子２９ｂに向けて出力する。この映像信号はＮＴＳＣコンポジット信号でよい。

また、ＣＰＵ４０は、ステップデータに基づいてステップ指示映像を生成するとともに、ステップボード９のスイッチ９０ａ〜９０ｄから入力されるオン信号をステップデータと比較し、ステップ指示映像で指示したフットパネルを、その指示タイミングに正確に踏んでいるかを判断し、その正確さに応じた得点を算出する。この得点は、ゲームの進行中にリアルタイムに算出され、メモリ４１に蓄積記憶される。

また、このスイッチ９０のオン信号の回数、単位時間当たりのオン頻度、および、ステップする毎に各フットパネル（ホームポジションを含む）に加えられる圧力に基づいて、このゲームによるカロリー消費量を算出する。ゲームによるカロリー消費量すなわちダンスによるカロリー消費量は、以下のようなルールに基づいて算出される。
今回のカロリー消費量ｐは、前回のステップからの時間ｔ、フットパネルに加えられた圧力であるステップの強さａ、前回ステップしたフットパネルと今回ステップしたフットパネルの移動距離移動ｄとして、
ｐ＝αａｄ／ｔ
で計算される。ここでαは係数であり、経験的に割り出されたものである。なお、身振りによるカロリー消費量の算出方法は、この式に限定されるものではない。たとえば、ｔに応じて、すなわち、走っているようなステップか歩いているようなステップかに応じて係数αを切り換えるようにしてもよい。

このカロリー消費量は、ゲームの進行中にリアルタイムに算出され、メモリ４１に蓄積記憶される。曲の演奏すなわちゲームが終了すると、ＣＰＵ４０は、上記得点およびカロリー消費量を集計し、カラオケ本体装置１に向けて送信する。カラオケ本体装置は、この得点とカロリー消費量をモニタ６に表示する。

なお、カラオケ曲の演奏に合わせてダンスゲームが実行されているとき、利用者（ダンスゲームをしている者と別人でもよい）が、このカラオケ曲を歌唱することもでき、また、実際の歌唱に代えて楽曲データ中の音声トラックに基づいてプロの歌唱音声を再生するようにしてもよい。音多モード（プロの歌唱音声を再生するか否か）は、音多切換スイッチ５０の操作によって切り換えることができる。音多モードがオフの場合には、マイク７が有効になり、マイク７から入力された歌唱が採点され、歌唱によるカロリー消費量が算出される。

カロリー消費量の表示は、直接的に「○○Ｃａｌ消費しました」と表示してもよく、また「５分間ギョギングしたのと同じカロリーを消費しました」と他の運動に置き換えて表示してもよい。また、歌唱のカロリー消費量とダンスゲームのカロリー消費量を加算して合計の消費量を表示してもよい。歌唱によるカロリー消費量とダンスのステップによるカロリー消費量を別々に表示するとともにその合計を表示した表示例を図１２に示しておく。

一方、利用者によって一般曲が選曲されると、カラオケ本体装置１のＣＰＵ２０は、ハードディスク２７またはＤＶＤ３ａからＲＡＭ２２へ楽曲データを読み込み、自動的にカラオケ曲の演奏をスタートする。このとき、ＤＶＤドライブ３がカラオケ曲用の背景映像を再生し、外部映像入力端子２９ａから映像ミキサ２９にこの映像信号を入力する。映像ミキサ２９はこの背景映像にグラフィック回路２８から入力された歌詞テロップをスーパーインポーズ合成してモニタ６に出力する。利用者がカラオケ演奏に合わせて歌唱すれば、マイク７からその歌唱音声が入力されてスピーカ５から出力されるとともに、この歌唱が採点され、歌唱によるカロリー消費量が算出される。歌唱終了後、この採点結果（得点）とカロリー消費量がモニタ６に表示される。

上記のように一般曲の演奏がスタートして３０秒以内に、ゲーム操作パネル１１のスタートボタン１１ａが操作されると、ゲームコントロールユニット４のＣＰＵ４０からカラオケ本体装置１のＣＰＵ２０にスタート信号が通知される。

ＣＰＵ２０は、一般曲の演奏がスタートして３０秒以内にスタート信号が通知されると、カラオケ曲の演奏を中止し、ステップ指示映像を表示しながらカラオケ曲を演奏するゲームモードでこのカラオケ曲の演奏を再スタートする。このとき、映像はゲームコントロールユニット４から入力されるものに切り換える。

一般曲には、対応するステップデータが記憶されていないため、ＣＰＵ２０は、このカラオケ曲の属性情報をゲームコントロールユニット４のＣＰＵ４０に対して送信する。ＣＰＵ４０は、受信した属性情報をメモリ４１に記憶するとともに、この属性情報に基づいてＣＤ−ＲＯＭ４２ａのステップパターンデータを選択・組み合わせすることによってリアルタイムにステップデータを生成する。ＣＰＵ２０から間奏、サビなど曲の区間を示す演奏マークが入力された場合には、その区間に合うようなステップパターンを選択する。また、利用者が難易度選択ボタン１１ｂを操作すると、その指定された難易度のステップデータを生成するようにしてもよい。

なお、ステップデータを自動生成する場合であっても、同じ曲に対しては毎回（難易度ごとに）同じステップデータが生成されるようにする。これは、利用者が練習によって上達できるようにするためである。

なお、ダンスゲームを実行しているとき、または、ダンスゲームを実行していて且つ音多オンのとき、すなわちプロ歌手の歌唱を再生しているときには、カラオケ曲のイコライジングや各パートのバランスを変更するようにしてもよい。すなわち、カラオケ歌唱時には歌唱が引き立つように全体のバランスをフラットにしてボリュームを控えめにするが、ダンスゲーム時（歌唱しないとき）には、全体のボリュームを上げて、リズムパート（ベースパートを含む）の音量を大きくし、イコライジングも低音・高音が強調されたヘビーなものにすることでゲームを盛り上げることができる。このためには、楽曲データにパートバランス，イコライジングのパラメータを歌唱用とダンスゲーム用で別々に持つか、または、楽曲データには歌唱用のパラメータを記憶しておき、別にパラメータ変更アルゴリズムを持っていて、ダンスゲーム時にはこのパラメータ変更アルゴリズムに基づいてパートバランスやイコライジングを変更するようにすればよい。パラメータ変更アルゴリズムとしては「リズムパート（ＭＩＤＩ第１０チャンネル）は、現在のボリューム×１．２」などである。

図４は上記ハードディスクおよびＤＶＤに記憶されている楽曲データの構成を示す図である。楽曲データは、曲のジャンル、拍子、テンポなどの属性情報が書き込まれたヘッダのほか、楽音発生部３０に楽音を発生させるためのデータが書き込まれた楽音トラック、演奏に同期して歌詞テロップを表示するためのデータが書き込まれた歌詞トラック、前奏、１番、間奏、サビ、２番、後奏などの曲の区間を示す演奏マークが書き込まれた制御トラックを備えている。楽音トラックは複数トラックで構成されており、複数の演奏パートのトラックのほか、歌唱採点のリファレンスとなるガイドメロディトラックなどが含まれている。

さらに、楽曲データには、プロの歌手がこのカラオケ曲を歌唱した歌唱音声データをＴｗｉｎＶＱ方式で圧縮した音声トラックが付属している。この音声トラックは、楽曲データと一体に記憶してもよく、楽曲データの記憶エリアと別の音声トラックの記憶エリアを設け、それぞれを対応づけるようにしてもよい。

さらに、楽曲データのうち専用曲には、１対１で対応するステップデータが付属している。ステップデータとは、上述したように、曲の進行にあわせてフットパネル９ａ〜９ｄ（←↓↑→）のどれを踏むかを示す時系列のデータである。各専用曲について、ステップデータは、Ａ（高難易）、Ｂ（中難易）、Ｃ（低難易）の３種類が記憶されている。このステップデータは、楽曲データの一部として一体に記憶してもよく、楽曲データの記憶エリアと別のステップデータの記憶エリアを設け、各楽曲データと各ステップデータを対応づけるテーブルを設けるようにしてもよい。
なお、専用曲であるか一般曲であるかは、楽曲データのヘッダに書き込んでおいてもよく、対応するステップデータが存在するか否かで判断するようにしてもよい。

図５は、ダンスゲームが実行されるゲームモード時のモニタ６の表示例を示す図であり、モニタ６の左側部分の映像の時間変化を表すものである。モニタ６の左側にステップ指示映像が表示されている。ステップ指示映像は、曲のリズムに合ったステップのパターンが上方にスクロールする動画像である矢印群６１と、モニタ６の上端に表示される静止画像であり、上方にスクロールしてきた矢印がこれと一致したときステップタイミングであることを示すタイミングマーク６０とを合成した画像からなっている。矢印群６１は、同図（Ａ）〜（Ｄ）に示すように曲のテンポに合わせて下から上にスクロールし、上端のタイミングマーク６０と重なり合ったとき、そのタイミングマークが明るく変化し、スクロールしてきた矢印は消滅する。矢印６１がモニタ６の最下段に現れるタイミングが、この発明の請求項１の「そのタイミングの所定時間前」に対応する。

ＣＰＵ４０は、カラオケ本体装置１から演奏中のカラオケ曲の拍タイミングと同期したビートマークを受信し、そのビートマークのタイミングにタイミングマーク６０と矢印群６１中の所定の矢印が重なるように矢印群６１を描画するとともに、そのスクロールを制御する。

図６〜図１１のフローチャートを参照して同カラオケシステムの動作を説明する。
図６は演奏スタート時の動作を示すフローチャートである。利用者がリモコン８から曲番号を入力すると、その曲番号が予約曲リストに登録される。ＣＰＵ２０は、予約曲リストの先頭に登録されている曲番号を読み出し（ｓ１）、この曲番号で指定される楽曲データをハードディスク２７またはＤＶＤ３ａから読み出す（ｓ２）。そして、この曲が専用曲であるか一般曲であるかを判断する（ｓ３）。専用曲であれば、対応するステップデータを読み出して（楽曲データと一体になっている場合には、楽曲データの読出時に一緒に読み出されている）、これをゲームコントロールユニット４に送信する（ｓ４）。こののち、楽音発生部３０のイニシャライズなどの演奏の準備を実行し（ｓ５）、ゲームコントロールユニット４からスタート信号が送られてくるまで待機する（ｓ６）。ゲームコントロールユニット４は、スタートボタン１１ａがオンされたとき、スタート信号をカラオケ本体装置１に向けて送信する。スタート信号を受信すると（ｓ６）、ＣＰＵ２０は、曲の演奏をスタートする（ｓ７）。

一方、リクエストされた曲が一般曲であった場合には（ｓ３）、演奏の準備を実行したのち（ｓ１０）、即座に演奏をスタートする（ｓ１１）。そして、３０秒以内にゲームコントロールユニット４からスタート信号が入力された場合には（ｓ１２，ｓ１３）、現在の演奏を停止し（ｓ１４）、ステップデータを生成するための曲の属性情報をゲームコントロールユニット４に対して送信する（ｓ１５）。こののち、演奏を再スタートする（ｓ１６）。

スタートボタンがオンされないまま３０秒が経過した場合には（ｓ１２）、ゲームコントロールユニット４からのスタート信号の入力を禁止してそのまま演奏を継続する。なお、ダンスゲームに用いることが著作権契約等で禁止されている曲（禁止曲）は、楽曲データのヘッダにその旨が書き込まれており、禁止曲が演奏されているときは、３０秒以内にスタートボタンがオンされた場合であってもゲームモードには移行しない。また、ｓ１６の演奏の再スタートは、ゲームコントロールユニット４のセットアップが完了するように２秒程度待ってスタートする。

図７はカラオケ曲の演奏中の動作を示すフローチャートである。同図（Ａ）において、音多モードがオンのモードであるか否かを判断する（ｓ２０）。オンのモードであれば、すなわち音多オンであるか、または、ゲーム時オンであり且つダンスゲーム実行中であれば音声トラックを曲の演奏に同期して読み出し、音声再生部３１に入力することによってこれを再生する（ｓ２１）。

次にテンポクロックをカウントし、そのテンポクロックのタイミングのイベントデータを各トラックから読み出す（ｓ２２）。読み出したデータが楽音トラックのデータの場合には（ｓ２３）、このデータを楽音発生部３０に出力する（ｓ２６）。読み出したデータが歌詞トラックのデータの場合には（ｓ２４）、歌詞表示モードのオン・オフを判断し（ｓ２７）、歌詞表示モードがオンの場合のみこの歌詞データをパターン展開してグラフィック回路に出力する（ｓ２８）。足し表示モードが歌詞オフまたはダンスゲーム時オフで現在ダンスゲームが実行されているときには歌詞を表示しないため、歌詞データをパターン展開しない。なお、歌詞データの文字パターン展開は常時実行しておき、映像ミキサ２９の切り換えで表示しないようにしてもよい。
また、読み出されたデータが演奏マークの場合には（ｓ２５）、このマークをゲームコントロールユニット４に送信する（ｓ２９）。

同図（Ｂ）はビートマーク出力動作を示すフローチャートである。テンポクロックと現在演奏中の曲のテンポ情報に基づいてビート（拍）タイミングを検出する（ｓ３１）。そして拍子データ（３拍子、４拍子等）に基づいて強拍のビートマークまたは弱拍のビートマークを作成する（ｓ３２）。このビートマークをゲームコントロールユニット４に送信する（ｓ３３）。

図８（Ａ）は、カラオケ曲演奏中の採点動作を示すフローチャートである。まず、コントロールアンプ２から歌唱の音量・音高情報を入力する（ｓ４０）。この情報はマイク７から入力された歌唱から音量・音高を抽出し、これをＭＩＤＩデータに変換したものである。この情報とガイドメロディデータなどのリファレンスデータとを比較して一致度を判定し、これに基づいて歌唱を採点する（ｓ４１）。そして、この歌唱の音量、音高、間隔、音高のジャンプ幅などの要素に基づいてこの歌唱によるカロリー消費量を計算する（ｓ４２）。算出された得点（採点結果）とカロリー消費量を蓄積記憶する（ｓ４３）。以上の動作を曲が終了するまで繰り返し実行する（ｓ４４）。

そして曲が終了すると（ｓ４４）、歌唱の得点を集計し（ｓ４５）、歌唱によって消費したカロリー量を集計する（ｓ４６）。次にダンスゲームを実行している場合にはゲームコントロールユニット４からダンスゲームの得点およびダンスゲームによるカロリー消費量を受信する（ｓ４７、ｓ４８）。そしてこれら得点およびカロリー消費量を順次表示するとともに（ｓ４９）、これをログに保存する（ｓ５０）。図１２はカロリー消費量の表示画面の例である。なお、ログはカラオケ曲の演奏履歴ファイルであり、ハードディスク２７に設定される。ログの記録項目は、演奏時刻、曲番号、歌唱得点、歌唱カロリー消費量、ダンスゲーム得点、ダンスゲームカロリー消費量、ダンスゲーム選択難易度などである。

図８（Ｂ）は利用者の操作によるモード切換動作を示すフローチャートである。ユーザが音多切換スイッチ５０を操作すると（ｓ５１）、ＲＡＭ２２に設定されている音多モードフラグの内容をオフ→オン→ダンスゲーム時オンの順に順次切り換える（ｓ５２）。また、ユーザが歌詞表示切換スイッチ５１を操作すると（ｓ５３）、ＲＡＭ２２に設定されている歌詞表示モードフラグの内容をオン→オフ→ダンスゲーム時オフの順に順次切り換える（ｓ５４）。上述したように、音多モードのデフォルトはオフであり、歌詞表示モードのデフォルトはオンである。カラオケ装置の電源がオンされたときなど状態がリセットされるときには、これらのモードはデフォルトにセットされる。

図９〜図１１はゲームコントロールユニットの動作を示すフローチャートである。図９はカラオケ装置で専用曲が演奏されるときの動作を示すフローチャートである。専用曲が演奏されるとき、カラオケ装置本体からその曲専用のステップデータが送られてくるのでこれを受信し（ｓ６０）、これをメモリ４１に書き込む（ｓ６１）。ステップデータはＡ（高難易）、Ｂ（中難易）、Ｃ（低難易）の３種類が送られてくる。そしてユーザが難易度選択スイッチ１１ｂまたはスタートスイッチ１１ａを操作するまで待機する（ｓ６２、ｓ６４）。難易度選択スイッチ１１ｂが操作されると、メモリ４１に記憶しているステップデータからその難易度に対応するものを選択する（ｓ６３）。なお、難易度のデフォルトはＣ（低難易）である。そして、スタートスイッチ１１ａがオンされると（ｓ６４）、カラオケ本体装置１に対してスタート信号を送信する（ｓ６５）。

図１０は、カラオケ装置で一般曲が演奏されるときの動作を示すフローチャートである。一般曲の場合、カラオケ本体装置１は、このゲームコントロールユニット４のからの指示を待たないで自動的に演奏をスタートする。このときスタートスイッチ１１ａがオンされると（ｓ７０）、カラオケ本体装置１に対してスタート信号を送信する（ｓ７１）。カラオケ曲の演奏がスタートして３０秒以内であれば、カラオケ本体装置１は、このスタート信号に応答してカラオケ演奏を停止し、ダンスゲームとして演奏をやり直す。このためカラオケ本体装置１は、ステップデータを生成するための支援情報である属性情報をこの装置に送信してくる。この属性情報を受信して（ｓ７２）、メモリ４１に記憶する（ｓ７３）。そして、この属性情報に基づいてＣＤ−ＲＯＭ４２ａからパターンデータを選択して組み合わせることによってステップデータを生成する（ｓ７４）。このリアルタイムのステップパターンデータの生成を曲が終了するまで継続する（ｓ７７）。そして、曲の途中で曲がサビにはいったか間奏になったかなどの情報である演奏マークを受信すると（ｓ７５）、その演奏マークに合わせて生成するステップデータの内容を変更する（ｓ７６）。

図１１（Ａ）は、ゲームコントロールユニット４の映像生成動作を示すフローチャートである。入力されるビートマークに同期し、ステップパターンに基づいて下から上にスクロールする矢印の映像であるステップ指示映像を生成する（ｓ８０）。そして、ＣＤ−ＲＯＭドライブ４２がダンスゲーム用の背景映像を再生する（ｓ８１）。グラフィックコントローラ４４がこれらをスーパーインポーズ合成して（ｓ８２）、カラオケ本体装置１（映像ミキサ２９）の外部映像入力端子２９ｂに出力する（ｓ８３）。この動作は、ゲームが進行している間、すなわち曲が演奏されている間、繰り返し実行される繰り返す毎にｓ８０で生成される矢印の映像は上に移動している。

同図（Ｂ）は、ゲームの採点動作を示すフローチャートである。まずステップボード９のフットスイッチ９０ａ〜９０ｄのオン・オフを検出する（ｓ８５）。このオン・オフ状態と現在のビートタイミング、ステップデータとの一致度を判定し、ゲームの得点を算出する（ｓ８６）。次に、圧力センサ９１ａ〜９１ｅの検出値を読み取り（ｓ８７）、これに基づいてこのゲームによるカロリー消費量を算出する（ｓ８８）。算出された得点とカロリー消費量をメモリ４１に蓄積記憶する（ｓ８９）。以上の動作をゲーム（曲）が終了するまで繰り返し実行する（ｓ９０）。

そしてゲームが終了すると（ｓ９０）、得点およびカロリー消費量を集計してカラオケ本体装置に送信する（ｓ９１）。

なお、ゲーム実行中にテンポが変わるとステップ指示映像が曲に合わなくなるため、ゲームの実行中はカラオケ曲のテンポコントロール機能を禁止する。

上記実施形態において、一般曲のステップパターンデータの生成を、短いパターンをＣＤ−ＲＯＭ４２ａに記憶しておき、これを曲の種類、拍子、テンポなどに応じてそれを適宜組み合わせることによって生成しているが、何らかのルールに基づいて自動的に生成するようにしてもよい。

また、上記ダンスゲームは、身振りとして脚のステップを採用し、ステップボード９を設けてステップの正確さを競うゲームとしているが、脚以外に腕や上体の身振りを指示してその正確さを競うゲームとしてもよい。この場合には、腕や上体の振りを検出するセンサを設ける。腕の振りを検出するセンサとしては、本出願人の特願平８−２４９９５３号、特願平８−２５０３６８号などに記載したものなどを用いることができる。

また、上記実施形態のカラオケシステムでは、ダンスゲームとしてステップの順序パターンを指示する映像を表示しているが、ダンスの身振り（ステップ）によるカロリー消費量を検出するためにこの身振り指示映像は必須ではない。すなわち、カラオケ曲を歌唱しながら利用者が自分の思いどおりに身振り（ステップ）したものをフットパネルなどの身振りセンサで検出し、これに基づいて身振りによるカロリー消費量を検出すればよい。

１…カラオケ本体装置、２…コントロールアンプ、３…ＤＶＤチェンジャ、３ａ…ＤＶＤ、４…ゲームコントロールユニット、５…スピーカ、６…モニタ、７…マイク、８…リモコン、９…ステップボード、９ａ，９ｂ，９ｃ，９ｄ…フットパネル、１１…ゲーム操作パネル、１１ａ…スタートボタン、１１ｂ…難易度選択ボタン、１２…コインボックス、１３…照明装置、１９…配信センタ、２０…ＣＰＵ、２１…ＲＯＭ、２２…ＲＡＭ、２３…リモコン受信部、２４…操作部、２５…表示部、２６…通信制御部、２７…ハードディスク、２８…グラフィック回路、２９…映像ミキサ、２９ａ，２９ｂ…外部映像入力端子、３０…楽音発生部、３１…音声再生部、３５，３６…インタフェース、４０…ＣＰＵ、４１…メモリ、４２…ＣＤ−ＲＯＭドライブ、４２ａ…ＣＤ−ＲＯＭ、４３…インタフェース、４４…グラフィックコントローラ、４５，４６…インタフェース、５０…音多切換スイッチ、５１…歌詞表示切換スイッチ

Claims (2)

1. 曲を自動演奏するための楽曲データを記憶する記憶手段と、
   前記記憶手段から読み出された楽曲データに基づいて自動演奏の楽音を発生する楽音発生手段と、
   前記楽音発生手段による楽音の発生に対応したダンスの身振りを表示する身振り指示映像を生成する身振り指示映像生成手段と、
   前記身振り指示映像を出力する映像出力手段と、
   利用者の歌唱音声を入力する歌唱音声入力手段と、
   利用者の身振りを検出する身振りセンサと、
   前記歌唱音声入力手段から入力された歌唱音声に基づき、歌唱によるカロリー消費量を検出する歌唱カロリー検出手段と、
   前記身振りセンサの検出内容に基づいて前記利用者の身振りによるカロリー消費量を検出する身振りカロリー検出手段と、を備えたカラオケ装置。
2. 前記映像出力手段は、前記歌唱カロリー検出手段が検出し歌唱によるカロリー消費量と、前記身振りセンサ検出手段が検出した身振りによるカロリー消費量と、を個別に表示する個別カロリー映像を出力する請求項１に記載のカラオケ装置。

Images