JP2008089848A

JP2008089848A - 歌詞表示システム、カラオケ装置および生演奏カラオケシステム

Info

Publication number: JP2008089848A
Application number: JP2006269274A
Authority: JP
Inventors: Takahiro Tanaka; 孝浩田中; Noriyuki Hata; 紀行畑; Takuro Sone; 卓朗曽根
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2006-09-29
Filing date: 2006-09-29
Publication date: 2008-04-17
Anticipated expiration: 2026-09-29
Also published as: JP4586787B2

Abstract

【課題】生演奏に合わせて歌詞を表示することができる歌詞表示システム、および、離れている演奏者と歌唱者をつないで生演奏の歌唱を実現するカラオケ装置および生演奏カラオケシステムを提供する。
【解決手段】カラオケボックスとは別に、生バンドなどの演奏者が待機するスタジオを設ける。スタジオには生演奏１の演奏音を収音する演奏音収音部９、生演奏の拍タイミングを検出するビート検出部２等を設ける。収音した演奏音、ビートパルスはネットワークを介してカラオケボックスへ送られる。カラオケボックスでは、受信したビートパルスに基づいてシーケンスクロックを生成する。歌詞シーケンス部５は、カラオケの楽曲データに含まれる歌詞トラックを用い、シーケンスクロックに基づくテンポで歌詞テロップを生成する。
【選択図】図１

Description

この発明は、生演奏でカラオケ歌唱を楽しむためのシステムに関する。

従来より、カラオケ歌唱が娯楽として普及しており、そのための装置としてカラオケ装置が実用化されている。カラオケ装置は、カラオケの楽曲を演奏するための楽曲データをハードディスク等に多数記憶しており、顧客によってリクエストされた楽曲を楽曲データをシーケンスすることによって自動演奏する装置である。

特開２０００−２９３１８３公報

しかし、上記カラオケ装置は、電子音源で楽音波形を形成する自動演奏装置であり、同じ曲は何度演奏しても同じようにしか演奏されないため変化に乏しく、精密高度な楽音波形ではあるが電子音であるため温かみに欠けるという欠点があった。

一方、従前のギター流しや生バンドなどの生演奏による伴奏は、変化があって温かいが、カラオケ装置のように曲の進行に応じて歌詞を表示することはできないため、一般の歌唱者にとって歌唱が難しいという問題点があった。また、カラオケボックス等の歌唱者の居る場所に生演奏の演奏者が赴くことは面倒で時間やコストが掛かってしまうという問題点があった。

この発明は、生演奏に合わせて歌詞を表示することができる歌詞表示システム、および、離れている演奏者と歌唱者をつないで生演奏の歌唱を実現するカラオケ装置および生演奏カラオケシステムを提供することを目的とする。

請求項１の発明は、所定の曲を演奏した演奏音を収音する演奏音収音部と、収音された前記演奏音の拍タイミングに同期したクロック信号を生成するクロック信号生成部と、前記所定の曲の進行に同期して歌詞テロップを生成するための時系列データである歌詞トラックを記憶する歌詞トラック記憶部と、前記クロック信号に基づいて、前記歌詞トラックを読み出すことにより、前記所定の曲の歌詞テロップを生成する歌詞テロップ生成部と、を備えた歌詞表示システムである。

請求項２の発明は、カラオケ曲の演奏音を発生するための時系列データである演奏トラック、および、曲の進行に同期して歌詞テロップを生成するための時系列データである歌詞トラックを含む楽曲データを記憶する記憶部と、前記楽曲データをテンポクロックに基づいて読み出すことにより、演奏音を発生するとともに歌詞テロップを生成する演奏部と、マイクから入力された歌唱音声と前記演奏音とをミキシングして出力するオーディオ処理部と、を備えたカラオケ装置であって、外部から前記カラオケ曲の外部演奏音を入力する演奏音入力部と、この外部演奏音の拍タイミングに同期したクロック信号を生成するクロック信号生成部と、をさらに備え、前記演奏部は、前記クロック信号生成部が発生したクロック信号に基づいて、前記楽曲データの歌詞トラックから歌詞テロップを生成し、前記オーディオ処理部は、前記外部演奏音と前記歌唱音声とをミキシングして出力することを特徴とする。

請求項３の発明は、請求項２のカラオケ装置と、前記カラオケ曲の演奏音を収音する演奏音収音部を含むスタジオ装置と、をネットワークを介して通信可能に接続し、前記演奏音収音部が収音した演奏音を外部演奏音として前記カラオケ装置に送信することを特徴とする生演奏カラオケシステムである。

請求項４の発明は、上記生演奏カラオケシステムにおいて、前記スタジオ装置は、前記カラオケ曲を演奏する演奏者を撮影して前記カラオケ装置に送信する撮影部を備え、前記カラオケ装置は、受信した演奏者の映像に前記生成した歌詞テロップを合成することを特徴とする。

［作用］
この発明では、演奏音（主として生演奏の演奏音）から拍タイミングを検出し、この拍タイミングに同期したクロック信号を生成する。曲の進行にしたがって歌詞テロップを生成するためのシーケンストラックである歌詞トラックを、このクロック信号でシーケンスすることにより、前記演奏音の進行すなわち生演奏に同期した歌詞トラックを生成することができる。

この発明によれば、演奏音の拍タイミングに同期させて生成したクロック信号に基づいて歌詞テロップを生成するため、生演奏を用いたカラオケ曲の演奏であっても、通常の楽曲データを用いたカラオケ曲の演奏と同様に歌詞テロップを表示することができるため、通常のカラオケ演奏のように歌詞で曲の進行をガイドすることができるとともに、生演奏用に歌詞本を用意する必要がなくなる。

また、カラオケ装置のシーケンス機能を用いて歌詞テロップを生成することにより、１台のカラオケ装置で、通常のカラオケ曲の演奏と生演奏の再生の両方を行わせることができる。

また、さらに、生演奏を収音するスタジオ装置とこの音声を再生し歌詞テロップを生成するカラオケ装置とを分離したことにより、カラオケボックスにおいて、遠隔の演奏者の生演奏で歌唱をすることができる。

図面を参照してこの発明の実施形態である生演奏カラオケシステムについて説明する。

図１は、この生演奏カラオケシステムの機能ブロック図である。

このシステムは、大規模なカラオケ店舗において、カラオケ装置が設置された個室（カラオケボックス）とは別に、生バンドなどの演奏者が待機するスタジオを設けておき、カラオケボックスからのリクエストに応じてスタジオの生バンドが生演奏をするシステムである。リクエストや生演奏の音声・映像等はネットワーク１３を介してスタジオ装置とカラオケ装置との間で伝送される。

図１において、スタジオには生演奏１の演奏音を収音する演奏音収音部９、演奏者の演奏する姿を撮影する演奏者撮影部６、および、生演奏の拍タイミングを検出するビート検出部２が設けられる。ビート検出部２は、たとえばドラム等リズム楽器の楽音のエンベロープに基づいて拍を検出するもの等を採用することができる。ビートパルス生成部３は、ビート検出部２が検出した拍タイミングに同期したパルス信号を発生する（なお、このパルス信号はネットワークではパケットとして送信される）。また、リズムマシン等の電子装置を補助的に用いて生演奏が行われる場合には、リズムマシンの信号をそのままビートパルスとして用いればよい。

演奏音収音部９が収音した演奏音、演奏者撮影部６が撮影した演奏者映像、および、ビートパルス生成部３が生成したビートパルスはネットワーク１３を介してカラオケボックスへ送られる。

カラオケボックスは、シーケンスクロック生成部４、歌詞シーケンス部５、映像合成部７、表示部８、音声ミキシング部１０、放音部１１および歌唱用のマイク１２を有している。音声ミキシング部１０は、受信した演奏音を、マイク１２から入力される歌唱音声信号とミキシングする。放音部１１は、ミキシングされた音声信号を増幅してスピーカから放音する。

また、シーケンスクロック生成部４は、受信したビートパルスのパルス間隔に基づいて演奏のテンポを検出し、シーケンスクロックを生成する。歌詞シーケンス部５は、カラオケの楽曲データに含まれる歌詞トラックを用い、シーケンスクロックに基づくテンポで歌詞テロップを生成する。合成部７は、スタジオから送られてきた演奏者映像に歌詞テロップをスーパーインポーズ合成する。また、合成部７は、カラオケ装置が再生する背景映像を前記合成映像の背景として合成してもよい。表示部８は、この合成映像を表示する。

このように、生演奏であってもその演奏の拍タイミングを検出して歌詞テロップをシーケンスして表示するため、カラオケボックスの歌唱者は通常のカラオケ楽曲の場合と同じように、歌詞をみながら歌唱することができる。

図２は、上記生演奏カラオケシステムのシステム構成を示す図である。この図は、大規模なカラオケ店舗を想定した図である。カラオケ装置２０が設置された個室（カラオケボックス）が多数（同図では７つ）設けられているとともに、生演奏を行う演奏者が待機するスタジオも複数（同図では３つ）設けられている。各スタジオには生演奏の演奏音を収音する収音部、演奏者の姿を撮影する撮影部、生演奏音に基づいて拍タイミングを検出するビート検出部、ビートパルス生成部等を備えたスタジオ装置２１が設置されている。各カラオケ装置２０と各スタジオ装置２１はネットワーク２３で接続されている。このネットワーク２３は、屋内ＬＡＮで構成される。

また、ネットワーク２３にはサーバ装置２２も接続されている。サーバ装置２２は、スタジオ装置２１からカラオケ装置２０に送信される生演奏のデータを記録（録音）する装置である。生演奏のデータを記録しておくことにより、カラオケボックスの利用者に生演奏を提供できない場合でも過去の生演奏を代替として提供することができる。また、生演奏を有料のサービスとして提供する場合、記録された生録音データは、生演奏よりも廉価なサービスまたは無料のサービスとして提供することができる。

また、図２のように複数のスタジオが設置されている場合、それぞれのスタジオには、ロックバンド、アコースティックギターソロ、ピアノソロ、弦楽カルテット等それぞれ種類の異なる演奏者を待機させるようにすることが望ましい。

なお、図２では、同一店舗内にカラオケボックスとスタジオが設置され、屋内ＬＡＮで接続される例を示したが、スタジオをカラオケボックスとは別の遠隔の場所に設け、カラオケ装置２０とスタジオ装置２１をインターネットで接続してもよい。

図３は各カラオケボックスに設置されるカラオケ装置２０のブロック図である。カラオケ装置２０は、ハードディスク１１１に記憶している楽曲データに基づいてカラオケ曲を演奏することができるとともに、スタジオ装置２１から送られてきた演奏音と演奏者映像を再生することもできる。

カラオケ装置２０は、装置全体の動作を制御するＣＰＵ１１０と、このＣＰＵ１１０に接続された各種機器で構成されている。ＣＰＵ１１０には、ハードディスク１１１、ＲＡＭ１１２、音源１１３、ミキサ（エフェクタ）１１４、ＭＰＥＧデコーダ１２０、合成回路１２１、操作部１２３、ＬＡＮインタフェース１２４、赤外線通信部１２５等が接続されている。

ハードディスク１１１は、カラオケ曲を演奏するための楽曲データ１４０やモニタ１２２に背景映像として表示するための映像データ１４１などを記憶している。映像データは動画、静止画の両方を記憶している。ＲＡＭ１１２には、図７に示す予約テーブルなどが設定される。

ＣＰＵ１１０は、ハードディスク１１１に記憶されているプログラムに基づいて、シーケンサ１３０、背景映像再生処理１３３、ネットワーク通信制御処理１３４および操作入力処理等の処理を実行する。シーケンサ１３０は、曲シーケンサ１３１、歌詞シーケンサ１３２からなっている。

曲シーケンサ１３１は、ＨＤＤ１１１に記憶されている楽曲データに基づいてカラオケ曲の演奏を実行するプログラムである。楽曲データは図４に示すような構成をしている。曲シーケンサ１３１は、このうちの楽音トラックやガイドメロディトラック等のデータに基づいて音源１１３を制御し、カラオケ曲の楽音を発生する。また、歌詞シーケンサ１３２は、カラオケ曲の楽曲データに基づいてモニタ１２２に歌詞テロップを表示するためのプログラムである。歌詞シーケンサ１３２は、図４に示す楽曲データに含まれる歌詞トラック（図５参照）に基づいて曲の進行に同期して歌詞の文字パターンを合成し、この文字パターンを映像信号に変換して合成回路１２１に入力する。

音源１１３は、曲シーケンサ１３１の処理によってＣＰＵ１１０から入力されたデータ（楽音トラックやガイドメロディトラックのノートイベントデータ）に応じて楽音信号を形成する。形成した楽音信号はミキサ１１４に入力される。ミキサ１１４は、音源１１３が発生した複数の楽音信号、および、マイク１１７−Ａ／Ｄコンバータ１１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタル音声データはサウンドシステム１１５に入力される。サウンドシステム１１５はＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル音声データをアナログ信号に変換して増幅し、スピーカ１１６から放音する。ミキサ１１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１１０によって制御される。

背景映像再生処理１３３は、上記シーケンサ１３０による楽音の発生、歌詞テロップの生成と同期して、ＨＤＤ１１１に記憶されている映像データ１４１を読み出して背景映像を再生する。動画の映像データは、ＭＰＥＧ２形式にエンコードされている。背景映像再生処理１３３は、読み出した動画の映像データをＭＰＥＧデコーダ１２０に入力する。ＭＰＥＧデコーダ１２０は、入力されたＭＰＥＧデータをＮＴＳＣの映像信号に変換して合成回路１２１に入力する。合成回路１２１には、背景映像の映像信号以外に上記歌詞テロップの文字パターン等が入力される。合成回路１２１は、背景映像の映像信号の上に歌詞テロップなどのＯＳＤを合成してモニタディスプレイ１２２に出力する。モニタディスプレイ１２２は、合成回路１２１から入力された映像信号を表示する。

操作部１２３は、操作パネル面に設けられた各種キースイッチおよびこのキースイッチの操作を検出するパネルスイッチインタフェースを有している。上記各種キースイッチは、カラオケ曲を指定する曲番号を入力するためのテンキーを含んでいる。

また、赤外線通信部１２５は、赤外線リモコン装置（不図示）から送信された各種コマンド信号を受信する通信部である。赤外線リモコン装置からは、曲番号等が送られてくる。

ＬＡＮインタフェース１２４は、ネットワーク（ＬＡＮ）２３（図２参照）を介して、スタジオ装置２１やサーバ装置２２と通信するためのインタフェースである。このＬＡＮインタフェース１２４を介した通信は、ＣＰＵ１１０のネットワーク通信制御部１３４が制御する。ＬＡＮインタフェース１２４は、スタジオ装置２１から送られてくる演奏音信号、演奏者映像およびビートパルスを受信して、ネットワーク通信制御部１３４に渡す。ネットワーク通信制御部１３４は、受信したパケットから音声ストリームデータ、映像ストリームデータおよびビートパルスを再現し、音声ストリームデータをミキサ１１４に出力するとともに、映像ストリームデータをＭＰＥＧデコーダ１２０に出力する。また、ビートパルスをシーケンサ１３０に入力する。

スタジオの生演奏を再生する場合、ＭＰＥＧデコーダ１２０は、スタジオ装置２１からネットワーク２３を介して送られてきた演奏者映像データをデコードし、合成回路１２１は、デコードされた演奏者映像の上に歌詞テロップをスーパーインポーズ合成する。なお、スタジオの壁面をブルーにすることにより、演奏者映像をブルーバックとすることできる。カラオケ装置２０で映像データ１４１を再生して背景映像とし、その上にブルーバックの演奏者映像および歌詞テロップを合成するようにしてもよい。この場合、ＭＰＥＧデコーダ１２０は、背景映像（映像データ１４１）と演奏者映像データの両方を並行してデコードできるものとし、合成回路１２１は、背景映像、演奏者映像、歌詞テロップの３映像を同時に合成できるものとする。

シーケンサ１３０は、入力されたビートパルスの間隔に基づいてシーケンスクロックを生成する。シーケンスクロックは、１拍を３２分割したクロック信号である。そして、このシーケンスクロックに基づいて、曲データをシーケンスする。生演奏を再生する場合、曲データ中の歌詞トラックを用いて歌詞テロップを生成する歌詞シーケンサ１３２のみ動作させればよいが、必要に応じて、曲シーケンサ１３１を動作させてガイドメロディトラックを再生するようにしてもよい。

ミキサ１１４は、生演奏の音声ストリームデータとマイク１１７から入力される歌唱音声信号をミキシングしてサウンドシステム１１５に出力する。曲シーケンサ１３１がガイドメロディトラックを再生する場合には、音源１１３から入力されるガイドメロディ音も一緒にミキシングして出力する。

図４，図５は、ハードディスク１１に記憶されている楽曲データの構成を示す図である。

図４において、楽曲データは、同図（Ａ）に示すように、ヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラックなどからなっている。

各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、楽音トラックやガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音の音高や音量を指定する。この楽音は、対応するノートオフイベントデータが読み出されるまで継続する。

タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源１１３に入力することにより、音源１１３はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。

歌詞トラックは、カラオケ曲の曲名や歌詞を表示するための各種データをインプリメントしたシーケンスデータであり、図５（Ａ）に示すように、タイミングデータに基づいて読み出されるページ区切りデータおよび歌詞表示データから構成されている。

ページ区切りデータは、行単位でモニタ１２２に表示される歌詞を同時に表示されるもの（２〜４行）毎に区切るデータであり、カラオケ曲の音楽的なフレーズに対応している。歌詞表示データは１行分の歌詞表示に関する全てのデータを内包しており、表示オンタイミング、表示オフタイミング、文字列データ（表示ポイント数、表示座標、文字間データなどを含む）、色１データ、色２データ、ワイプデータなどからなっている。

歌詞の表示態様は以下のようである。まず、１行分の歌詞を色１で表示し、暫くの間（曲がこの歌詞の箇所まで進行してくるまでの間）そのままの色で停止している（ｔｏｎ）こののち、曲の進行に合わせて表示色がワイプしてゆき左から順に色１から色２に色変えをしてゆく。最後に暫くの間（ｔｅ）色２で表示したのち消去する。

ワイプデータは同図（Ｂ）に示すようにワイプの（時間−ｘ座標）曲線の主要な点を示す複数のプロッティングデータで構成されている。歌詞シーケンサ１３２はこのプロッティングデータを２次曲線で補間して色変え（ワイプ）を行う。

通常のカラオケ楽曲の演奏の場合には、このように曲の進行に合わせた色変えを行うが、スタジオ装置２１から送られてくる生演奏を再生する場合には、順次１行または２行の歌詞を表示するのみで色変えをしないようにしてもよい。

図６〜図１１を参照してカラオケ装置２０の動作について説明する。図６は、カラオケ装置の予約受付動作を示すフローチャートである。図７は、ＲＡＭ１１２に設定される予約テーブルを示す図である。また、図８は、スタジオ装置２１に対する生演奏予約時のモニタ１２２の表示例を示す図である。

図６において、利用者から曲番号が入力されると（Ｓ１）、この曲番号を、図７の予約テーブルの最後尾に登録する（Ｓ２）。そして、先に予約され、今回予約された曲よりも先に演奏されるカラオケ曲の演奏予想時間を合計して、今回予約されたカラオケ曲の演奏開始予想時刻（待ち時間）を計算する（Ｓ３）。そして、曲番号と待ち時間をスタジオ装置２１に送信して、この曲の生演奏が可能な否かを問い合わせる（Ｓ４）。

スタジオ装置２１では、演奏者が曲番号から曲名を割り出し、その曲がレパートリーか否かを判断する。また、演奏開始予想時刻に基づき、その時刻に他の演奏予約を受けていないかを確認する。演奏が可能な場合、演奏者はスタジオ装置２１を操作して演奏可能な旨の返信をする。演奏が不可能な場合にも、演奏者はスタジオ装置２１を操作して演奏不可能である旨の返信をする。
カラオケ装置が演奏可能な旨の返信を受け取った場合（Ｓ５でＹＥＳ）には、図８に示すような画面を表示して、生演奏の予約を受け付ける（Ｓ６）。

ここで、図８を参照して生演奏予約受付画面について説明する。同図（Ａ）は、モニタ１２２に表示される第１画面を示す図である。この画面は、スタジオ装置２１から演奏可能な旨の返信が返ってきたとき表示される画面である。画面は、生演奏が可能な旨とその演奏者名の表示を含む。複数の演奏者（スタジオ装置２１）から演奏可能な旨の返信を受信した場合には、全ての演奏者名を表示する。

演奏者名である「演奏者Ａ」，「演奏者Ｂ」の表示部はボタン５１Ａ，５１Ｂになっており、このボタンをリモコン装置等のカーソル操作でオンすると、同図（Ｂ）の画面に移行する。なお、利用者が生演奏を選択しない場合には、「いらない」ボタン５２をオンすると、図６のＳ７のＮＯの判断でＳ９に進む。

同図（Ｂ）の画面では、選択された演奏者のプロファイルや写真等、生演奏の料金等を表示する。そしてこの画面には、「リクエスト」ボタン５３、「通話」ボタン５４，「もどる」ボタン５５が表示される。利用者がこの演奏者に生演奏を依頼する場合には「リクエスト」ボタン５３をクリックする。そうすると図６のＳ７のＹＥＳの判断で動作がＳ８に進み、予約テーブルのこの曲の生演奏フラグをセットし、予約動作を終了する。

また、「通話」ボタン５４がオンされると、スタジオ装置２１と通話ができるようになる。通話状態では、図８（Ｃ）に示すように、画面の上部にスタジオ装置２１の演奏者撮影部６の映像が映し出され、互いのマイクで会話をすることができる（カラオケボックスの映像はスタジオに伝送されない）。ここで、カラオケ装置２０の利用者は、スタジオの演奏者にどのようなバージョンの演奏ができるか等の質問をして生演奏を依頼するか否かの判断の参考にすることができる。利用者は生演奏を依頼する場合には「リクエスト」ボタン５３をオンする。リクエストしない場合には「もどる」ボタン５５をオンする。

図８（Ｂ），（Ｃ）の画面において「もどる」ボタン５５がオンされると、モニタ１２２の表示は、同図（Ａ）の画面に移行する。利用者は、同図（Ａ）の画面にもどったとき、他の演奏者を選択してリクエストをするか、「いらない」ボタン５２をオンして生演奏をリクエストしないかの操作をすることができる。

スタジオから生演奏可能の返信がなかった場合（Ｓ５でＮＯ）、または、利用者が生演奏をリクエストしなかった場合（Ｓ７でＮＯ）には、Ｓ９に進む。Ｓ９では、サーバ装置２２に過去の生演奏の録音（音声および映像）が記録されているかを検索する。録音がある場合にはＳ１０のＹＥＳの判断でＳ１１以下の動作に進む。Ｓ１１以下の動作は、上記Ｓ６以下の生演奏予約動作とほぼ同様である。

ここで、図９を参照して録音演奏予約受付画面について説明する。同図（Ａ）は、モニタ１２２に表示される第１画面を示す図である。サーバ装置２２から予約曲の録音が存在する旨の返信を受け取ったときこの画面が表示される。画面は、録音が存在する旨およびその録音の演奏者名を含んでいる。複数の演奏者の録音が存在する場合には、全ての演奏者名を表示する。

演奏者名である「演奏者Ａ」，「演奏者Ｂ」の表示部はボタン６１Ａ，６１Ｂになっており、このボタンをリモコン装置等のカーソル操作でオンすると、同図（Ｂ）の画面に移行する。なお、利用者が録音の演奏を選択しない場合には、「いらない」ボタン６２をオンすると、図６のＳ１２のＮＯの判断で予約処理を終了する。

同図（Ｂ）の画面では、選択された演奏者のプロファイルや写真等、生演奏の料金等を表示する。そしてこの画面には、「リクエスト」ボタン６３、「もどる」ボタン６５が表示される。利用者がこの録音の演奏を予約する場合には「リクエスト」ボタン６３をクリックする。そうすると図６のＳ１２のＹＥＳの判断で動作がＳ１３に進み、予約テーブルのこの曲の録音フラグをセットして予約動作を終了する。利用者がこの録音の演奏を予約しない場合には「もどる」ボタン６５をオンする。

図９（Ｂ）の画面において「もどる」ボタン６５がオンされると、モニタ１２２の表示は、同図（Ａ）の画面に移行する。利用者は、同図（Ａ）の画面にもどったとき、他の演奏者の録音を選択してリクエストをするか、「いらない」ボタン６２をオンして録音演奏をリクエストしないかの操作をすることができる。

サーバ装置２２に録音が存在しなかった場合（Ｓ１０でＮＯ）、または、利用者が録音演奏をリクエストしなかった場合（Ｓ１２でＮＯ）には、予約処理を終了する。生演奏，録音演奏のどちらも選択されなかった場合には、楽曲データによる通常のカラオケ演奏が行われる。

図１０は、カラオケ装置２０の演奏処理を示すフローチャートである。まず予約テーブルの先頭に登録されている曲番号を読み出す（Ｓ２０）。このとき、この読み出した曲番号は予約テーブルから消去し、次に登録されている曲番号を上にシフトする。そして、この読み出した曲番号の生演奏フラグまたは録音フラグがセットされているかを判断する（Ｓ２１，Ｓ２５）。生演奏フラグがセットされている場合には（Ｓ２１でＹＥＳ）、該当するスタジオに対して演奏スタートを指示する（Ｓ２２）。そして、ビートパルスの受信を待って（Ｓ２３）、歌詞シーケンスを開始する（Ｓ２４）。

また、録音フラグがセットされている場合には（Ｓ２５でＹＥＳ）、サーバ装置２２に対して録音された演奏のストリーミング配信のスタートを指示する（Ｓ２６）。そして、ストリーミングのビートパルスの受信を待って（Ｓ２３）、歌詞シーケンスを開始する（Ｓ２４）。
生演奏フラグ，録音フラグが両方ともセットされていない場合には（Ｓ２１，Ｓ２５でＮＯ）、楽曲データによる通常のカラオケ演奏を実行する（Ｓ２７）。

図１１は、歌詞シーケンスの手順を示すフローチャートである。同図（Ａ）は、シーケンスクロック生成処理を示すフローチャートである。スタジオ装置２１から入力されたビートパルスのパルス間隔に基づいて曲のテンポを検出する（Ｓ２７）。そして、このテンポとビートパルスタイミングに同期するようにシーケンスクロックの周期およびタイミングを制御する（Ｓ２８）。この動作は、曲の演奏中常時行われ、リアルタイムでシーケンスクロックが制御される。

同図（Ｂ）は、歌詞シーケンス動作を示すフローチャートである。この動作は、生成したシーケンスクロックのクロックタイミングごとに実行される。まず、イベントデータ間の時間間隔（図４（Ｂ）のタイミングデータに相当）を測定するタイミングカウンタｔが０以下であるかを判断する（Ｓ３０）。スタート直後のタイマ割込においてはｔ＝０にリセットされているため、Ｓ３０からＳ３２に進む。Ｓ３２では歌詞トラック上の読み出し位置を示すポインタが指し示しているデータを読み出す。読み出したデータがイベントデータであるか（Ｓ３３）、タイミングデータであるか（Ｓ３４）、または、終了データであるか（Ｓ３５）を判断する。

歌詞トラックのイベントでは、図５に示すように、ページ区切りデータまたは歌詞表示データである。Ｓ３２で読み出したデータが、これらイベントデータの場合には（Ｓ３３でＹＥＳ）、そのイベントデータで指示される処理を実行し（Ｓ３６）、ポインタを歩進して（Ｓ３７）、Ｓ３２にもどり、次のデータを読み出す。イベントデータとして歌詞表示データが、読み出されると、その読み出しタイミングを基準として図５で説明したような歌詞の表示が行われる。

読み出したデータがタイミングデータの場合には（Ｓ３４でＹＥＳ）、このタイミングデータの値をｔにセットし（Ｓ３８）、ポインタを歩進して（Ｓ３９）、Ｓ３０にもどる。Ｓ３０では、ｔの値を判断し、ｔ＞０の場合にはｔからカウントダウンステップ値ｃｓを減算して（Ｓ３１）リターンする。
一方、読み出したデータが終了データであった場合には（Ｓ３５でＹＥＳ）、歌詞の表示を消去する等の歌詞シーケンスの終了処理を実行する（Ｓ４０）。

以上説明した実施形態は、カラオケ装置２０が、生演奏に合わせて楽曲データに含まれる歌詞トラックをシーケンスする構成であるが、スタジオ装置２１からカラオケ装置２０へ、生演奏を行う曲の歌詞トラックを送付し、カラオケ装置２０がこの歌詞トラックをシーケンスするようにしてもよい。

また、図１の機能ブロック図においては、シーケンスクロック生成部４、歌詞シーケンス部５をカラオケボックス側（カラオケ装置）の機能としているが、シーケンスクロック生成部４、または、シーケンスクロック生成部４および歌詞シーケンス部５を、スタジオ側の機能として設けてもよい。

また逆に、ビート検出部２およびビートパルス生成部３をカラオケ装置２０の機能としてもよい。この場合には、スタジオ装置２１から送られてきた演奏音信号に基づいてビートを検出する。

この発明の実施形態である生演奏カラオケシステムの機能ブロック図前記生演奏カラオケシステムのシステム構成図前記生演奏カラオケシステムに用いられるカラオケ装置のブロック図前記カラオケ装置が記憶する楽曲データの構成を示す図前記楽曲データの歌詞トラックの構成を示す図前記カラオケ装置の予約処理を示すフローチャート前記カラオケ装置に設定される予約テーブルを示す図前記カラオケ装置の生演奏予約画面を示す図前記カラオケ装置の録音演奏予約画面を示す図前記カラオケ装置の演奏処理動作を示すフローチャート前記カラオケ装置の歌詞シーケンス動作を示すフローチャート

符号の説明

５１Ａ，５１Ｂ演奏者選択ボタン
５３リクエストボタン
５４通話ボタン

Claims

所定の曲を演奏した演奏音を収音する演奏音収音部と、
収音された前記演奏音の拍タイミングに同期したクロック信号を生成するクロック信号生成部と、
前記所定の曲の進行に同期して歌詞テロップを生成するための時系列データである歌詞トラックを記憶する歌詞トラック記憶部と、
前記クロック信号に基づいて、前記歌詞トラックを読み出すことにより、前記所定の曲の歌詞テロップを生成する歌詞テロップ生成部と、
を備えた歌詞表示システム。
カラオケ曲の演奏音を発生するための時系列データである演奏トラック、および、曲の進行に同期して歌詞テロップを生成するための時系列データである歌詞トラックを含む楽曲データを記憶する記憶部と、
前記楽曲データをテンポクロックに基づいて読み出すことにより、演奏音を発生するとともに歌詞テロップを生成する演奏部と、
マイクから入力された歌唱音声と前記演奏音とをミキシングして出力するオーディオ処理部と、
を備えたカラオケ装置であって、
外部から前記カラオケ曲の外部演奏音を入力する演奏音入力部と、
この外部演奏音の拍タイミングに同期したクロック信号を生成するクロック信号生成部と、
をさらに備え、
前記演奏部は、前記クロック信号生成部が発生したクロック信号に基づいて、前記楽曲データの歌詞トラックから歌詞テロップを生成し、
前記オーディオ処理部は、前記外部演奏音と前記歌唱音声とをミキシングして出力する
カラオケ装置。
請求項２に記載のカラオケ装置と、前記カラオケ曲の演奏音を収音する演奏音収音部を含むスタジオ装置と、をネットワークを介して通信可能に接続し、前記演奏音収音部が収音した演奏音を外部演奏音として前記カラオケ装置に送信することを特徴とする生演奏カラオケシステム。
前記スタジオ装置は、前記カラオケ曲を演奏する演奏者を撮影して前記カラオケ装置に送信する撮影部を備え、
前記カラオケ装置は、受信した演奏者の映像に前記生成した歌詞テロップを合成する
請求項３に記載の生演奏カラオケシステム。