図1は、本発明の実施形態に係るカラオケシステム1の全体の主要構成を示す概略図である。本実施形態のカラオケシステム1は、カラオケ楽曲等を提供するシステム側に設けられるカラオケサーバ2と、ユーザが利用する各店舗等に設けられるカラオケ端末装置11、21、31等とをネットワークNWで接続した構成になっている。本実施形態のカラオケサーバ2は、カラオケDB(データベース)5、ユーザDB6、及びアップロードDB7と云った各種データベースを備えており、ユーザの要望するカラオケデータに加えて、アップロードされている楽器演奏音及び演奏者画像を、ネットワークNWを介してカラオケ端末装置11、21、31等へ送信する。カラオケ端末装置11、21、31は、受信したカラオケデータ、楽器演奏音、及び演奏者画像について、楽器演奏音に係る楽器パートをミュートしてカラオケ楽曲の再生を行うと共に、その再生に合わせて楽器演奏音を再生し、さらには演奏者画像をカラオケ画像と共に表示することを特徴にしている(図16、17参照)。
なお、図1では、計3台のカラオケ端末装置11、21、31を示すに留まるが、実際のシステムでは、ネットワークNWを経由してカラオケサーバ2に接続可能なカラオケ端末装置の台数に限定はない。また、カラオケサーバ2は、処理内容を分散して行う複数のサーバを組み合わせて構成することも可能である。さらに、本発明の内容に直接的に関係しないので図1では図示を省略しているが、通信カラオケサービスにおけるユーザ登録及び登録したユーザの認証等に係る処理等を行うサーバ等もカラオケシステム1に含むことも可能である。以下、カラオケサーバ2、カラオケサーバ2に含まれる各種データベース、カラオケ端末装置11等について順次説明する。
図2は、カラオケサーバ2の主要な内部構成を示している。本実施形態のカラオケサーバ2には一般的なサーバコンピュータを適用しており、全体的な制御及び各種処理を行うMPU2aに、各種デバイス等を内部接続線2hで接続したものになっており、各種デバイス等には、通信モジュール2b、RAM2c、ROM2d、入力インタフェース2e、出力インタフェース2f、大容量記憶システム(HDDシステム)2g等がある。
通信モジュール2bは、ネットワークNWとの接続モジュールに相当する通信デバイスであり、所要の通信規格に応じたものである(例えばLANモジュール)。通信モジュール2bは、所要の通信機器(図示は省略。例えばルータ等が該当)を介してネットワークNWと接続されており、カラオケ端末装置11等から送られてくる情報又はデータ等を受信してMPU2aへ伝えると共に、MPU2aの制御指示に基づき、カラオケ端末装置11等へ各種データ等を送信する。
RAM2cは、MPU2aの処理に伴う内容、ファイル等を一時的に記憶するものであり、ROM2dは、MPU2aの基本的な処理内容を規定したプログラム等を記憶するものである。入力インタフェース2eは、カラオケサーバ2のオペレータからの操作指示等を受け付けるキーボード2i、マウス等が接続されるものであり、オペレータから受け付けた操作指示等をMPU2aへ伝える。出力インタフェース2fは、ディスプレイ2j(表示出力装置)が接続されるものであり、MPU2aの処理に伴う内容をディスプレイ2jへ出力し、オペレータが現在の処理内容等を確認できるようにしている。
大容量記憶システム2g(記憶デバイスに相当)は、カラオケサービスを提供するに当たり必要なデータを含む各種データベース及びプログラム等を記憶するものであり、具体的には、サーバプログラム3、カラオケサービスプログラム4、カラオケDB5、ユーザDB6、アップロードDB7等を記憶している。
サーバプログラム3は、サーバ用のオペレーションシステムに応じた処理を規定したものであり、この規定内容に基づいた処理をMPU2aが行うことで、カラオケサーバ2はサーバとしての機能を果たす。
カラオケサービスプログラム4は、サーバコンピュータ用のコンピュータプログラムに相当し、本実施形態に係るカラオケサービスを提供するために、MPU2aが行う各種処理を規定している。具体的に、カラオケサービスプログラム4は、通信カラオケにおいてカラオケサーバ側が行う基本的な処理内容(従来から存在する処理)に加えて、本発明に係る特有の処理内容を規定している。基本的な処理内容としては、カラオケ端末装置11でユーザが歌唱を希望するカラオケ楽曲を選択できるように、選択に必要なデータ(カラオケ楽曲の名称・歌手名・歌詞テキスト・楽器パート等を含むデータ)をカラオケ端末装置11へ送る処理、ユーザにより選択されたカラオケ楽曲を指定する楽曲指定情報を受信する処理、受信した楽曲指定情報に基づき、ユーザが所望するカラオケ楽曲に応じたカラオケデータをカラオケDB5から検索する処理、検索で該当したカラオケデータを、楽曲指定情報の送信元のカラオケ端末装置11等へ送信する処理等が存在する。
また、本発明に係る特有の処理内容としては、カラオケ端末装置11等からアップロード(投稿)されてくる楽器の演奏データをアップロードDB7に蓄積(記憶)する処理、カラオケ端末装置11等から送られてくる楽曲指定情報に演奏データフラグが含まれていると、楽曲指定情報に係るカラオケ楽曲を構成する楽器パートを演奏する楽器演奏音をアップロードDB7から検索する処理等が存在する。これらの本発明に係る特有の処理内容の詳細については、図8、9の第1、2フローチャートを参照して後述する。
図3は、本実施形態で用いるカラオケDB5の中身の概要を示している。カラオケDB5はカラオケデータを格納したものであり、カラオケ楽曲を識別するための「曲ID」に、「カラオケ楽曲」、「カラオケ画像」、「楽曲歌詞」、「歌詞テキスト」、「曲名」、「歌手名」、及び「曲情報」等の各項目に応じたデータ又は情報を対応付けて格納したものであり、新曲のカラオケ楽曲が登場するごとに、格納されるデータ等も追加される。以下、カラオケDB5に格納される各データ又は情報について説明する。
カラオケDB5の「カラオケ楽曲」とは、複数の楽器パート及びコーラスパート等のデータから構成されるカラオケ楽曲のデータである。楽器パートのデータ(楽器パートデータ)とは、そのカラオケ楽曲を演奏する楽器の演奏音のデータであり、演奏楽器が複数の場合は、楽器ごとのパートデータが独立して存在する。例えば、あるカラオケ楽曲が、ギター、ベース、及びドラムという三種の楽器で演奏される場合、そのカラオケ楽曲の楽器パートデータは、ギターパートデータ、ベースパートデータ、及びドラムパートデータを有することになる。
図4は、あるカラオケ楽曲の複数の楽器パートを含む楽器パートデータ8の内容を概念的に示したものである。楽器パートデータ8は、カラオケ楽曲の演奏に使用される楽器を示す目次的な情報であるプロパティ情報を含み、図4の例では、楽器コードとして「1」をギター、「2」をベース、「3」をドラム、「4」をキーボード、「5」をサックスとしたものがプロパティ情報に相当する。また、楽器パートデータ8は、各楽器音のデータを、プロパティ情報の楽器コードごとに対応付けて、ギターパートデータ8a、ベースパートデータ8b、ドラムパートデータ8c、キーボードパートデータ8d、サックスパートデータ8eを有したものになっている。
このような楽器パートデータ8の内容は、カラオケ楽曲によって当然異なる場合もあり、例えば、楽器としてサックスを含まないカラオケ楽曲の楽器パートデータの場合は、楽器コードの「5」に係る内容自体が存在しないものになっており、また、逆に、楽器としてバイオリンを含むカラオケ楽曲の楽器パートデータの場合は、例えば楽器コードとして「6」に対応付けて、バイオリンという楽器名及びバイオリンパートデータを含むものになる。
また、図3に示すカラオケDB5の「カラオケ画像」とは、カラオケ楽曲の再生に合わせて画面に表示される画像データであり、通常、カラオケ楽曲の内容に応じた背景動画である。「楽曲歌詞」とは、カラオケ楽曲の再生に合わせて画面に表示されるカラオケ楽曲の歌詞データであり、カラオケ楽曲の再生進行のタイミングに応じた歌詞部分が画面下部でテロップ的に順次、表示されるようになっている。
カラオケDB5の「歌詞テキスト」とは、カラオケ楽曲のフレーズに応じた歌詞を示すテキストデータであり(カラオケ楽曲のフレーズ数も示す)、カラオケ楽曲を歌詞で検索する場合などに使用される(上記の「楽曲歌詞」は表示用のデータである)。カラオケDB5の「曲名」とは、カラオケ楽曲の曲名を表すテキストデータであり、この曲名もカラオケ楽曲の検索に用いられる。カラオケDB5の「歌手名」とは、カラオケ楽曲を歌唱する歌手又はグループ等の名称を表すテキストデータであり、この歌手名もカラオケ楽曲の検索に用いられる。
さらに、カラオケDB5の「曲情報」とは、曲に関する各種情報(テキスト情報)であり、「ドラマの主題歌になっている」、「ある商品のテレビコマーシャルに使用されている」などの情報が該当する。なお、本発明におけるカラオケデータの中身には、上述した「カラオケ楽曲」の楽曲データ、「カラオケ画像」の画像データ、「曲名」のデータ、及び「歌手名」のデータ等が含まれ、このような中身のカラオケデータが、カラオケ端末装置11等から要求(楽曲指定情報の送信)に応じて、カラオケ端末装置11等へ送られるようになっている。
図5は、ユーザDB6の中身の概要を示している。ユーザDB6は、カラオケサーバ2が提供する通信カラオケサービスについて登録したカラオケユーザの情報を蓄積して格納したものであり、ユーザ登録又は登録ユーザの退会に応じてユーザDB5の中身は変化する。ユーザDB5は、登録ユーザを識別するための「ユーザID」に、そのユーザの「氏名」、「ニックネーム」、「出身地」、「居住地」、「年齢」、「性別」、「登録日」、「利用履歴」、及び「フレンズ」等の情報を対応付けて格納している。なお「利用履歴」とは、あるカラオケ楽曲を指定した場合、その日付及びカラオケ楽曲の曲IDを対応づけた情報を含んだものである。また「フレンズ」とは、ある登録ユーザとは異なる別の登録ユーザを友人として設定したことを示す情報であり、その友人となる別の登録ユーザのユーザIDを含んだものになっている。「フレンズ」には、複数のユーザIDを設定することも可能である。なお、このようなユーザ登録は、最初に通信カラオケサービスを利用する時、又は通信カラオケサービスを数回利用してからも随時に行うことが可能であり、ユーザ登録の際にユーザから入力される各種情報・データ等がユーザDB5へ格納されることになる。
図6は、アップロードDB7の中身の概要を示している。アップロードDB6は、カラオケ端末装置11等からカラオケサーバ2へアップロード(投稿)されてきた演奏データを蓄積して格納したものであり、演奏データがアップロードされるごとに、アップロードDB7の中身も追加されていく。アップロードDB7を説明するにあたり、先ず、アップロードされてくる演奏データを図7(a)(b)に基づき説明する。
図7(a)(b)は、アップロードされてくる演奏データ9、9′の例を示しており、データ内容を概要的なフォーマットの形で示している。演奏データ9、9′は「曲ID」、「楽器演奏音」、「演奏者画像」、「楽器コード」、「ユーザID」、及び「独奏フレーズ」といった各種データ及び情報を含んだものになっている。まず、「曲ID」とは、演奏データが何のカラオケ楽曲に対応するものか識別する情報であり、対応するカラオケ楽曲の曲ID(図3のカラオケDB5で使用される曲IDと同じもの)を用いている。
「楽曲演奏音」とは、曲IDで識別されるカラオケ楽曲の一つの楽器パートに応じたユーザによる楽器演奏の音(楽器演奏音)が収録された楽器演奏データである。また「演奏者画像」とは、「楽曲演奏音」に係る楽器を演奏するユーザの楽器演奏状態が撮像された動画データである。さらに「楽器コード」とは、楽器演奏音に係る楽器パートに応じた楽器コードを示す情報であり、例えば、楽器演奏音が図4に示すカラオケ楽曲のギターパートデータ8aに応じたものである場合(図7(a)に示す演奏データ9の場合)、楽器コードには楽器としてギターを表す「1」という情報が設定され、また、楽器演奏音が図4に示すカラオケ楽曲のドラムパートデータ8cに応じたものである場合(図7(b)に示す演奏データ9′の場合)、楽器コードには楽器としてドラムを表す「3」という情報が設定される。
さらにまた「ユーザID」とは、楽器演奏を行った登録ユーザのIDである(演奏データをアップロードするには、事前にユーザ登録をして、自身のユーザ情報を図5のユーザDB6に格納しておく必要がある)。最後に「独奏フレーズ」とは、楽器を演奏するユーザが、カラオケ楽曲を構成する複数のフレーズの中であるフレーズだけは、独奏的に演奏を、他のユーザに聞いてもらいたいことを希望する場合、そのフレーズ数を指定するものであり(独奏フレーズの指定に関する詳細は後述)、楽器演奏音に付帯する情報に相当する。図7(a)に示す演奏データ9の場合、「独奏フレーズ」として30フレーズ目を表す「30」が設定されている。また、図7(b)に示す演奏データ9′の場合、この演奏データ9′のユーザは独奏フレーズを希望していないことから、「なし」が設定されている。
図6に戻り、アップロードDB7の中身について説明すると、アップロードDB7は、「演奏データID」に、「曲ID」、「楽器演奏音」、「演奏者画像」、「楽器コード」、「ユーザID」、「独奏フレーズ」、「アップロード日」、「再生回数」及び「評価」等と云った各項目に応じたデータ又は情報を対応付けて格納したものである。「演奏データID」とは、新たに演奏データがカラオケサーバ2へアップロードされると、その新たな演奏データを識別するために、カラオケサーバ2が発行するIDである。また、「曲ID」、「楽器演奏音」、「演奏者画像」、「楽器コード」、「ユーザID」及び「独奏フレーズ」は上述したように、図7(a)(b)に基づいて説明したものであり、アップロードされてくるデータ及び情報等である。
「アップロード日時」とは、新たにアップロードされた演奏データを、カラオケサーバ2がアップロードDB7に格納した日時を記憶したものである。また「再生回数」とは、アップロードDB7に格納されている演奏データの楽器演奏音及び演奏者画像を、カラオケサーバ2がカラオケ端末装置11等へ送信した回数を記憶したものであり、送信ごとに数値が1ずつ増加する。さらに「評価」とは、楽器演奏音を聞いた他のユーザの評価の平均をカラオケサーバ2が算出した数値を記憶したものであり、後述するように評価は10段階でカラオケ端末装置11等からカラオケサーバ2へ送られてくることに応じて、カラオケサーバ2が平均値を随時算出し、その算出値を「評価」に格納する。
次に、図8、9の第1、2フローチャートに基づき、カラオケサーバ2のカラオケサービスプログラム4の本発明に係る特有の処理内容の詳細について説明する。まず、図8の第1フローチャートは、カラオケサーバ2へ新たな演奏データがアップロードされた場合についてのカラオケサーバ2(MPU2a)が行う処理手順を示すものである(カラオケ再生表示方法における一部の処理に該当)。
図8の第1フローチャートでは、まず、カラオケサーバ2のMPU2aが演奏データを受信したか否か(アップロードされたか否か)を判断する(S1)。演奏データを受信していない場合(S1:NO)、演奏データの受信待ちとなる。また、演奏データを受信した場合(S1:YES)、演奏データのチェックを行う(S2)。演奏データのチェックとは、受信した演奏データの中身が、図7(a)(b)に示すデータフォーマットになっているか、「楽器演奏音」に応じた楽器演奏データが含まれているか、「演奏者画像」に応じた動画データが含まれているか、「楽器コード」が設定されているか等を確認することである。
チェック結果が問題なくOKの場合(S3:YES)、演奏データIDを発行して、受信した演奏データを図6に示すアップロードDB7に記憶(登録)する(S4)。なお、この際、格納した日時も「アップロード日時」として、発行した演奏データIDに対応づけて登録することになる。それから、アップロードされた演奏データの登録が完了した旨を、演奏データの受信履歴情報に含まれる送信元のアドレス情報を参照して、そのアドレス情報に応じたカラオケ端末装置11等へ送信する(S5)。
また、チェック結果に問題がある場合(S3:NO)、受信した演奏データを破棄し(S6)、アップロードされた演奏データの登録が、データ内容の不備により行えなかった旨を、演奏データの送信元のカラオケ端末装置11等へ送信する(S7)。このような第1フローチャートが規定する処理により、図6に示すアップロードDB7の中身は、アップロードされる演奏データにより随時、増強されていくようになっている。
また、図9の第2フローチャートでは、まず、カラオケサーバ2が、カラオケ端末装置11等から送信される楽曲指定情報を受信したか否かを判断する(S10)。なお、楽曲指定情報とは、カラオケ端末装置11等でユーザが希望したカラオケ楽曲を指定する情報であり(情報として曲IDを含むことでカラオケ楽曲を指定)、ユーザによるカラオケ楽曲の指定操作に応じて、カラオケ端末装置11等からカラオケサーバ2へ送信される。なお、後述するように、楽曲指定情報には、カラオケ楽曲の指定を行ったユーザを識別するユーザIDに加えて、演奏モードフラグ又は検索条件等が含まれる場合がある。
楽曲指定情報を受信していない場合(S10:NO)、楽曲指定情報の受信待ちとなる。また、楽曲指定情報を受信した場合(S10:YES)、受信した楽曲指定情報に含まれる曲IDに合致するカラオケデータ(「カラオケ楽曲」、「カラオケ画像」、「楽曲歌詞」等を含むデータ)を図3のカラオケDB5から検索して抽出する(S11)。それから、受信した楽曲指定情報に演奏モードフラグが含まれるか否かを判断する(S12)。楽曲指定情報に演奏モードデータが含まれない場合(S12:NO)、一般的な通信カラオケの処理となり、S11の段階で抽出したカラオケデータを、楽曲指定情報の受信履歴情報に含まれる送信元のアドレス情報を参照して、そのアドレス情報に応じたカラオケ端末装置11等へ送信する(S20)。
また、受信した楽曲指定情報に演奏モードフラグが含まれる場合(S12:YES)、次に、受信した楽曲指定情報に検索条件が含まれるか否かを判断する(S13)。検索条件が含まれない場合(S13:NO)、楽曲指定情報が指定するカラオケ楽曲を識別する曲IDに対応付けて格納されている演奏データ(演奏データの楽器演奏音)を図6のアップロードDB7から検索する(S15)。また、受信した楽曲指定情報に検索条件が含まれる場合(S13:YES)、曲IDに対応付けて格納されている楽器演奏音の中で、楽曲指定情報に含まれる検索条件に合致するものを検索する(S14)。
なお、本実施形態における検索条件としては後述するように、「再生回数」、「フレンズ」、「評価」、「出身地」、「居住地」、「年齢」がある。「再生回数」とは、ユーザが検索に対して設定する回数以上のものを検索条件とするものであり、例えば、楽曲指定情報に検索条件として「再生回数:10」という情報が含まれていると、図6のアップロードDB7から、楽曲指定情報に含まれる曲IDに対応付けて格納されている楽器演奏音の中で、「再生回数」が10以上のものを検索することになる。
また、「フレンズ」とは、楽曲指定情報に含まれるユーザIDに応じたユーザのフレンズとなるユーザの演奏データを検索するものである。具体的には、楽曲指定情報に検索条件として「フレンズ」という情報が含まれていると、楽曲指定情報に含まれるユーザIDについて、図5のユーザDB6で「フレンズ」として設定されている他のユーザのユーザIDを特定し、図6のアップロードDB7から、楽曲指定情報に含まれる曲IDに対応付けて格納されている楽器演奏音の中で、その特定したユーザIDに応じたものを検索することになる。さらに、「評価」とは、ユーザが検索に対して設定する評価点以上のものを検索条件とするものであり、例えば、楽曲指定情報に検索条件として「評価:6.5」という情報が含まれていると、図6のアップロードDB7から、楽曲指定情報に含まれる曲IDに対応付けて格納されている楽器演奏音の中で、「評価」が6.5以上のものを検索することになる。
さらにまた、「出身地」とは、楽曲指定情報に含まれるユーザIDの出身地と同じ、または各ユーザの出身地が全て異なるという条件を設定するものである。例えば、楽曲指定情報に検索条件として「出身地:同じ」という情報が含まれていると、楽曲指定情報に含まれるユーザIDについて、図5のユーザDB6で「出身地」として設定されている地域情報を特定しておき、図6のアップロードDB7から、楽曲指定情報に含まれる曲IDに対応付けて格納されている楽器演奏音に応じたユーザIDについて、図5のユーザDB6で「出身地」として設定されている地域情報を特定し、先に特定しておいた地域情報と一致するユーザIDだけを選び出し、その選び出したユーザIDに応じた楽器演奏音を検索することになる。また、楽曲指定情報に検索条件として「出身地:異なる」という情報が含まれていると、図6のアップロードDB7から、楽曲指定情報に含まれる曲IDに対応付けて格納されている楽器演奏音に応じたユーザIDについて、図5のユーザDB6で「出身地」として設定されている地域情報を特定し、その特定した地域情報が全て異なるように選び出したユーザIDに応じた楽器演奏音を検索することになる。
また、「居住地」とは、楽曲指定情報に含まれるユーザIDの居住地と同じ、または各ユーザの居住地が全て異なるという条件を設定するものであり、楽曲指定情報に検索条件として「居住地:同じ」又は「居住地:異なる」という情報が含まれることになる。検索条件が「居住地:同じ」である場合は、上述した検索条件が「出身地:同じ」の場合の処理において、「出身地」を「居住地」として読み替えた処理内容になる。また、検索条件が「居住地:異なる」である場合は、上述した検索条件が「出身地:異なる」の場合の処理において、「出身地」を「居住地」として読み替えた処理内容になる。
さらに、「年齢」とは、楽器演奏音に係る楽器演奏を行ったユーザの年齢を検索条件とするものである。例えば、楽曲指定情報に検索条件として「年齢:20代」という情報が含まれていると、図6のアップロードDB7から、楽曲指定情報に含まれる曲IDに対応付けて格納されている楽器演奏音を先ず特定し、特定した楽器演奏音のユーザIDに応じた「年齢」が20代となるものを特定し、その特定した楽器演奏音を検索するというものである。
上述したS14の段階又はS15の段階における検索を行って、該当する楽器演奏音があるか否かを判断する(S16)。検索に該当する楽器演奏音が無い場合(S16:NO)、この場合は送信できる楽器演奏音を含む演奏データが存在しないので、S11の段階で抽出したカラオケデータを、楽曲指定情報の送信元のカラオケ端末装置11等へ送信する(S20)。一方、該当する楽器演奏音が存在する場合(S16:YES)、次に、該当した楽器演奏音の数は20以上であるか否かを判断する(S17)。該当した楽器演奏音の数が20以上である場合(S17:YES)、カラオケ端末装置11等での再生処理が煩雑になりすぎるのを防止するため、該当した楽器演奏音の中からランダムに20の楽器演奏音を抽出する(S18)。なお、ランダムな抽出の仕方としては周知の技術を適用でき、例えば、検索で該当した20以上の演奏データの夫々に1から順番に番号を付し、乱数表を用いた演算結果による数値に応じた番号の演奏データを順次抽出する方法等が使用可能である。
S18の処理でデータ数を20に絞った楽器演奏音については、図6のアップロードDB7において、同一の演奏データIDとなる演奏者画像とペアにして、S11の段階で抽出したカラオケデータと共に、楽曲指定情報の送信元のカラオケ端末装置11等へ送信する(S19)。また、検索で該当した演奏データのデータ数が20を越えない場合(S17:NO)、検索で該当した演奏データ、及びS11の段階で抽出したカラオケデータと共に、楽曲指定情報の送信元のカラオケ端末装置11等へ送信する(S19)。上述した第2フローチャートに係る処理内容をカラオケサーバ2が行うことにより、アップロードDB7に格納された多数の演奏データ(楽器演奏音及び演奏者画像)の中から、カラオケ端末装置11等でユーザが希望するカラオケ楽曲に応じた楽器演奏音及び演奏者画像をユーザが使用するカラオケ端末装置11等へ送り届けることができる。
なお、上記以外の周辺的な処理として、カラオケサービスプログラム4は複数の処理内容を規定している。例えば、図9の第2フローチャートにおけるS19の段階で、カラオケデータと共に、楽器演奏音及び演奏者画像を送信すると、図6に示すアップロードDB7において、送信した楽器演奏音等に対応付けられた「再生回数」の数値に1を加える処理を行うことを、カラオケサービスプログラム4は規定している。また、カラオケサーバ2が、カラオケ端末装置11等から、演奏データIDに対応付けて、評価となる点数を受信すると、その演奏データIDに対応付けられた「評価」の点数(平均点)を、受信した点数を加えて新たな平均点を算出することを、カラオケサービスプログラム4は規定している。
次に、カラオケ端末装置11等について説明する。カラオケ端末装置11、21、31等は、同等の構成であるため、代表してカラオケ端末装置11に基づき、その構成及び処理内容等を説明する。
図10は、カラオケ端末装置11の主要な内部構成を示すブロック図である。カラオケ端末装置11は、一種のコンピュータに相当する仕様になっており、後述する基本プログラム13及びカラオケプログラム14の規定内容に基づき全体的な制御及び各種処理を行うCPU11aに、各種デバイス等を内部接続線11kで接続している。各種デバイス等には、通信モジュール11b、RAM11c、ROM11d、音声入力デバイス11e、音声出力デバイス11f、映像出力デバイス11g、撮像デバイス11h、操作部19、赤外線の受光モジュール11i、記憶部(HDD)11j等がある。
通信モジュール11bは、ネットワークNWとの接続デバイスに相当する通信手段であり、所要の通信規格に応じたものである(例えばLANデバイス)。通信モジュール11bは、所要の通信機器(図示は省略。例えばルータ等が該当)を介してネットワークNWと接続されており、CPU11aの制御により、カラオケサーバ2へ楽器演奏を行った演奏データ、ユーザがカラオケ楽曲を指定する旨の楽曲指定情報等を送信すると共に、カラオケサーバ2から送信されてくる各種データ等(カラオケデータ、楽器演奏音、演奏者画像等)を受信する処理を行う。
RAM11cは、CPU11aの処理に伴う内容、ファイル等を一時的に記憶するものであり、本実施形態では画面データテーブル15に含まれる各種画面又はカラオケ画像等の表示処理に係るグラフィックメモリも含んだ総合的な一時記憶用メモリとしての機能を有する。ROM11dは、CPU11aの基本的な処理内容を規定したプログラム等を記憶すると共に、自己を識別するための端末ID等も記憶する。
音声入力デバイス11eは、ユーザの歌唱音及び楽器の演奏音等を集音するマイク16が接続されるものである。なお、カラオケ楽曲をユーザが歌唱する場合、音声入力デバイス11eは、マイク16で集音された音声をスピーカ17から出力できるように、所要の音声入力処理等を行う。また、楽器の演奏音を収録する場合、音声入力デバイス11eは、上述した音声入力処理等に加えて、マイク16で集音した楽器演奏音を、所定の音声ファイルとしてRAM11cに記憶させるように、RAM11cへ楽曲演奏音を送る制御処理等も行う。音声出力デバイス11fは、ユーザの歌唱音及びカラオケ楽曲の再生音等の出力を行うスピーカ17が接続されるものであり、所要の増幅処理等を行う。
映像出力デバイス11gは、表示パネル18a(表示部に相当)を有する表示装置18が接続されるものであり、表示装置18の表示パネル18aで、後述する各種画面及びカラオケ画像等を表示できるように、表示データの出力処理等を行う。撮像デバイス11hは、CCD又はCMOS等の撮像素子を含んだものであり、この撮像素子により静止画又は動画の画像をデジタルデータとして撮像できるようになっている。操作部19は、カラオケ端末装置11の本体に設けられたものであり、操作部19で受け付けたユーザの操作指示等をCPU11aへ伝える。なお、操作部19には電源オン/オフスイッチ、音量調整スイッチ、音程調整スイッチ、上下左右キー、決定キー等が設けられている。受光モジュール11iは、リモコン装置12から発せられる赤外光を受光し、その赤外光に含まれるユーザの操作指示(リモコン装置12で受け付けたユーザの操作指示)をCPU11aへ伝える。なお、リモコン装置12にも、操作部19と同様に上下左右キー、決定キー等が設けられている。
記憶部11j(記憶手段に相当)は、カラオケ端末装置11がカラオケに関する各種機能を発揮するために必要なプログラム及び各種テーブル等を記憶するものであり、具体的には、基本プログラム13、カラオケプログラム14、画面テーブル15等を記憶する。
基本プログラム13は、コンピュータのオペレーティングシステムに相当する処理及びカラオケ端末装置11の入出力、表示、音声出力、通信等についての各種基本的な処理を規定したものであり、この規定内容に基づきCPU11aが基本的な各種処理を行う。
カラオケプログラム14は、カラオケ端末装置11でカラオケ楽曲をユーザが楽しめるようにするための基本的な処理(従来から存在する処理)に加えて、本発明の特徴となる各種処理を規定したものである。本発明の特徴となる処理としては主に二種類あり、ユーザによる楽器演奏音を収録して、演奏データとしてカラオケサーバへアップロードする処理と、カラオケサーバ2からカラオケデータと共に、楽器演奏音及び演奏者画像を受信した場合の再生・表示処理であり、これらの各処理の詳細については後述する。なお、このようなカラオケプログラム14の規定する処理内容により、CPU11aが、カラオケ用の各種手段として機能することになる。
また、画面テーブル15は、カラオケサービスの進行に伴いユーザが適宜行う操作等に応じて、表示装置18の表示パネル18aに表示される画面内容に応じた複数の画面データを格納したものであり、CPU11aの制御により、所要の画面データを読み出すことで、図11〜15等に示す各種画面が表示される。以下、画面テーブル15が格納する複数の画面データによる画面の表示例について説明する。
図11(a)は、初期選択メニュー画面50を示している。この初期選択メニュー画面50は、ユーザがカラオケ端末装置11で演奏収録を行うか、又は通常のカラオケ歌唱を行うかを選択する段階で表示されるものである。そのため、初期選択メニュー画面50は、装置本体の操作部19又はリモコン装置12の上下キー及び決定キーの操作により選択可能な演奏収録ボタン50a、及びカラオケ歌唱ボタン50bを有しており、これらのボタンのいずれかがユーザ操作により選択されると、ボタンが選択された旨がCPU11aに伝えられて、選択されたボタン内容に応じた処理が進行するようになっている。
初期選択メニュー画面50において、演奏収録ボタン50aが選択されると、次にはカラオケ楽曲の選曲画面(従来のカラオケ楽曲の選択画面と同様なもの)が表示され、ユーザは演奏用のカラオケ楽曲の選曲操作を行うことになる。この場合、カラオケ端末装置11は、ユーザの選曲操作を受けると、選曲に係るカラオケ楽曲を識別する曲IDを含む楽曲指定情報をカラオケサーバ2へ送信し、カラオケサーバ2は、楽曲指定情報を受信すると、その楽曲指定情報に含まれる曲IDに応じたカラオケデータをカラオケDB5より抽出してカラオケ端末装置11へ送信することになる(カラオケ端末装置11は、受信したカラオケデータをRAM11cに記憶し、ユーザのスタート操作があると読み出す)。
図11(b)は楽器パート選択画面51が表示された状態を示している。この楽器パート選択画面51は、初期選択メニュー画面50で演奏収録ボタン50aが選択されて、その後に表示されるカラオケ楽曲の選曲画面でカラオケ楽曲の選曲が完了してから表示されるものである。楽器パート選択画面51は上段に、選択された演奏用のカラオケ楽曲の曲名が配置される曲名配置スペース51aを設けており、その曲名配置スペース51aには、楽曲選択に応じた曲名のテキストが配置されるようになっている(図11(b)では、「9月のさよなら」という曲名が配置されている)。また、楽器パート選択画面51は、曲名配置スペース51aの下方に、移動可能なカーソル51cを備えた演奏楽器表51bを設けており、この演奏楽器表51bの各欄には、受信したカラオケデータに含まれるカラオケ楽曲のプロパティ情報(図4参照)を構成する楽器パート及び楽器名が順次配置される。
図11(b)に示す例では、演奏楽器表51bの各欄に、図4に示す楽器パートのプロパティ情報が配置された状態を示している。配置されたプロパティ情報の各楽器コード及び楽器名は、カーソル51cを装置本体の操作部19又はリモコン装置12の上下キーを操作することで選択対象とすることができ、選択対象となった状態で操作部19又はリモコン装置12の決定キーが操作されると、カーソル51cの位置する楽器名の楽器がユーザにより選択されたことになり、その旨がCPU11aへ伝えられる。
図12(a)は、独奏フレーズ指定画面52を示している。独奏フレーズ指定画面52は、選択したカラオケ楽曲を演奏する際に、ユーザが独創的に演奏したいフレーズを指定するものであり、上述した図11(b)の楽器パート選択画面51で楽器選択が行われた後に表示される画面である。独奏フレーズ指定画面52は、楽器パート選択画面51と同様に、曲名配置スペース52aを上段に設けており、その曲名配置スペース52aに、曲名のテキストが配置される。
また、独奏フレーズ指定画面52は、曲名配置スペース52aの下方に、独奏フレーズ数表示欄52b、数値変更ボタン52c、決定ボタン52d、なしボタン52eを有する。独奏フレーズ数表示欄52bは、選択されたカラオケ楽曲を構成する複数のフレーズの中から、ユーザが独奏を希望するフレーズ数を指定するものであり、デフォルトでは「1」が表示されるようになっている。独奏フレーズ数表示欄52bの数値は、隣の数値変更ボタン52cの上又は下矢印を操作部19又はリモコン装置12の上下左右キー及び決定キーの操作により変更でき、上矢印を選択するごとに数値は増加し、下矢印を選択するごとに数値は減少するようになっている。
決定ボタン52dは、上述した独奏フレーズ数表示欄52bで示される数値を、ユーザが独奏フレーズとして希望する場合に選択されるボタンであり、操作部19又はリモコン装置12での操作により選択されると、独奏フレーズ数表示欄52bで示される数値が独奏指定情報としてCPU11aへ伝えられ、CPU11aは、その伝えられた独奏指定情報を一時的にRAM11cに記憶する処理を行う。また、なしボタン52eは、ユーザが独奏フレーズを希望しない場合に選択されるボタンであり、操作部19又はリモコン装置12での操作により選択されると、なしボタン52eが選択された旨がCPU11aへ伝えらる。
図12(b)は、スタート画面53が表示された状態を示している。スタート画面53は、上述した独奏フレーズ指定画面52で決定ボタン52d又はなしボタン52eのいずれかが操作されると、次に表示される画面である。スタート画面53も、楽器パート選択画面51等と同様に、曲名配置スペース53aを上段に設けている。その曲名配置スペース53aの下方には、スタートボタン53bが設けられており、操作部19又はリモコン装置12での操作により選択されると、RAM11cに記憶されていたカラオケデータが読み出され、カラオケ楽曲の再生と、カラオケ画像の表示が開始される。
なお、カラオケ楽曲の再生の際、CPU11aは、図11(b)の楽器パート選択画面51で選択された楽器パートをミュートしてカラオケ楽曲を再生するように制御する。これにより、楽器を演奏音の収録を行うユーザは、カラオケ楽曲に含まれる演奏しようとする楽器と同じ楽器の楽器パート音に妨げられることなく、楽器を演奏することが可能となる。また、カラオケ楽曲の再生処理を開始すると、カラオケ端末装置11は、マイク16でユーザの楽器演奏音を集音して、集音した楽器演奏音を随時RAM11cにデジタルデータとして記憶していくと共に、撮像デバイス11hで動画の撮像を開始し、これによりユーザが演奏する姿の画像を動画のデジタルデータとしてRAM11cに記憶していく。
図13(a)は、収録確認画面54が表示された状態を示している。収録確認画面54は、楽器演奏を終えたユーザに、演奏データのアップロード(投稿)を行って良いかを確認するための画面であり、アップロードボタン54a及びやり直しボタン54bを有している。アップロードボタン54aが、操作部19又はリモコン装置12での操作により選択されると、カラオケ端末装置11は、RAM11cに記憶された楽器演奏音及び演奏者画像を演奏データとして、図7(a)(b)に示すようなフォーマットでカラオケサーバ11へ送信する。また、やり直しボタンが選択されると、カラオケ端末装置11は、図12(b)のスタート画面53を表示する段階へ戻り、再度の演奏収録を行えるようにしている。
また、図13(b)は、モード選択画面60を示している。このモード選択画面60は、図11(a)の初期選択メニュー画面50でカラオケ歌唱ボタン50bが選択されてから、表示される画面である。モード選択画面60は、通常モードボタン60a及び演奏モードボタン60bを有しており、通常モードとは、従来と同様に、カラオケデータを再生してユーザが歌唱を行うモードである。また、演奏モードとは、いずれかの楽器パートをミュートしながらカラオケデータを再生すると共に、そのミュートされた楽器パートについてはアップロードされている楽器演奏音を割り当てて再生を行うモードである。
そのため、通常モードボタン60aが選択されると、カラオケ楽曲の選曲画面(従来のカラオケ楽曲の選択画面と同様なもの)が表示されて、ユーザによるカラオケ楽曲の選曲操作に伴って、カラオケ端末装置11は選曲に係るカラオケ楽曲を指定する楽曲指定情報をカラオケサーバ2へ送信し、カラオケサーバ2は、楽曲指定情報を受信すると、その楽曲指定情報に応じたカラオケデータをカラオケDB5より抽出してカラオケ端末装置11へ送信し、それからカラオケ端末装置11でカラオケデータの再生が開始される。一方、演奏モードボタン60bが選択されると、次に図14(a)の検索メニュー画面61が表示される。
図14(a)は、検索メニュー画面61が表示された状態を示している。この検索メニュー画面61は、演奏モードにおいて、アップロードされた演奏データの楽器演奏音の検索の仕方をユーザが選択するための画面であり、ランダム検索ボタン61a及び条件検索ボタン61bを有している。ランダム検索ボタン61aは、ユーザが指定するカラオケ楽曲に対してアップロードされている楽器演奏音をランダムに検索することを、ユーザが希望する場合に選択されるものである。一方、条件検索ボタン61bは、ユーザが指定するカラオケ楽曲に対してアップロードされている中から、更に条件に応じた楽器演奏音の検索を行う場合に選択されるものである。
ランダム検索ボタン61aが選択されると、次にカラオケ楽曲の選曲画面(従来のカラオケ楽曲の選択画面と同様なもの)が表示され、ユーザは歌唱用のカラオケ楽曲の選曲操作を行うことになる。カラオケ端末装置11は、ユーザの選曲操作を受けると、選曲に係るカラオケ楽曲を識別する曲ID、演奏モードフラグ、及びカラオケ楽曲の歌唱を行うユーザのユーザID等を含む楽曲指定情報をカラオケサーバ2へ送信することになる。このような楽曲指定情報をカラオケサーバ2は受信すると、図9の第2フローチャートに示す処理手順により、カラオケサーバ2はカラオケデータ及び検索で該当した楽器演奏音及び演奏者画像をカラオケ端末装置11へ送信し、カラオケ端末装置11は、受信したカラオケデータ、楽器演奏音、演奏者画像をRAM11cに記憶し、ユーザのスタート操作があると読み出すことになる(図15(a)のモード選択スタート画面63を参照)。
また、条件検索ボタン61bが選択されると、次に、図14(b)の検索条件選択画面62が表示される。この検索条件選択画面は、6種類の検索条件をユーザが選択するものであり、検索条件として選択可能な項目として、再生回数62a、フレンズ62b、評価62c、出身地62d、居住地62e、年齢62fが存在し、これらの検索条件の中のいずれか一つを、上下キーsの操作によるカーソル62fの移動及び決定キーの操作により選択できるようになっている。再生回数62aが選択されると、次に、検索条件に用いる再生回数の数値を設定する画面に切り替わり(図示せず)、その画面で数値を設定すると、以降は、上述したランダム検索ボタン61aが選択された場合と同様に、カラオケ楽曲の選曲画面が表示され、ユーザの選曲操作に応じて楽曲指定情報をカラオケサーバ2へ送信することになる。ただし、この場合、楽曲指定情報には曲ID、演奏モードフラグ、及びユーザID等に加えて、検索条件として「再生回数:設定した数値(例えば、10)」という情報が含まれる。
また、検索条件としてフレンズ62bが選択されると、カラオケ楽曲の選曲画面が表示され(図示せず)、ユーザの選曲操作に応じて楽曲指定情報をカラオケサーバ2へ送信することになる。この場合、楽曲指定情報には曲ID、演奏モードフラグ、及びユーザID等に加えて、検索条件として「フレンズ」という情報が含まれる。さらに、検索条件として、評価62cが選択されると、次に、検索条件に用いる点数を設定する画面に切り替わり(図示せず)、その画面で点数を設定すると、以降は、再生回数62aの場合と同様に、カラオケ楽曲の選曲画面が表示され、ユーザの選曲操作に応じて楽曲指定情報をカラオケサーバ2へ送信することになる。この場合、楽曲指定情報には曲ID、演奏モードフラグ、及びユーザID等に加えて、検索条件として「評価:設定した点数(例えば、6.5)」という情報が含まれる。
さらにまた、検索条件として出身地62dが選択されると、次に、検索条件に用いる出身地として「ユーザと同じ」又は「全て異なる」のいずれかを選択する画面に切り替わり(図示せず)、その画面でいずれかを選択すると、以降は、上述した再生回数62aの場合と同様に、カラオケ楽曲の選曲画面が表示され、ユーザの選曲操作に応じて楽曲指定情報がカラオケサーバ2へ送信されることになる。この場合、楽曲指定情報には曲ID、演奏モードフラグ、及びユーザID等に加えて、ユーザの選択内容に応じて「出身地:同じ」又は「出身地:異なる」という検索条件の情報が含まれる。なお、検索条件として居住地62eが選択された場合も、上述した出身地62dの場合と同様な流れとなり、楽曲指定情報には「居住地:同じ」又は「居住地:異なる」という検索条件の情報が含まれる。
そして、検索条件として、年齢62fが選択されると、次に、検索条件に用いる年齢の数値を設定する画面に切り替わり(図示せず)、その画面で数値を設定すると、以降は、上述した再生回数62aの場合と同様に、カラオケ楽曲の選曲画面が表示され、ユーザの選曲操作に応じて楽曲指定情報をカラオケサーバ2へ送信することになる。この場合、楽曲指定情報には曲ID、演奏モードフラグ、及びユーザID等に加えて、検索条件として「年齢:設定した数値(例えば、20代、又は20〜30代)」という情報が含まれる。
なお、上述した検索条件の設定を経て、楽曲指定情報がカラオケサーバ2へ送信されると、ランダム検索ボタン61aが選択された場合と同様に、図9の第2フローチャートに示す処理手順により、カラオケサーバ2はカラオケデータ及び検索で該当した楽器演奏音、及び、その楽器演奏音に応じた演奏者画像(該当した楽器演奏音と同じ演奏データIDの演奏者画像)をカラオケ端末装置11へ送信し、カラオケ端末装置11は、受信したカラオケデータ、楽器演奏音、演奏者画像をRAM11cに記憶し、ユーザのスタート操作があると読み出す(図15(a)のモード選択スタート画面63を参照)。
図15(a)は、モード選択スタート画面63が表示された状態を示している。モード選択スタート画面6は、上述したカラオケ楽曲の選曲画面でユーザの選曲操作が完了すると、表示されるものである。モード選択スタート画面63は、選択された歌唱用のカラオケ楽曲の曲名が配置される曲名配置スペース63aを上段に設けており、その下方に、演奏モードスタートボタン63b、共演モードスタートボタン63cが設けられている。
演奏モードスタートボタン63cが選択されると、カラオケ端末装置11は、RAM11cからカラオケデータ、楽器演奏音、演奏者画像を読み出し、読み出した楽器演奏音に係る楽器パートをミュートしてカラオケデータのカラオケ楽曲を再生すると共に、その楽器演奏音の再生を合わせて行い、さらには、読み出した演奏者画像を、カラオケ画像に重ねて表示する処理を行う(図16参照)。一方、共演モードスタートボタン63cが選択されると、カラオケ端末装置11は、上述した演奏モードスタートボタン63cが選択された場合の処理に加えて、撮像デバイス11hで、カラオケ楽曲を歌唱するユーザを撮像し、撮像した歌唱者画像を、演奏者画像と並べて、カラオケ画像に重ねて表示する処理を行う(図17参照)。
図15(b)は、カラオケ楽曲の再生が終了すると表示される演奏評価画面64を示している。演奏評価画面64は、演奏データに係る楽器演奏音の評価を、楽器演奏音を聞いたユーザ(カラオケ歌唱を行ったユーザ)が10段階で評価できるものである。演奏評価画面64は、再生されたカラオケ楽曲の曲名が配置される曲名配置スペース64aを上段に設けており、その下方に、カーソル64cを有する点数一覧表64b、及び評価しないボタン64dを有する。点数一覧表64bは、1〜10までの各点をカーソル64cの移動で選択対象とすることができ、カーソル64cがいずれかの点で位置した状態で、操作部19又はリモコン装置12の決定キーが操作されると、カーソル64cの位置する点及びカラオケ楽曲の曲IDがカラオケ端末装置11からカラオケサーバ2へ送信される。また、評価しないボタン64dが選択された場合、上述した一連の画面表示に係る処理が一旦、終了することになる。
次に、図10に示されるカラオケ端末装置11のカラオケプログラム14が規定する処理内容について詳説する。カラオケプログラム14は、カラオケ端末装置11が一種のコンピュータと云える構成になっていることから、コンピュータプログラムに相当する。カラオケプログラム14が規定する基本的な処理(従来から存在する処理)としては、ユーザが歌唱を希望するカラオケ楽曲の選曲処理、希望楽曲の選曲に応じてカラオケデータをカラオケサーバから受信し、受信したカラオケデータに含まれるカラオケ楽曲を再生すると共に楽曲歌詞等を表示する処理等がある。また、カラオケプログラム14が規定する本発明の特徴である演奏データ(楽器演奏音及び演奏者画像)の収録・アップロード(投稿)に関する処理、及び楽器演奏音の再生・演奏者画像の表示に関する処理内容については、図18〜20の第3〜5フローチャートに基づいて説明する。
図18の第3フローチャートは、演奏データの収録・アップロード(投稿)に関する処理手順(カラオケ再生表示方法の一部に該当する処理手順)を示しており、図11(a)の初期選択メニュー画面50で演奏収録ボタン50aが選択されて、カラオケ楽曲の選曲画面が表示された状態からの処理を示している。第3フローチャートにおいて、カラオケ端末装置11のCPU11aは、まず、ユーザが演奏するカラオケ楽曲の選曲を受け付けることになり(S30)、それから、選曲に係るカラオケ楽曲の曲IDを含む楽曲指定情報をカラオケサーバ2へ送信する制御を行う(S31)。
次に、CPU11aは、楽曲指定情報の送信によりカラオケサーバ2から送られてくるカラオケデータを受信したか否かを判断し(S32)、カラオケデータを受信していな場合は(S32:NO)、受信待ちの状態となる。カラオケデータを受信した場合(S32:YES)、CPU11aは、受信したカラオケデータをRAM11cに記憶すると共に、図11(b)に示す楽器パート選択画面51を表示して、ユーザから楽器パートの選択を受け付ける(S33)。
そして、CPU11aは、図12(a)の独奏フレーズ指定画面52を表示し、ユーザが独奏フレーズを指定するか否かを判断する(S34)。独奏フレーズが指定された場合(S34:YES)、指定された独奏フレーズのフレーズ数を独奏指定情報としてRAM11cに記憶する(S35)。このS35の段階の処理の後、又は独奏フレーズが選択されなかった場合(S34:NO)、CPU11aは、図12(b)のスタート画面53を表示して、スタートボタン53bが選択されたか否かを判断する(S36)。
スタートボタン53bが選択されていない場合(S36:NO)、スタートボタン53bの選択待ちの状態となる。また、スタートボタン53bが選択された場合(S36:YES)、CPU11aは、RAM11cに記憶していたカラオケデータを読み出して、カラオケ楽曲の再生、カラオケ画像と楽曲歌詞の表示を行うと共に、ユーザによる楽器演奏の収録処理を行う(S37)。なお、このS37の段階において、カラオケ楽曲の再生について、S33の段階で選択された楽器パートをミュートしてカラオケ楽曲を再生するように制御する。また、収録処理について、CPU11aは、マイク16で集音した音声データを楽器演奏音としてRAM11cに随時記憶していくと共に、撮像デバイス11hで撮像した動画内容を演奏者画像としてRAM11cに随時記憶していく制御を行う。このようなS37の段階の処理は、CPU11aより、カラオケデータ(カラオケ楽曲)の再生が終了するまで続けられる。
カラオケデータの再生(収録処理)が終了すると、CPU11aは、図13(a)の収録確認画面54を表示し、アップロードボタン54a又はやり直しボタン54bのいずれのボタンがユーザにより選択されるかを判断する(S38)。やり直しボタン54bが選択された場合(S38:やり直し)、S36の段階に戻って、再度、図12(b)のスタート画面53を表示する。一方、アップロードボタン54aが選択された場合(S38:アップロード)、CPU11aは、RAM11cに記憶された楽器演奏音及び演奏者画像等を含む演奏データを、図7(a)(b)に示すようなフォーマット(ユーザが演奏したカラオケ楽曲の曲ID、ユーザが演奏した楽器の楽器コード、演奏を行ったユーザのユーザID、独奏指定情報等を含むフォーマット)でカラオケサーバ11へ送信する(S39)。
カラオケプログラム14は、上述した図18の第3フローチャートの処理を規定することにより、演奏を行うユーザが納得できる楽器演奏音をアップロードできるようにしている。
図19に示す第4フローチャートは、ユーザが歌唱用のカラオケ楽曲を希望する場合の処理手順(カラオケ再生表示方法の一部に該当する処理手順)を示しており、図11(a)の初期選択メニュー画面50でカラオケ歌唱ボタン50bが選択されて、図13(b)のモード選択画面60が表示された状態からの処理を示している。CPU11aは、このモード選択画面60において、通常モードボタン60a又は演奏モードボタン60bに係るいずれのモードが選択されたかを判断する(S40)。
通常モードボタン60aが操作されて通受モードが選択された場合(S40:通常モード)、CPU11aは、カラオケ楽曲の選曲画面(従来のカラオケ楽曲の選択画面と同様なもの)を表示する制御を行って、ユーザによるカラオケ楽曲の選曲を受け付ける(S41)。そして、CPU11aは、選曲に係るカラオケ楽曲の曲ID及びカラオケ楽曲の歌唱を行うユーザのユーザID等を含む楽曲指定情報をカラオケサーバ2へ送信する制御を行う(S42)。
一方、図13(b)のモード選択画面60において、演奏モードボタン60bが操作されて演奏モードが選択された場合(S40:演奏モード)、CPU11aは、次に図14(a)の検索メニュー画面61を表示する制御を行い、ユーザによりランダム検索ボタン61a又は条件検索ボタン61bのいずれのボタンが選択されたかを判断する(S43)。ランダム検索ボタン61aが選択された場合(S43:ランダム検索)、CPU11aは、カラオケ楽曲の選曲画面(従来のカラオケ楽曲の選択画面と同様なもの)を表示する制御を行って、ユーザによるカラオケ楽曲の選曲を受け付ける(S44)。そして、CPU11aは、選曲に係るカラオケ楽曲の曲ID、演奏モードフラグ、及びカラオケ楽曲の歌唱を行うユーザのユーザID等を含む楽曲指定情報をカラオケサーバ2へ送信する制御を行う(S45)。
また、図14(a)の検索メニュー画面61で条件検索ボタン61bが選択された場合(S43:条件検索)、CPU11aは、次に、図14(b)の検索条件選択画面62を表示する制御を行い、再生回数62a、フレンズ62b、評価62c、出身地62d、居住地62e、年齢62という中から検索条件の選択を受け付ける(S46)。なお、CPU11aは、検索条件として、再生回数62a、評価62c、又は年齢62のいずれかの選択を受け付けた場合、検索条件に係る数値もあわせて受け付けることになり、検索条件として、出身地62d又は居住地62eの選択を受け付けた場合、出身地62d又は居住地62eについて「同じ」又は「異なる」という条件を更に受け付けることになる。
それから、CPU11aは、カラオケ楽曲の選曲画面(従来のカラオケ楽曲の選択画面と同様なもの)を表示する制御を行って、ユーザによるカラオケ楽曲の選曲を受け付ける(S47)。そして、CPU11aは、選曲に係るカラオケ楽曲の曲ID、演奏モードフラグ、設定した検索条件、及びカラオケ楽曲の歌唱を行うユーザのユーザID等を含む楽曲指定情報をカラオケサーバ2へ送信する制御を行う(S48)。
カラオケプログラム14は、上述した図19の第4フローチャートの処理を規定することにより、ユーザ自身が望む状態でカラオケ歌唱を行えることを指示した情報を含む楽曲指定情報を、カラオケサーバ2へ送信できるようにしている。
図20に示す第5フローチャートは、図19の第4フローチャートのS40の段階におけるモード選択画面60で演奏モードボタン60bが選択された場合のものであり、S45又はS48の段階で楽曲指定情報を送信した後のカラオケデータ、楽器演奏音、演奏者画像に関する処理手順(カラオケ再生表示方法の一部に該当する処理手順)を示している。なお、第4フローチャートのS40の段階におけるモード選択画面60で通常モードボタン60aが選択された場合、従来のカラオケデータの再生と相違しないので、この場合の処理手順の説明は省略する。
第5フローチャートにおいて、CPU11aは、まず、カラオケサーバ2から送られるカラオケデータ、楽器演奏音、演奏者画像を受信したか否かを判断する(S50)。受信していない場合(S50:NO)、受信待ちの状態となる。また、受信した場合(S50:YES)、CPU11aは、受信したカラオケデータ、楽器演奏音、演奏者画像を一旦、RAM11cに記憶すると共に、図15(a)のモード選択スタート画面63を表示する制御を行って、ユーザによる演奏モードスタートボタン63b又は共演モードスタートボタン63cの選択により、いずれのモードでスタートするかを判断する(S51)。
演奏モードスタートボタン63bが選択された場合(S51:演奏モード)、CPU11aは、RAM11cからカラオケデータ、楽器演奏音、演奏者画像を読み出して、カラオケ楽曲及び楽器演奏音の再生処理、カラオケ画像と楽曲歌詞及び演奏者画像の表示処理を行う(S52)。その再生処理において、CPU11aは、楽器演奏音に係る楽器パートをミュートしてカラオケデータのカラオケ楽曲を再生すると共に、楽器演奏音の再生を合わせて行うように制御し、その表示処理において、カラオケ画像の表示を行うと共に、そのカラオケ画像に重ねて演奏者画像を表示するように制御を行う。
図16(a)は、S52の段階の表示装置18の表示パネル18aにおける表示画面の例であり、一つの楽器パート(ギターパート)についてユーザによる楽器演奏音がある場合のカラオケ楽曲再生時の表示内容を示している。この画面では、カラオケデータのカラオケ画像70a及び楽曲歌詞70bに加えて、演奏者画像71(ギターを演奏するユーザの画像)が表示されたものになっており、詳しくは、カラオケ画像70aは、表示画面18aに全画面的に表示され、楽曲歌詞70bは表示パネル18aの下方でカラオケ画像70bに重畳して表示される。そして、演奏者画像71は、カラオケ画像70aに重ねて表示される。このような表示により、カラオケを歌唱するユーザが、楽曲歌詞70bでカラオケ楽曲の歌詞を確認できるようにしながら、演奏者画像71を見ることができるようにして、通常のカラオケ楽曲の再生とは異なる演奏モードであることを把握できるようにしている。
図16(b)は、S52の段階の別の表示例であり、二つの楽器パート(ギターパート及びドラムパート)について二人のユーザによる楽器演奏音がある場合のカラオケ楽曲再生時の表示内容を示している。この画面では、第1の楽器演奏音(ギターの演奏音)に応じた演奏者画像71(ギターを演奏する第1のユーザの画像)及び第2の楽器演奏音(ドラムの演奏音)に応じた演奏者画像72(ドラムを演奏する第2のユーザの画像)が並べて表示されたものになっていると共に、これら演奏者画像71及び演奏者画像72はカラオケ画像70aに重ねられている。
カラオケ歌唱を行うユーザは、図16(a)、(b)に示すような内容が、表示装置18の表示パネル18aに表示されるのを見ながら歌唱することになるので、演奏者画像71、72により、アップロードされた楽器演奏音の再生に応じた楽器演奏が行われている前で歌唱しているような雰囲気を味わうことができる。しかも、楽曲歌詞70bは演奏者画像71、72により隠されないので、歌唱すべき歌詞内容は従来と同様に確認することができる。なお、カラオケサーバ2から三つの楽器パート(例えば、ギターパート、ドラムパート、ベースパート))についての演奏データが送られると、計三つの演奏者画像が並べて表示されることになり、三つ以上の楽器パートについての演奏データが送られた場合も、それらの演奏者画像が並べて表示されることになる。
このようなS52の段階における再生・表示処理は、カラオケサーバ2での検索結果により送られてくる楽器演奏音及び演奏者画像の数、これらの中身の情報によって複数のパターンが生じる。これらのパターンの例を、図21(a)〜(d)のタイムチャートで示す。
図21(a)は、カラオケサーバ2での検索に対して一つの楽器演奏音(例えば、ギターパートのギター演奏音)のみが該当した場合を示している(該当した楽器演奏音には独奏フレーズの指定が付帯していない場合)。この場合、カラオケ楽曲の開始から終了まで、CPU11aは、「(1)ギターパートをミュートしてカラオケ楽曲を再生」、「(2)検索で該当したギター演奏音を再生」、「(3)楽曲歌詞等(楽曲歌詞及びカラオケ画像)を表示」、及び「(4)検索で該当したギター演奏音に応じたギター演奏者画像を表示」という(1)〜(4)に関する制御を行うことになり、表示装置18の表示パネル18aには、図16(a)に示すような画面内容が表示される。
また、図21(b)は、カラオケサーバ2での検索に対して一つの楽器演奏音(例えば、ギターパートの演奏データ)のみが該当し、その楽器演奏音には独奏フレーズの指定(独奏指定情報)が付帯していた場合のものである。この場合、独奏指定情報で独奏フレーズとして第30フレーズ(30番目のフレーズ)が指定されていると、第30フレーズ以外は、図21(a)の場合と同様に、CPU11aは、「(1)ギターパートをミュートしてカラオケ楽曲を再生」、「(2)アップロードされたギター演奏音を再生」、「(3)楽曲歌詞等を表示」、及び「(4)アップロードされたギター演奏者画像を表示」という(1)〜(4)に関する制御を行うことになる。
そして、30番目のフレーズで、CPU11aは、上記(1)について、カラオケ楽曲の全ての楽器パートがミュートして再生する制御を行い、上記(2)〜(4)についてはは同様の制御を行う。それにより、30番目のフレーズでは、アップロードされたギターパートのギター演奏音のみが再生されることになり、ギターパートの独奏を含んだ内容でカラオケ楽曲を歌唱できるようになる。なお、表示装置18の表示パネル18aに表示される内容は終始、図16(a)に示すような画面内容であり、この点は図21(a)に示すパターンの場合と同じである。
さらに、図21(c)は、カラオケサーバ2での検索に対して異なる楽器パート(例えば、ギターパート及びドラムパート)で、二つの楽器演奏音(例えば、ギターパートのギター演奏音と、ドラムパートのドラム演奏音)が該当した場合を示している(該当した各楽器演奏音には独奏フレーズの指定が付帯していない場合)。この場合、カラオケ楽曲の開始から終了まで、CPU11aは、「(1)ギターパート及びドラムパートをミュートしてカラオケ楽曲を再生」、「(2)検索で該当した第1の楽器演奏音であるギター演奏音を再生」、「(3)楽曲歌詞等を表示」、「(4)検索で該当した第1の楽器演奏音に応じたギター演奏者画像を表示」に加えて、「(5)検索で該当した第2の楽器演奏音であるドラム演奏音を再生」及び「(6)検索で該当した第2の楽器演奏音に応じたドラム演奏者画像を表示」という(1)〜(6)に関する制御を行う。そして、表示装置18の表示パネル18aには、図16(b)に示すような画面内容が表示される。なお、該当した楽器演奏音に独奏フレーズの指定が付帯していると(例えば、ギターパートの楽器演奏音に第30フレーズを独奏とする指定が付帯)、楽器演奏音(ギター演奏音)のみが指定された独奏フレーズで再生され、他の楽器演奏音(ドラム演奏音)もミュートされる(もちろん、カラオケ楽曲は全ての楽器パートがミュートされる)。
さらにまた、図21(d)は、カラオケサーバ2での検索に対して複数の楽器演奏音(例えば、ギターパートのギター演奏音)が該当した場合を示している(該当した楽器演奏音には独奏フレーズの設定が付帯していない場合)。この場合、カラオケ楽曲の一定期間としてフレーズごとに、複数の楽器演奏音の中から、再生する楽器演奏音を切り替えると共に、複数の演奏者画像の中から、再生する楽器演奏音に応じた演奏者画像へ、表示する演奏者画像も切り替えるようにしている。具体的にCPU11aは、第1フレーズで「(1)ギターパートをミュートしてカラオケ楽曲を再生」、「(2)検索で該当した第1楽器演奏音(第1のギター演奏音)を再生」、「(3)楽曲歌詞等を表示」、及び「(4)検索で該当した第1楽器演奏音に応じたギター演奏者画像を表示」という(1)〜(4)に関する制御を行い、第2フレーズでは、(1)、(3)は上記と同じ制御を行うが、(2)について「検索で該当した第2楽器演奏音(第2のギター演奏音)を再生」、(4)について「検索で該当した第2楽器演奏音に応じたギター演奏者画像を表示」というように、楽器演奏音を第1楽器演奏音から第2楽器演奏音へと切り替えると共に、それに合わせて演奏者画像も第1演奏者画像から第2演奏者画像へと切り替える制御を行う。
第3フレーズ以降においても、フレーズごとに、(1)、(3)は上記と同じ制御を行うが、(2)については、「検索で該当した第3楽器演奏音(第3のギター演奏音)を再生」から「検索で該当した第n楽器演奏音(第nのギター演奏音)を再生(nは3より大きい自然数)」へと順次切り替え、(4)についても「検索で該当した第3楽器演奏音に応じたギター演奏者画像を表示」から「検索で該当した第n楽器演奏音に応じたギター演奏者画像を表示(nは3より大きい自然数)」へと順次切り替える制御を行う。この場合の表示装置18の表示パネル18aの表示内容は、図16(a)に示すような画面内容になるが、演奏者画像71の中身が、フレーズごとに切り替わることになる。このような制御により、カラオケ楽曲を歌唱するユーザは、アップロードされた多くの楽器演奏音及び演奏者画像を随時楽しみながら、歌唱を行えるようになる。なお、切り替えに係る一定期間はフレーズに限定されるものではなく、所定の時間(例えば、10秒又は20秒)ごとに切り替えを行う仕様にしてもよい。
なお、検索で該当した複数の楽器演奏音の中で、独奏フレーズの指定が付帯しているものがあれば、その独奏フレーズについては、図21(b)で説明したような制御をCPU11aは行うことになる。また、カラオケサーバ2での検索に対して異なる楽器パート(例えば、ギターパート及びドラムパート)のそれぞれで、楽器演奏音(例えば、ギターパートのギター演奏音と、ドラムパートのドラム演奏音)が複数該当した場合は、図21(c)と図21(d)を組み合わせた内容でCPU11aは制御を行うことになる。
図20の第5フローチャートに戻って説明を続けると、図15(a)のモード選択スタート画面63で共演モードスタートボタン63cが選択された場合(S51:共演モード)、CPU11aは、RAM11cからカラオケデータ、楽器演奏音、演奏者画像を読み出して、カラオケ楽曲及び楽器演奏音の再生処理、並びにカラオケ画像及び演奏者画像の表示処理を行うと共に、撮像デバイス11hで撮像した撮像画像(カラオケ楽曲を歌唱するユーザの歌唱者画像)の表示処理を行う(S53)。この再生・表示処理について、CPU11aが行う制御処理は、上述したS52の段階と同様であるが、S53の段階では歌唱を行うユーザの撮像、及びその撮像画像(歌唱者画像)の表示の処理が追加されたものになっている。
図17(a)は、S53の段階の表示例であり、一つの楽器パート(ギターパート)についてユーザによる楽器演奏音がある場合のカラオケ楽曲再生時の表示画面を示している。この画面では、カラオケ画像70a、楽曲歌詞70b、演奏者画像71(ギターを演奏するユーザの画像)及び撮像画像80(ユーザの歌唱者画像)が表示されたものになっており、詳しくは、カラオケ画像70aに重ねて演奏者画像71及び撮像画像80が表示される(その他の点は、図16(b)と同じである)。
図17(b)は、S53の段階の別の表示例であり、二つの楽器パート(ギターパート及びドラムパート)について二人のユーザによる楽器演奏音がある場合のカラオケ楽曲再生時の表示画面を示している。この画面では、第1の楽器演奏音に応じた演奏者画像71(ギターを演奏する第1のユーザの画像)、第2の楽器演奏音に応じた演奏者画像72(ドラムを演奏する第2のユーザの画像)、及び撮像画像80(ユーザの歌唱者画像)が並べて表示されたものになっていると共に、これら第1の演奏者画像71、第2の演奏者画像72及び撮像画像80はカラオケ画像70aに重ねられている。
カラオケ歌唱を行うユーザは、図17(a)、(b)に示すような内容が、表示装置18の表示パネル18aに表示されるのを見ながら歌唱することになるので、演奏者画像71等に加えて撮像画像80が存在することにより、演奏者と自身が共演しているようなイメージを味わうことができる。なお、カラオケサーバ2から三つ以上の楽器パートについての楽器演奏音及び演奏者画像が送られた場合も、それらの演奏者画像が並べて表示されることになる。
また、図22(a)〜(d)のタイムチャートは、S53の段階における再生処理が、カラオケサーバ2での検索結果により送られてくる楽器演奏音及び演奏者画像によって複数のパターンが生じることを示すものである。これら図22(a)〜(d)のタイムチャートは、上述した図21(a)〜(d)のタイムチャートに対応するものであるので詳細な説明は省略するが、異なる点は「撮像画像の表示」が追加されていることである。
再度、図20の第5フローチャートに戻って説明を続けると、S52又はS53の段階の次に、CPU11aはカラオケ楽曲の再生が終了したか否かを判断しており(S54)、再生が終了していない場合(S54:NO)、S52又はS53の段階の処理を続けることになり、再生が終了した場合(S54:YES)、CPU11aは、図15(b)の演奏評価画面64を表示する制御を行う(S55)。
CPU11aは、この演奏評価画面64で演奏データについて評価が行われたか否かを判断しており(S56)、評価が行われた場合(S56:評価あり)、その評価に係る点数をカラオケサーバ2へ送信する制御を行う(S57)。また、評価が行われなかった場合(S56:評価しない)、CPU11aは特に処理を行うことなく一連の処理を一旦終了する。
なお、本発明に係る内容は、上述した実施形態に限定されるものではなく、種々の変形例の適用が可能である。例えば、演奏データのアップロードにはカラオケ端末装置11等を使用する以外に、録音機能及び撮像機能を備えたコンピュータに、上述したカラオケプログラム14と同等のプログラムをインストールすることで、このようなコンピュータを用いてアップロードできるようにしてもよい。
また、仕様の簡易化を図る場合は、独奏フレーズの設定、検索条件の設定等は省略することも可能であり、更に仕様の簡易化を図る場合は、ユーザの歌唱者画像の撮像も省略してもよい。また、演奏者画像には、撮像デバイス11hで撮像した動画の画像を用いるのではなく、楽器を演奏する演奏者を撮像した静止画、演奏者を表すイラスト画像(演奏者を示すアバター画像も含む)、又はユーザを表すアイコン画像等を用いるようにしてもよく、このような例の各種演奏者画像には、予め画像ファイルとして存在するものを用いるようにしてもよい。
さらに、演奏者画像としては、予め画像ファイルとして存在するものを用いる場合、上述したように演奏データに含ませてカラオケサーバ2へアップロードする以外に、ユーザ登録の際又はユーザ登録している情報を変更する際、演奏者画像もユーザDB6へ登録しておき、後から、楽器演奏音を含む演奏データをアップロードする仕様にすることも可能である。
図23は、このような変形例に用いられるユーザDB6′を示しており、このユーザDB6′は、図5に示すユーザDB6に比べて、ユーザ画像が追加されていることが特徴になっている。このユーザ画像は、演奏者画像に相当する画像データであり、その中身としては、上述したように楽器を演奏するユーザを撮像した動画に加えて、静止画、イラスト画像、アイコン画像等を用いることが可能である。また、このようなユーザ画像(画像ファイル)は、周知のユーザ登録画面(カラオケサーバ2又は登録処理を行うサーバが提供する画面)において、演奏者画像に係る画像ファイルを指定することで、サーバへアップロードされて、ユーザDB6に格納されることになる。
また、図24(a)(b)は、このような変形例で用いられる演奏データ89、89′を示しており、これらの演奏データ89、89′は、図7(a)(b)に示す演奏データ9、9′に比べて、演奏者画像が含まれていないことが特徴になっている。なお、このような変形例の演奏データ89、89′を生成するため、カラオケ端末装置11のCPU11aは、上述した図18の第3フローチャートにおけるS37の段階の収録処理で、マイク16で集音した音声データを楽器演奏音としてRAM11cに随時記憶していく制御のみを行い、撮像デバイス11hでの動画撮像は行わず、S39の段階では、図24(a)(b)に示すフォーマットの演奏データ89、89′を送信することになる。その結果、動画撮像を行わないという点でカラオケ端末装置11の処理負担及びユーザの撮像負担は低減されると共に、送信する演奏データのデータ量も削減できるというメリットがある。
さらに、図25は、このような変形例において、カラオケサーバ2で生成されるアップロードDB7′を示しており、このアップロードDB7′は、図6に示すアップロードDB7に比べて、演奏者画像が格納されていないことが特徴になっている。このような変形例のアップロードDB7′を生成するため、カラオケサーバ2は、図8の第1フローチャートのS2の段階の演奏データのチェックにおいて、演奏データに演奏者画像が含まれていなくても、チェック結果に問題がないものとして判断し(S3:YES)、演奏データに含まれる楽器演奏音等をアップロードDB7′に格納して蓄積していくことになる。その結果、カラオケサーバ2では、演奏データを受信しても、逐次「演奏者画像」を記憶する処理が省略されるので、カラオケサーバ2の処理負担も低減できるというメリットがある。
さらにまた、カラオケサーバ2は、図9の第2フローチャートのS19の段階で、カラオケデータと共に、検索で該当した楽器演奏音と、その楽器演奏音に応じた演奏者画像を送信するために、検索結果に基づき送信対象となった楽器演奏音が対応付けられているユーザIDを図25のアップロードDB7′から特定し、その特定したユーザIDに対応付けられた演奏者画像(ユーザ画像)を図23のユーザDB6′から抽出して送信対象にする処理を行うことになる。
なお、このような処理を経て、カラオケデータと共に、楽器演奏音及び演奏者画像は、カラオケサーバ2からカラオケ端末装置11へ送信されることになり、これら送信されたものに対するカラオケ端末装置11での処理は、上記と同じである。以上のような変形例では、演奏者画像(ユーザ画像)はユーザDB6′に予め格納されているものを用いるので、各種処理を省略でき、ユーザの撮像負担も軽減されることから、より手軽に楽器演奏音を楽しむことが可能となる。
また、更なる変形例としては、上述した演奏データに演奏者画像を含ませない変形例と、演奏データに演奏者画像を含ませる実施形態とを組み合わせた内容にすることも可能である。この更なる変形例においては、楽器の演奏を行うユーザは、図23に示すユーザDB7′のように、演奏者画像(ユーザ画像)を予め登録しておくことになる。そして、演奏データをアップロードする際は、演奏データに演奏者画像を含ませるか否かは、ユーザ自身の選択に任せることになる。そのため、アップロードされてくる演奏者データの中身は、図7(a)(b)に示すようなフォーマットになる場合(演奏者画像を含む場合)もあれば、図24(a)(b)に示すようなフォーマット(演奏者画像を含まない場合)になることもある。
図26は、この更なる変形例で、カラオケサーバ2で生成されるアップロードDB7″を示しており、このアップロードDB7″は、図6に示すアップロードDB7及び図25に示すアップロードDB7′に比べて、演奏データIDごとに、演奏者画像が格納されているものと、格納されていないものが存在していることが特徴になっている。すなわち、図7(a)(b)に示すようなフォーマットの演奏データ9、9′を格納する場合は、演奏者画像も格納されることになり、一方、図24(a)(b)に示すようなフォーマットの演奏データ89、89′を格納する場合は、演奏者画像は演奏データ89、89′に含まれないことから、アップロードDB7″に格納されないことになる。
そして、この更なる変形例において、カラオケサーバ2は、図9の第2フローチャートのS19の段階で、カラオケデータと共に、検索で該当した楽器演奏音と、その楽器演奏音に応じた演奏者画像を送信する際、検索で該当した楽器演奏音に応じた演奏者画像がアップロードDB7″に格納されているいるか否かを判断し、格納されている場合は、その格納されている演奏者画像を送信対象にする。また、検索で該当した楽器演奏音に応じた演奏者画像がアップロードDB7″に格納されていない場合は、上述した変形例のように、ユーザIDによるヒモ付けで、ユーザDB6′から、演奏者画像(ユーザ画像)を抽出して送信対象にする。このような更なる変形例では、表示する演奏者画像として、撮像したものを用いるか、又は予めユーザDB6′に登録しておいたものを用いるかをユーザの希望に応じて柔軟に対応できるメリットがある。
また、図18、19に示す第3、4フローチャートに係る処理手順は、仕様に応じて適宜、順序を変更することも勿論可能である。例えば、上述した例で、図12(a)の独奏フレーズ指定画面52は、選択したカラオケ楽曲を演奏する際(演奏前)に表示するようにしていたが、演奏終了後に指定するようにしてもよい。このように演奏終了後に独奏フレーズを指定可能にした仕様では、演奏者自身が上手く演奏できたと感じたフレーズを演奏後に独奏フレーズとして指摘できるので好適である。なお、演奏前に独奏フレーズを指定する仕様の場合は、予め演奏者が独奏フレーズにしたいフレーズを決めている場合などに好適となる。
図27に示す第6フローチャートは、演奏終了後に独奏フレーズを指定する変形例の場合の処理手順を示すものであり、上述した図18の第3フローチャートの替わりに用いることができる。図27の第6フローチャートのS60〜S63までは、図18の第3フローチャートのS30〜S33と同じである。また、第6フローチャートでは、S63の段階の後に、CPU11aが図12(b)のスタート画面53を表示して、スタートボタン53bが選択されたか否かを判断する(S64)。
スタートボタン53bが選択されていない場合(S64:NO)、スタートボタン53bの選択待ちの状態となり、スタートボタン53bが選択された場合(S64:YES)、CPU11aは、RAM11cに記憶していたカラオケデータを読み出して、カラオケ楽曲の再生、カラオケ画像と楽曲歌詞の表示を行うと共に、ユーザによる楽器演奏の収録処理を行う(S65)。なお、このようなS64、65の処理は、図18の第3フローチャートのS36、37の処理と同じである。
カラオケデータの再生(収録処理)が終了すると、CPU11aは、図28(a)の変形例の収録確認画面65を表示し、アップロードボタン65a、やり直しボタン65b、又はプレビューボタン65cのいずれのボタンがユーザにより選択されるかを判断する(S66)。なお、アップロードボタン65a又はやり直しボタン65aが選択された場合は、図18の第3フローチャートの処理と同じになる。
また、プレビューボタン65cが選択された場合(S66:プレビュー)、CPU11aは、カラオケ楽曲及び収録された楽器演奏音を再生すると共に、この再生中、図28(b)に示す変形例の独奏フレーズ指定画面66を表示パネル18aに表示する(S67)。なお、このときのカラオケ楽曲の再生も、一緒に再生される楽器演奏音に応じた楽器パートがミュート(消音)される。
図28(b)の独奏フレーズ指定画面66は、選択可能な独奏フレーズ指定ボタン66aを具備しており、プレビューによる再生中に独奏フレーズ指定ボタン66aが選択されると、その選択された時に再生されているカラオケ楽曲のフレーズが独奏フレーズに指定されたものとして、そのフレーズ数を、CPU11aが独奏指定情報としてRAM11cに記憶する制御処理を行う(S68)。なお、図28(b)の独奏フレーズ指定画面66は、プレビュー再生中であれば、何度でも独奏フレーズボタン66aを選択できるようにしており、それにより、容易に独奏フレーズを複数箇所で指定できるようにしている。
また、独奏フレーズを指定してプレビュー再生が終了すると、再度、図28(a)の収録確認画面65が表示される段階へ戻る(S66)。そして、独奏フレーズの指定後にアップロードボタン65aが選択された場合(S66:アップロード)、図18の第3フローチャートの場合と同様に、CPU11aは、記憶された楽器演奏音及び演奏者画像等を含む演奏データを、図7(a)(b)に示すようなフォーマットでカラオケサーバ11へ送信する(S69)。なお、複数箇所で独奏フレーズが指定された場合は、図7(a)(b)に示すフォーマットの「独奏フレーズ」という項目の中に複数のフレーズ数が設定されることになる。
さらに、図19の第4フローチャートにおける処理手順に対しても、処理順序の変更が可能である。すなわち、図19の第4フローチャートでは、S40の段階の演奏モードの選択後に、S43の段階で検索の仕方を選んでから、S44又は47の段階でカラオケ楽曲を選択するようにしているが、モード選択の後にカラオケ楽曲を予約として選択してから、検索の仕方を選択することも可能であり、さらには、先にカラオケ楽曲を選択してから、その後にモード選択、検索の仕方の選択を順次行うようにすることも可能である。
図29に示す第7フローチャートは、図19の第4フローチャートの替わりに用いられる変形例の処理手順を示すものであり、モード選択の後にカラオケ楽曲を選択し、その後に検索の仕方を選択する処理手順になっている。この第7フローチャートは、最初のS70の段階で通常モードが選択され(S70:通常モード)、その後のS71、72へ進む処理については、図19の第4フローチャートのS40〜42と同じにしている。一方、最初のS70の段階で演奏モードが選択された場合(S70:演奏モード)、CPU11aは、カラオケ楽曲の選曲画面を表示する制御を行って、ユーザによるカラオケ楽曲の選曲を受け付け(S73)、受け付けたカラオケ楽曲を指定する楽曲指定情報をカラオケサーバ2へ送信する制御を行う(S74)。なお、カラオケサーバ2は、楽曲指定情報を受信すると、楽曲指定情報に応じたカラオケ楽曲の楽曲情報(カラオケ楽曲の曲名、歌手名・歌い出しを表す歌詞テキスト等)をカラオケ端末装置11へ送信することになり、カラオケ端末装置11は、このような楽曲情報を受信すると、選曲を受け付けたカラオケ楽曲を予約したことになり、予約に伴い、図30(a)に示す楽曲予約画面67を表示パネル18aに表示する(図29の第7フローチャートのS75)。
楽曲予約画面67は、選択可能なランダム検索ボタン67a及び条件検索ボタン67bを有しており、ランダム検索ボタン67aが選択されると、図29の第7フローチャートのS76の段階からランダム検索の方へ進むことになり(S76:ランダム検索)、また、条件検索ボタン67bが選択されると、S76の段階から条件検索の方へ進むことになる(S76:条件検索)。
ランダム検索の方へ進んだ場合(S76:ランダム検索)、CPU11aは、予約に係る係るカラオケ楽曲の曲ID、演奏モードフラグ、及びカラオケ楽曲の歌唱を行うユーザのユーザID等を含む楽曲指定情報をカラオケサーバ2へ送信する制御を行う(S77)。また、条件検索の方へ進んだ場合(S76:条件検索)、図19の第4フローチャートのS46の段階の場合と同様に、CPU11aは、図14(b)の検索条件選択画面62を表示する制御を行い、検索条件の選択を受け付け(S78)、それから、予約に係るカラオケ楽曲の曲ID、演奏モードフラグ、設定した検索条件、及びカラオケ楽曲の歌唱を行うユーザのユーザID等を含む楽曲指定情報をカラオケサーバ2へ送信する制御を行うことになる(S79)。
また、図31に示す第8フローチャートは、図19の第4フローチャートの替わりに用いられる別の変形例の処理手順を示すものであり、先にカラオケ楽曲を選択してから、モード選択、検索の仕方の選択を順次行う処理手順になっている。すなわち、最初にCPU11aが、ユーザによるカラオケ楽曲の選曲を受け付け(S80)、受け付けたカラオケ楽曲を指定する楽曲指定情報をカラオケサーバ2へ送信する制御を行い(S81)、この楽曲指定情報の送信により、カラオケ端末装置11は、カラオケサーバ2より送信される楽曲情報(楽曲指定情報に応じたカラオケ楽曲の楽曲情報)を受信して、選曲を受け付けたカラオケ楽曲を予約したことになる。そして、カラオケ端末装置11は、予約に伴い、図30(b)に示す楽曲予約画面68を表示パネル18aに表示する(S82)。
楽曲予約画面68は、選択可能な通常モードボタン68a及び演奏モードボタン68bを有しており、通常モードボタン68aが選択されると、図31の第8フローチャートのS83の段階から通常モードの方へ進むことになり(S83:通常モード)、また、演奏モードボタン68bが選択されると、S83の段階から演奏モードの方へ進むことになる(S83:演奏モード)。
通常モードへ進んだ場合(S83:通常モード)、CPU11aは、予約に係るカラオケ楽曲の曲ID及びカラオケ楽曲の歌唱を行うユーザのユーザID等を含む楽曲指定情報をカラオケサーバ2へ送信する制御を行う(S84)。また、演奏モードへ進んだ場合(S83:演奏モード)、CPU11aは、次に図30(a)の楽曲予約画面67を表示パネル18aに表示し(S85)、この後のS86〜88の処理内容は、上述した図29の第7フローチャートのS77〜79と同じになる。以上のように、図19の第4フローチャートの処理手順は、図29、31の第7、8フローチャートに示す処理手順に変更することも可能であるので、本発明は様々な仕様に応じた処理手順に適応できる。
また、カラオケ楽曲の再生時に演奏者画像を表示する画面内容も、図16(a)に示す形態以外に、図32に示すように、演奏者画像71(ギターを演奏するユーザの画像)を表示パネル18aに全画面的に表示すると共に、表示パネル18aの下方で演奏者画像71に重畳して楽曲歌詞70bを表示するようにしてもよい。この図32に示す形態では、カラオケ画像(通常のカラオケの背景画像)が表示されないことから、カラオケサーバ2は、演奏者画像71をカラオケ端末装置11へ送信する場合、カラオケ画像の送信を省略して、送信に要するデータ量を削減し処理負担の低減を図ってもよい。なお、カラオケ画像の送信を省略することは、図16(b)、図17(a)(b)に示すように、複数の演奏者画像等を表示する場合にも適用でき、その場合には、各演奏者画像等の周囲は白一色又は黒一色等の表示にする。
さらにまた、カラオケ端末装置11が、いわゆるマルチディスプレイに対応し、例えば、図33に示すように、カラオケ端末装置11が変形例の映像出力デバイス11g′を具備し、この映像出力デバイス11g′が、第1表示装置18′及び第2表示装置19′との接続を可能にすると共に、各表示装置18′、19′へ異なる内容を出力できる仕様であれば、様々な表示形態を実現することができる。
具体的には、第1表示装置18′に演奏者画像を表示すると共に、第2表示装置19′にカラオケ画像及び楽曲歌詞を表示する形態を提供することが可能である。また、それ以外にも、第1表示装置18′と第2表示装置19′の表示内容を同じにする形態、第1表示装置18′に演奏者画像を表示すると共に、第2表示装置19′に歌唱者画像を表示する形態(表示内容を逆にすることも勿論可能)も可能である。さらには、カラオケ楽曲の進行に合わせて、前奏時、間奏時、及び後奏等の歌唱時以外は第1表示装置18′に演奏者画像を表示すると共に、第2表示装置19′には歌唱者画像を表示しておき、再生が歌唱時に変わると、各表示装置18′、19′の表示内容を切り替え、第1表示装置18′に歌唱者画像を表示し、第2表示装置19′に演奏者画像を表示するようにしてもよい。
さらにまた、表示すべき演奏者画像が複数ある場合で、カラオケ楽曲のフレーズ中で、主となって演奏する楽器パートがフレーズごとに適宜切り替わるときは、再生中のフレーズで主となる演奏に係る演奏者画像を第1表示装置18′に表示し、残りの演奏者画像は第2表示装置19′に表示し、主となる演奏に係る楽器パートが変わるごとに、第1表示装置18′の表示内容を主の演奏に係る演奏者画像に適宜切り替わるように表示制御を行うようにしてもよい。
なお、上述した第1表示装置18′及び第2表示装置19′は異なる画面サイズのものを用いることも可能であり、画面サイズが異なる場合は、小さい方の画面サイズのものを第2表示装置19′として用いるようにする。また、小さい方の画面サイズのものを第2表示装置19′として用いる場合には、カラオケ端末装置11の装置本体に取り付けられるタッチパネル式の表示装置を第2表示装置19′に利用することもでき、このようなタッチパネル式の表示装置はリモコン装置のように様々な操作をユーザから受け付けられると共に、カラオケ画像及び楽曲歌詞も表示可能にすることで、ユーザの手元で様々な内容を確認できるメリットがある。
さらに、上述した実施例及び変形例等におけるカラオケ楽曲の再生について、カラオケ端末装置11が、マイナスワン機能を働かせ、所定の楽曲パートをミュート(消音)する内容で説明したが、ミュート以外にも、その対象となる所定の楽曲パートの音量を他の楽器パートの音量より低下するように制御してもよい(マイナスワン的な機能に相当)。
すなわち、カラオケ端末装置11は、カラオケ楽曲に含まれる各楽器パートの音量を、通常、10段階のレベルにおける「8」のレベルで出力することをデフォルト(基準音量)にしている場合、対象となる楽曲パートの音量をミュートするのではなく、基準音量より下げた「1」〜「3」のレベルで出力するようにしてもよい。このように小音量で出力すれば、正規の楽器パートの楽器音がかすかに聞こえる状況となるので、収録時の案内的な楽器音として用いることができるので好適となる。そして、このようなマイナスワン的な機能を働かせる(ミュートせずに基準音量より小音量にする)のは、楽器演奏音の収録を行う場合のカラオケ楽曲の再生時、演奏モードにおけるカラオケ楽曲の再生時、検索により複数の楽器演奏音が該当して、それらの各楽器演奏音を再生する場合、独奏フレーズでカラオケ楽曲を再生する場合などに適用可能である。