JP2006119360A - 画像データに加工処理を施すためのデータ処理装置およびプログラム - Google Patents

Abstract

【課題】 楽曲データによる楽曲の再生と同時に画像の表示を行う場合において、ユーザの好みやその場の雰囲気を反映した画像表示を可能とする。
【解決手段】 サウンドトラック再生部は、サウンドトラックに従い音源部にイベントデータを送信することにより、カラオケ楽曲の自動演奏を行わせる。一方、ビジュアルトラック再生部は、サウンドトラック再生部の処理に同期して、ビジュアルトラックに従い、移動動作制御部およびカメラ動作制御部にイベントデータを送信することにより、カメラ移動装置およびビデオカメラの動作を制御する。さらに、ビジュアルトラック再生部は、ビジュアルトラックに従い、動画データ再生部、文字画面生成部および画像データ加工処理部にイベントデータを送信することにより、画像ソースの選択、歌詞表示、ガイド表示、選択された画像ソースに対する加工処理等を行わせる。
【選択図】 図５

Description

本発明は、画像データに加工処理を施すためのデータ生成技術に関する。

楽曲の自動演奏と同時に画像を表示する技術がある。例えば、一般的なカラオケ装置の多くは、カラオケ楽曲の再生と同時に、歌詞および歌詞の背景画像を表示する機能を有している。カラオケ装置が歌詞の表示を行う際には、ユーザがその時点で歌唱すべき歌詞を容易に知ることができるように、再生されるカラオケ楽曲の進行に応じて、適切なタイミングで表示内容を変更する必要がある。

上述したカラオケ装置のように、楽曲の再生と画像の表示等の同期を実現するための技術を開示している文献として、例えば特許文献１がある。
特開平６−２４５２０８号公報

従来技術によるカラオケ装置においては、予め準備された動画データや静止画データ（以下、動画データおよび静止画データを総称して「画像データ」と呼ぶ）を用いるため、（ａ）同じカラオケ楽曲の再生においては毎回、同じ画像表示が行われ、ユーザが退屈する、（ｂ）必ずしもユーザの好みやその場の雰囲気に適した画像表示が行われるとは限らない、（ｃ）ユーザの指示等によりカラオケ楽曲の再生速度に変化が加えられた場合、これに合わせて動画の再生速度までも変更されるため、表示される画像が不自然なものになる場合がある、といった問題があった。

上記の状況に鑑み、本発明は、楽曲データによる楽曲の再生と同時に画像の表示を行う場合において、ユーザが退屈しない画像表示を可能とする手段を提供することを目的とする。また、本発明は、楽曲データによる楽曲の再生と同時に画像の表示を行う場合において、ユーザの好みやその場の雰囲気を反映した画像表示を可能とする手段を提供することを目的とする。さらに、本発明は、楽曲データによる楽曲の再生と同時に画像の表示を行う場合において、楽曲の再生速度に変化が生じた場合であっても、自然な画像表示を可能とする手段を提供することを目的とする。

上記課題を達成するために、本発明は、楽曲データと、画像データに対する加工処理を指示する加工処理指示データと、前記楽曲データにより再生される楽曲における前記加工処理が実行されるべきタイミングを示す加工処理タイミングデータを記憶する記憶手段と、前記楽曲データを楽曲として再生する再生手段と、前記再生手段による前記楽曲データの再生中に画像データを受信する受信手段と、前記楽曲における前記加工処理タイミングデータにより示されるタイミングに合わせて、前記受信手段により受信された画像データに、前記加工処理指示データにより指示される加工処理を施す加工手段とを備えることを特徴とするデータ処理装置を提供する。

かかる構成のデータ処理装置によれば、受信手段により順次受信される画像データに対し、楽曲データにより再生される楽曲に応じた適切なタイミングで、適切な加工処理が自動的に行われる。

好ましい態様において、前記記憶手段は、１以上の画像データと、前記１以上の画像データの各々の属性を示す属性データを記憶し、前記データ処理装置は、前記加工処理指示データと前記属性データに基づき、前記記憶手段に記憶された前記１以上の画像データから１の画像データを選択する選択手段を備え、前記加工手段は、前記選択手段により選択された画像データを用いて、前記受信手段により受信された画像データに加工処理を施す構成としてもよい。

かかる構成のデータ処理装置によれば、受信手段により順次受信される画像データに対する加工処理において、予め記憶されている画像データのうち楽曲の進行に応じた適切な内容のものが用いられる結果、ユーザをより楽しませる画像を示す画像データが生成される。

他の好ましい態様において、前記記憶手段は、画像データを生成して前記受信手段に供給する撮像装置に対する動作制御を指示する動作制御指示データと、前記楽曲データにより再生される楽曲における前記動作制御が実行されるべきタイミングを示す動作制御タイミングデータを記憶し、前記データ処理装置は、前記楽曲における前記動作制御タイミングデータにより示されるタイミングに合わせて、前記撮像装置に対し、前記動作制御指示データにより指示される動作制御を行う制御手段を備える構成としてもよい。

また、前記記憶手段は、画像データを生成して前記受信手段に供給する撮像装置に対する動作制御を指示する動作制御指示データと、前記楽曲データにより再生される楽曲における前記動作制御が実行されるべきタイミングを示す動作制御タイミングデータを記憶し、前記データ処理装置は、前記楽曲における前記動作制御タイミングデータにより示されるタイミングに合わせて、前記撮像装置に対し、前記動作制御指示データを送信する送信手段を備える構成としてもよい。

かかる構成のデータ処理装置によれば、受信手段により順次受信され、加工手段により加工処理の施される画像データを生成する撮像装置に対し、楽曲に応じた適切なタイミングで適切な動作制御が行われる結果、ユーザをより楽しませる画像を示す画像データが生成される。

他の好ましい態様において、前記記憶手段は、画像データを生成して前記受信手段に供給する撮像装置の位置もしくは方向を変更する移動装置に対する動作制御を指示する動作制御指示データと、前記楽曲データにより再生される楽曲における前記動作制御が実行されるべきタイミングを示す動作制御タイミングデータを記憶し、前記データ処理装置は、前記楽曲における前記動作制御タイミングデータにより示されるタイミングに合わせて、前記移動装置に対し、前記動作制御指示データにより指示される動作制御を行う制御手段を備える構成としてもよい。

また、前記記憶手段は、画像データを生成して前記受信手段に供給する撮像装置の位置もしくは方向を変更する移動装置に対する動作制御を指示する動作制御指示データと、前記楽曲データにより再生される楽曲における前記動作制御が実行されるべきタイミングを示す動作制御タイミングデータを記憶し、前記データ処理装置は、前記楽曲における前記動作制御タイミングデータにより示されるタイミングに合わせて、前記移動装置に対し、前記動作制御指示データを送信する送信手段を備える構成としてもよい。

かかる構成のデータ処理装置によれば、受信手段により順次受信され、加工手段により加工処理の施される画像データを生成する撮像装置が、楽曲に応じた適切なタイミングで適切な位置や方向に設置される結果、ユーザをより楽しませる画像を示す画像データが生成される。

他の好ましい態様において、前記記憶手段は、複数の加工処理指示データおよび前記複数の加工処理指示データに各々対応する複数の加工処理タイミングデータの組を複数組記憶し、前記加工手段は、前記複数組のうち１の組に含まれるデータに従って前記受信手段により受信された画像データに対し加工処理を施すと同時に、前記複数組のうち他の組に含まれるデータに従って前記受信手段により受信された画像データに対し加工処理を施すことにより、異なる画像データを同時生成する構成としてもよい。

かかる構成のデータ処理装置によれば、例えば異なるユーザの各々に対し、異なる加工処理の施された画像を示す画像データが生成される。

他の好ましい態様において、前記記憶手段は、複数の加工処理指示データおよび前記複数の加工処理指示データに各々対応する複数の加工処理タイミングデータの組を複数組記憶し、前記加工手段は、前記複数組の中から選択された１の組に含まれるデータに従って前記受信手段により受信された画像データに対し加工処理を施す構成としてもよい。

かかる構成のデータ処理装置によれば、例えばユーザにより選択された加工処理タイミングデータの組に従った加工処理が行われる結果、ユーザの好みに適合する画像を示す画像データが生成される。

他の好ましい態様において、前記受信手段は、複数の画像データを同時に受信し、前記記憶手段は、前記受信手段により受信された複数の画像データのうち１の画像データの選択を指示する選択指示データと、前記楽曲データにより再生される楽曲における前記選択が実行されるべきタイミングを示す選択タイミングデータを記憶し、前記加工手段は、前記楽曲における前記選択タイミングデータにより示されるタイミングに合わせて、前記選択指示データにより指示される画像データに対し前記加工処理を施す構成としてもよい。

かかる構成のデータ処理装置によれば、受信手段により複数の撮像装置から同時に受信される画像データのうち、楽曲に応じた適切なタイミングで適切な画像データが選択される結果、ユーザをより楽しませる画像を示す画像データが生成される。

他の好ましい態様において、前記加工手段は、前記再生手段による前記楽曲データの再生速度の変化に応じて、前記加工処理のタイミングおよび前記加工処理の速度の少なくとも一方を変化させる構成としてもよい。

かかる構成のデータ処理装置によれば、画像データに対する加工処理のタイミングや速度が楽曲に応じて変化すべき内容である場合に、楽曲データの再生速度が変化した場合であっても、適切なタイミングおよび速度で加工処理が行われる結果、不自然な画像を示す画像データが生成されることがない。

他の好ましい態様において、前記加工手段は、前記再生手段による前記楽曲データの再生速度が変化された場合、前記加工処理のタイミングおよび前記加工処理の速度のいずれも変化させることなく前記受信手段により受信された画像データに対し前記加工処理を施す構成としてもよい。

かかる構成のデータ処理装置によれば、画像データに対する加工処理のタイミングおよび速度が楽曲に応じて変化すべきでない内容である場合に、楽曲データの再生速度が変化した場合であっても、適切なタイミングおよび速度で画像データに加工処理が施される結果、不自然な画像を示す画像データが生成されることがない。

他の好ましい態様において、前記記憶手段は動画データを記憶し、前記加工手段は、前記再生手段による前記楽曲データの再生速度が変化された場合、前記楽曲データの再生速度の変化に応じて変更された速度で前記動画データを再生することにより順次得られる画像データを用いて、前記受信手段により受信された画像データに加工処理を施す構成としてもよい。

かかる構成のデータ処理装置によれば、画像データに対する加工処理において用いられる動画データの再生速度が、楽曲に応じて変化すべき内容である場合に、楽曲データの再生速度が変化した場合であっても、適切な速度で動画データの再生が行われる結果、不自然な画像を示す画像データが生成されることがない。

他の好ましい態様において、前記記憶手段は動画データを記憶し、前記加工手段は、前記再生手段による前記楽曲データの再生速度が変化された場合、前記楽曲データの再生速度の変化にかかわらず一定の速度で前記動画データを再生することにより順次得られる画像データを用いて、前記受信手段により受信された画像データに加工処理を施す構成としてもよい。

かかる構成のデータ処理装置によれば、画像データに対する加工処理において用いられる動画データの再生速度が、楽曲に応じて変化すべきでない内容である場合に、楽曲データの再生速度が変化した場合であっても、適切な速度で動画データの再生が行われる結果、不自然な画像を示す画像データが生成されることがない。

また、本発明は、上記のデータ処理装置による処理を、コンピュータに実行させることを特徴とするプログラムを提供する。

［１．第１実施形態］
［１．１．カラオケシステムの構成］
図１は、本発明の第１実施形態にかかるシステム（以下、「カラオケシステム１」と呼ぶ）の構成を示している。カラオケシステム１は、カラオケ装置１０、カラオケ装置１０に対しユーザが指示を与えるためのコントローラ１１、ユーザの声を拾音しその声を示す音信号をカラオケ装置１０に出力するマイク１２ａおよびマイク１２ｂ、カラオケ装置１０から出力される音信号を増幅するアンプ１３、アンプ１３から出力される音信号を音に変換し出力するスピーカ１４Ｌおよびスピーカ１４Ｒ、撮像した画像を示す画像信号を順次生成し出力するビデオカメラ１５ａ〜ｅおよびハンドカメラ１６、ビデオカメラ１５ａ〜ｅの位置をモータ等により各々変化させるカメラ移動装置１７ａ〜ｅ、カラオケ装置１０から出力される画像データに従い画像表示を行うディスプレイ１８ａおよびディスプレイ１８ｂ、そしてカラオケ装置１０から出力されるデータをフラッシュメモリ等の記憶媒体に記憶するメディアドライブ１９を備えている。また、カラオケ装置１０はインターネット２０に接続されている。

カラオケシステム１は、上記のようにマイク１２、スピーカ１４、ビデオカメラ１５、カメラ移動装置１７およびディスプレイ１８をそれぞれ複数備えているが、以下、複数の同種の構成部を区別する必要がない場合には、単にマイク１２のように呼ぶ。また、カラオケシステム１が備えるマイク１２等の数は例示であり、自由に変更可能である。さらに、例えばハンドカメラ１６を複数設けるなど、他の構成部の数も自由に変更可能である。

図２はカラオケシステム１がカラオケルームに設置された様子を示している。マイク１２ａおよびマイク１２ｂはそれぞれメインマイクおよびサブマイクであり、歌唱者が１人の場合はメインマイクのみが用いられ、歌唱者が２人の場合にはメインマイクとサブマイクが用いられる。ビデオカメラ１５ａは主として歌唱者を撮像する。一方、ビデオカメラ１５ｂ〜ｅは主として観衆をそれぞれ異なる角度から撮像する。ディスプレイ１８ａは主として歌唱者に対する表示を行う。一方、ディスプレイ１８ｂは主として観衆に対する表示を行う。

図１に戻り、カラオケ装置１０の構成を説明する。カラオケ装置１０は記憶部１０１、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０２および制御部１０３を備えている。記憶部１０１は、制御部１０３による各種処理を指示するプログラムを予め記憶し、また制御部１０３により生成されるデータを一時的に記憶する。さらに、記憶部１０１は予め、複数のカラオケデータ１０１１を記憶している。

以下、記憶部１０１に記憶される各種データを説明する。図３は、カラオケデータ１０１１の構成を模式的に示している。カラオケデータ１０１１は、カラオケ楽曲の自動演奏および歌詞表示を指示するデータである。カラオケデータ１０１１は、管理データ、サウンドトラック、１以上のビジュアルトラックおよびソースデータを含んでいる。管理データは、カラオケデータを識別するための識別番号、楽曲名、楽曲ジャンル名およびカラオケデータに含まれるビジュアルトラックの名称を示すデータである。

サウンドトラックは、カラオケ楽曲の自動演奏を指示する演奏制御データであり、例えばＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）形式のデータである。図４は、サウンドトラックの内容を例示している。ただし、図４においては、説明のため、ＳＭＦの表現形式を簡便化している。サウンドトラックは、互いに対応付けられたタイミングデータとイベントデータからなるタイミング付イベントデータを複数、含んでいる。タイミングデータは、楽曲におけるタイミングを示すデータである。サウンドトラックに含まれるイベントデータは、楽音の発音に関する指示および発音される音に対する効果付加の指示を行うデータである。

例えば、［０ｈ００ｍ０１ｓ２５０ｍｓ］−［ノートオン：１ｃｈ：Ｄ４：７４］は、楽曲の演奏開始から１秒２５０ミリ秒後に第１のチャンネルに割り当てられた音色の音高Ｄ４の楽音を、音強７４で発音することを指示している。ここで、チャンネルとは楽曲に含まれる個々の演奏パートのことである。また、例えば［０ｈ００ｍ０１ｓ１００ｍｓ］−［ディレイ：１ｃｈ：０．５秒］は、楽曲の演奏開始から１秒１００ミリ秒後に第１のチャンネルの音に対し０．５秒のディレイ効果を付加することを指示している。また、例えば［０ｈ００ｍ０４ｓ１３０ｍｓ］−［再生：３ｃｈ：Ｓ５１４．ｗａｖ］は、楽曲の演奏開始から４秒１３０ミリ秒後に第３のチャンネルとして、ファイル名がＳ５１４．ｗａｖである音データの再生を行うことを指示している。

ビジュアルトラックは、カラオケ楽曲の自動演奏中に表示される画像を示す画像データの生成動作の制御および生成された画像データの加工処理を指示するデータである。図５はビジュアルトラックの内容を時間軸を横方向にとって模式的に示した図である。また、図５は、ビジュアルトラックとサウンドトラックの時間的な関係を示すため、サウンドトラックも併せて示している。

図５において、サウンドトラックに付されている縦の破線は、イントロ、Ａメロ等のカラオケ楽曲に含まれるセクションの区切りタイミングを示している。また、星印（★）は、カラオケ楽曲における特徴箇所のタイミングを示している。特徴箇所とは、例えばカラオケ楽曲において最も盛り上がる箇所などである。そのような特徴箇所においては、通常、歌唱者が決めポーズを取ることが多い。図５において示されるサウンドトラックに付された破線や星印はビジュアルトラックの説明のために付されたものであり、サウンドトラックには必ずしもそれらを示すデータが含まれている必要はない。

ビジュアルトラックは、歌唱者のための表示を指示するための歌唱者用テンプレートと、観衆のための表示を指示するための観衆用テンプレートを含んでいる。歌唱者用テンプレートは、背景レイヤ、歌詞レイヤおよびガイドレイヤを含んでいる。歌唱者用テンプレートの背景レイヤは背景画像を決定するためのレイヤで、カラオケ楽曲におけるいずれのタイミングで、いずれのソースによる画像の表示を開始するかを指示するデータである。図６は、歌唱者用テンプレートの背景レイヤの内容を例示している。以下の説明において、ａカメ〜ｅカメは、それぞれビデオカメラ１５ａ〜ビデオカメラ１５ｅの略称であり、ｈカメはハンドカメラ１６の略称である。歌唱者用テンプレートの背景レイヤは、サウンドトラックと同様に複数のタイミング付イベントデータを含んでいる。例えば、［０ｈ００ｍ２２ｓ７２４ｍｓ］−［ａカメ］は、楽曲の演奏開始から２２秒７２４ミリ秒後に背景画像としてビデオカメラ１５ａから送信される画像データを表示することを指示している。この背景レイヤの指示に従い表示される背景画像により、歌唱者は自分自身が撮影されている様子を確認しながら歌唱を行うことができる。

歌詞レイヤは、背景画像の上にスーパーインポーズされるカラオケ楽曲の歌詞表示を指示するデータである。図７は、歌詞レイヤの内容を例示している。歌詞レイヤは、演奏制御データと同様に複数のタイミング付イベントデータを含んでいる。例えば、［０ｈ００ｍ１７ｓ７２４ｍｓ］−［表示：さ：（１２０，１８０）：黄］は、楽曲の演奏開始から１７秒７２４ミリ秒後に画面上の座標（１２０，１８０）の位置に「さ」という文字を黄で表示させることを指示している。

ガイドレイヤは、背景画像および歌詞表示の上にスーパーインポーズされる文字表示を指示するデータであり、その形式は歌詞レイヤ（図７参照）と同様である。ガイドレイヤにより表示される文字は、歌唱者に対し、次にどのビデオカメラ１５が歌唱者を主として撮影するか、またどのタイミングで撮影の切り替えが行われるかといった情報を歌唱者に知らせるためのガイドである。例えば、ガイドレイヤは、楽曲の開始と同時に「現在、ｃカメで撮影中です。」といったガイドの表示を指示するデータを含んでいる。また、ガイドレイヤは、ビデオカメラ１５の撮影の切り替えタイミング直前において「次はａカメで撮影されます。３、２、１！」といったガイドの表示を指示するデータを含んでいる。ここで、「３、２、１！」の部分は順次色の変更等が行われ、切り替えタイミングに対しカウントダウンが行われるようになっている。

歌唱者用テンプレートの背景レイヤに従って行われるソースの切り替えタイミング、歌詞レイヤおよびガイドレイヤに従って行われる文字表示のタイミングは、サウンドトラックに従ったカラオケ楽曲の演奏速度に変更が加えられた際にはそれに伴い変更され、それらのタイミングがカラオケ楽曲の進行とずれることはない。カラオケ楽曲の演奏速度に変更が加えられた際にカラオケ装置１０により文字表示等のタイミングが如何に調整されるかについては後述する。以上が歌唱者用テンプレートである。

観衆用テンプレートは、背景レイヤ、第１レイヤおよび第２レイヤを含んでいる。ただし、このレイヤ数は例示である。背景レイヤは表示画面の背景画像を指示するデータであり、第１レイヤは背景画像の上にスーパーインポーズされる表示画面を、また第２レイヤは背景画像および第１レイヤの上にスーパーインポーズされる表示画面を指示するデータである。

観衆用テンプレートの背景レイヤは、ソース、カメラ位置、ズームおよび色調といった４種類のシーケンスデータを含んでいる。これらの４種類のシーケンスデータは同一トラックのデータ群としてカラオケデータ１０１１に含まれていてもよいが、以下の説明においては各種類に応じて区分された複数トラックのデータ群としてカラオケデータ１０１１に含まれているものとする。

図８は、観衆用テンプレートの背景レイヤの内容を例示している。観衆用テンプレートの背景レイヤには複数のタイミング付イベントデータが上記の種類毎に区分されて含まれているが、観衆用テンプレートの背景レイヤに含まれるタイミング付イベントデータは、歌唱者用テンプレートの背景レイヤにおけるものとは異なり、開始タイミングデータ、終了タイミングデータ、時間データ、途中ポイントおよび途中タイミングデータがイベントデータに対応付けられたものである。

観衆用テンプレートの背景レイヤに含まれるタイミング付イベントデータは、イベントデータにより示される処理のタイミングおよび継続期間を、開始タイミング、終了タイミング、時間および途中タイミングの組合せにより特定する。例えば、ソースに関する［０ｈ００ｍ００ｓ０００ｍｓ］［０ｈ００ｍ２２ｓ７２４ｍｓ］［−］［−］［−］［Ｓ７１３．ｊｐｅｇ］（順に、開始タイミングデータ、終了タイミングデータ、時間データ、途中ポイント、途中タイミングデータおよびイベントデータ。以下同様。）は、開始タイミングデータ［０ｈ００ｍ００ｓ０００ｍｓ］と終了タイミングデータ［０ｈ００ｍ２２ｓ７２４ｍｓ］により特定される期間において、イベントデータにより特定されるファイルのデータに基づく画像を表示することを指示している。ここで、「Ｓ７１３．ｊｐｅｇ」は、拡張子「ｊｐｅｇ」より静止画を示すデータのファイル名であることが分かる。図５において、観衆用テンプレートに付されている黒丸は、その位置により示されるタイミングがタイミング付イベントデータにより指定されていることを示している。

また、同様に、ソースに関する［０ｈ００ｍ２２ｓ７２４ｍｓ］［０ｈ０１ｍ１５ｓ７４８ｍｓ］［−］［−］［−］［｛Ｓ１５１．ｍｐｅｇ｝］は、開始タイミングデータ［０ｈ００ｍ２２ｓ７２４ｍｓ］と終了タイミングデータ［０ｈ０１ｍ１５ｓ７４８ｍｓ］により特定される期間において、イベントデータにより特定されるファイルのデータに基づく画像を表示することを指示している。ここで、「Ｓ１５１．ｍｐｅｇ」は、拡張子「ｍｐｅｇ」より動画を示すデータのファイル名であることが分かる。また、この場合、イベントデータにおいて、｛Ｓ１５１．ｍｐｅｇ｝のように｛｝が付されている。この｛｝は、カラオケ楽曲の再生速度に変更が加えられた場合であっても、イベントデータにより示される動画データの再生速度は一定であるべきことを示している。一方、イベントデータに｛｝が付されていない場合、動画データの再生速度はカラオケ楽曲の再生速度に応じて変更されるべきであることを示している。

この｛｝は、動画データの再生に限られず、他の画像エフェクト等における速度を固定したい場合にも用いられる。例えば、画像を小ブロックに複数表示させ、それらの小ブロックを画面の上から下に桜の花びらが舞うように移動させる画像エフェクト（以下、「桜吹雪」と呼ぶ）がイベントデータにより指定されている場合、そのイベントデータが［｛桜吹雪｝］となっていれば、小ブロックの移動速度はカラオケ楽曲の再生速度に左右されない。一方、そのイベントデータが［桜吹雪］となっていれば、小ブロックの移動速度はカラオケ楽曲の再生速度に応じて変更される。

また、例えば、ソースに関する［０ｈ０１ｍ５３ｓ６２２ｍｓ］［−］［１２秒］［−］［−］［→ｂカメ：ワイプ］は、開始タイミングデータ［０ｈ０１ｍ５３ｓ６２２ｍｓ］により特定される開始点から時間データ［１２秒］により特定される時間が経過するまでの期間において、画像ソースを、先行するイベントデータにより示されるソースからｂカメ、すなわちビデオカメラ１５ｂに切り替え、その切り替えの際にそれらの画像ソースにワイプ処理を施すことを指示している。

また、例えば、カメラ位置に関する［０ｈ００ｍ００ｓ０００ｍｓ］［０ｈ００ｍ２２ｓ７２４ｍｓ］［−］［−］［−］［１→９］は、開始タイミングデータ［０ｈ００ｍ００ｓ０００ｍｓ］と終了タイミングデータ［０ｈ００ｍ２２ｓ７２４ｍｓ］により特定される期間において、ソースに関するタイミング付イベントデータによりその時点でソースとして用いられているビデオカメラ１５の位置を「１」のポジションから「９」のポジションに移動することを指示している。以下の説明において、カメラ位置に関するイベントデータは「１」〜「９」のいずれかの整数値をとるものとし、ポジションを示す数値の増加に伴い、ビデオカメラ１５ａについては下から上に、ビデオカメラ１５ｂ〜ｅについては右から左に、位置が移動するものとする。図８のデータ例に従えば、カラオケ楽曲の開始時点から２２秒７２４ミリ秒後までの期間に、ｃカメ、すなわちビデオカメラ１５ｃが最も右の位置から最も左の位置に移動することになる。カメラ位置に関するイベントデータが、たとえば「１」のように矢印（→）を伴わない場合、ビデオカメラ１５はそのイベントデータにより示される位置から移動しないことになる。

また、例えば、ズームに関する［０ｈ０１ｍ５３ｓ６２２ｍｓ］［−］［−］［−］［−］［３］は、開始タイミングデータ［０ｈ０１ｍ５３ｓ６２２ｍｓ］により示されるタイミング以降、後続のタイミング付イベントデータにより異なる指示が行われるまでの期間において、ソースに関するタイミング付イベントデータによりその時点でソースとして用いられているビデオカメラ１５のズーム倍率を「３」に維持することを指示している。以下の説明において、ズームに関するイベントデータは「１」〜「９」のいずれかの整数値をとるものとし、より大きな整数値は、より高いズーム倍率を示すものとする。

また、例えば、ズームに関する［−］［０ｈ０２ｍ２７ｓ７０９ｍｓ］［｛１０秒｝］［−］［−］［→５］は、終了タイミングと時間によりビデオカメラ１５のズームの変更時期および変更速度を指定している。すなわち、このタイミング付イベントデータは、先行するズームに関するイベントデータにより示されるズーム倍率から、「５」で示されるズーム倍率に１０秒間かけてズームインの動作を行い、そのズームイン動作の終了タイミングが、カラオケ楽曲の先頭から２分２７秒７０９ミリ秒後のタイミングとなるようにズームインを開始することを指示している。従って、このタイミング付イベントデータに従い、ビデオカメラ１５はカラオケ楽曲の先頭から２分１７秒７０９ミリ秒後のタイミングにズームインの動作を開始することになる。また、時間データに付されている｛｝は、時間データにより示される動作の時間、すなわち１０秒間が、カラオケ楽曲の再生速度の変更に左右されず一定であるべきことを示している。図５において、時間が固定されているタイミング付イベントデータを示すブロックには、双方向の矢印が付されている。

また、例えば、色調に関する［−］［−］［２０秒］［５：５］［０ｈ０１ｍ１５ｓ７４８ｍｓ］［→モノクロ］は、途中タイミングデータ［０ｈ０１ｍ１５ｓ７４８ｍｓ］により特定される途中タイミングの前から後にかけて、時間データ［２０秒］により特定される時間を要して、表示画面の色調を、先行するイベントデータにより示される色調からモノクロに変更することを指定している。途中ポイントデータ［５：５］は、時間データ［２０秒］により示される期間を５：５に内分するタイミングが途中タイミングとなるべきであることを示している。すなわち、このタイミング付イベントデータに従い、表示される色調は［０ｈ０１ｍ１５ｓ７４８ｍｓ］で示されるタイミングの１０秒前から［０ｈ０１ｍ１５ｓ７４８ｍｓ］で示されるタイミングの１０秒後にかけて変更されることになる。

色調に関するイベントデータには、例えば、［セピア］、［カラー］、［モノクロ］等が用いられる。また、色調に関するイベントデータには、［青３］、「明１］等のように「１」〜「９」のうちのいずれかの整数値を伴うものも用いられる。例えば［青３］は、青の要素を「３」で示される程度に調整したカラーを示している。また［明１］は、「１」で示される明度の表示を示している。以上が観衆用テンプレートの背景レイヤである。

観衆用テンプレートの第１レイヤは、観衆用テンプレートの背景レイヤと同様に、ソース、カメラ位置、ズームおよび色調に関するシーケンスデータを含んでいる。それらに加え、観衆用テンプレートの第１レイヤは、サイズおよび表示位置に関するシーケンスデータを含んでいる。背景レイヤにより表示指示のなされる背景画面は、サイズは画面全体に固定されており、その位置も変更されることがないため、背景レイヤはサイズおよび表示位置に関するシーケンスデータを含む必要がない。一方、背景レイヤ以外のレイヤに関しては、そのサイズおよび表示位置を変更することが可能であり、それらを指示するためのシーケンスデータが準備されている。

観衆用テンプレートの第１レイヤに含まれるデータの形式は、観衆用テンプレートの背景レイヤに含まれるデータの形式と同様であるので、その説明を省略する。従って、以下、サイズおよび表示位置に関するイベントデータの内容についてのみ説明する。

サイズに関するイベントデータには、通常、表示の形状を表す「長方形」、「ダイヤ」等と、表示の大きさを示す「１」〜「９」の整数値が組み合わされて用いられる。「１」〜「９」の整数値は、それらの数値が大きいほど、大きいサイズの表示を示している。また、サイズに関するイベントデータには、多数の小さな正方形の表示である「小ブロック」や、多数の不定形の表示である「破片」等の特殊な形状および大きさの表示を指示するものもある。

表示位置に関するイベントデータには、通常、画面全体における位置を示す「中央」、「左」、「右上」等が用いられる。また、表示位置に関するイベントデータには、桜の花びらが舞い降りるように画面上を移動する「桜吹雪」や、不特定の位置に蛍の光のように浮かび上がる「蛍火」等の特殊な表示位置を指示するものもある。

第１レイヤは、上記のようにソース、カメラ位置、ズーム、サイズ、表示位置および色調といった６種類のシーケンスデータを含むが、これらの数および種類は変更可能である。例えば、カメラ移動装置１７がビデオカメラ１５の撮影方向を変更可能である場合、第１レイヤはカメラ方向に関するシーケンスデータを含んでいてもよい。また、ビデオカメラ１５がフォーカスの変更機能を備えている場合、第１レイヤはフォーカスに関するシーケンスデータを含んでいてもよい。また、第１レイヤは、第１レイヤに従い表示される画像の下に位置する背景画像を透かして見せるための指示を行う透明度に関するシーケンスデータを含んでいてもよい。以上が第１レイヤである。第２レイヤのデータ形式は、第１レイヤと同様であるため、その説明を省略する。

図３に示されるように、カラオケデータ１０１１は上述したビジュアルトラックを複数含むことができる。また、本実施形態では、再生するビジュアルトラックをユーザが選択することができる。従って、各々のビジュアルトラックに異なる内容のタイミング付イベントデータが含まれる場合、再生するビジュアルトラックを変えることによりディスプレイ１８に表示される画像を変えることができる。各々のビジュアルトラックには、再生される画像の印象を示す「なりきり」、「しみじみ」等の名称を示すデータが付されており、それらの名称を示すデータがカラオケデータ１０１１の管理データにも含まれている。以上が、ビジュアルトラックである。

カラオケデータ１０１１に含まれるソースデータは、同じカラオケデータ１０１１に含まれるサウンドトラックにより再生の指示がなされている音データ、ビジュアルトラックにより表示の指示がなされている静止画データおよび再生の指示がなされている動画データを含んでいる。以上が、記憶部１０１に記憶される各種データである。

図１に戻り、カラオケ装置１０の構成説明を続ける。入出力Ｉ／Ｆ１０２は、カラオケ装置１０に含まれる記憶部１０１および制御部１０３がコントローラ１１、マイク１２、アンプ１３、ビデオカメラ１５、ハンドカメラ１６、カメラ移動装置１７、ディスプレイ１８、メディアドライブ１９およびインターネット２０との間でアナログ信号およびデジタル信号の入出力を行うインタフェースである。また、入出力Ｉ／Ｆ１０２はＡ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）コンバータおよびＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）コンバータを備えており、必要に応じてアナログ信号とデジタル信号との間の変換を行う。

制御部１０３は、カラオケデータ１０１１に従いカラオケ楽曲の自動演奏を行うと同時に、マイク１２により採取された歌唱音を示す音データに加工処理を施す。また、制御部１０３は、カラオケ楽曲の自動演奏等と同時並行して、カメラ移動装置１７およびビデオカメラ１５の動作制御と、ビデオカメラ１５により撮像される画像を示す画像データを用いた加工処理を行う。制御部１０３は、そのように加工処理を施して得られる音データおよび画像データをビデオデータとして記憶部１０１に記憶させる。

制御部１０３の構成部は、音データの処理に関する音データブロック２０１、画像データの処理に関する画像データブロック２０２、カメラ移動装置１７およびビデオカメラ１５の動作制御に関する動作制御ブロック２０３、そして、ビジュアルトラックに従い画像データブロック２０２および動作制御ブロック２０３に対しイベントデータの送信を行うビジュアルトラック再生部２０４に区分される。また、制御部１０３は発振器（図示略）を備えており、制御部１０３の構成部の処理は発振器により生成されるクロック信号に基づき同期がとられている。

音データブロック２０１は、サウンドトラックの再生を行うと同時に、マイク１２によりリアルタイムに拾音される音を示す音データに加工処理を施すブロックである。音データブロック２０１は、カラオケデータ１０１１に含まれるサウンドトラックに従い、演奏制御を行う手段を有する。さらに詳述すると、音データブロック２０１は、サウンドトラックにおけるタイミングデータにより示されるタイミングでイベントデータをその内容に応じて音源部２０１２、音データ再生部２０１３および音データ加工処理部２０１４のいずれかに送信するサウンドトラック再生部２０１１と、サウンドトラック再生部２０１１から送信されるイベントデータに従い様々な楽音を示す音データを出力する音源部２０１２と、サウンドトラック再生部２０１１から送信されるイベントデータに従いカラオケデータ１０１１に含まれる音データの再生を行う音データ再生部２０１３を備えている。また、音データブロック２０１は、サウンドトラック再生部２０１１から送信されるイベントデータに従い、マイク１２により拾音される音を示す音データと、音源部２０１２および音データ再生部２０１３から送信される音データの各々に各種エフェクト処理等の加工処理を施した後、それらをミキシング処理して得られる音データをアンプ１３に対し出力する音データ加工処理部２０１４を備えている。

画像データブロック２０２は、音データブロック２０１によるサウンドトラックの再生と同期し、ビデオカメラ１５およびハンドカメラ１６によりリアルタイムに撮像される画像を示す画像データに加工処理を施すブロックである。画像データブロック２０２は、ビジュアルトラック再生部２０４から送信されるイベントデータに従いカラオケデータ１０１１に含まれる動画データを再生する動画データ再生部２０２１と、ビジュアルトラック再生部２０４から送信されるイベントデータに従い歌詞表示およびガイド表示の画面を示す画像データを順次生成する文字画面生成部２０２２を備えている。また、画像データブロック２０２は、ビジュアルトラック再生部２０４から送信されるイベントデータに従い、動画データ再生部２０２１および文字画面生成部２０２２から送信される画像データ、ビデオカメラ１５およびハンドカメラ１６の各々により撮像された画像を示す画像データ、そしてカラオケデータ１０１１に含まれる静止画データに対し、各種エフェクト処理等の加工処理を施した後、それらを合成処理して得られる画像データをディスプレイ１８に送信する画像データ加工処理部２０２３を備えている。画像の合成処理には、例えば、ある画像に別の画像をスーパーインポーズする処理や、ある画像から別の画像が透けて見えるように両画像を合成する処理が含まれる。

動作制御ブロック２０３は、音データブロック２０１によるサウンドトラックの再生と同期し、カメラ移動装置１７およびビデオカメラ１５の動作制御を行うブロックである。動作制御ブロック２０３は、ビジュアルトラック再生部２０４から送信されるイベントデータに従いカメラ移動装置１７の各々の動作制御を行い、カメラ移動装置１７にビデオカメラ１５の移動を行わせる移動動作制御部２０３１と、ビジュアルトラック再生部２０４から送信されるイベントデータに従いビデオカメラ１５の各々の動作制御を行い、ビデオカメラ１５にズーム倍率の変更を行わせるカメラ動作制御部２０３２を備えている。

ビジュアルトラック再生部２０４は、音データブロック２０１によるサウンドトラックの再生と同期し、ビジュアルトラックの再生を行う。具体的には、ビジュアルトラック再生部２０４は、ビジュアルトラックに含まれるタイミングデータにより示されるカラオケ楽曲におけるタイミングで、各々のイベントデータを、その内容に応じて動画データ再生部２０２１、文字画面生成部２０２２、画像データ加工処理部２０２３、移動動作制御部２０３１およびカメラ動作制御部２０３２のいずれかに送信する。

例えば、動画データのファイル名を示すソースに関するイベントデータは、動画データ再生部２０２１および画像データ加工処理部２０２３に送信される。その場合、動画データ再生部２０２１はイベントデータにより指示される動画データをカラオケデータ１０１１から取り出し、取り出した動画データの再生を開始し、音データ加工処理部２０１４は動画データ再生部２０２１により再生される画像データを画像ソースとして用いる。また、静止画データのファイル名を示すソースに関するイベントデータは、画像データ加工処理部２０２３に送信される。その場合、画像データ加工処理部２０２３はイベントデータにより指示される静止画データをカラオケデータ１０１１から取り出し、取り出した静止画データを画像ソースとして用いる。また、ビデオカメラ１５のいずれか、もしくはハンドカメラ１６を示すソースに関するイベントデータは、画像データ加工処理部２０２３に送信される。その場合、画像データ加工処理部２０２３はイベントデータにより指示されるビデオカメラ１５もしくはハンドカメラ１６により撮像される画像を示す画像データを画像ソースとして用いる。

カメラ位置に関するイベントデータは、移動動作制御部２０３１に送信される。また、ズームに関するイベントデータは、カメラ動作制御部２０３２に送信される。サイズ、表示位置および色調に関するイベントデータは、画像データ加工処理部２０２３に送信される。ところで、ビジュアルトラック再生部２０４は、画像データ加工処理部２０２３等に対しイベントデータを送信するにあたり、そのイベントデータがビジュアルトラックにおけるいずれのレイヤに属するものであるかを示すレイヤデータを付加したものを送信する。画像データ加工処理部２０２３等が、同種のイベントデータを受信した際に、いずれのレイヤに関するものであるかを識別可能とするためである。以上が、カラオケシステム１の構成である。

［１．２．カラオケシステムの動作］
上記の構成を備えるカラオケシステム１を用いて、ユーザはカラオケにおける歌唱時の音および画像をリアルタイムに加工して発音および表示させることができるとともに、それらの音および画像をビデオデータとして記録することができる。その際、カラオケ装置１０は演奏されるカラオケ楽曲に応じて、適切なタイミングで適切な内容の画像データの加工処理および撮像動作の制御処理を行うことにより、視聴者をより楽しませることができる音および画像をユーザに提供することができる。以下、カラオケシステム１の動作を説明する。

ユーザはディスプレイ１８ａに表示される指示に従い、コントローラ１１を用いてカラオケ楽曲の選択を行う。その際、ユーザは楽曲のテンポ変更や移調の指定も行うことができる。ユーザによりカラオケ楽曲の選択が行われると、カラオケ装置１０はユーザにより選択されたカラオケ楽曲に対応するカラオケデータ１０１１の管理データを参照し、そのカラオケデータ１０１１に含まれるビジュアルトラックの名称リストをディスプレイ１８ａに表示させて、ユーザにそれらの１つを選択するように促す。ユーザは、ディスプレイ１８ａに表示される「なりきり」、「しみじみ」等の選択肢のうち、いずれかをコントローラ１１を用いて選択した後、カラオケ装置１０に対し演奏開始の指示を行う。

ユーザの演奏開始の指示に応じて、サウンドトラック再生部２０１１は、ユーザにより選択されたカラオケ楽曲に対応するカラオケデータ１０１１に含まれるサウンドトラックの再生を開始する。同時に、ビジュアルトラック再生部２０４は、同じカラオケデータ１０１１に含まれるビジュアルトラックの再生を開始する。

サウンドトラック再生部２０１１によるサウンドトラックの再生により、音源部２０１２はイベントデータを受信すると、受信したイベントデータに応じた楽音を示す音データの生成処理を行い、生成した音データを音データ加工処理部２０１４に送信する。また、サウンドトラック再生部２０１１によるサウンドトラックの再生により、音データ再生部２０１３はイベントデータを受信すると、受信したイベントデータに応じた音データをカラオケデータ１０１１から取り出し、取り出した音データを順次、音データ加工処理部２０１４に送信する。一方、マイク１２により拾音される音を示す信号は常時、音データ加工処理部２０１４に入力される。音データ加工処理部２０１４は、音源部２０１２および音データ再生部２０１３から送信される音データと、マイク１２により拾音される音を示す音データをミキシング処理して得られる音データを順次、アンプ１３に出力する。その際、入出力Ｉ／Ｆ１０２によりデジタル信号からアナログ信号への変換が行われる。アンプ１３は入出力Ｉ／Ｆ１０２を介して音データ加工処理部２０１４から入力される音信号を増幅する。アンプ１３により増幅された音信号はスピーカ１４により発音される。そのように発音される音は、カラオケ楽曲の演奏音とユーザの歌唱音がミキシングされた音である。

ところで、音データ加工処理部２０１４は、サウンドトラック再生部２０１１によるサウンドトラックの再生により、音データに対するエフェクト処理に関するイベントデータを受信する場合がある。音データ加工処理部２０１４は、例えば［ディレイ：１ｃｈ：０．５秒］のように、特定の音データに対するエフェクト処理を指示するイベントデータを受信した場合には、音源部２０１２等から受信する音データのうち指定されたものに指定された加工処理を施した後、上記のミキシング処理を行う。一方、音データ加工処理部２０１４は、例えば［コーラス：Ａｌｌ：０．０５秒］のように、音データ加工処理部２０１４が受信する全ての音データに対するエフェクト処理を指示するイベントデータを受信した場合には、上記のようにミキシング処理を行った音データに、指定された加工処理を施した後、アンプ１３に出力する。

一方、ビジュアルトラック再生部２０４によるビジュアルトラックの再生により、移動動作制御部２０３１はイベントデータを受信すると、受信したイベントデータに従い、ビデオカメラ１５を指示された位置に移動する制御データをカメラ移動装置１７に送信する。その制御データに応じて、カメラ移動装置１７はビデオカメラ１５の位置を移動する。また、カメラ動作制御部２０３２はイベントデータを受信すると、受信したイベントデータに従い、ズーム倍率を変更する制御データをビデオカメラ１５に送信する。その制御データに応じて、ビデオカメラ１５はズーム倍率を変更する。ビデオカメラ１５はカメラ移動装置１７により決定される位置における撮像処理により生成した画像信号を常時、画像データ加工処理部２０２３に対し出力する。同様に、ハンドカメラ１６はカラオケ装置１０のユーザにより決定される位置および方向における撮像処理により生成した画像信号を常時、画像データ加工処理部２０２３に対し出力する。

また、ビジュアルトラック再生部２０４によるビジュアルトラックの再生により、動画データ再生部２０２１はイベントデータを受信すると、受信したイベントデータに応じた動画データをカラオケデータ１０１１から取り出し、取り出した動画データの再生により得られる画像データを順次、画像データ加工処理部２０２３に送信する。また、ビジュアルトラック再生部２０４によるビジュアルトラックの再生により、文字画面生成部２０２２はイベントデータを受信すると、受信したイベントデータに従い、指定された文字を指定された位置および態様で表示する画像データを生成し、生成した画像データを順次、画像データ加工処理部２０２３に送信する。

画像データ加工処理部２０２３は、ビデオカメラ１５およびハンドカメラ１６により撮像された画像を示す画像データと、動画データ再生部２０２１および文字画面生成部２０２２の各々から送信される画像データを受信すると同時に、ビジュアルトラック再生部２０４から各種のイベントデータを受信する。画像データ加工処理部２０２３は、受信したイベントデータのうち、歌唱者用テンプレートに含まれるイベントデータに従い、背景画面の画像ソースの選択と、歌詞表示およびガイド表示の背景画像へのスーパーインポーズを行い、その結果得られる画像データを順次、ディスプレイ１８ａに送信する。その結果、歌唱者が歌唱しながら見るディスプレイ１８ａには、歌唱者自身の現在の映像と歌詞、そしてビデオカメラ１５およびハンドカメラ１６の切り替え等を示すガイドが表示される。従って、歌唱者はディスプレイ１８ａの表示を見ながら歌唱を行うと同時に、ビデオカメラ１５等により撮像される自分の姿を確認しながら適切なタイミングでポーズをとる等、被写体として好ましい動作を行うことができる。

また、画像データ加工処理部２０２３は、受信したイベントデータのうち、観衆用テンプレートに含まれるイベントデータに従い、静止画データの読み込み、各レイヤの画像ソースの選択、サイズや色調の調整処理、それらの調整処理が施された画像データに対する各種エフェクト処理および合成処理等を行い、その結果得られる画像データを順次、ディスプレイ１８ｂに送信する。その結果、観衆が見るためのディスプレイ１８ｂには、カラオケルームに設けられた複数のカメラにより撮像された画像を合成して得られる画像が表示される。ディスプレイ１８ｂにより表示される画像は、カラオケ楽曲における適切なタイミングで適切な画像ソースを用いて適切な加工処理等が施された結果得られる画像であり、視聴者をより楽しませるものとなる。

上記のように音データ加工処理部２０１４により加工処理およびミキシング処理の施された音データと、画像データ加工処理部２０２３により加工処理および合成処理の施された画像データは、１つのビデオデータとして記憶部１０１に記憶される。ユーザは、カラオケ楽曲の演奏が終了すると、ディスプレイ１８ａに表示される指示に従い、記憶されたビデオデータの受け取り方法をカラオケ装置１０に対し指示する。ビデオデータの受け取り方法としては、例えば「メールアドレスに送信」、「フラッシュメモリに記録」等が考えられる。

ユーザが「メールアドレスに送信」を選択した場合、カラオケ装置１０はユーザの指定したメールアドレスや電話番号宛の電子メールを生成し、生成した電子メールにビデオデータを添付した後、インターネット２０に対し送信する。また、ユーザが「フラッシュメモリに記録」を選択した場合、カラオケ装置１０はユーザによりメディアドライブ１９に装填されたフラッシュメモリに対し、ビデオデータを記録する。その結果、ユーザは自宅のコンピュータや携帯電話等により、カラオケシステム１により生成されたビデオデータを再生して楽しんだり、知人に送信等することができる。

ところで、カラオケを楽しむ場合、歌唱者はカラオケ楽曲の再生速度を変更することがある。カラオケ楽曲の再生速度が変更された場合、例えば歌詞表示の切り替えタイミングはカラオケ楽曲の再生速度の変更に応じて変更される必要がある。しかしながら、例えば予め記憶されている動画データを再生するような場合、動画データの再生速度をカラオケ楽曲の再生速度に応じて変更させると、表示される画像が不自然になる場合がある。画像ソースの切り替え等の各種処理に要する時間や処理タイミングに関しても、変更すると不自然な結果をもたらす場合がある。

しかしながら、カラオケシステム１において用いられるビジュアルトラックには、上述したように、再生速度の固定指示や処理時間の固定指示を伴うタイミング付イベントデータが含まれているため、カラオケシステム１においてはカラオケ楽曲の再生速度の変更により、不自然な表示が行われることはない。以下、カラオケ楽曲の再生速度が変更された場合におけるカラオケ装置１０の動作を説明する。

図９は、カラオケ楽曲が初期値の速度で再生される場合（図９（ａ））と、２０％だけ速い速度で再生される場合（図９（ｂ））におけるビジュアルトラックの時間的な関係を示した図である。ただし、図９においては説明のため、ビジュアルトラックのうち背景レイヤのみが示されている。また、図９は、ビジュアルトラックとサウンドトラックの時間的な関係を示すため、サウンドトラックも併せて示している。

図９に示されるように、カラオケ楽曲の再生速度が２０％だけ速くされた場合のサウンドトラックにおいては、セクションの区切りや特徴箇所のタイミングも、カラオケ楽曲の開始タイミングを基準として２０％だけ早いタイミングに移動している。同様に、ビジュアルトラックに含まれるイベントデータの実行タイミング、すなわち図９における黒丸の位置に対応するタイミングも、原則として、カラオケ楽曲の開始タイミングを基準として２０％だけ早いタイミングに移動している。しかしながら、例えばズームに関する２番目のイベントデータに関しては、処理時間が固定されており、双方向の矢印が付されていることから、その処理時間を変更しないように、処理の開始タイミングが調整されている。

図９（ｂ）に示されるタイミングでイベントデータの実行を行うために、例えば、サウンドトラック再生部２０１１はサウンドトラックに含まれるイベントデータの読み出しタイミングの決定に用いる単位時間を２０％だけ短くする。より具体的には、規定の単位時間が発振器よりａ個のクロック信号を受信する時間であるとすると、サウンドトラック再生部２０１１は（ａ×０．８）個のクロック信号を受信する時間を新たな単位時間として用いる。その結果、例えば、タイミングデータ［０ｈ００ｍ０１ｓ２５０ｍｓ］に対応付けられたイベントデータ［ノートオン：１ｃｈ：Ｄ４：７４］は、実際には［０ｈ００ｍ０１ｓ０００ｍｓ］のタイミングでサウンドトラック再生部２０１１から音源部２０１２に送信される。

音データ再生部２０１３も、サウンドトラック再生部２０１１と同様に、単位時間を２０％だけ短くすることにより、音データの再生速度を２０％だけ速くする。カラオケ楽曲全体の再生速度と音データの再生速度がずれることを防ぐためである。しかしながら、音データの再生速度を単純に速めると、音データ再生部２０１３により生成される音データが示す音の高さが高くなり、音源部２０１２により生成される音データが示す音の高さに合わなくなる。その問題を回避するため、音データ再生部２０１３は再生する音データにピッチシフト処理を施し音程を下げることにより、音高の不整合をなくす。

ビジュアルトラック再生部２０４も、サウンドトラック再生部２０１１と同様に、単位時間を２０％だけ短くすることにより、ビジュアルトラックの再生速度を２０％だけ速くする。しかしながら、ビジュアルトラック再生部２０４は、ビジュアルトラックの再生に先立ち、ビジュアルトラックに必要な変更処理を行う。より具体的には、ビジュアルトラック再生部２０４は、ビジュアルトラック（図８参照）に含まれるタイミング付イベントデータのうち、時間データに｛｝が付されているものを検索し、検索した時間データを２５％だけ長い時間を示す時間データに書き換える。２５％だけ長い時間は、２０％だけ再生速度を速くした際に、１．２５×０．８＝１となることから、元の時間から不変となるためである。上記のような時間データの変更処理を終えると、ビジュアルトラック再生部２０４は２０％だけ速い再生速度にて、ビジュアルトラックの再生を行う。

動画データ再生部２０２１もまた、サウンドトラック再生部２０１１と同様に、単位時間を２０％だけ短くすることにより、動画データの再生速度を２０％だけ速くする。しかしながら、動画データ再生部２０２１は、ビジュアルトラック再生部２０４から｛｝を伴うイベントデータ、例えば［｛Ｓ１５１．ｍｐｅｇ｝］を受信した場合には、このイベントデータにより指定される動画データの再生に際し、再生速度の変更を行わない。その結果、例えばＳ１５１．ｍｐｅｇが人の歩行を撮影した動画データであったような場合、カラオケ楽曲の再生速度により、表示される画像における歩行速度が不自然に速くなることがない。

ところで、上記のように、ビジュアルトラック再生部２０４によるビジュアルトラックの再生速度が変更される一方で、動画データ再生部２０２１による動画データの再生速度が固定される場合、動画データの再生時間等を調整する必要が生じる。本実施形態においては、以下に例示するように、様々な方法で動画データの再生時間等の調整を行うことが可能である。
（イ）動画データの再生時間を調整する。
（ロ）動画データの再生処理に先行する表示に要する時間を調整する。
（ハ）動画データの再生処理に後続する表示に要する時間を調整する。
（ニ）動画データの再生処理に先行および後続する表示に要する時間を調整する。

例えば、開始タイミングデータ［０ｈ００ｍ２２ｓ７２４ｍｓ］、終了タイミングデータ［０ｈ０１ｍ１５ｓ７４８ｍｓ］、時間データ［−］、途中ポイント［−］、途中タイミングデータ［−］、イベントデータ［｛Ｓ１５１．ｍｐｅｇ｝］を含むタイミング付イベントデータに従う場合、上記（イ）による時間調整が行われる。すなわち、ビジュアルトラックの再生速度が例えば２０％だけ速められると、動画データの再生開始および再生終了のタイミングがそれぞれ楽曲の先頭を基準に２０％だけ早められる結果、動画データの再生時間が２０％だけ短くなる。この場合、動画データ再生部２０２１は、例えば動画データの末尾部分の２０％を再生しない。一方、ビジュアルトラックの再生速度が２０％だけ遅くされた場合には、動画データの再生時間が２０％だけ長くなる。その場合、動画データ再生部は、追加された２０％の間、例えば動画データをリピート再生する。このような時間調整の方法は、再生される動画データが例えば流れる雲を示す場合のように、途中でカットされたり、リピートされても違和感のないものである場合に効果的である。

また、例えば開始タイミングデータ［−］、終了タイミングデータ［０ｈ０１ｍ１５ｓ７４８ｍｓ］、時間データ［｛５３秒７２４ミリ秒｝］、途中ポイント［−］、途中タイミングデータ［−］、イベントデータ［｛Ｓ１５１．ｍｐｅｇ｝］を含むタイミング付イベントデータに従う場合、上記（ロ）による時間調整が行われる。すなわち、ビジュアルトラックの再生速度が例えば２０％だけ速められると、動画データの再生終了のタイミングが楽曲の先頭を基準に２０％だけ早められると同時に、再生時間「５３秒７２４ミリ秒」が変化しないように、再生開始のタイミングが決定される。その結果、動画データ「Ｓ１５１．ｍｐｅｇ」は通常通りカットもリピートもなく再生されるが、先行するイベントデータに従った表示の時間がその分、短縮されることになる。一方、ビジュアルトラックの再生速度が例えば２０％だけ遅くされた場合には、動画データの再生終了のタイミングが楽曲の先頭を基準に２０％だけ遅くされると同時に、再生時間「５３秒７２４ミリ秒」が変化しないように、再生開始のタイミングが決定される。その結果、動画データ「Ｓ１５１．ｍｐｅｇ」は通常通りカットもリピートもなく再生されるが、先行するイベントデータに従った表示の時間がその分、延長されることになる。

同様に、例えば開始タイミングデータ［０ｈ００ｍ２２ｓ７２４ｍｓ］、終了タイミングデータ［−］、時間データ［｛５３秒７２４ミリ秒｝］、途中ポイント［−］、途中タイミングデータ［−］、イベントデータ［｛Ｓ１５１．ｍｐｅｇ｝］を含むタイミング付イベントデータに従う場合、上記（ハ）による時間調整が行われる。すなわち、ビジュアルトラックの再生速度の変化に応じて、動画データ「Ｓ１５１．ｍｐｅｇ」は通常通りカットもリピートもなく再生されるが、後続のイベントデータに従った表示の時間がその分、短縮もしくは延長されることになる。

また、例えば開始タイミングデータ［−］、終了タイミングデータ［−］、時間データ［｛５３秒７２４ミリ秒｝］、途中ポイント［５：５］、途中タイミングデータ［０ｈ００ｍ４９ｓ５８６ｍｓ］、イベントデータ［｛Ｓ１５１．ｍｐｅｇ｝］を含むタイミング付イベントデータに従う場合、上記（ニ）による時間調整が行われる。すなわち、ビジュアルトラックの再生速度の変化に応じて、動画データ「Ｓ１５１．ｍｐｅｇ」は通常通りカットもリピートもなく再生されるが、その分、先行するイベントデータに従った表示の時間および後続のイベントデータに従った表示の時間が各々短縮されたり、各々延長されることになる。

上記（ロ）〜（ニ）による時間調整の方法は、再生される動画データが例えばコマーシャル映像を示す場合など、楽曲速度の変更にかかわらず常に通常通りの速度および時間で再生されるべき動画データである場合に効果的である。また、隣接する２つの処理について、タイミング付イベントデータに従った時間調整が両立しないような場合に備え、例えば各タイミング付イベントデータに予め優先度を付しておき、優先度の高い方に従った時間調整を行うようにしてもよい。

画像データ加工処理部２０２３が、ビジュアルトラック再生部２０４から｛｝を伴うイベントデータを受信した場合も、画像データ加工処理部２０２３はイベントデータにより指示された処理の速度を変更しない。例えば、画像データ加工処理部２０２３が表示位置に関するイベントデータ［桜吹雪］を受信した場合、画像データ加工処理部２０２３はカラオケ楽曲の再生速度の変化に応じて、桜吹雪のように移動する小ブロックの移動速度を２０％だけ速める。一方、画像データ加工処理部２０２３がイベントデータ［｛桜吹雪｝］を受信した場合、画像データ加工処理部２０２３はカラオケ楽曲の再生速度の変化にかかわらず、桜吹雪のように移動する小ブロックの移動速度を一定に保つ。画像データ加工処理部２０２３が、ビジュアルトラックの再生速度の変化に伴い再生時間の調整を行う方法は、動画データ再生部２０２１に関し上述したものと同様である。

以上、ユーザによりカラオケ楽曲の再生速度が速められた場合のカラオケ装置１０の動作について説明したが、カラオケ楽曲の再生速度が遅くされた場合には、ビジュアルトラック再生部２０４等は用いられる単位時間を長くすることにより、同様の動作を行う。また、ビジュアルトラック再生部２０４等は、処理に用いる単位時間を変更することにより、ビジュアルトラックの再生等の速度を調整する代わりに、再生に先立ち、例えば、図９（ｂ）に示されるような調整後のタイミングでイベントデータの実行が行われるように、ビジュアルトラックに含まれるタイミングデータを修正するようにしてもよい。その場合も同様の結果が得られる。以上がカラオケシステム１の動作である。

以上のように、カラオケシステム１によれば、リアルタイムに撮像される歌唱者や観衆の様子を示す画像データが用いられた画像が表示され、かつその画像データに対しては、カラオケ楽曲における適切なタイミングで加工処理等がなされる結果、それを観る歌唱者および観衆が退屈することはない。また、カラオケシステム１によれば、歌唱者等はカラオケ楽曲を選択した後、複数のビジュアルトラックの中から好みのものを選ぶことにより、自分の好みやその場の雰囲気に適した画像表示を行わせることができる。また、カラオケシステム１によれば、歌唱者用テンプレートと観衆用テンプレートという異なるテンプレートに従い、異なる加工処理等の施された画像データを同時に生成されるため、歌唱者と観衆のそれぞれに対し、より適切な画像の表示が行われる。また、カラオケシステム１によれば、歌唱者等がカラオケ楽曲の再生速度を変更した場合であっても、常に適切なタイミングおよび処理速度で加工処理等の施された画像データによる画像が表示される。

ところで、カラオケ装置１０は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。カラオケ装置１０が汎用コンピュータにより実現される場合、制御部１０３の各構成部は、汎用コンピュータが備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＣＰＵの制御下で動作するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。

また、上記においては、カラオケシステム１をカラオケ装置１０と、カラオケ装置１０に接続されるマイク１２等の各種装置の組合せとして説明した。しかしながら、カラオケシステム１の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。例えば、カラオケ装置１０は動作制御ブロック２０３を備えず、ビデオカメラ１５がカメラ動作制御部２０３２を、またカメラ移動装置１７が移動動作制御部２０３１を備えるようにしてもよい。その場合、ビジュアルトラック再生部２０４は、ビジュアルトラックの再生において、ズームに関するイベントデータをビデオカメラ１５に送信し、またカメラ位置に関するイベントデータをカメラ移動装置１７に送信する。

また、上記においては、１つのカラオケデータ１０１１には１つのサウンドトラックが含まれ、ユーザがいずれのビジュアルトラックを選択してもサウンドトラック再生部２０１１により再生されるデータには変化がないものとして説明した。しかしながら、例えば、１つのカラオケデータ１０１１が同じカラオケ楽曲に関し、ビジュアルトラックの各々に対応した異なるサウンドトラックを含み、サウンドトラック再生部２０１１は、ユーザにより選択されたビジュアルトラックに応じたサウンドトラックを再生するようにしてもよい。その場合、各々のサウンドトラックには、対応するビジュアルトラックに適したエフェクト処理等を指示するイベントデータを含めることができるので、カラオケシステム１により発音される演奏音とカラオケシステム１により表示される画像がより相応しいものとなる。

［２．第２実施形態］
以下、管理データ、サウンドトラックおよびビジュアルトラックのみを含み、ソースデータを含まないカラオケデータを用いて本発明を実施する場合のカラオケシステムを、第２実施形態として説明する。

［２．１．カラオケシステムの構成］
図１０は、本発明の第２実施形態にかかるシステム（以下、「カラオケシステム２」と呼ぶ）の構成を示している。カラオケシステム２の構成は、上述した第１実施形態にかかるカラオケシステム１の構成と多くの点で共通しているので、以下、それらの相違点のみを説明する。また、図１０においては、図１における構成部と同じ構成部に対しては同じ符号が付されている。

カラオケシステム２の記憶部１０１は、第１実施形態におけるカラオケデータ１０１１の代わりに、予め複数のカラオケデータ１０１２を記憶している。図１１は、カラオケデータ１０１２の構成を模式的に示している。カラオケデータ１０１２は、管理データ、サウンドトラックおよび１以上のビジュアルトラックを含んでいるが、ソースデータを含んでいない。カラオケデータ１０１２の管理データは、カラオケデータ１０１１の場合と同様に、カラオケデータを識別するための識別番号、楽曲名、楽曲ジャンル名およびカラオケデータに含まれるビジュアルトラックの名称を示すデータである。

図１２は、カラオケデータ１０１２のサウンドトラックの内容を例示している。カラオケデータ１０１２のサウンドトラックは、音データの再生を指示するイベントデータとして、音データのファイル名を直接指定するのではなく、再生されるべき音データの属性を指定している。例えば、カラオケデータ１０１２のサウンドトラックに含まれるイベントデータ［再生：３ｃｈ：足音：テンポ３］は、第３のチャンネルとして、「３」で示されるテンポの足音を示す音データの再生を行うことを指示している。音データの再生を指示するイベントデータの形式以外は、カラオケデータ１０１２のサウンドトラックは、カラオケデータ１０１１におけるものと同様である。

図１３は、カラオケデータ１０１２のビジュアルトラックに含まれる観衆用テンプレートの背景レイヤに含まれるソースに関するタイミング付イベントデータの内容を例示している。カラオケデータ１０１２のビジュアルトラックは、表示画像のソースを指示するイベントデータとして、静止画データもしくは動画データのファイル名を直接指定するのではなく、ソースとして用いられるべき静止画データもしくは動画データの属性を指定している。例えば、カラオケデータ１０１２のビジュアルトラックに含まれるイベントデータ［静止画：自動車：明るさ７：華やかさ：３］は、「７」で示される明るさ、「３」で示される華やかさの自動車の静止画を示す静止画データをソースとして用いることを指示している。また、例えばイベントデータ［動画：ヨット：明るさ６：華やかさ５：テンポ４］は、「６」で示される明るさ、「５」で示される華やかさ、「４」で示されるテンポのヨットの動画を示す動画データをソースとして用いることを指示している。ソースを指示するイベントデータの形式以外は、カラオケデータ１０１２のビジュアルトラックは、カラオケデータ１０１１におけるものと同様である。

以下、音データおよび動画データの属性としてのテンポを示す数値は「１」〜「９」のいずれかの整数値であり、数値が大きいほど速いテンポを示すものとする。また、静止画データおよび動画データの属性としての明るさを示す数値は「１」〜「９」のいずれかの整数値であり、数値が大きいほど明るい画像を示すものとする。また、静止画データおよび動画データの属性としての華やかさを示す数値は「１」〜「９」のいずれかの整数値であり、数値が大きいほど華やかな画像を示すものとする。

記憶部１０１は、上述した複数のカラオケ楽曲に関するカラオケデータ１０１２に加え、複数の汎用ソースデータと、汎用ソースＤＢ（データベース）１０１３を記憶している。汎用ソースデータは、様々なカラオケデータ１０１２に従ったカラオケ装置１０の動作において汎用的に用いられるソースデータである。汎用ソースデータには、音を示す汎用音ソースデータ、静止画を示す汎用静止画ソースデータおよび動画を示す汎用動画ソースデータが含まれる。

汎用ソースＤＢ１０１３は、汎用ソースデータのファイル名を、その汎用ソースデータの属性を示すデータとともに記憶したデータベースである。図１４は汎用ソースＤＢ１０１３の内容を例示した図である。汎用ソースＤＢ１０１３は、汎用音ソースデータに関するデータを格納する汎用音ソースＤＢ、汎用静止画ソースデータに関するデータを格納する汎用静止画ソースＤＢおよび汎用動画ソースデータに関するデータを格納する汎用動画ソースＤＢを含んでいる。

音ソースＤＢは、各汎用音ソースデータに関するレコードデータを複数含み、各レコードデータは、汎用音ソースデータのファイル名、当該汎用音ソースデータの使用に適する楽曲ジャンル、当該汎用音ソースデータにより示される音の分類を示す音ジャンル、そして当該汎用音ソースデータにより示される音の速さを数値で示すテンポを含んでいる。ここで、汎用音ソースデータにより示される音の速さとは、汎用音ソースデータの再生速度ではなく、例えば足音を示す汎用音ソースデータにおける歩調のように、同様の音が繰り返し発せされる場合のテンポのことである。すなわち、テンポ「１」の足音を示す汎用音ソースデータは、ゆっくり歩く場合の足音を示し、テンポ「９」の足音を示す汎用音ソースデータは、例えば駆け足の足音を示す。従って、音ジャンルが「銃声」のように、単発の音を示す汎用音ソースデータに関するレコードデータのテンポは空欄となっている。

静止画ソースＤＢは、各汎用静止画ソースデータに関するレコードデータを複数含み、各レコードデータは、汎用静止画ソースデータのファイル名、当該汎用静止画ソースデータの使用に適する楽曲ジャンル、当該汎用静止画ソースデータにより示される静止画の分類を示す静止画ジャンル、そして、当該汎用静止画ソースデータにより示される静止画の全体的な明るさおよび華やかさを各々数値で示すデータを含んでいる。

動画ソースＤＢは、各汎用動画ソースデータに関するレコードデータを複数含み、各レコードデータは、汎用動画ソースデータのファイル名、当該汎用動画ソースデータの使用に適する楽曲ジャンル、当該汎用動画ソースデータにより示される動画の分類を示す動画ジャンル、当該汎用動画ソースデータにより示される動画の全体的な明るさおよび華やかさを各々数値で示すデータ、そして当該汎用動画ソースデータにより示される動画の速さを示すテンポを含んでいる。ここで、汎用動画ソースデータにより示される動画の速さとは、汎用動画ソースデータの再生速度ではなく、例えば風景が移りゆく場合の風景の変化の速度のことである。以上が、カラオケシステム２の記憶部１０１に記憶される各種データである。

図１０に戻り、カラオケシステム２の全体構成を説明する。カラオケシステム２の構成は、カラオケシステム１の構成とほとんど同じであるが、唯一、カラオケシステム２に含まれるカラオケ装置１０が、カラオケシステム１に含まれるカラオケ装置１０の構成部に加え、ソースデータ選択部３０１を備えている点が異なっている。ソースデータ選択部３０１は、カラオケデータ１０１２に基づき汎用ソースＤＢ１０１３から適する汎用ソースデータのファイル名を検索する構成部である。

［２．２．カラオケシステムの動作］
カラオケシステム２の動作は、上述したカラオケシステム１の動作と多くの点で共通しているので、以下、それらの相違点のみを説明する。ユーザによりカラオケ楽曲の選択、ビジュアルトラックの選択および演奏開始の指示がなされると、カラオケ装置１０のソースデータ選択部３０１は、ユーザにより選択されたカラオケ楽曲に対応するカラオケデータ１０１２に含まれるサウンドトラックに含まれるイベントデータのうち、音データの再生を指示するものを抽出する。

ソースデータ選択部３０１は、抽出したイベントデータの各々に関し、汎用ソースＤＢ１０１３（図１４参照）に含まれる汎用音ソースＤＢから、当該イベントデータに適するレコードデータを検索する。より具体的には、ソースデータ選択部３０１は、汎用音ソースＤＢに含まれるレコードデータのうち、楽曲ジャンルがユーザにより選択されたカラオケデータ１０１２の楽曲ジャンルを含み、音ジャンルおよびテンポが抽出したイベントデータにより示される属性と各々一致するものを検索する。

ソースデータ選択部３０１は、上記のように検索したレコードデータに含まれるファイル名を用いて、汎用音ソースデータの再生を指示するイベントデータを生成し、生成したイベントデータで、サウンドトラックに含まれるイベントデータを置き換える。例えば、ユーザにより選択されたカラオケデータ１０１２の楽曲ジャンルが「ロック」である場合、ソースデータ選択部３０１はサウンドトラック（図１２参照）に含まれるイベントデータ［再生：３ｃｈ：足音：テンポ３］に対応するレコードデータとして、汎用音ソースＤＢから［Ｓ１８６．ｗａｖ：ロック／ポップス／ジャズ：足音：３］を検索し、新たなイベントデータ［再生：Ｓ１８６．ｗａｖ］を生成して、イベントデータ［再生：３ｃｈ：足音：テンポ３］をイベントデータ［再生：Ｓ１８６．ｗａｖ］で置き換える。

ソースデータ選択部３０１は、同様の処理を先にサウンドトラックから抽出した全てのイベントデータに関し繰り返す。その結果、図１２に示した形式のサウンドトラックは、第１実施形態におけるサウンドトラック（図４参照）の形式と同様のものとなる。

また、ソースデータ選択部３０１は、ビジュアルトラックから表示画像のソースを指示するイベントデータを抽出し、抽出したイベントデータの各々に関し、汎用ソースＤＢ１０１３（図１４参照）に含まれる汎用静止画ソースＤＢおよび汎用動画ソースＤＢから、当該イベントデータに適するレコードデータを検索する。さらに、ソースデータ選択部３０１は、検索したレコードデータに含まれるファイル名を用いて、汎用静止画ソースデータもしくは汎用動画ソースデータを表示画像のソースとして指示するイベントデータを生成し、生成したイベントデータで、ビジュアルトラックに含まれるイベントデータを置き換える。ソースデータ選択部３０１がビジュアルトラックに含まれるイベントデータを置き換える処理は、サウンドトラックに含まれるイベントデータを置き換える処理と同様である。

ソースデータ選択部３０１は、同様の処理を先にビジュアルトラックから抽出した全てのイベントデータに関し繰り返す。その結果、図１３に示した形式のソースに関するイベントデータは、第１実施形態におけるビジュアルトラック（図８参照）の形式と同様のものとなる。

ソースデータ選択部３０１により、上記のようにイベントデータの置き換え処理が行われたサウンドトラックおよびビジュアルトラックは各々、サウンドトラック再生部２０１１およびビジュアルトラック再生部２０４に引き渡される。サウンドトラック再生部２０１１およびビジュアルトラック再生部２０４は、ソースデータ選択部３０１よりサウンドトラックおよびビジュアルトラックを受け取ると、それらの再生を開始する。その後のカラオケシステム２の動作は、カラオケシステム１の動作と同じである。

以上のように、カラオケシステム２によれば、カラオケデータがソースデータを含まない場合であっても、カラオケシステム１と同様に、ユーザが退屈することなく、ユーザの好みやその場の雰囲気に適した画像表示を行うことが可能なカラオケシステムが実現される。

ところで、上記においては、サウンドトラック再生部２０１１およびビジュアルトラック再生部２０４によるサウンドトラックおよびビジュアルトラックの再生に先立ち、ソースデータ選択部３０１がカラオケデータ１０１２に含まれるイベントデータの置き換え処理を行うものとして説明した。しかしながら、ソースデータ選択部３０１による処理が十分に速い場合には、ソースデータ選択部３０１による処理はサウンドトラック再生部２０１１およびビジュアルトラック再生部２０４によるサウンドトラックおよびビジュアルトラックの再生と同時並行して行われるようにしてもよい。

その場合、サウンドトラック再生部２０１１およびビジュアルトラック再生部２０４は、汎用ソースデータの再生等を指示するイベントデータに対応付けられたタイミングデータにより示されるタイミングで、当該イベントデータをソースデータ選択部３０１に送信する。ソースデータ選択部３０１は、サウンドトラック再生部２０１１またはビジュアルトラック再生部２０４から受信したイベントデータに対応するレコードデータを汎用ソースＤＢ１０１３から検索し、検索したレコードデータに含まれるファイル名を用いて、新たなイベントデータを生成する。ソースデータ選択部３０１は生成したイベントデータを、サウンドトラック再生部２０１１またはビジュアルトラック再生部２０４に送信する。

サウンドトラック再生部２０１１およびビジュアルトラック再生部２０４は、ソースデータ選択部３０１からイベントデータを受信すると、受信したイベントデータを、その内容に応じて、音データ再生部２０１３、画像データ加工処理部２０２３もしくは動画データ再生部２０２１に送信する。その結果、ユーザは、上述したカラオケシステム２の動作によるものと同様の結果を得ることができる。

また、第１実施形態における場合と同様に、カラオケ装置１０は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。また、カラオケシステム１の構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である点も第１実施形態における場合と同様である。さらに、第２実施形態において、１つのカラオケデータ１０１２がビジュアルトラックの各々に対応した異なるサウンドトラックを含むようにしてもよい点も、第１実施形態における場合と同様である。

本発明の第１実施形態にかかるカラオケシステムの構成を示したブロック図である。 本発明の第１実施形態にかかるカラオケシステムをカラオケルームに配置した様子を示した図である。 本発明の第１実施形態にかかるカラオケデータの構成を模式的に示した図である。 本発明の第１実施形態にかかるサウンドトラックの内容を例示した図である。 本発明の第１実施形態にかかるビジュアルトラックの内容を模式的に示した図である。 本発明の第１実施形態にかかる歌唱者用テンプレートの背景レイヤの内容を例示した図である。 本発明の第１実施形態にかかる歌唱者用テンプレートの歌詞レイヤの内容を例示した図である。 本発明の第１実施形態にかかる観衆用テンプレートの背景レイヤの内容を例示した図である。 本発明の第１実施形態にかかるビジュアルトラックに時間調整が行われる様子を模式的に示した図である。 本発明の第２実施形態にかかるカラオケシステムの構成を示したブロック図である。 本発明の第２実施形態にかかるカラオケデータの構成を模式的に示した図である。 本発明の第２実施形態にかかるサウンドトラックの内容を例示した図である。 本発明の第２実施形態にかかるビジュアルトラックに含まれる観衆用テンプレートの背景レイヤに含まれるデータの内容を例示した図である。 本発明の第２実施形態にかかる汎用ソースＤＢの内容を例示した図である。

符号の説明

１…カラオケシステム、２…カラオケシステム、１０…カラオケ装置、１１…コントローラ、１２…マイク、１３…アンプ、１４…スピーカ、１５…ビデオカメラ、１６…ハンドカメラ、１７…カメラ移動装置、１８…ディスプレイ、１９…メディアドライブ、２０…インターネット、１０１…記憶部、１０２…入出力Ｉ／Ｆ、１０３…制御部、２０１…音データブロック、２０２…画像データブロック、２０３…動作制御ブロック、２０４…ビジュアルトラック再生部、３０１…ソースデータ選択部、１０１１・１０１２…カラオケデータ、１０１３…汎用ソースＤＢ、２０１１…サウンドトラック再生部、２０１２…音源部、２０１３…音データ再生部、２０１４…音データ加工処理部、２０２１…動画データ再生部、２０２２…文字画面生成部、２０２３…画像データ加工処理部、２０３１…移動動作制御部、２０３２…カメラ動作制御部。

Claims (6)

1. 楽曲データと、画像データに対する加工処理を指示する加工処理指示データと、前記楽曲データにより再生される楽曲における前記加工処理が実行されるべきタイミングを示す加工処理タイミングデータを記憶する記憶手段と、
   前記楽曲データを楽曲として再生する再生手段と、
   前記再生手段による前記楽曲データの再生中に画像データを受信する受信手段と、
   前記楽曲における前記加工処理タイミングデータにより示されるタイミングに合わせて、前記受信手段により受信された画像データに、前記加工処理指示データにより指示される加工処理を施す加工手段と
   を備えることを特徴とするデータ処理装置。
2. 前記記憶手段は、複数の加工処理指示データおよび前記複数の加工処理指示データに各々対応する複数の加工処理タイミングデータの組を複数組記憶し、
   前記加工手段は、前記複数組のうち１の組に含まれるデータに従って前記受信手段により受信された画像データに対し加工処理を施すと同時に、前記複数組のうち他の組に含まれるデータに従って前記受信手段により受信された画像データに対し加工処理を施すことにより、異なる画像データを同時生成する
   ことを特徴とする請求項１に記載のデータ処理装置。
3. 前記記憶手段は、複数の加工処理指示データおよび前記複数の加工処理指示データに各々対応する複数の加工処理タイミングデータの組を複数組記憶し、
   前記加工手段は、前記複数組の中から選択された１の組に含まれるデータに従って前記受信手段により受信された画像データに対し加工処理を施す
   ことを特徴とする請求項１に記載のデータ処理装置。
4. 前記加工手段は、前記再生手段による前記楽曲データの再生速度の変化に応じて、前記加工処理のタイミングおよび前記加工処理の速度の少なくとも一方を変化させる
   ことを特徴とする請求項１に記載のデータ処理装置。
5. 前記加工手段は、前記再生手段による前記楽曲データの再生速度が変化された場合、前記加工処理のタイミングおよび前記加工処理の速度のいずれも変化させることなく前記受信手段により受信された画像データに対し前記加工処理を施す
   ことを特徴とする請求項１に記載のデータ処理装置。
6. 楽曲データと、画像データに対する加工処理を指示する加工処理指示データと、前記楽曲データにより再生される楽曲における前記加工処理が実行されるべきタイミングを示す加工処理タイミングデータを記憶する処理と、
   前記楽曲データを楽曲として再生する処理と、
   前記楽曲データの再生中に画像データを受信する処理と、
   前記楽曲における前記加工処理タイミングデータにより示されるタイミングに合わせて、受信された前記画像データに、前記加工処理指示データにより指示される加工処理を施す処理と
   をコンピュータに実行させることを特徴とするプログラム。

Images