JP2004348012A - 携帯端末におけるカラオケシステム - Google Patents

Abstract

【課題】着信メロディの演奏と画像、文字表示のタイミングがずれないようにした携帯端末におけるカラオケシステムを提供する。
【解決手段】楽曲のコンテンツ中にイベントデータを備え、楽曲データに埋め込まれた同期データが指示するタイミングに従って、楽曲コンテンツ中に時系列に記述されたイベントを実行することによりカラオケイベントを同期させるようにしている。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は、携帯電話や携帯端末（ＰＤＡ）のような装置において、カラオケを実現するシステムに関する。
【０００２】
【従来の技術】
近年の携帯電話の着信音は、従来のベル音に加え、着メロ（着信メロディ）といって電話が着信中であるとき楽曲を鳴らすことは当たり前のようになってきており、携帯電話機の高機能化に伴い待ち受け画面で絵や写真が表示されるようになってきた。これによって、音楽にあわせて文字や絵を表示することができるようになってきている。この携帯電話では、単純に音楽を演奏すること、或いは音楽を演奏しながら画像や文字を表示して簡易なカラオケを実行することも可能である。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の技術では、高性能ＣＰＵや音源ＬＳＩを搭載して楽曲を演奏することができても、携帯電話（または携帯端末）のような限られた容積、資源の中で楽曲と文字、画像の動作などのアプリケーションと音源ＬＳＩの間でタイミングを取ることのできるシステムを簡単に実現することは難しかった。
【０００４】
これを実現するための一つの手段として、ＣＰＵ内蔵のタイマを使って、着信メロディの演奏と画像やテキストの表示のタイミングをとることが考えられる。しかし、着信メロディの演奏と画像、文字表示のタイマ動作を同時に開始したとしても、ＣＰＵのタイマカウントと音源ＬＳＩの着信メロディ演奏スピードに微妙なずれがあると、最初はタイミングが合っていたとしても、楽曲の最後の方ではタイミングが合わなくなるという状況が発生する。特に携帯電話の様に、着信メロディの演奏以外に通信処理等の割り込みが入ると、このタイミングのずれは大きくなる一方である。
【０００５】
その他にも携帯端末を用いたカラオケシステムとして、以下のような文献がある。
【０００６】
【特許文献１】
特開平２００２−２４４６７６号公報
【０００７】
この発明は前記従来の問題点を解決し、着信メロディの演奏と画像、文字表示のタイミングがずれないようにした携帯端末におけるカラオケシステムを提供することを目的とする。
【０００８】
【課題を解決する為の手段】
その為に、この発明の携帯端末におけるカラオケシステムにおいては、楽曲のコンテンツ中にイベントデータを備え、楽曲データに埋め込まれた同期データが指示するタイミングに従って、楽曲コンテンツ中に時系列に記述されたイベントを実行することによりカラオケイベントを同期させるようにしている。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１０】
図１はこの発明の実施の形態を示すブロック構成図であり，マルチメディアプロセッサ（１０１）、メモリ（１０３）、ディスプレイ（１０５）、キー（１０７）、ブートフラッシュメモリ（１０６）、音源ＬＳＩ（１０２）、アンプ（１０８，１０９）、スピーカ（１１０）、ヘッドホンジャック（１１１）からなる。メモリ（１０３）には、楽曲、画像、テキストを含むカラオケ用コンテンツが格納されている。
【００１１】
マルチメディアプロセッサ（１０１）は、アプリケーションを実行し、メモリ（１０３）に格納されたコンテンツを解析し、ディスプレイ（１０５）に画像や文字の表示を行ったり、キー（１０７）からの割り込みを受け取って指定の処理を行ったり、音源ＬＳＩ（１０２）にデータを送ったり、音源ＬＳＩ（１０２）からの割り込みを受け付けたりする。
【００１２】
ブートフラッシュメモリ（１０６）は電源投入後、必要なＯＳとアプリケーションを、メモリ（１０３）から自動でロードするプログラムを格納する。
【００１３】
音源ＬＳＩ（１０２）はマルチメディアプロセッサ（１０１）からデータを受け取り、音声をアンプ（１０８または１０９）に出力し、スピーカ（１１０）またはヘッドホンジャック（１１１）を駆動する。
【００１４】
カラオケコンテンツはメモリ（１０３）に格納されている。図２にコンテンツのデータ構成例を示す。カラオケコンテンツには、ヘッダーおよび楽曲部に続いて、文字データ、画像データ、音声データなどカラオケに必要なデータおよび、カラオケの動作手順データ（イベントデータと呼ぶ）が含まれている。その他、起動時にダウンロードされるＯＳやカラオケ再生アプリケーションもメモリ（１０３）に格納されている。
【００１５】
カラオケコンテンツに含まれるイベントデータは、曲の再生とともに実行される順番に配置されている。各イベントを実行するタイミングはＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）ならば曲中にＭＩＤＩメッセージとして挿入しておく。例えば、エクスクルーシブメッセージ（メーカや機器に固有のパラメータを扱えるようにしたメッセージ）、あるいはパーカッション等未使用楽器のノート番号（音階を数字で表したもの）のノートオンメッセージをイベント開始用同期メッセージとして挿入する。
【００１６】
音源ＬＳＩ（１０２）では、同期メッセージを受け取った際には音楽を生成せず、データ要求などの割り込みとは別に、イベント発生要求タイミングを与えるための割り込みをマルチメディアプロセッサ（１０１）に返す仕組みを備えている。
【００１７】
本システムの全体の動作の流れを図３に示す。電源を投入すると、マルチメディアプロセッサ（１０１）においてアプリケーションが起動される。次に、音源ＬＳＩ（１０２）、ＬＣＤディスプレイ（１０５）などのデバイスが初期化された後、ＬＣＤディスプレイ（１０５）にメニューが表示される。ユーザがメニューから所望の楽曲を選択して、ＫＥＹなどの外部インターフェースから入力すると、演奏が開始される。
【００１８】
図４に、本システムにおけるデバイス間でのデータの流れを示す。ＫＥＹ操作などで曲が選択されるとマルチメディアプロセッサ（１０１）上で動作しているアプリケーションドライバは、メモリ（１０３）から、選択されたコンテンツをロードする。コンテンツはヘッダーおよび楽曲部などを基本に、文字データ、画像データ、音声データなどのカラオケに必要なデータと、カラオケ動作手順を記述したデータ、すなわちイベントデータから構成されている。
【００１９】
マルチメディアプロセッサ上で動作するアプリケーションドライバは、このコンテンツデータを解析し、各部に適切なデータを送信する。例えば、ＬＣＤディスプレイには文字、画像データを送信し、音源ＬＳＩ（１０２）には音声データを送信する。各部は受け取ったデータに応じた動作を実行する。例えば、ＬＣＤディスプレイであれば文字、画像を表示する。
【００２０】
ここで、音源ＬＳＩ（１０２）は、音声データを受け取った場合には音声出力インターフェースを介して音楽を再生するが、同期メッセージを受け取った際には音楽を生成せず、データ要求などの割り込みとは別に、イベント発生要求タイミングを与えるための割り込みを、マルチメディアプロセッサに返す仕組みを備えている。
【００２１】
マルチメディアプロセッサでは、イベント要求割り込みを受け取ると、イベントを実行する。イベントはグループ化され、時系列に記載されている。１つのイベントグループには同時に行われるべきイベントが１つ以上記述されている。イベント要求割り込みが発生する度に、１個のイベントグループを読み出し、即時にイベントを実行していく。
【００２２】
このように楽曲中に埋め込まれたメッセージによって起きた音源ＬＳＩからマルチメディアプロセッサへの割り込みによって、マルチメディアプロセッサでは時間を意識することなく、イベント発生タイミングをコントロールし、イベントを順に実行していくことが可能となる。
【００２３】
以上説明したように、この発明の実施の形態によれば、画像表示、文字表示と楽曲の同期を取るために、マルチメディアプロセッサは時間管理をする必要がなく、イベントを実行するためのタイマを別に必要としないため、システムの負荷を軽減できる。
【００２４】
また、コンテンツは楽曲の進行とともにシーケンシャルに構成できるため、作成プロセスとカラオケイベント実行順序が対応しており、中身のイベント情報に制限を持たないので非常に拡張性が高い。また、ＬＣＤディスプレイの表示や、オーディオファイルの再生など、それだけでは無関係な複数イベントの処理も同時に実行することも可能である。
【００２５】
次に、上述の実施の形態で説明したカラオケシステムを実現するためのカラオケ楽曲データについて詳細に説明する。
【００２６】
図５は、カラオケ楽曲データの構造を示す図であり、カラオケ楽曲データ本体（５００）は、ヘッダー部とデータ部とから構成される。ヘッダー部は、ファイルタイプを識別するためのファイル識別子（５０１）、アーティスト等を記録するためのトータルカテゴリヘッダ（５０２）、イベントデータのカラオケ楽曲データ本体（５００）上のアドレス（データ先頭からのオフセット）とサイズを記述しているイベントカテゴリヘッダ（５０３）、ソングデータのカラオケ楽曲データ本体（５００）上のアドレスとサイズを記述しているソングカテゴリヘッダ（５０４）、画像データのカラオケ楽曲データ本体（５００）上のアドレスとサイズを記述しているピクチャカテゴリヘッダ（５０５）、テキストデータのカラオケ楽曲データ本体（５００）上のアドレスとサイズを記述しているテキストカテゴリヘッダ（５０６）、オーディオデータのカラオケ楽曲データ本体（５００）上のアドレスとサイズを記述しているオーディオカテゴリヘッダ（５０７）、ビデオデータのカラオケ楽曲データ本体（５００）上のアドレスとサイズを記述しているビデオカテゴリヘッダ（５０８）、ヘッダーの終端を示すヘッダ終端情報（５０９）から構成されている。
【００２７】
また、データ部は、カラオケイベントを記述しているイベントデータ（５１０）、楽曲データを格納しているソングデータ（５１１）、画像情報を格納しているピクチャーデータ（５１２）、テキスト情報を格納しているテキストデータ（５１３）、音声情報を格納しているオーディオデータ（５１４）、動画像情報を格納しているビデオデータ（５１５）から構成されている。
【００２８】
イベントデータ（５１０）の構造を説明する。図９は、イベントデータの構造を示す構成例である。この構成例に於ける一つのイベントデータは、イベントの区切りを示すイベントＩＤ（９０１）、１つのイベント区切りに入っているイベントの個数（９０２）、イベント個数分のイベントデータ（９０３）〜（９０５）から構成される。
【００２９】
イベントには画像を表示するピクチャーイベント（９０４、９０７）、テキストを表示するテキストイベント（９０３）、音声を再生するオーディオイベント（９０６）、動画像を表示するビデオイベント（９０５，９０８）、イベントの実行をクリアするためのリセットイベントがある。これらのイベントは図８に示すイベント識別子で区別される。
【００３０】
図５のソングデータ（５１１）には、楽曲再生を行うためのデータが入っている。一般的に楽曲データを表すフォーマットとしてＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）データが用いられる。
【００３１】
ピクチャーデータ（５１２）の構造の一例を図６に示す。ピクチャーデータ（５１２）はインデックス情報と画像データ（６０３）で構成されている。インデックス情報は、格納されている画像数を示す情報（６０１）と、画像数分の画像のインデックス情報（６０２）とで構成されている。
【００３２】
画像インデックス情報を図７に示す。このインデックス情報は、画像のＩＤ番号（７０１）、画像フォーマット（７０２）、画像データの位置を示すオフセット値（７０３）、画像データのサイズで（７０４）から構成される。
【００３３】
図５のテキストデータ（５１３），オーディオデータ（５１４）、ビデオデータ（５１５）のデータ構造は図６とほぼ同じ構造である。
【００３４】
以下、カラオケ楽曲データ構造（５００）で示したカラオケ楽曲の再生を行う方法について説明する。
【００３５】
最初にカラオケ楽曲データ（５００）のヘッダ情報を読み取る。それぞれのヘッダ情報（５０１）〜（５０９）より、カラオケ楽曲再生に必要な情報を読み取り、再生の準備を行う。
【００３６】
次にソングデータ（５１１）を音源ＬＳＩ（１０２）に送り、楽曲再生を行う。ソングデータにはイベント実行を行うためのタイミングデータとして、同期データが図１０に示すように挿入されている。この同期データは音源が読み取ることができる特定のデータ列である。例えば、ＭＩＤＩのチャンネル１０の音階番号１２７番を同期データと割り当てることもできる。
【００３７】
音源ＬＳＩは同期データを受信すると、マルチメディアプロセッサ（１０１）に同期データを受信したことを知らせる。マルチメディアプロセッサはイベントデータ（５１０）よりイベント識別子（９０１）を探す。次にイベント個数（９０２）を読み取り、このイベント処理で行うべきイベント個数を取得する。次にイベントデータを読み取る。図９のイベントデータ（９０３）はテキストイベントであるので、テキストデータ（５１３）よりテキストデータを読み取り、テキストの表示処理を行う。
【００３８】
テキストイベント（９０３）の処理が完了したら、次にピクチャーイベント（９０４）の処理を行う。ピクチャーイベント（９０４）ではピクチャーデータ（５１２）より指定された画像データを読み取り、画像表示処理を行う。
【００３９】
ビデオイベント（９０５）についても同様に、ビデオデータ（５１５）よりデータを読み取り、ビデオ再生処理を行う。
【００４０】
次に音源ＬＳＩが次の同期データを読み取ると、２番目のイベントデータ識別子を読み取り、同様にイベント処理を行う。
【００４１】
このように、１回のイベント識別子の読み取りで、複数のイベント処理を行うことができる。
【００４２】
イベント処理は基本的には、前回実行されたイベントに対して重ねてイベントを処理する。すなわち、最初にピクチャーイベントで画像を表示し、その次のイベントで画像の上にテキストイベントで文字を表示する。つまり、前のイベントに対して順番に積み重ねていくのである。
【００４３】
しかし、楽曲再生の途中で前のイベント処理の状態を完全にクリアして、改めてイベント処理を行う場合、例えば画像表示の場合、前に表示した画像をクリアするピクチャーイベントを実行した後に、新たに画像を表示するピクチャーイベントを実行する必要がある。画像、動画像、文字など複数のイベントが同時に実行されていた場合、それぞれのイベントに対して前のイベントをクリアするイベントを実行する必要がある。
【００４４】
図８のイベント識別子に記載したリセットイベントは、リセットイベントが実行される前のイベントをすべてクリアする。リセットイベントを使用することにより、容易にすべてのイベント処理をクリアすることが可能になる。
【００４５】
以上のように、複数のイベントをグループ化することにより、ソングデータに埋め込まれた同期データを用いて複数のイベント処理を同時に行うことができる。例えば、楽曲と歌詞、ピクチャーを同時に制御することが可能になる。
【００４６】
また、リセットイベントによって、それまで実行されていたイベントを容易にクリアすることができ、１つの楽曲内でイベントの区切りを入れることができる。イベントの区切りの概念を導入することにより、イベント区切り区間を楽曲内で容易に入れ替え、または消去といった編集も容易になる。
【００４７】
尚、本発明は前述の実施の形態に限定されるものではなく、本発明の趣旨に基づいて以下のように種々変形させることが可能である。
【００４８】
（１）各イベントを実行するタイミングにおいてはエクスクルーシブメッセージ、あるいはパーカッション等未使用楽器のノート番号のノートオンメッセージの他、音源ＬＳＩで認識できるメッセージであれば、タイミングの記述方法を限定するものではない。
【００４９】
（２）カラオケ楽曲のデータ構造として、ソングデータ、テキストデータ、ピクチャーデータ、オーディオデータ、ビデオデータを用いて説明したが、これに限定されるモノではなく、端末で利用できるいかなるデータを用いることができる。
【００５０】
【発明の効果】
以上詳細に説明したように、この発明による携帯端末におけるカラオケシステムにおいては、楽曲のコンテンツ中にイベントデータを備え、楽曲データに埋め込まれた同期データが指示するタイミングに従って、楽曲コンテンツ中に時系列に記述されたイベントを実行することによりカラオケイベントを同期させる構成としたことにより、画像表示、文字表示と楽曲の同期を取るために、マルチメディアプロセッサは時間管理をする必要がなく、イベントを実行するためのタイマを別に必要としないため、システムの負荷を軽減できる。
【図面の簡単な説明】
【図１】この発明の実施の形態を示すシステムの構成図である。
【図２】カラオケコンテンツのデータ構成例を示す図である。
【図３】このシステムにおける全体の動作の流れを示す図である。
【図４】このシステムにおけるデバイス間でのデータの流れを示す図である。
【図５】カラオケ楽曲のデータ構造を示す図である。
【図６】ピクチャデータの構造例を示す図である。
【図７】画像インデックス情報の内容を示す図である。
【図８】イベント識別子の内容を示す図である。
【図９】イベントデータの構成例である。
【図１０】ソングデータに挿入される同期データの一例を示す図である。
【符号の説明】
１０１ マルチメディアプロセッサ
１０２ 音源ＬＳＩ
１０３ メモリ
１０５ ディスプレイ
１０６ ブートフラッシュメモリ
１０７ キー
１０８ アンプ
１０９ アンプ
１１０ スピーカ
１１１ ヘッドフォンジャック

Claims (3)

1. 楽曲のコンテンツ中にイベントデータを備え、楽曲データに埋め込まれた同期データが指示するタイミングに従って、楽曲コンテンツ中に時系列に記述されたイベントを実行することによりカラオケイベントを同期させることを特徴とする携帯端末におけるカラオケシステム。
2. マルチメディアプロセッサと音源ＬＳＩを備えた携帯端末におけるカラオケシステムにおいて、イベント処理を行うタイミングを発生させる手段として、楽曲データの中に前記音源ＬＳＩが認識できるデータ列を埋め込み、前記音源ＬＳＩよりイベント発生のタイミングをマルチメディアプロセッサに通知することを特徴とする携帯端末におけるカラオケシステム。
3. 請求項１記載の携帯端末におけるカラオケシステムにおいて、リセットイベントにより楽曲データ中の複数のイベントを複数のイベント区間に分割できるようにしたことを特徴とする携帯端末におけるカラオケシステム。

Images