JP2010286812A - 携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラム - Google Patents

Abstract

【課題】コンテンツデータと付随データの同期再生において、再生箇所以外の付随情報をサイズの小さいディスプレイで効率よく表示し、操作性を向上すること。
【解決手段】再生処理部２３が楽曲データを再生する場合、同期表示部２４が対応する歌詞データを読み出し、再生の進行に合わせて歌詞を同期表示する。同期表示中に表示送り操作検知部２６が表示送り操作を検知した場合、表示中の歌詞を基点に操作量判定部２７によって判別された操作量に対応する分だけ歌詞を早送りもしくは巻き戻して表示する。同期表示の歌詞と早送りもしくは巻き戻した歌詞とは、ディスプレイ４１上に設けた同一の表示エリアに表示する。
【選択図】図１

Description

本発明は、コンテンツデータと付随データとを対応付け、付随データに含まれる複数の付随情報群を対応するコンテンツデータの再生の進行に合わせて順次表示する携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラムに関する。

従来、音楽や動画などのコンテンツデータの再生が利用されてきた。コンテンツデータの再生は、携帯電話装置やコンピュータ装置などの情報処理装置によって行なわれる。さらに、歌などのコンテンツデータでは、歌詞を文字情報（テキスト）として表示することが行なわれてきた。

特に、カラオケなど利用者自身による歌唱を前提としたサービスでは、歌の楽曲部分のデータと歌詞部分のデータとを予め組み合わせて作成したカラオケ用のコンテンツデータを用いることで、音楽の進行に合わせて対応する歌詞を表示することが行なわれてきた。

また、楽曲データとテキストデータとを同期して再生することで、カラオケと同様のサービスを提供することも考えられている。視聴用の楽曲データを配布するサービスは既に広まっているので、利用者は、楽曲データに対応する歌詞のテキストデータを別途用意すればよい。

歌などのコンテンツデータの再生に合わせて歌詞などのテキストデータを表示する場合、テキストデータのうち、コンテンツデータの再生箇所に合致した一部を表示することが求められる。

加えて、テキストデータのうち、再生箇所に対応する部分以外のテキストを表示することが求められる場合もある。一例として、楽曲データの再生に合わせて対応する部分の歌詞を表示している場合に、先の歌詞を予め見たい場合や既に再生した部分の歌詞を確認したい場合などである。

そこで従来、再生箇所に対応するテキストを表示する領域に加えて、テキストデータ全体から任意の箇所を表示する領域を別途設ける構成が考えられている。

特開２００６−１６３０８５号公報

しかしながら、携帯電話装置やＰＤＡ（Personal Digital Assistant）、携帯型楽曲再生専用機などの携帯型情報処理装置では、筐体の小型化の要請から搭載可能なディスプレイのサイズが限られ、表示可能な情報量に制限がある。

そのため、従来技術のようにディスプレイ上に歌詞などの付随情報を表示する付随情報表示領域を複数設けることは困難であり、付随情報以外の表示、例えば動画などの画像表示を損なう場合があった。

また、再生箇所に対応する付随情報を表示する領域と付随情報が記憶されている付随データ全体から任意の箇所を表示する領域を個別に設けると、ユーザの操作が煩雑になるという問題点があった。加えて、付随データ全体から任意の箇所を表示する領域の表示内容と、再生箇所との対応関係が示されないという問題点があった。そのため、ユーザが複数の表示領域の表示内容を混同し、誤操作が発生する可能性があった。また、複数の表示領域を個別に制御するため、制御が複雑になるという問題点があった。

さらに、複数の付随情報表示領域を想定してディスプレイのサイズの大型化すると筐体全体も大型となり携帯性を損なう。加えて、ディスプレイ自体の価格上昇などによるコスト増も問題となる。

開示の技術は、上記に鑑みてなされたものであって、コンテンツデータと付随データの同期再生において、再生箇所以外の付随情報をサイズの小さいディスプレイで効率よく表示し、操作性を向上することのできる携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラムを提供することを目的とする。

本願の開示する携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラムは、コンテンツデータの再生に合わせて対応する付随データに含まれる複数の付随情報群のうち、コンテンツデータの再生箇所に対応する付随情報を選択して１つの付随情報表示エリアに表示し、コンテンツデータに対応する付随データに含まれる複数の付随情報群のうち、再生箇所に対応する付随情報以外の付随情報の表示を求める操作を受け付けた場合に、再生箇所以外の付随情報を選択して再生箇所に対応する付随情報を表示していた付随情報表示エリアに表示する。

本願の開示する携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラムによれば、コンテンツデータと付随データの同期再生において、再生箇所以外の付随情報をサイズの小さいディスプレイで効率よく表示し、操作性を向上することのできる携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラムを得ることができるという効果を奏する。

図１は、実施例１にかかる携帯電話装置の概要構成図である。 図２は、携帯電話装置１のハードウェア構成図である。 図３は、楽曲データと歌詞データの説明図である。 図４は、楽曲データの再生と歌詞データの同期表示についての説明図である。 図５は、歌詞の同期表示中における表示画面の具体例である。 図６は、歌詞フレーズ表示エリアの表示内容の説明図である。 図７は、タッチパネルの接触開始位置から接触終了位置までの距離を操作量として用いる場合の説明図である。 図８は、表示送り操作の入力に使用する操作キーの一例である。 図９は、表示送り制御後の動作の説明図である。 図１０は、歌詞フレーズの更新例の説明図である。 図１１は、同期表示部２４の処理動作を説明するフローチャートである。 図１２は、図１１に示した同期表示処理を詳細に説明するフローチャートである。 図１３は、図１２に示した表示送り処理を詳細に説明するフローチャートである。 図１４は、歌詞フレーズ表示エリアに複数行の歌詞を表示した例である。 図１５は、複数行の歌詞フレーズを表示する場合の処理についての説明図である。 図１６は、歌詞フレーズ表示エリアの大きさを変更して巻き戻し表示を行なう場合の説明図である。 図１７は、歌詞フレーズ表示エリアの大きさを変更して早送り表示を行なう場合の説明図である。 図１８は、実施例２に係る携帯電話装置の概要構成図である。 図１９は、歌詞データの一例を示す図である。 図２０は、歌詞およびギターコードの同期表示中における表示画面の一例を示す図である。 図２１は、ギターコードがルビとして表示された表示画面の一例を示す図である。 図２２は、歌詞のみが表示された表示画面の一例を示す図である。 図２３は、実施例２に係る携帯電話装置による同期表示処理を説明するフローチャートである。 図２４は、実施例３に係る携帯電話装置の概要構成図である。 図２５は、実施例３における歌詞データに含まれる本体データの一例を示す図である。 図２６は、実施例３に係る携帯電話装置による同期表示処理を説明するフローチャートである。 図２７は、実施例４に係る携帯電話装置の概要構成図である。 図２８は、楽曲データの再生と歌詞データの同期表示についての説明図である。 図２９は、シフトタイミングの時間を設定するユーザインターフェースの一例を示す図である。 図３０は、実施例４に係る携帯電話装置による同期表示処理を説明するフローチャートである。 図３１は、シフトタイミングを更新する処理を説明するフローチャートである。

以下に、本願の開示する携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

図１は、実施例１にかかる携帯型情報処理装置である携帯電話装置の概要構成図である。図１に示した携帯電話装置１は、その内部に通信部１０、制御部２０、記憶部３０および入出力部４０を有する。

通信部１０は、外部の装置と通信し、楽曲などのコンテンツデータや歌詞などのテキストデータを取得する。以降、以下の実施例では、コンテンツデータとして楽曲データを用い、付随データの一例であるテキストデータとして歌詞データを用いて楽曲の再生に合わせて歌詞を順次表示する構成を例示して説明を行なう。

通信部１０は、ネットワーク３を介して楽曲提供サーバ４、歌詞提供サーバ５、歌詞付楽曲提供サーバ６と接続されている。ここでネットワーク３は、例えばインターネットなどである。携帯電話装置１とネットワーク３との接続は、例えば無線ＬＡＮ（Local Area Network）などを介してもよいし、携帯電話の接続業者が提供する携帯網を経由して接続してもよい。また、通信部１０は、パーソナルコンピュータ（ＰＣ）２と接続されている。携帯電話装置１とパーソナルコンピュータ２とは、例えばＵＳＢ（Universal Serial Bus ）やBluetoothなど任意の方式で接続することができる。

楽曲提供サーバ４、歌詞提供サーバ５、歌詞付楽曲提供サーバ６は、例えばＨＴＴＰ（HyperText Transfer Protocol）サーバやＦＴＰ（File Transfer Protocol）サーバである。楽曲提供サーバ４は、ネットワーク３を介して携帯電話装置１に楽曲データを提供する。歌詞提供サーバ５は、ネットワーク３を介して携帯電話装置１に歌詞データを提供する。歌詞付楽曲提供サーバ６は、ネットワーク３を介して携帯電話装置１に楽曲データと対応する歌詞データとを提供する。

パーソナルコンピュータ２は、携帯電話装置１に楽曲データや歌詞データを提供する。パーソナルコンピュータ２が提供する楽曲データや歌詞データは、ＣＤ（Compact Disc）などの記憶媒体から取得する、ネットワーク経由で取得する、ユーザ自身が作成する、などの方法によって得られたものである。

記憶部３０は、楽曲データや歌詞データを記憶する。なお、一般に携帯電話装置では画像データや電話番号のデータなど、ユーザが任意のデータを記憶させるために利用可能な記憶媒体が用意されている。図１ではユーザが任意のデータを記憶させることのできる記憶部３０に楽曲データや歌詞データを記憶させた状態を示している。記憶部３０が記憶する他のデータについては図示および説明を省略する。また、歌い出しの前に歌詞表示させるずらしバッファを格納してもよい。このずらしバッファには、デフォルト値、または、ユーザから指定された値が格納される。

入出力部４０は、ディスプレイ４１、スピーカ４２、操作キー４３、タッチパネル４４などを含むユーザインターフェースである。

制御部２０は、携帯電話装置１の動作を制御する制御部である。制御部２０は、一般的な携帯電話装置の機能として、携帯電話の接続業者が提供する携帯網に接続して通話を行なう機能を有する。かかる通話機能についてはここでは説明を省略し、コンテンツデータとテキストデータの取り扱いに関係する処理部について説明を行なう。

制御部２０は、その内部にデータ取得部２１、リンク処理部２２、再生処理部２３、同期表示部２４、出力制御部２５を有する。

データ取得部２１は、通信部１０を介して外部から楽曲データや歌詞データを取得し、記憶部３０に格納する処理を行なう。リンク処理部２２は、楽曲データと歌詞データとを対応付ける処理を行なう。

再生処理部２３は、記憶部３０から楽曲データを読み出して再生する処理を行なう。具体的には、再生処理部２３は、コード化された楽曲データをデコードし、音データを出力制御部に送る。また、楽曲データに画像や動画が含まれている場合、再生処理部２３は、画像や動画を出力制御部２５に送る。加えて、再生処理部２３は、再生する楽曲データを識別する情報と、楽曲再生の進行状態とを同期表示部２４に出力する。

同期表示部２４は、再生処理部２３による楽曲データの再生に同期して歌詞データを表示する処理部である。具体的には、同期表示部２４は、再生処理部２３から出力された楽曲データを識別する情報に基づいて対応する歌詞データを記憶部３０から検索する。そして、同期表示部２４は、再生処理部２３による楽曲データの再生の進行に合わせて歌詞データに含まれる複数の歌詞フレーズを順次表示する。同期表示部２４による表示は、具体的には、表示すべき歌詞フレーズを選択して出力制御部２５に表示を指示することで行なう。

また、同期表示部２４は、その内部に表示送り操作検知部２６、操作量判定部２７および表示送り制御部２８を有する。表示送り操作検知部２６は、楽曲データの再生箇所に対応する歌詞フレーズ以外の歌詞フレーズの表示を求める操作を表示送り操作として検知する。表示送り操作は、操作キー４３やタッチパネル４４から入力される。操作量判定部２７は、表示送り操作の操作量を判定する。表示送り操作の操作量については後述する。表示送り制御部２８は、表示送り操作に基づいて再生箇所以外の歌詞フレーズを選択して出力制御部に表示を指示する。

出力制御部２５は、ディスプレイ４１の表示出力とスピーカ４２の音出力とを制御する制御部である。出力制御部２５は、再生処理部２３から出力された音をスピーカ４２から出力する。また、再生処理部２３から出力された画像や動画と同期表示部２４から出力された歌詞フレーズとを組み合わせてディスプレイ４１に表示する表示画面を作成する。出力制御部２５は、その内部に表示エリア作成部２９を有する。表示エリア作成部２９の動作については後述する。

なお、出力制御部２５は、携帯電話装置１の他の機能、例えば通話機能などから表示や音声の出力要求が発生した場合に各種出力の競合の解決を行なうが、ここでは説明を省略する。

図２は、携帯電話装置１のハードウェア構成図である。携帯電話装置１では、ＵＳＢユニット１０ａ、無線ＬＡＮユニット１０ｂ、携帯網接続ユニット１０ｃ、ＣＰＵ（Central Processing Unit）２０ａ、メモリ２０ｂ、フラッシュＲＯＭ（Read-Only Memory）２０ｃ、ＳＤカードドライブ３０ａ、ディスプレイ４１、スピーカ４２、操作キー４３、タッチパネル４４がバス１ａに接続されている。なお、上記のフラッシュＲＯＭはフラッシュメモリとも呼ばれる。

ＵＳＢユニット１０ａ、無線ＬＡＮユニット１０ｂ、携帯網接続ユニット１０ｃは、通信部１０の機能を実現する。具体的には、ＵＳＢユニット１０ａは、パーソナルコンピュータ２とＵＳＢ接続を行なうインタフェースである。無線ＬＡＮユニット１０ｂは、無線ＬＡＮのアクセスポイントを介してネットワーク３に接続するインタフェースである。携帯網接続ユニット１０ｃは、携帯電話の接続業者が提供する携帯網に無線接続するインタフェースである。

ＣＰＵ２０ａ、メモリ２０ｂ、フラッシュＲＯＭ２０ｃは、制御部２０の機能を実現する。具体的には、ＣＰＵ２０ａは、フラッシュＲＯＭ２０ｃに格納された各種プログラムを読み出してメモリ２０ｂに展開し、順次実行することで制御部２０の各種機能を実現する。フラッシュＲＯＭ２０ｃは、その内部にデータ取得プログラム２１ａ、リンク処理プログラム２２ａ、再生処理プログラム２３ａ、同期表示プログラム２４ａ、出力制御プログラム２５ａを記憶する。

データ取得プログラム２１ａは、ＣＰＵ２０ａによって実行されることでデータ取得部２１の機能を実現する。リンク処理プログラム２２ａは、ＣＰＵ２０ａによって実行されることでリンク処理部２２の機能を実現する。再生処理プログラム２３ａは、ＣＰＵ２０ａによって実行されることで再生処理部２３の機能を実現する。同期表示プログラム２４ａは、ＣＰＵ２０ａによって実行されることで同期表示部２４の機能を実現する。出力制御プログラム２５ａは、ＣＰＵ２０ａによって実行されることで出力制御部２５の機能を実現する。

フラッシュＲＯＭ２０ｃのうちユーザによって任意に使用可能な領域、すなわち、データ記憶部と、ＳＤカードドライブ３０ａは、記憶部３０として機能する。なお、ここではＳＤカードを記憶部３０として利用する場合を例示したが、記憶部３０を実現する記憶媒体は任意のものを用いることができる。

図３は、楽曲データと歌詞データの説明図である。記憶部３０において、楽曲データと歌詞データとはレコードとして記憶される。各レコードは、カラムＣ１、Ｃ２、Ｃ３を有する。カラムＣ１はレコードを一意に特定する識別情報ＩＤを格納する。カラムＣ２は、楽曲データや歌詞データを格納する。楽曲データや歌詞データは、楽曲や歌詞自体のデータである本体データと、楽曲データや歌詞データに関する情報であるメタデータとを有する。

図３において、レコードＲ１は楽曲データである。楽曲データの本体データＧ１は、再生順序が定められた複数のフレームからなる。楽曲データのメタデータは、曲名、歌手、作曲者、演奏者、１フレームの時間長などの情報を有する。楽曲データのメタデータには、この他、楽曲のビットレートやコードに使用した規格など任意の情報を含めることができる。

図３においてレコードＲｎは歌詞データである。歌詞データの本体データＴ１は、歌詞のフレーズ群と各フレーズの表示タイミングを示す情報とを有する。歌詞データのメタデータは、曲名、歌手、演奏者などの情報を有する。歌詞データに演奏者などの情報が含まれるのは、曲名などが同一であっても、演奏者によって歌詞の各フレーズを表示するタイミングが変わる可能性があるためである。演奏者の情報をメタデータに含め、演奏者の情報を用いて楽曲データと歌詞データの対応付けを行なうことで、歌詞の表示タイミングを楽曲に合わせることができる。同様に、同一の楽曲であっても演奏時間の長さによって歌詞のフレーズを表示するタイミングが異なる場合には演奏時間の情報を含める。楽曲データについては、演奏者の違いや演奏日時等の違い毎に個別の楽曲データとすればよい。歌詞のメタデータには、この他、作詩者など任意の情報を含めることができる。

カラムＣ３は、レコード間を対応付ける情報であるリンクＩＤを有する。リンクＩＤは、対応するレコードのＩＤである。レコードＲ１の楽曲データとレコードＲｎの歌詞データとを対応付ける場合、レコードＲ１のリンクＩＤとしてレコードＲｎのＩＤをカラムＣ３に格納する。同様に、レコードＲｎのリンクＩＤとしてレコードＲ１のＩＤをカラムＣ３に格納する。

図４は、楽曲データの再生と歌詞データの同期表示についての説明図である。図４に示した例では、楽曲の本体データＧ１は、１フレームの長さが１秒の複数のフレームである。また各フレームは再生順序が定められている。換言すれば、楽曲データの各フレームは、楽曲を１秒ごとに区切り、再生順序を示すフレーム番号を付したものである。楽曲の再生を開始すると、まずフレームＭ０１が出力される。このフレームＭ０１は１秒後に出力が終了する。つづいてフレームＭ０２、フレームＭ０３と連続するフレームが順次出力される。楽曲の再生は、最終フレームの出力終了時に終了する。

また、図４に示した例では、歌詞の本体データＴ１は、複数の歌詞フレーズと、各歌詞フレーズの表示開始時間とを有する。表示開始時間は、各歌詞フレーズを表示するタイミングを示す情報として機能する。各歌詞フレーズは、表示開始時間から次の歌詞フレーズの表示開始時間まで表示される。

図４に示した例では、楽曲の再生開始から４秒後に歌詞フレーズｔｘｔ０１の表示が開始される。その後、楽曲の再生開始から１０秒後に歌詞フレーズｔｘｔ０１から歌詞フレーズｔｘｔ０２に書き換えられる。そして、楽曲の再生開始から１５秒後に歌詞フレーズｔｘｔ０２から歌詞フレーズｔｘｔ０３に書き換えられ、楽曲の再生開始から１９秒後に歌詞フレーズｔｘｔ０３から歌詞フレーズｔｘｔ０４に書き換えられる。歌詞フレーズの表示は、楽曲の再生終了に合わせて終了する。なお、歌詞フレーズの内容を空白とすることで、歌詞が表示されない状態が実現できる。また、楽曲再生中での歌い出しに先立って歌詞表示を行う為のずらしバッファが設定されていれば、ずらしバッファに設定された時間だけ歌詞の表示タイミングを早める。具体的には、歌詞フレーズの表示開始時間から、ずらしバッファに設定された時間を引いて得られた値に基づいて歌詞フレーズの表示タイミングを決定する。例えば、ずらしバッファに１秒が設定されていれば、図４に示した例では、楽曲の再生開始から３秒後、Ｍ０４を読み出す時に各歌詞フレーズの表示開始時間から１秒差し引いたフレーズで、３秒に一番近いフレーズ、つまり、３．７０−１＝２．７０秒後に歌詞表示となる歌詞フレーズｔｘｔ０１の表示が開始される。その後、楽曲の再生開始から９秒後、Ｍ１０を読み出す時、各歌詞フレーズの表示開始時間から１秒差し引いたフレーズで、９秒に一番近いフレーズ、つまり９．４０−１＝８．４０秒後に歌詞表示となる歌詞フレーズｔｘｔ０２に書き換えられる。

再生処理部２３は、楽曲の再生開始時に再生する楽曲の識別情報ＩＤを同期表示部２４に通知する。そして再生の開始から終了まで、再生処理部２３は、フレームの出力状況を同期表示部２４に通知する。

同期表示部２４は、再生処理部２３から通知された識別情報ＩＤをリンクＩＤとして持つレコードを検索する。再生処理部２３は、検索結果として得られたレコードを再生される楽曲データに対応する歌詞データとして読み出す。その後、同期表示部２４は、フレームの出力状況から再生の経過時間を算出し、算出した経過時間に基づいて歌詞フレーズを読み出す。

例えば、再生処理部２３から４番目のフレームであるフレームＭ０５を出力することを通知された場合、同期表示部２４は、フレーム番号「５」にフレーム長「１秒」を乗じ、フレームＭ０５が楽曲の４秒目からに相当することを認識する。そこで、同期表示部２４は、４秒以前で、４秒に最も近い表示開始時間が指定された歌詞フレーズを読み出す。図４の例では、歌詞フレーズｔｘｔ０１の表示開始時間が３．７秒である。フレームＭ０５の出力開始時間が４秒であるので、同期表示部２４は、フレームＭ０５の出力開始時点に歌詞フレーズｔｘｔ０１を表示開始する。このため、歌詞フレーズｔｘｔ０１は楽曲の再生開始から４秒後に表示開始されることとなる。

図５は、歌詞の同期表示中における表示画面の具体例である。ディスプレイ４１の表示画面は、出力制御部２５が作成して表示する。表示画面は、装置状態表示エリア５１、主表示エリア５２、操作用エリア５３を有する。装置状態表示エリア５１、主表示エリア５２、操作用エリア５３は、表示エリア作成部２９によって作成される。

装置状態表示エリア５１は、携帯電話装置１の状態を表示するエリアである。携帯電話装置１の状態は、例えばバッテリの充電状態、電波の受信状態などである。操作用エリア５３は、操作キー４３を操作した場合に実行される動作を表示することでユーザ操作を支援するエリアである。

出力制御部２５は、楽曲データを再生している場合に、主表示エリア５２に各種情報を表示する。具体的には、出力制御部２５は、機能名表示エリア６１、曲名表示エリア６２、歌手表示エリア６３、画像表示エリア６４、歌詞フレーズ表示エリア６５を主表示エリア５３内に作成する。機能名表示エリア６１、曲名表示エリア６２、歌手表示エリア６３、画像表示エリア６４、歌詞フレーズ表示エリア６５は、表示エリア作成部２９によって作成される。

出力制御部２５は、音楽再生機能を実行中であることを機能名表示エリア６１に表示する。出力制御部２５は、楽曲データのメタデータから取得した曲名の情報を曲名表示エリア６２に表示する。出力制御部２５は、楽曲データのメタデータから取得した歌手の情報を歌手表示エリア６２に表示する。出力制御部２５は、楽曲データの画像を画像表示エリア６４に表示する。この楽曲データの画像とは例えば動画やジャケット写真などである。出力制御部２５は、同期表示部２４から指定された歌詞フレーズを歌詞フレーズ表示エリア６５に表示する。すなわち、歌詞フレーズ表示エリア６５は、テキスト表示エリアとして機能する。

図６は、歌詞フレーズ表示エリアの表示内容の説明図である。楽曲データの再生に同期して歌詞データを表示する場合、同期表示部２４は、再生箇所に対応するフレーズを選択し、選択された歌詞フレーズが歌詞フレーズ表示エリアに表示される。図６は楽曲の本体データＧ１の３２番目のフレームＭ３２を出力中の状態を示している。フレームＭ３２は演奏開始から３１秒から３２秒までに対応する。そこで、同期表示部２４は歌詞の本体データＴ１から再生箇所に対応する歌詞フレーズとしてｔｘｔ１１を選択して歌詞フレーズ表示エリア６５に表示させる。

表示送り操作検知部２６が表示送り操作を検知すると、表示送り制御部２８は、その時点で選択中の歌詞フレーズを基点に、選択する歌詞フレーズを変更する。具体的には、表示送り制御部２８は、早送り表示と巻き戻し表示のいずれかを行なう。早送り表示では、表示送り制御部２８は再生の進行方向側に対応する歌詞フレーズを選択する。巻き戻し表示では、表示送り制御部２８再生箇所を基点に再生の進行に対して逆側に対応する歌詞フレーズを選択する。

言い換えれば、早送り表示は再生箇所から前へ行なう表示送りであり、巻き戻し表示は再生箇所から後ろに行なう表示送りである。早送り表示や巻き戻し表示は、歌詞フレーズの表示が早送りもしくは巻き戻され、楽曲の再生については早送りや巻き戻しを行なわず再生を継続する。このように再生箇所以外の歌詞データを選択した表示を非同期表示という。

図６の例では、後ろへ表示送りした場合に既に再生した部分の歌詞フレーズであるｔｘｔ０７を選択する。また、前へ表示送りした場合に再生箇所よりも先の歌詞フレーズであるｔｘｔ１５を選択する。

表示送りにおいて、基点となる選択中の歌詞フレーズから表示送り先の歌詞フレーズまでの距離である表示送り量は、表示送り操作の操作量に基づいて決定する。なお、表示送り量は、歌詞フレーズの数や行数であってもよいし、対応する再生時間としてもよい。

図７は、タッチパネルの接触開始位置から接触終了位置までの距離を操作量として用いる場合の説明図である。図７では、ディスプレイ４１にタッチパネル４４を重ねている。タッチパネル４４が接触開始位置ｃ１ｓで接触を検知した後、接触検知位置が移動して接触終了位置ｃ１ｅで接触が終了した場合、操作量判定部２７は、接触開始位置ｃ１ｓから接触終了位置ｃ１ｅまでの距離を操作量として表示送り量の決定に使用する。また、表示送り操作検知部２６は、接触開始位置ｃ１ｓから接触終了位置ｃ１ｅへの移動方向がディスプレイ４１の上方向であることから、この操作を巻き戻し表示の表示送り操作として検知する。なお、表示送り操作検知部２６は、接触開始位置ｃ１ｓもしくは接触終了位置ｃ１ｅが歌詞フレーズ表示エリア６５に対応する位置であることを条件として表示送り操作と判定するようにしてもよい。

同様にタッチパネル４４が接触開始位置ｃ２ｓで接触を検知した後、接触検知位置が移動して接触終了位置ｃ２ｅで接触が終了した場合、操作量判定部２７は、接触開始位置ｃ２ｓから接触終了位置ｃ２ｅまでの距離を操作量として表示送り量の決定に使用する。また、表示送り操作検知部２６は、接触開始位置ｃ２ｓから接触終了位置ｃ２ｅへの移動方向がディスプレイ４１の下方向であることから、この操作を早送り表示の表示送り操作として扱う。なお、表示送り操作検知部２６は、接触開始位置ｃ２ｓもしくは接触終了位置ｃ２ｅが歌詞フレーズ表示エリア６５に対応する位置であることを条件として表示送り操作と判定するようにしてもよい。

図８は、表示送り操作の入力に使用する操作キーの一例である。図８に示した操作キー４３ａは、ディスプレイ４１の上方向を示す記号が付されたボタンであり、操作キー４３ｂは、ディスプレイ４１の下方向を示す記号が付されたボタンである。

表示送り操作検知部２６は、操作キー４３ａの押下を巻き戻し表示の表示送り操作として検知する。そして、操作量判定部２７は、操作キー４３ａの押下時間を操作量とし、表示送り量の決定に使用する。同様に、表示送り操作検知部２６は、操作キー４３ｂの押下を早送り表示の表示送り操作として検知する。そして、操作量判定部２７は、操作キー４３ｂの押下時間を操作量とし、表示送り量の決定に使用する。なお、操作キー４３ａ，４３ｂは、ディスプレイ４１上に表示した操作キー画像の表示位置とタッチパネル上の接触検知位置との組み合わせによって実現される仮想的なボタンであってもよい。

操作量と表示送り量との対応関係、すなわち操作時間や操作距離と表示送り量との対応関係は、予め設定しておく。また、ユーザの操作によって操作量と表示送り量との対応関係を変更可能としておくことが好ましい。

図９は、表示送り制御後の動作の説明図である。表示送り制御部２８は、表示送りを行なって再生箇所以外の歌詞フレーズを選択した後、予め定めた時間が経過した場合に、再生箇所以外の歌詞フレーズの選択を終了する。選択終了後、同期表示部２４は、同期表示に復帰する。表示送り中にも楽曲の再生は進行しているため、同期表示に復帰する際には復帰時点で出力されているフレーム番号を取得し、再生箇所に対応した歌詞フレーズを選択する。

図９に示した例では、表示送りで歌詞フレーズｔｘｔ０７を表示した後、同期表示に復帰する時点でフレームＭ３６が出力されている。フレームＭ３６は再生時間の３５秒から３６秒までに対応する。そこで、同期表示部２４は、再生時間の３５秒から３６秒までに対応する歌詞フレーズｔｘｔ１３を歌詞の本体データＴ１から選択する。

なお、同期表示部２４は、表示送りの開始後、予め定めた時間が経過する前に再度表示送り操作を検知した場合、選択中の歌詞フレーズを基点として表示送りを再び実行する。

図９に示した例では、表示送りで歌詞フレーズｔｘｔ０７を表示した後、予め定めた時間が経過する前に表示送り操作を検知すると、同期表示部２４は、歌詞フレーズｔｘｔ０７を基点として表示送りを行なう。したがって、表示送り操作が巻き戻し表示を指示する操作であった場合には、歌詞フレーズｔｘｔ０７からさらに歌詞を遡って歌詞フレーズを選択する。また、表示送り操作が早送り表示を指示する操作であった場合には、歌詞フレーズｔｘｔ０７から再生の進行方向に沿って選択する歌詞フレーズを変化させる。そのため、操作量が小さければ、再生箇所まで戻らず、再生箇所からの巻き戻し量を減らす操作となる。

このように、その時点で選択し、表示している歌詞フレーズを基点として表示する歌詞フレーズを選択することで操作性を向上することができる。再生の進行方向を下方向と位置づけた場合、現在の表示されている歌詞フレーズよりも前の歌詞を見たければ上方向の操作、現在の表示されている歌詞フレーズよりも先の歌詞を見たければ下方向の操作を行なえばよい。

さらに、同期表示中の歌詞フレーズの書き換えに際し、前の歌詞フレーズが上に移動して消えてゆき、次の歌詞フレーズが下から現れるように表示を制御することで、再生の進行方向が下方向に位置づけられていることをユーザに認識させることもできる。

図１０は、歌詞フレーズの更新例の説明図である。図１０に示した例では、歌詞フレーズ表示エリア６５の表示を歌詞フレーズｔｘｔ１３から歌詞フレーズｔｘｔ１４に書き換える場合を示している。歌詞フレーズｔｘｔ１３は、上方向に移動して歌詞フレーズ表示エリア６５の上端で消える。そして、歌詞フレーズｔｘｔ１４は、フレーズ表示エリア６５の下端から表れて上方向に移動し、フレーズ表示エリア６５の中央で停止する。

つぎに、同期表示部２４の処理動作について説明する。図１１は、同期表示部２４の処理動作を説明するフローチャートである。同期表示部２４は、再生処理部２３から再生レコードのＩＤを取得し（Ｓ１０１）、取得したＩＤをカラムＣ３にリンクＩＤとして有する対応レコードを検索する（Ｓ１０２）。検索の結果、対応レコードが存在しない場合（Ｓ１０３，Ｎｏ）、同期表示部２４は、処理を終了する。

一方、対応レコードが存在する場合（Ｓ１０３，Ｙｅｓ）、同期表示部２４は対応レコードのカラムＣ２から歌詞データを読み出す（Ｓ１０４）。また、同期表示部２４は、再生レコードのＩＤに基づいて記憶部３０を検索し、再生レコードのメタデータからフレーム長を読み出す（Ｓ１０５）。同期表示部２４は読み出した歌詞データとフレーム長を用いて同期表示処理を実行し（Ｓ１０６）、処理を終了する。

図１２は、図１１に示した同期表示処理を詳細に説明するフローチャートである。同期表示部２４は、再生処理部２３から再生するフレームのフレーム番号を取得する（Ｓ２０１）。

同期表示部２４は、取得したフレーム番号とフレーム長からフレームの再生時間を算出する（Ｓ２０２）。そして、表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い歌詞フレーズを検索する（Ｓ２０３）。

表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い歌詞フレーズが存在する場合（Ｓ２０４，Ｙｅｓ）、該当する歌詞フレーズの表示を開始する（Ｓ２０５）。この表示開始時点で前の歌詞フレーズが表示中であれば、前の歌詞フレーズの表示を消去して更新する。

ステップＳ２０５の終了後、もしくは表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い歌詞フレーズが存在しない場合（Ｓ２０４，Ｎｏ）、表示送り操作検知部２６は、表示送り操作の入力を検知する（Ｓ２０６）。表示送り操作検知部２６が表示送り操作を検知した場合（Ｓ２０６，Ｙｅｓ）、同期表示部２４は、表示送り処理を実行する（Ｓ２０７）。

表示送り操作の終了後、もしくは表示送り操作が検知されなかった場合（Ｓ２０６，Ｎｏ）、同期表示部２４は、再生処理部２３による楽曲データの再生が全て終了したか否かを判定する（Ｓ２０８）。

楽曲データの再生が終了していなければ（Ｓ２０８，Ｎｏ）、同期表示部２４は、そのフレームが終了するまで待機して（Ｓ２１０）、再び、次のフレーム数を取得する（Ｓ２０１）。そして、楽曲データの再生が終了した場合（Ｓ２０８，Ｙｅｓ）に、同期表示部２４は、歌詞フレーズの表示を終了する（Ｓ２０９）。

図１３は、図１２に示した表示送り処理を詳細に説明するフローチャートである。表示送り処理では、まず、操作量判定部２７が表示送り操作の操作量を判定する（Ｓ３０１）。表示送り制御部２８は、操作量から表示送り量を算出する（Ｓ３０２）。

つぎに表示送り制御部２８は、現在表示中の歌詞フレーズを基点とし、表示送り操作検知部２６によって検知された方向に表示送り量分だけ離れた歌詞フレーズを表示する歌詞フレーズとして選択する（Ｓ３０３）。表示送り制御部２８は、選択した歌詞フレーズの表示を出力制御部に指示することで選択した歌詞フレーズを表示させる（Ｓ３０４）。

その後、一定時間、選択されたフレーズを表示して、その一定時間経過後、再生中の歌詞フレーズを表示する為の、その一定時間のタイマーを起動して(Ｓ３０５)、表示送り操作検知部２６は、表示送り操作の入力を検知する処理を起動し（Ｓ３０６）、タイムアウト、もしくは表示送り操作検知のいずれかを待つ待ち状態となる（Ｓ３０７）。

待ち状態において、表示送り操作検知部２６が表示送り操作を検知した場合（Ｓ３０８）、操作量判定部２７による操作量判定（Ｓ３０１）に戻る。また、表示からの経過時間が所定時間を超えた場合（Ｓ３０８）、表示送り制御部２８は、楽曲の現在の再生箇所に対応する歌詞フレーズを選択して出力制御部２５に表示指示し（Ｓ３０９）、処理を終了する。

図１２に示したように、同期表示では、同期表示部２４は出力されるフレームの番号に合わせて歌詞を表示する。そのため、楽曲の再生を早送りした場合や巻き戻した場合には楽曲に追随して対応する歌詞を表示することができる。

一方、図１３に示したように、非同期表示では、同期表示部２４は楽曲の再生に影響を与えることなく、再生箇所以外の歌詞を表示することができる。

これまでの説明では、歌詞フレーズ表示エリアに１行の歌詞を表示する場合を例示したが、使用可能な歌詞フレーズ表示エリアの大きさによっては複数行の歌詞を表示することもできる。

図１４は、歌詞フレーズ表示エリアに複数行の歌詞を表示した例である。図１４に示した例では、ディスプレイ４１の主表示エリア５２において、画像表示エリア６４に一部重複する歌詞フレーズ表示エリア６５ａを形成し、３行の歌詞を表示している。

図１５は、複数行の歌詞フレーズを表示する場合の処理についての説明図である。歌詞の本文データＴ１が、１行相当分の歌詞フレーズにそれぞれ表示開始時間を設定していれば、楽曲の再生箇所を含む３行の歌詞フレーズを１回の表示分として読み出せばよい。

また、歌詞の本文データＴ２に示したように、歌詞フレーズ表示エリア６５ａに一度に表示可能な３行相当分までの歌詞フレーズ毎に表示開始時間を設定しても良い。なお、ｔｘｔ１３とｔｘｔ１４のように、２行分や１行分の歌詞フレーズに対して表示開始時間を設定することを妨げるものではない。

また、同期表示と非同期表示とで歌詞フレーズ表示エリアの大きさを変更することもできる。

図１６は、歌詞フレーズ表示エリアの大きさを変更して巻き戻し表示を行なう場合の説明図である。図１６に示した例では、表示エリア作成部２９は、同期表示においてはディスプレイ４１の主表示エリア５２に１行分の歌詞フレーズ表示エリアを形成する。そして、表示エリア作成部２９は、非同期表示においてはディスプレイ４１の主表示エリア５２に３行分の歌詞フレーズ表示エリアを形成している。

同期表示における歌詞フレーズ表示エリア６５ｂは再生箇所に対応する歌詞フレーズｔｘｔ１４を表示している。この状態から巻き戻し表示を行なう場合、歌詞フレーズ表示エリア全体を前の歌詞フレーズの表示に用いてもよいし、前の歌詞フレーズと再生箇所の歌詞フレーズの双方を表示してもよい。

例えば、歌詞フレーズ表示エリア６５ｃは、歌詞フレーズ表示エリア６５ｃ全体を前の歌詞フレーズの表示に用い、歌詞フレーズｔｘｔ０７〜０９を表示している。一方、歌詞フレーズ表示エリア６５ｄは、前の歌詞フレーズｔｘｔ０７〜０８と、再生箇所に対応する歌詞フレーズｔｘｔ１４の双方を表示している。

図１７は、歌詞フレーズ表示エリアの大きさを変更して早送り表示を行なう場合の説明図である。図１７に示した例では、表示エリア作成部２９は、同期表示においてはディスプレイ４１の主表示エリア５２に１行分の歌詞フレーズ表示エリアを形成する。そして、表示エリア作成部２９は、非同期表示においてはディスプレイ４１の主表示エリア５２に３行分の歌詞フレーズ表示エリアを形成している。

同期表示における歌詞フレーズ表示エリア６５ｅは再生箇所に対応する歌詞フレーズｔｘｔ１４を表示している。この状態から早送り表示を行なう場合、歌詞フレーズ表示エリア全体を先の歌詞フレーズの表示に用いてもよいし、先の歌詞フレーズと再生箇所の歌詞フレーズの双方を表示してもよい。

例えば、歌詞フレーズ表示エリア６５ｆは、歌詞フレーズ表示エリア６５ｆ全体を先の歌詞フレーズの表示に用い、歌詞フレーズｔｘｔ２０〜２２を表示している。一方、歌詞フレーズ表示エリア６５ｇは、再生箇所に対応する歌詞フレーズｔｘｔ１４と先の歌詞フレーズｔｘｔ２０〜２１の双方を表示している。

再生箇所の歌詞フレーズと表示送りによる再生箇所以外の歌詞フレーズとを同時に表示する場合、再生箇所の歌詞フレーズの表示位置を固定してもよいが、歌詞フレーズの順序に合わせてもよい。歌詞フレーズ表示エリア６５ｇに示した例では、歌詞フレーズの順序を合わせるため、再生箇所に対応する歌詞フレーズｔｘｔ１４の表示位置を変更している。

再生箇所に対応する歌詞フレーズと、再生箇所以外に対応する歌詞フレーズとで表示態様を異ならせることとしてもよい。例えば、文字色、サイズ、フォント、文字飾りなどを異ならせることができる。このように、表示態様を変えることで、表示中の歌詞が再生箇所に対応した歌詞であるか否かを簡易に識別可能となる。さらに、早送り表示の表示態様と巻き戻し表示の表示態様を異ならせることとすれば、再生箇所と表示中の歌詞との前後関係を簡易に識別可能となる。表示態様の変化は、再生箇所に対応する歌詞フレーズと再生箇所以外に対応する歌詞フレーズとを同時に表示する場合に限らず、表示送り中に再生箇所に対応する歌詞を表示しない場合であっても有効である。

上述してきたように、実施例１では、携帯電話装置１は、楽曲データと歌詞データの同期再生中に再生箇所以外の歌詞表示を求められた場合、再生箇所の歌詞を表示していた表示エリアに表示する。

そのため、ディスプレイが小さい場合であっても再生箇所以外の歌詞を効率よく表示することができる。したがって、筐体全体も大型によって携帯性を損なうこともなく、ディスプレイ自体の価格上昇などによるコスト増を回避できる。

また、複数の表示領域を設ける必要が無いため、動画など他の表示を損なうことが無く、表示内容の混同による誤操作を回避し、ユーザ操作も内部動作も簡明にすることができる。加えて、表示中の歌詞を基点として表示する歌詞を選択して表示するので、非同期表示であっても再生箇所と前後関係が明確であることから、ユーザに分かりやすく、操作性を向上することができる。

なお、実施例１はあくまで一例であり、開示の技術は適宜変更して実施可能である。例えば、実施例１では、記憶部３０に楽曲データと歌詞データの双方を記憶させる構成を例示したが、複数の記憶部に楽曲データと歌詞データを分散して記憶させてもよい。さらに、楽曲データを記憶する記憶部と歌詞データを記憶する記憶部とを分けてもよい。

また、実施例１では、コンテンツデータの例として楽曲データ、付随データの一例であるテキストデータの例として歌詞データを示した。これはあくまで一例であり、コンテンツデータとしては時間経過に伴って出力が変化する任意のコンテンツを使用することができる。同様にテキストデータとしては、コンテンツデータの再生に合わせて表示内容が変化する任意のデータを用いることができる。さらに、コンテンツデータには音出力は必須ではなく、表示内容のみが時間変化するものであってもよい。

例えば、映画をコンテンツデータとし、字幕をテキストデータとして開示の技術を適用することができる。また、テロップなど文字情報が付された動画であってもよい。

さらに、実施例１ではコンテンツデータとテキストデータとが１対１に対応する場合を例示して説明を行なったが、コンテンツデータとテキストデータの対応は１対１に限定されるものではない。例えば、コンテンツデータが映画である場合、英語版字幕や日本語版字幕など複数のテキストデータを対応させることが有用である。また、同じ楽曲に異なる歌詞が存在する場合もある。同様に、曲調などのアレンジが異なる複数の楽曲データであっても、歌詞の内容と表示タイミングが同一であれば一つテキストデータを複数の楽曲データに対応させることができる。

また、実施例１では携帯型情報処理装置の一例として携帯電話装置を示したが、ＰＤＡ（Personal Digital Assistant）、携帯型楽曲再生専用機など任意の携帯型情報処理装置に開示の技術を適用することができる。さらに、開示の技術は再生処理プログラム２３ａ、同期表示プログラム２４ａ、出力制御プログラム２５ａを含むプログラムとして提供することもできる。

上記実施例１では、楽曲の再生に合わせて、歌詞を付随情報として表示する例を示したが、本願の開示する携帯型情報処理装置は、歌詞に加えて楽曲のギターコードなどを付随情報として表示してもよい。そこで、実施例２では、楽曲の再生に合わせて歌詞およびギターコードを順次表示する例について説明する。

図１８は、実施例２に係る携帯型情報処理装置である携帯電話装置の概要構成図である。図１８に示した携帯電話装置２００は、その内部に通信部１０、入出力部４０、制御部２２０および記憶部２３０を有する。なお、以下では、図１に示した構成部位と同様の機能を有する部位には同一符号を付すこととして、その詳細な説明を省略する。

記憶部２３０は、楽曲データや歌詞データを記憶する。なお、一般に携帯電話装置では画像データや電話番号のデータなど、ユーザが任意のデータを記憶させるために利用可能な記憶媒体が用意されている。図１８ではユーザが任意のデータを記憶させることのできる記憶部２３０に楽曲データや歌詞データを記憶させた状態を示している。記憶部２３０が記憶する他のデータについては図示及び説明を省略する。

楽曲データや歌詞データの構造は、図３に示した例と同様である。ただし、実施例２における歌詞データの本体データは、歌詞とギターコードを含むフレーズ群と、各フレーズの表示開始時間、即ち、表示タイミングを示す情報を有する。

図１９は、歌詞データの一例を示す図である。図１９に示した歌詞データは、ギターコードが埋め込まれていることを示す特殊記号として、二重積分記号を含む。具体的には、図１９に示した歌詞データにおいて、左から奇数番目に現れる二重積分記号と、左から偶数番目に現れる二重積分記号とによって挟まれた文字は、ギターコードであることを示す。一方、図１９に示した例において、二重積分記号に挟まれていない文字や、左から偶数番目に現れる二重積分記号と、左から奇数番目に現れる二重積分記号とによって挟まれた文字は、歌詞であることを示す。

例えば、図１９に示した歌詞データの４行目のうち、左から１番目と２番目の二重積分記号によって挟まれた文字「Ｃ」はギターコードである。また、図１９に示した歌詞データの４行目のうち、左から２番目と３番目の二重積分記号によって挟まれた文字「でんでんむしむし かたつむ」は歌詞である。また、図１９に示した歌詞データの４行目のうち、左から３番目と４番目の二重積分記号によって挟まれた文字「Ｄｍ７」はギターコードである。また、図１９に示した歌詞データの４行目のうち、二重積分記号に挟まれていない文字「り」は歌詞である。このように、記憶部２３０に記憶されている歌詞データには、歌詞の途中にギターコードが埋め込まれる。

制御部２２０は、携帯電話装置２００の動作を制御する制御部である。制御部２２０は、一般的な携帯電話装置の機能として、携帯電話の接続業者が提供する携帯網に接続して通話を行なう機能を有する。かかる通話機能についてはここでは説明を省略し、楽曲データと歌詞データの取り扱いに関係する処理部について説明を行なう。

制御部２２０は、その内部にデータ取得部２１、リンク処理部２２、再生処理部２３、出力制御部２５、同期表示部２２４を有する。

同期表示部２２４は、再生処理部２３による楽曲データの再生に同期して歌詞データを表示する処理部である。具体的には、同期表示部２２４は、再生処理部２３から出力された楽曲データを識別する情報に基づいて対応する歌詞データを記憶部２３０から検索する。そして、同期表示部２２４は、再生処理部２３による楽曲データの再生の進行に合わせて歌詞データに含まれる複数の歌詞フレーズを順次表示する。同期表示部２２４による表示は、具体的には、表示すべき歌詞フレーズを選択して出力制御部２５に表示を指示することで行なう。

また、同期表示部２２４は、その内部に記号検知部２２６、表示制御部２２７を有する。記号検知部２２６は、楽曲データの再生箇所に対応する歌詞フレーズの歌詞データの中に、ギターコードが埋め込まれていることを示す特殊記号の有無を検知する。表示制御部２２７は、記号検知部２２６によって特殊記号が検知された場合に、歌詞データに含まれる歌詞とともにギターコードの表示制御を行なう。

図２０は、歌詞およびギターコードの同期表示中における表示画面の一例を示す図である。図２０の左側は、図１９に示した歌詞データの１行目が表示制御されている表示画面の例を示している。具体的には、図１９に示した歌詞データの１行目には、歌詞が含まれず、ギターコード「Ｃ Ｇ７ Ｃ」が含まれている。したがって、表示制御部２２７は、歌詞フレーズ表示エリア６５ｈにギターコード「Ｃ Ｇ７ Ｃ」のみを表示制御する。図２０の左側に示したような表示画面は、例えば、楽曲の前奏、間奏、後奏のように歌詞が存在しない状況で表示される。

図２０の右側は、図１９に示した歌詞データの４行目が表示制御されている表示画面の例を示している。具体的には、図１９に示した歌詞データの４行目には、ギターコード「Ｃ」の後に、歌詞「でんでんむしむし かたつむ」が含まれている。したがって、表示制御部２２７は、歌詞フレーズ表示エリア６５ｈに、歌詞「でんでんむしむし かたつむ」を表示制御するとともに、先頭の歌詞「で」の上にギターコード「Ｃ」を表示制御する。また、図１９に示した歌詞データの４行目には、ギターコード「Ｄｍ７」の後に、歌詞「り」が含まれている。したがって、表示制御部２２７は、歌詞フレーズ表示エリア６５ｈに、歌詞「り」を表示制御するとともに、歌詞「り」の上にギターコード「Ｄｍ７」を表示制御する。

このように、表示制御部２２７は、歌詞フレーズ表示エリア６５ｈに歌詞とギターコードとを表示制御する。図２０に示した例では、表示制御部２２７は、歌詞フレーズ表示エリア６５ｈの上の行にギターコードを表示し、歌詞フレーズ表示エリア６５ｈの下の行に歌詞を表示している。なお、表示制御部２２７は、ギターコードをルビとして表示制御してもよい。図２１は、ギターコードがルビとして表示された表示画面の一例を示す図である。図２１に示した例では、表示制御部２２７は、歌詞の上にギターコードをルビとして表示制御している。

また、表示制御部２２７は、ユーザによって歌詞のみを表示する操作を行われた場合に、ギターコードを表示制御せずに歌詞のみを表示制御する。図２２は、歌詞のみが表示された表示画面の一例を示す図である。図２２に示した例では、表示制御部２２７は、機能名表示エリア６１に、歌詞のみを表示している画面であることを示す情報として、「歌詞表示」を表示制御している。また、図２２に示した例では、表示制御部２２７は、画像表示エリア６４を削除して、歌詞フレーズ表示エリア６５ｉのサイズを大きくしている。そして、表示制御部２２７は、歌詞データに含まれるギターコードを削除して、歌詞のみを歌詞フレーズ表示エリア６５ｉに表示制御する。

上述した携帯電話装置２００のハードウェア構成は、図２に示した携帯電話装置１のハードウェア構成と同様である。

つぎに、実施例２に係る携帯電話装置２００による同期表示処理について説明する。図２３は、実施例２に係る携帯電話装置２００による同期表示処理を説明するフローチャートである。携帯電話装置２００の同期表示部２２４は、再生処理部２３から再生するフレームのフレーム番号を取得する（Ｓ４０１）。

同期表示部２２４は、取得したフレーム番号とフレーム長からフレームの再生時間を算出する（Ｓ４０２）。そして、同期表示部２２４は、表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い歌詞フレーズを検索する（Ｓ４０３）。

表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い表示開始時間が存在しない場合に（Ｓ４０４，Ｎｏ）、同期表示部２２４は、楽曲データの再生が全て終了したか否かを判定する（Ｓ４０５）。楽曲データの再生が終了した場合には（Ｓ４０５，Ｙｅｓ）、同期表示部２２４は、歌詞フレーズの表示を終了する（Ｓ４０６）。一方、同期表示部２２４は、楽曲データの再生が終了していなければ（Ｓ４０５，Ｎｏ）、そのフレームが終了するまで待機して（Ｓ４０７）、再び、次のフレーム数を取得する（Ｓ４０１）。

一方、表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い表示開始時間が存在する場合に（Ｓ４０４，Ｙｅｓ）、同期表示部２２４の記号検知部２２６は、該当フレーズにギターコードが埋め込まれていることを示す特殊記号が存在するか否かを判定する（Ｓ４０８）。

そして、記号検知部２２６によって特殊記号が存在しないと判定された場合に（Ｓ４０８，Ｎｏ）、同期表示部２２４の表示制御部２２７は、該当するフレーズの表示を開始する（Ｓ４０９）。そして、同期表示部２２４は、上述したステップＳ４０５〜Ｓ４０７における処理を行なう。

一方、記号検知部２２６によって特殊記号が存在すると判定された場合に（Ｓ４０８，Ｙｅｓ）、表示制御部２２７は、所定の文字カウンタと歌詞カウンタとを設けて、かかる文字カウンタと歌詞カウンタとを０に初期設定する（Ｓ４１０）。

表示制御部２２７は、文字カウンタに設定されている値に従い、該当するフレーズから１文字取り出す（Ｓ４１１）。具体的には、表示制御部２２７は、文字カウンタにＮが設定されている場合に、該当するフレーズのＮ番目の文字を取り出す。例えば、表示制御部２２７は、文字カウンタに「０」が設定されている場合に、該当するフレーズの０番目の文字を取り出す。なお、ここでは、フレーズの０番目の文字は、フレーズの先頭の文字であるものとする。

そして、表示制御部２２７は、取り出した文字の文字種別を判別する（Ｓ４１２）。表示制御部２２７は、文字種別が文字である場合に（Ｓ４１２，記号、改行以外）、歌詞フレーズ表示エリア６５ｈの歌詞フレーズを表示する行に、取り出した１文字を表示する（Ｓ４１３）。そして、表示制御部２２７は、文字カウンタに１を加算するとともに（Ｓ４１４）、歌詞カウンタに１を加算する（Ｓ４１５）。そして、表示制御部２２７は、ステップＳ４１１の処理に戻る。

また、表示制御部２２７は、文字種別が特殊記号である場合に（Ｓ４１２，特殊記号）、特殊記号によって挟まれた文字を、歌詞フレーズ表示エリア６５ｈのギターコードを表示する行に、歌詞カウンタの文字数目に表示する（Ｓ４１６）。例えば、表示制御部２２７は、歌詞カウンタに「３」が設定されている場合に、ギターコードを表示する行の左から３番目に、特殊記号によって挟まれた文字を表示する。そして、表示制御部２２７は、文字カウンタに、特殊記号の文字数である「２」と、特殊記号に挟まれたギターコードの文字数とを加算する（Ｓ４１７）。そして、表示制御部２２７は、ステップＳ４１１の処理に戻る。

また、表示制御部２２７は、文字種別が改行である場合に（Ｓ４１２，改行）、上述したＳ４０５〜Ｓ４０７における処理を行なう。

上述してきたように、実施例２に係る携帯電話装置２００は、歌詞データに含まれる特殊記号を検知した場合に、特殊記号に挟まれた文字をギターコードとして検出する。そして、携帯電話装置２００は、歌詞データに含まれる歌詞とギターコードを２行に分けて表示制御する。または、携帯電話装置２００は、ギターコードを歌詞のルビとして表示制御する。

これにより、実施例２に係る携帯電話装置２００は、楽曲の再生に合わせて、歌詞とともにギターコードも表示することができる。この結果、実施例２に係る携帯電話装置２００は、利用者に対して、歌詞以外の情報も提供することができるので、利用者の利便性を向上させることができる。例えば、利用者は、実施例２に係る携帯電話装置２００を用いた場合に、楽曲を聴きながら、ディスプレイ４１に表示される歌詞とギターコードとを参照して、歌うとともにギターを演奏することができる。

なお、上記実施例２では、コンテンツデータの例として楽曲データ、付随情報データの例として歌詞データを示した。これはあくまで一例であり、コンテンツデータとしては時間経過に伴って出力が変化する任意のコンテンツを使用することができる。同様に付随情報データとしては、コンテンツデータの再生に合わせて表示内容が変化する任意のデータを用いることができる。さらに、コンテンツデータには音出力は必須ではなく、表示内容のみが時間変化するものであってもよい。

例えば、携帯電話装置２００は、楽曲の再生に合わせて、歌詞とともに、ピアノコードや、「ドレミファソラシド」などの音階、楽曲の楽譜に用いられる音符や休符などの音楽記号を表示してもよい。また、例えば、携帯電話装置２００は、楽曲の再生に合わせて、歌詞とともに、かかる歌詞を歌う担当を示す記号を表示してもよい。「担当を示す記号」の例としては、楽曲がデュエット曲である場合に、男性パートを示すスペードマークや、女性パートを示すハートマークなどのデュエットマークなどが挙げられる。

また、例えば、携帯電話装置２００は、コンテンツデータとして映画などの動画を再生する場合に、字幕とともに、再生中の映像を説明する情報を表示してもよい。これにより、利用者は、動画の再生中に字幕を見ながら、例えば、映像の背景を説明した情報や、映画に出演している人物に関する情報などを閲覧できる。また、携帯電話装置２００は、コンテンツデータとして映画などの動画を再生する場合に、日本語字幕とともに、英語字幕を表示してもよい。これにより、利用者は、動画の再生中に、日本語と英語とを同時に閲覧できるので、携帯電話装置２００を語学学習に用いることができる。

また、上記実施例２に係る携帯電話装置２００は、実施例１に係る携帯電話装置１と組み合わせてもよい。具体的には、実施例２における同期表示部２２４は、図１に示した表示送り操作検知部２６、操作量判定部２７、表示送り制御部２８を有してもよい。そして、携帯電話装置２００は、楽曲データと歌詞データの同期再生中に再生箇所以外の歌詞表示を求められた場合に、再生箇所以外の歌詞とギターコードを表示する。

上記実施例１では、歌詞データに含まれる１行の歌詞フレーズを歌詞フレーズ表示エリア６５に１行で表示する例を示した。ここで、本願の開示する携帯型情報処理装置は、１行の歌詞フレーズを複数行に分けて表示したり、異なる表示時間に分割して表示してもよい。そこで、実施例３では、１行の歌詞フレーズを複数行に分けて表示したり、異なる表示時間に分割して表示する例について説明する。

図２４は、実施例３に係る携帯型情報処理装置である携帯電話装置の概要構成図である。図２４に示した携帯電話装置３００は、その内部に通信部１０、入出力部４０、制御部３２０および記憶部３３０を有する。

記憶部３３０は、楽曲データや、歌詞データ、最大表示文字数、表示可能行数を記憶する。なお、一般に携帯電話装置では画像データや電話番号のデータなど、ユーザが任意のデータを記憶させるために利用可能な記憶媒体が用意されている。図２４ではユーザが任意のデータを記憶させることのできる記憶部３３０に楽曲データや、歌詞データ、最大表示文字数、表示可能行数を記憶させた状態を示している。記憶部３３０が記憶する他のデータについては図示及び説明を省略する。

楽曲データや歌詞データの構造は、図３に示した例と同様である。最大表示文字数は、図５に例示した歌詞フレーズ表示エリア６５に１行で表示できる最大文字数を示す。表示可能行数は、歌詞フレーズ表示エリア６５に表示可能な行数を示す。

図２５は、実施例３における歌詞データに含まれる本体データの一例を示す図である。図２５に示した本体データＴ３１の１、３、４行目の例のように、表示開始時間が、歌詞フレーズの先頭のみに存在する場合には、表示開始時間は、対応する歌詞フレーズを表示するタイミングを示す。例えば、図２５に示した本体データの１行目は、歌詞フレーズｔ０１が表示されるタイミングが楽曲の再生開始から４秒後であることを示している。

また、図２５に示した本体データＴ３１の２行目の例のように、表示開始時間が歌詞フレーズの途中に存在する場合には、途中に存在する表示開始時間は、歌詞フレーズを所定の文節で区切っていることを示している。そして、歌詞フレーズの途中に存在する表示開始時間は、歌詞フレーズが途中で改行されて表示されてもよいか、または、歌詞フレーズが異なる表示タイミングに分割して表示されてもよいことを示している。歌詞フレーズが改行されて表示される制御や、歌詞フレーズが異なる表示タイミングで表示される制御は、後述する同期表示部３２４によって行われる。同期表示部３２４による処理については後述する。

制御部３２０は、携帯電話装置３００の動作を制御する制御部である。制御部３２０は、一般的な携帯電話装置の機能として、携帯電話の接続業者が提供する携帯網に接続して通話を行なう機能を有する。かかる通話機能についてはここでは説明を省略し、楽曲データと歌詞データの取り扱いに関係する処理部について説明を行なう。

制御部３２０は、その内部にデータ取得部２１、リンク処理部２２、再生処理部２３、出力制御部２５、同期表示部３２４を有する。

同期表示部３２４は、再生処理部２３による楽曲データの再生に同期して歌詞データを表示する処理部である。具体的には、同期表示部３２４は、再生処理部２３から出力された楽曲データを識別する情報に基づいて対応する歌詞データを記憶部３３０から検索する。そして、同期表示部３２４は、再生処理部２３による楽曲データの再生の進行に合わせて歌詞データに含まれる複数の歌詞フレーズを順次表示する。同期表示部３２４による表示は、具体的には、表示すべき歌詞フレーズを選択して出力制御部２５に表示を指示することで行なう。

また、同期表示部３２４は、その内部に改行検知部３２６、改行判断部３２７を有する。改行検知部３２６は、楽曲データの再生箇所に対応する歌詞フレーズの途中に、歌詞を改行してもよいことを示す表示開始時間が存在するか否かを検知する。

改行判断部３２７は、改行検知部３２６によって、歌詞フレーズの途中に表示開始時間が存在することを検知された場合に、記憶部３３０から最大表示文字数を読み出す。そして、改行判断部３２７は、読み出した最大表示文字数と、表示対象の歌詞フレーズの文字数とを比較することにより、歌詞フレーズ表示エリア６５に、表示対象の歌詞フレーズを１行で表示できるか否かを判定する。そして、改行判断部３２７は、歌詞フレーズを１行で表示できると判定した場合には、歌詞フレーズを１行で表示するように出力制御部２５に指示する。

一方、改行判断部３２７は、歌詞フレーズを１行で表示できないと判定した場合には、記憶部３３０から表示可能行数を読み出し、歌詞フレーズ表示エリア６５に複数行で表示できるか否かを判定する。そして、改行判断部３２７は、複数行で表示できると判定した場合には、歌詞フレーズに表示開始時間が存在するごとに改行して歌詞フレーズを表示するように出力制御部２５に指示する。一方、改行判断部３２７は、１行のみでしか表示できない判定した場合には、表示開始時間に対応する表示タイミングで、歌詞フレーズを表示するように出力制御部２５に指示する。

図２５に示した例を用いて説明する。歌詞データの本体データＴ３１が図２５に示した左側の状態である場合に、改行検知部３２６は、楽曲の再生開始から４秒後に歌詞フレーズｔ０１を表示するように出力制御部２５に指示する。その後、図２５の本体データＴ３１の２行目に示したように、歌詞フレーズの途中に表示開始時間＜００：０８：４０＞が存在するので、改行判断部３２７は、記憶部３３０から最大表示文字数を読み出す。そして、改行判断部３２７は、読み出した最大表示文字数と、歌詞フレーズｔ０２ａおよびｔ０２ｂの文字数とを比較することにより、歌詞フレーズｔ０２ａおよびｔ０２ｂを１行で表示できるか否かを判定する。

ここで、改行判断部３２７は、最大表示文字数が、歌詞フレーズｔ０２ａおよびｔ０２ｂの文字数以上である場合には、楽曲の再生開始から６秒後に、歌詞フレーズｔ０２ａおよびｔ０２ｂを１行で表示するように出力制御部２５に指示する。一方、改行判断部３２７は、最大表示文字数が、歌詞フレーズｔ０２ａおよびｔ０２ｂの文字数よりも小さい場合には、記憶部３３０から表示可能行数を読み出し、複数行で表示できるか否かを判定する。そして、改行判断部３２７は、複数行で表示できると判定した場合には、楽曲の再生開始から６秒後に、歌詞フレーズｔ０２ａを１行目に表示し、歌詞フレーズｔ０２ｂを２行目に表示するように出力制御部２５に指示する。一方、改行判断部３２７は、１行のみでしか表示できない判定した場合には、楽曲の再生開始から６秒後に、歌詞フレーズｔ０２ａを表示し、楽曲の再生開始から９秒後に、歌詞フレーズｔ０２ｂを表示するように出力制御部２５に指示する。その後、改行判断部３２７は、楽曲の再生開始から１５秒後に歌詞フレーズｔ０３を表示し、楽曲の再生開始から１９秒後に歌詞フレーズｔ０４を表示するように出力制御部２５に指示する。

なお、改行検知部３２６および改行判断部３２７は、楽曲の再生が開始された時点で、記憶部３３０から最大表示文字数および表示可能行数を読み出して、歌詞データの本体データＴ３１を書き換えてもよい。例えば、図２５に示した例において、改行判断部３２７は、最大表示文字数が、歌詞フレーズｔ０２ａおよびｔ０２ｂの文字数よりも小さく、かつ、歌詞フレーズを複数行で表示できると判定したものとする。かかる場合に、改行判断部３２７は、図２５の右側上段に示したように、本体データＴ３１を本体データＴ３２に書き換えてもよい。また、例えば、改行判断部３２７は、最大表示文字数が、歌詞フレーズｔ０２ａおよびｔ０２ｂの文字数よりも小さく、かつ、歌詞フレーズを１行のみでしか表示できない判定したものとする。かかる場合に、改行判断部３２７は、図２５の右側下段に示したように、本体データＴ３１を本体データＴ３３に書き換えてもよい。また、改行検知部３２６および改行判断部３２７は、記憶部３３０から読み出した歌詞の本体データＴ３１をバッファに一時記憶している場合には、バッファに記憶されている本体データＴ３１を上記例のように本体データＴ３２またはＴ３３に書き換えてもよい。

上述した携帯電話装置３００のハードウェア構成は、図２に示した携帯電話装置１のハードウェア構成と同様である。

つぎに、実施例３に係る携帯電話装置３００による同期表示処理について説明する。図２６は、実施例３に係る携帯電話装置３００による同期表示処理を説明するフローチャートである。携帯電話装置３００の同期表示部３２４は、再生処理部２３から再生するフレームのフレーム番号を取得する（Ｓ５０１）。

同期表示部３２４は、取得したフレーム番号とフレーム長からフレームの再生時間を算出する（Ｓ５０２）。そして、同期表示部３２４は、表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い表示開始時間を検索する（Ｓ５０３）。

表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い表示開始時間が存在しない場合に（Ｓ５０４，Ｎｏ）、同期表示部３２４は、楽曲データの再生が全て終了したか否かを判定する（Ｓ５０５）。楽曲データの再生が終了した場合には（Ｓ５０５，Ｙｅｓ）、同期表示部３２４は、歌詞フレーズの表示を終了する（Ｓ５０６）。一方、同期表示部３２４は、楽曲データの再生が終了していなければ（Ｓ５０５，Ｎｏ）、そのフレームが終了するまで待機して（Ｓ５０７）、再び、次のフレーム数を取得する（Ｓ５０１）。

一方、表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い表示開始時間が存在する場合には（Ｓ５０４，Ｙｅｓ）、改行検知部３２６は、該当する歌詞フレーズの途中に、歌詞の区切りを示す表示開始時間が存在するか否かを検知する（Ｓ５０８）。

改行検知部３２６によって歌詞フレーズの途中に表示開始時間が検知されなかった場合に（Ｓ５０８，Ｎｏ）、改行判断部３２７は、該当の歌詞フレーズを１行で表示するように出力制御部２５に指示する（Ｓ５０９）。そして、同期表示部３２４は、上述したステップＳ５０５〜Ｓ５０７における処理を行なう。

一方、改行判断部３２７は、歌詞フレーズの途中に表示開始時間が検知された場合に（Ｓ５０８，Ｙｅｓ）、記憶部３３０から最大表示文字数を読み出して、該当する歌詞フレーズを歌詞フレーズ表示エリア６５に１行で表示できるか否かを判定する（Ｓ５１０）。そして、改行判断部３２７は、該当する歌詞フレーズを１行で表示できると判定した場合には（Ｓ５１０，Ｙｅｓ）、歌詞フレーズを１行で表示するように出力制御部２５に指示する（Ｓ５１１）。このとき、改行判断部３２７は、歌詞フレーズの途中に含まれる表示開始時間を表示しないように、出力制御部２５に指示する。そして、同期表示部３２４は、上述したステップＳ５０５〜Ｓ５０７における処理を行なう。

一方、改行判断部３２７は、該当する歌詞フレーズを１行で表示できないと判定した場合には（Ｓ５１０，Ｎｏ）、記憶部３３０から表示可能行数を読み出し、歌詞フレーズを複数行で表示できるか否かを判定する（Ｓ５１２）。そして、改行判断部３２７は、１行のみでしか表示できないと判定した場合には（Ｓ５１２，１行）、歌詞フレーズに含まれる表示開始時間ごとに、かかる表示開始時間に対応する歌詞フレーズを表示するように出力制御部２５に指示する（Ｓ５１３）。そして、同期表示部３２４は、上述したステップＳ５０５〜Ｓ５０７における処理を行なう。

一方、改行判断部３２７は、複数行で表示できると判定した場合に（Ｓ５１２，複数行）、表示開始時間が存在するごとに、歌詞フレーズを改行して表示するように出力制御部２５に指示する（Ｓ５１４）。そして、同期表示部３２４は、上述したステップＳ５０５〜Ｓ５０７における処理を行なう。

上述してきたように、実施例３に係る携帯電話装置３００は、歌詞フレーズに複数の表示時間が含まれる場合に、最大表示文字数や表示可能行数に基づいて、歌詞フレーズを改行して複数行で表示したり、表示時間ごとに分割して表示したりする。

これにより、実施例３に係る携帯電話装置３００は、歌詞フレーズが表示時間によって所定の文節で区切られていれば、歌詞を文節ごとに改行または分割して表示することができる。この結果、実施例３に係る携帯電話装置３００は、１フレーズの文字数が多いために１行の歌詞フレーズを１行で表示できない場合であっても、歌詞本来の意味を損なうことなく、歌詞を表示することができる。

また、実施例３に係る携帯電話装置３００は、最大表示文字数や表示可能行数に基づいて、歌詞フレーズを１行で表示するか、複数行に表示するか、表示時間ごとに分割して表示するかを決定する。この結果、実施例３に係る携帯電話装置３００は、ディスプレイ４１の仕様に適した歌詞表示を行なうことができる。

また、実施例３における歌詞データの本体データは、歌詞の区切りを示す記号として、新たな記号を用いずに、表示時間が用いられている。このため、実施例３に係る携帯電話装置３００は、歌詞の区切りを示す新たな記号を解析するための処理を追加することなく、歌詞を複数行で表示したり、表示時間ごとに分割して表示することができる。

なお、上記実施例３に係る携帯電話装置３００は、実施例１に係る携帯電話装置１と組み合わせてもよい。具体的には、実施例３における同期表示部３２４は、図１に示した表示送り操作検知部２６、操作量判定部２７、表示送り制御部２８を有してもよい。そして、携帯電話装置３００は、楽曲データと歌詞データの同期再生中に再生箇所以外の歌詞表示を求められた場合に、再生箇所以外の歌詞を改行して複数行で表示したり、表示時間ごとに分割して表示する。

また、上記実施例３に係る携帯電話装置３００は、実施例１に係る携帯電話装置１と、実施例２に係る携帯電話装置２００と組み合わせてもよい。具体的には、実施例３における同期表示部３２４は、表示送り操作検知部２６、操作量判定部２７、表示送り制御部２８と、図１８に示した記号検知部２２６、表示制御部２２７とを有してもよい。そして、携帯電話装置３００は、楽曲データと歌詞データの同期再生中に再生箇所以外の歌詞表示を求められた場合に、再生箇所以外の歌詞やギターコードなどの付随情報を複数行に表示したり、表示時間ごとに分割して表示する。

上記実施例１では、楽曲の再生に合わせて、歌詞を表示する例を示したが、本願の開示する携帯型情報処理装置は、歌詞を表示するタイミングをユーザによって調整できるようにしてもよい。そこで、実施例４では、ユーザによって指定されたタイミングで歌詞を表示する例について説明する。

図２７は、実施例４に係る携帯型情報処理装置である携帯電話装置の概要構成図である。図２７に示した携帯電話装置４００は、その内部に通信部１０、入出力部４０、制御部４２０および記憶部４３０を有する。

記憶部４３０は、楽曲データや、歌詞データ、シフトタイミングを記憶する。なお、一般に携帯電話装置では画像データや電話番号のデータなど、ユーザが任意のデータを記憶させるために利用可能な記憶媒体が用意されている。図２７ではユーザが任意のデータを記憶させることのできる記憶部４３０に楽曲データや歌詞データ、シフトタイミングを記憶させた状態を示している。記憶部４３０が記憶する他のデータについては図示及び説明を省略する。

楽曲データや歌詞データの構造は、図３に示した例と同様である。シフトタイミングは、デフォルト値として「０」が格納されており、ユーザから所定の値が指定された場合には、指定された値が格納される。

制御部４２０は、携帯電話装置４００の動作を制御する制御部である。制御部４２０は、一般的な携帯電話装置の機能として、携帯電話の接続業者が提供する携帯網に接続して通話を行なう機能を有する。かかる通話機能についてはここでは説明を省略し、楽曲データと歌詞データの取り扱いに関係する処理部について説明を行なう。

制御部４２０は、その内部にデータ取得部２１、リンク処理部２２、再生処理部２３、出力制御部２５、同期表示部４２４を有する。

同期表示部４２４は、再生処理部２３による楽曲データの再生に同期して歌詞データを表示する処理部である。具体的には、同期表示部４２４は、再生処理部２３から出力された楽曲データを識別する情報に基づいて対応する歌詞データを記憶部４３０から検索する。そして、同期表示部４２４は、対応する歌詞データを検索できた場合には、検索した歌詞データを読み込む。続いて、同期表示部４２４は、シフトタイミングに０以外が設定されているかを判定する。シフトタイミングに０以外が設定されている場合には、同期表示部４２４は、読み込んだ歌詞データに含まれる全ての表示開始時間を、シフトタイミングに設定されている時間分だけ加算または減算する。このようにして、同期表示部４２４は、再生処理部２３による楽曲データの再生の進行に合わせて歌詞データに含まれる複数の歌詞フレーズを順次表示する。同期表示部４２４による表示は、具体的には、表示すべき歌詞フレーズを選択して出力制御部２５に表示を指示することで行なう。

上述した携帯電話装置４００のハードウェア構成は、図２に示した携帯電話装置１のハードウェア構成と同様である。

図２８は、楽曲データの再生と歌詞データの同期表示についての説明図である。図２８に示した例では、楽曲の本体データＧ４１は、１フレームの長さが１秒の複数のフレームである。また各フレームは再生順序が定められている。換言すれば、楽曲データの各フレームは、楽曲を１秒ごとに区切り、再生順序を示すフレーム番号を付したものである。楽曲の再生を開始すると、まずフレームＭ０１が出力される。このフレームＭ０１は１秒後に出力が終了する。つづいてフレームＭ０２、フレームＭ０３と連続するフレームが順次出力される。楽曲の再生は、最終フレームの出力終了時に終了する。

また、図２８に示した例では、歌詞の本体データＴ４１は、複数の歌詞フレーズと、各歌詞フレーズの表示開始時間とを有する。表示開始時間は、各歌詞フレーズを表示するタイミングを示す情報として機能する。各歌詞フレーズは、表示開始時間から次の歌詞フレーズの表示開始時間まで表示される。ここで、記憶部４３０のシフトタイミングに０以外が設定されている場合には、同期表示部４２４は、シフトタイミングに設定された時間分だけ、表示開始時間を加算または減算する。そして、各歌詞フレーズは、加算または減算された表示開始時間から、次の歌詞フレーズの加算または減算された表示開始時間まで表示される。

例えば、図２８に示した例において、シフトタイミングに０が設定されている場合には、楽曲の再生開始から４秒後に歌詞フレーズｔｘｔ０１の表示が開始される。その後、楽曲の再生開始から６秒後に歌詞フレーズｔｘｔ０１から歌詞フレーズｔｘｔ０２に書き換えられる。そして、楽曲の再生開始から１５秒後に歌詞フレーズｔｘｔ０２から歌詞フレーズｔｘｔ０３に書き換えられ、楽曲の再生開始から１９秒後に歌詞フレーズｔｘｔ０３から歌詞フレーズｔｘｔ０４に書き換えられる。

また、図２８に示した例において、シフトタイミングに「−００：０２：００」が設定されている場合には、同期表示部４２４は、本体データＴ４１を本体データＴ４２に書き換える。そして、楽曲の再生開始から２秒後に歌詞フレーズｔｘｔ０１の表示が開始される。その後、楽曲の再生開始から４秒後に歌詞フレーズｔｘｔ０１から歌詞フレーズｔｘｔ０２に書き換えられる。そして、楽曲の再生開始から１３秒後に歌詞フレーズｔｘｔ０２から歌詞フレーズｔｘｔ０３に書き換えられ、楽曲の再生開始から１７秒後に歌詞フレーズｔｘｔ０３から歌詞フレーズｔｘｔ０４に書き換えられる。

歌詞フレーズの表示は、楽曲の再生終了に合わせて終了する。なお、歌詞フレーズの内容を空白とすることで、歌詞が表示されない状態が実現できる。

なお、同期表示部４２４は、記憶部４３０から読み出した歌詞の本体データＴ４１をバッファに一時記憶している場合には、バッファに記憶されている本体データＴ４１を上記例のように本体データＴ４２に書き換えてもよい。

図２９は、シフトタイミングの時間を設定するユーザインターフェースの一例を示す図である。図２９では、ユーザは、シフトタイミングを０．５秒単位で設定できる例を示している。図２９に示した例を用いて、シフトタイミングの時間を設定する例を説明する。図２９の左側に示した例のように、利用者によって、所定のメニュー一覧６６ａから「チューニング」を選択する操作が行われた場合に、携帯電話装置４００は、歌詞フレーズを表示するタイミングを遅くするか、または、早くするかを選択させる選択メニューを表示する。例えば、図２９の中央に示した例のように、携帯電話装置４００は、「遅く」と「早く」とを選択可能な選択メニュー６６ｂを表示する。そして、利用者によって「遅く」または「早く」のいずれかを選択された場合に、携帯電話装置４００は、図２９の右側に示した例のように、時間を選択させるシフトタイミング選択メニュー６６ｃを表示する。携帯電話装置４００は、シフトタイミング選択メニュー６６ｃにおいて選択された時間を記憶部４３０のシフトタイミングに設定する。

例えば、図２９に示した例において、利用者によって、選択メニュー６６ｂ上で「早く」を選択された後に、シフトタイミング選択メニュー６６ｃ上で「２．０秒」が選択されたものとする。かかる場合には、携帯電話装置４００は、例えば、記憶部４３０のシフトタイミングに「−００：０２：００」を設定する。また、例えば、利用者によって、選択メニュー６６ｂ上で「遅く」を選択された後に、シフトタイミング選択メニュー６６ｃ上で「１．５秒」が選択されたものとする。かかる場合には、携帯電話装置４００は、例えば、記憶部４３０のシフトタイミングに「＋００：０１：５０」を設定する。

つぎに、実施例４に係る携帯電話装置４００による同期表示処理について説明する。図３０は、実施例４に係る携帯電話装置４００による同期表示処理を説明するフローチャートである。携帯電話装置４００の同期表示部４２４は、再生処理部２３から再生するフレームのフレーム番号を取得する（Ｓ６０１）。

同期表示部４２４は、取得したフレーム番号とフレーム長からフレームの再生時間を算出する（Ｓ６０２）。続いて、同期表示部４２４は、シフトタイミングに０以外が設定されているか否かを判別する（Ｓ６０３）。

シフトタイミングに０以外が設定されている場合には（Ｓ６０３，Ｙｅｓ）、同期表示部４２４は、歌詞データに含まれる全ての表示開始時間を、シフトタイミングに設定されている時間分だけ加算または減算する（Ｓ６０４）。そして、同期表示部４２４は、表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い歌詞フレーズを検索する（Ｓ６０５）。一方、シフトタイミングに０が設定されている場合には（Ｓ６０３，Ｎｏ）、同期表示部４２４は、ステップＳ６０４における処理を行わずに、表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い歌詞フレーズを検索する（Ｓ６０５）。

表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い歌詞フレーズが存在する場合には（Ｓ６０６，Ｙｅｓ）、同期表示部４２４は、該当する歌詞フレーズの表示を開始する（Ｓ６０７）。この表示開始時点で前の歌詞フレーズが表示中であれば、同期表示部４２４は、前の歌詞フレーズの表示を消去して更新する。そして、同期表示部４２４は、楽曲データの再生が全て終了したか否かを判定する（Ｓ６０８）。

表示開始時間が当該のフレームとその次のフレームの再生時間の中間点となる時間より以前の時間で、かかる時間に最も近い歌詞フレーズが存在しない場合には（Ｓ６０６，Ｎｏ）、同期表示部４２４は、楽曲データの再生が全て終了したか否かを判定する（Ｓ６０８）。

楽曲データの再生が終了していなければ（Ｓ６０８，Ｎｏ）、同期表示部４２４は、そのフレームが終了するまで待機して（Ｓ６０９）、再び、次のフレーム数を取得する（Ｓ６０１）。そして、楽曲データの再生が終了した場合には（Ｓ６０８，Ｙｅｓ）、同期表示部４２４は、歌詞フレーズの表示を終了する（Ｓ６１０）。

図３１は、シフトタイミングを更新する処理を説明するフローチャートである。ユーザからシフトタイミングの入力を受け付けた場合に（Ｓ７０１，Ｙｅｓ）、携帯電話装置４００は、受け付けた値を記憶部４３０のシフトタイミングに格納する（Ｓ７０２）。

なお、図３１に示したシフトタイミングを更新する処理は、楽曲の再生中においても行われる。また、図３０に示したように、同期表示部４２４は、再生するフレーム番号を取得するたびに、記憶部４３０からシフトタイミングを読み出して、歌詞フレーズを表示する表示開始時間を調整する。すなわち、同期表示部４２４は、再生するフレーム番号を取得するたびに、楽曲の再生中に更新されたシフトタイミングを用いて歌詞フレーズを表示する表示開始時間を調整することができる。

上述してきたように、実施例４に係る携帯電話装置４００は、楽曲を再生する場合に、シフトタイミングに設定されている時間分だけ歌詞フレーズの表示タイミングを調整する。これにより、実施例４に係る携帯電話装置４００は、楽曲データの再生時間に対応する歌詞を表示する時間を、ユーザによって指定された時間分だけずらすことができる。この結果、実施例４に係る携帯電話装置４００は、楽曲ごとに、利用者が所望するタイミングで歌詞を表示することができる。

例えば、同一の楽曲であっても、かかる楽曲を提供する楽曲提供サーバ４によって、楽曲データの先頭に含まれる無音部分の時間が異なる場合がある。また、同一の楽曲であっても、ＣＤから生成された楽曲データと、ダウンロードサイトから提供された楽曲データとでは、楽曲データの先頭に含まれる無音部分の時間が異なる場合がある。このようなケースでは、楽曲の再生に合わせて歌詞を順次表示しても、楽曲の再生と歌詞の表示とが同期しない場合がある。実施例４に係る携帯電話装置４００を用いた場合には、ユーザは、楽曲の再生中に歌詞が表示されるタイミングを調整することができるので、楽曲の再生と歌詞の表示とを同期させることができる。

また、ユーザが所望する歌詞の表示タイミングは、ユーザによって異なる。例えば、ユーザＡは、楽曲の再生と同期して歌詞が表示されることを望む場合がある。一方で、ユーザＢは、楽曲の再生よりも早く歌詞が表示されることを望む場合がある。実施例４に係る携帯電話装置４００を用いた場合には、ユーザは、楽曲の再生中に歌詞が表示されるタイミングを調整することができるので、ユーザ自身が所望するタイミングで歌詞を表示させることができる。

なお、上記実施例４では、シフトタイミングに０以外が設定されている場合に、歌詞データに含まれる全ての表示開始時間を、シフトタイミングに設定されている時間分だけ加算または減算する例を示した。しかし、携帯電話装置４００は、表示対象の歌詞フレーズの表示開始時間のみを、シフトタイミングに設定されている時間分だけ加算または減算してもよい。

また、上記実施例４に係る携帯電話装置４００は、実施例１に係る携帯電話装置１と組み合わせてもよい。具体的には、実施例４における同期表示部４２４は、図１に示した表示送り操作検知部２６、操作量判定部２７、表示送り制御部２８を有してもよい。そして、携帯電話装置４００は、楽曲データと歌詞データの同期再生中に再生箇所以外の歌詞表示を求められた場合に、再生箇所以外の歌詞の表示タイミングをシフトタイミングに設定されている時間分だけ調整する。

また、上記実施例４に係る携帯電話装置４００は、実施例１に係る携帯電話装置１と、実施例２に係る携帯電話装置２００と組み合わせてもよい。具体的には、実施例４における同期表示部４２４は、表示送り操作検知部２６、操作量判定部２７、表示送り制御部２８と、図１８に示した記号検知部２２６、表示制御部２２７とを有してもよい。そして、携帯電話装置４００は、楽曲データと歌詞データの同期再生中に再生箇所以外の歌詞表示を求められた場合に、再生箇所以外の歌詞やギターコードなどの付随情報を表示するタイミングをシフトタイミングに設定されている時間分だけ調整する。

また、上記実施例４に係る携帯電話装置４００は、実施例１〜３に係る携帯電話装置１、２００、３００と組み合わせてもよい。具体的には、実施例４における同期表示部４２４は、表示送り操作検知部２６、操作量判定部２７、表示送り制御部２８と、記号検知部２２６、表示制御部２２７と、図２４に示した改行検知部３２６、改行判断部３２７とを有してもよい。そして、携帯電話装置４００は、楽曲データと歌詞データの同期再生中に再生箇所以外の歌詞表示を求められた場合に、再生箇所以外の歌詞やギターコードなどの付随情報を表示するタイミングをシフトタイミングに設定されている時間分だけ調整する。そして、携帯電話装置４００は、かかる付随情報を複数行に表示したり、表示時間ごとに分割して表示する。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンテンツデータを再生する再生処理部と、
前記コンテンツデータに対応する付随データに含まれる複数の付随情報群のうち、前記コンテンツデータの再生箇所に対応する付随情報を選択し、選択した付随情報の表示を指示する同期表示部と、
前記同期表示部によって選択された付随情報を表示部に設けた１つの付随情報表示エリアに表示する出力制御部と
を備え、
前記同期表示部は、前記コンテンツデータに対応する付随データに含まれる複数の付随情報群のうち、前記コンテンツデータの再生箇所に対応する付随情報以外の付随情報の表示を求める操作を受け付けた場合に、当該操作に基づいて前記再生箇所以外の付随情報を選択して前記出力制御部に表示を指示することを特徴とする携帯型情報処理装置。

（付記２）前記同期表示部は、前記操作に基づいて、前記コンテンツデータの再生箇所を基点に前記再生の進行方向側に対応する付随情報を選択する早送り表示と前記コンテンツデータの再生箇所を基点に前記再生の進行に対して逆側に対応する付随情報を選択する巻き戻し表示とのいずれかを行なうことを特徴とする付記１に記載の携帯型情報処理装置。

（付記３）前記同期表示部は、前記操作の操作量に基づいて前記コンテンツデータの再生箇所に対応する付随情報から選択する付随情報までの表示送り量を決定することを特徴とする付記２に記載の携帯型情報処理装置。

（付記４）前記操作量は、操作部の操作時間であることを特徴とする付記３に記載の携帯型情報処理装置。

（付記５）前記操作量は、タッチパネルの接触開始位置から接触終了位置までの距離であることを特徴とする付記３に記載の携帯型情報処理装置。

（付記６）前記同期表示部は、前記再生箇所以外の付随情報を選択した後、予め定めた時間が経過した場合に、前記再生箇所以外の付随情報の選択を終了することを特徴とする付記１〜５のいずれか一つに記載の携帯型情報処理装置。

（付記７）前記同期表示部は、前記再生箇所以外の付随情報の選択が終了する前に前記操作を再度受け付けた場合に、選択中の付随情報を基点として新たに付随情報の選択を行なうことを特徴とする付記６に記載の携帯型情報処理装置。

（付記８）前記同期表示部は、前記コンテンツデータの再生箇所に対応する付随情報と、前記再生箇所以外の付随情報とを同時に選択して前記出力制御部に表示を指示することを特徴とする付記１〜７のいずれか一つに記載の携帯型情報処理装置。

（付記９）出力制御部は、前記再生箇所以外の付随情報の表示を指示された場合に、前記付随情報表示エリアを拡大することを特徴とする付記１〜８のいずれか一つに記載の携帯型情報処理装置。

（付記１０）前記付随情報を表示するタイミングを前後させる時間であるシフトタイミングの入力を受け付ける受付部をさらに備え、
前記同期表示部は、前記受付部によって受け付けられたシフトタイミング分だけ前記付随情報の表示開始時間を調整して、前記出力制御部に前記付随情報の表示を指示することを特徴とする付記１〜９のいずれか一つに記載の携帯型情報処理装置。

（付記１１）前記付随情報は、第一の情報と、第二の情報と、前記第一の情報および前記第二の情報を前記付随情報表示エリアに表示させる位置に関する位置情報とを含み、
前記同期表示部は、第一の情報と、第二の情報とを前記位置情報に従って表示するように前記出力制御部に指示することを特徴とする付記１〜１０のいずれか一つに記載の携帯型情報処理装置。

（付記１２）前記コンテンツデータは、楽曲または動画であり、
前記付随情報は、前記楽曲の歌詞、前記楽曲の和音を示すコードネーム、前記楽曲の音階、前記楽曲の楽譜に用いられる音楽記号、前記楽曲における歌う担当を示す記号、前記動画の字幕、前記動画を説明する情報であることを特徴とする付記１〜１１のいずれか一つに記載の携帯型情報処理装置。

（付記１３）コンテンツデータを再生する再生処理ステップと、
前記コンテンツデータに対応する付随データに含まれる複数の付随情報群のうち、前記コンテンツデータの再生箇所に対応する付随情報を選択し、選択した付随情報の表示を指示する同期表示ステップと、
前記同期表示ステップによって選択された付随情報を表示部に設けた１つの付随情報表示エリアに表示する出力制御ステップと、
前記コンテンツデータに対応する付随データに含まれる複数の付随情報群のうち、前記コンテンツデータの再生箇所に対応する付随情報以外の付随情報の表示を求める操作を受け付ける操作受け付けステップと、
当該操作に基づいて前記再生箇所以外の付随情報を選択して前記出力制御部に表示を指示する非同期表示ステップと
を含んだことを特徴とするコンテンツ再生方法。

（付記１４）コンテンツデータを再生する再生処理手順と、
前記コンテンツデータに対応する付随データに含まれる複数の付随情報群のうち、前記コンテンツデータの再生箇所に対応する付随情報を選択し、選択した付随情報の表示を指示する同期表示手順と、
前記同期表示手順によって選択された付随情報を表示部に設けた１つの付随情報表示エリアに表示する出力制御手順と、
前記コンテンツデータに対応する付随データに含まれる複数の付随情報群のうち、前記コンテンツデータの再生箇所に対応する付随情報以外の付随情報の表示を求める操作を受け付ける操作受け付け手順と、
当該操作に基づいて前記再生箇所以外の付随情報を選択して前記出力制御部に表示を指示する非同期表示手順と
を携帯型情報処理装置に実行させることを特徴とするコンテンツ再生プログラム。

１，２００，３００，４００ 携帯電話装置
２ パーソナルコンピュータ
３ ネットワーク
４ 楽曲提供サーバ
５ 歌詞提供サーバ
６ 歌詞付楽曲提供サーバ
１０ 通信部
１０ａ ＵＳＢユニット
１０ｂ 無線ＬＡＮユニット
１０ｃ 携帯網接続ユニット
２０，２２０，３２０，４２０ 制御部
２０ａ ＣＰＵ
２０ｂ メモリ
２０ｃ フラッシュＲＯＭ
２１ データ取得部
２１ａ データ取得プログラム
２２ リンク処理部
２２ａ リンク処理プログラム
２３ 再生処理部
２３ａ 再生処理プログラム
２４，２２４，３２４，４２４ 同期表示部
２４ａ 同期表示プログラム
２５ 出力制御部
２５ａ 出力制御プログラム
２６ 表示送り操作検知部
２７ 操作量判定部
２８ 表示送り制御部
２９ 表示エリア作成部
３０，２３０，３３０，４３０ 記憶部
３０ａ ＳＤカードドライブ
４０ 入出力部
４１ ディスプレイ
４２ スピーカ
４３，４３ａ，４３ｂ 操作キー
４４ タッチパネル
５１ 装置状態表示エリア
５２ 主表示エリア
５３ 操作用エリア
６１ 機能名表示エリア
６２ 曲名表示エリア
６３ 歌手表示エリア
６４ 画像表示エリア
６５，６５ａ〜ｇ 歌詞フレーズ表示エリア
２２６ 記号検知部
２２７ 表示制御部
３２６ 改行検知部
３２７ 改行判断部

Claims (8)

1. コンテンツデータを再生する再生処理部と、
   前記コンテンツデータに対応するテキストデータに含まれる複数のテキスト群のうち、前記コンテンツデータの再生箇所に対応するテキストを選択し、選択したテキストの表示を指示する同期表示部と、
   前記同期表示部によって選択されたテキストを表示部に設けた１つのテキスト表示エリアに表示する出力制御部と
   を備え、
   前記同期表示部は、前記コンテンツデータに対応するテキストデータに含まれる複数のテキスト群のうち、前記コンテンツデータの再生箇所に対応するテキスト以外のテキストの表示を求める操作を受け付けた場合に、当該操作に基づいて前記再生箇所以外のテキストを選択して前記出力制御部に表示を指示することを特徴とする携帯型情報処理装置。
2. 前記同期表示部は、前記操作に基づいて、前記コンテンツデータの再生箇所を基点に前記再生の進行方向側に対応するテキストを選択する早送り表示と前記コンテンツデータの再生箇所を基点に前記再生の進行に対して逆側に対応するテキストを選択する巻き戻し表示とのいずれかを行なうことを特徴とする請求項１に記載の携帯型情報処理装置。
3. 前記同期表示部は、前記操作の操作量に基づいて前記コンテンツデータの再生箇所に対応するテキストから選択するテキストまでの表示送り量を決定することを特徴とする請求項２に記載の携帯型情報処理装置。
4. 前記操作量は、操作部の操作時間であることを特徴とする請求項３に記載の携帯型情報処理装置。
5. 前記操作量は、タッチパネルの接触開始位置から接触終了位置までの距離であることを特徴とする請求項３に記載の携帯型情報処理装置。
6. 前記付随情報を表示するタイミングを前後させる時間であるシフトタイミングの入力を受け付ける受付部をさらに備え、
   前記同期表示部は、前記受付部によって受け付けられたシフトタイミング分だけ前記付随情報の表示開始時間を調整して、前記出力制御部に前記付随情報の表示を指示することを特徴とする請求項１〜５のいずれか一つに記載の携帯型情報処理装置。
7. コンテンツデータを再生する再生処理ステップと、
   前記コンテンツデータに対応するテキストデータに含まれる複数のテキスト群のうち、前記コンテンツデータの再生箇所に対応するテキストを選択し、選択したテキストの表示を指示する同期表示ステップと、
   前記同期表示ステップによって選択されたテキストを表示部に設けた１つのテキスト表示エリアに表示する出力制御ステップと、
   前記コンテンツデータに対応するテキストデータに含まれる複数のテキスト群のうち、前記コンテンツデータの再生箇所に対応するテキスト以外のテキストの表示を求める操作を受け付ける操作受け付けステップと、
   当該操作に基づいて前記再生箇所以外のテキストを選択して前記出力制御部に表示を指示する非同期表示ステップと
   を含んだことを特徴とするコンテンツ再生方法。
8. コンテンツデータを再生する再生処理手順と、
   前記コンテンツデータに対応するテキストデータに含まれる複数のテキスト群のうち、前記コンテンツデータの再生箇所に対応するテキストを選択し、選択したテキストの表示を指示する同期表示手順と、
   前記同期表示手順によって選択されたテキストを表示部に設けた１つのテキスト表示エリアに表示する出力制御手順と、
   前記コンテンツデータに対応するテキストデータに含まれる複数のテキスト群のうち、前記コンテンツデータの再生箇所に対応するテキスト以外のテキストの表示を求める操作を受け付ける操作受け付け手順と、
   当該操作に基づいて前記再生箇所以外のテキストを選択して前記出力制御部に表示を指示する非同期表示手順と
   を携帯型情報処理装置に実行させることを特徴とするコンテンツ再生プログラム。

Images