JP2012088402A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】歌詞情報から、楽曲作成者の伝えたいメッセージを反映した重要な語句を抽出すること。
【解決手段】携帯端末１０は、歌詞情報と楽曲構成情報とを対応付けることで歌詞情報内の各語句が属する旋律区分を導出し、形態素解析処理により歌詞情報を複数の語句に分割するとともに、楽曲構成情報中の旋律区分毎に設定された重み係数を取得し、各語句の登場回数をカウントするとともに、当該重み係数により、歌詞情報中の語句に、それが属する旋律区分に応じた重み付け処理を行い、各語句の重要度を算出する。
【選択図】図６

Description

本発明は、楽曲の歌詞情報を処理可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。

従来から、楽曲の歌詞は様々なアプリケーションに利用されている。例えばカラオケにおける歌詞情報表示アプリケーションは、楽曲の伴奏用音声の再生中に、ディスプレイにその楽曲の歌詞を伴奏の進行に合わせて字幕として表示する。この際、歌い手をサポートするために、歌い手が歌うべき歌詞の文字色が、その他の歌詞の文字色とは違う色に変えられて表示される場合もある。

しかしながら、このような従来のアプリケーションでは、表示される歌詞情報は画一的であり、歌詞のうちどの語句が重要であるかといった楽曲作成者が伝えたいメッセージを反映させることはできない。

下記特許文献１には、楽曲の歌詞データを形態素解析により単語単位に分割して所定の単語を抽出し、抽出された単語が各楽曲に対してどの程度の使用頻度を有するかを示す重み係数を計算し、当該重み係数を使用して各楽曲を情報空間内に配置することが可能な楽曲検索装置が開示されている。

特開２００３−２７１１６０号公報

上記特許文献１に記載の技術を上記歌詞情報表示アプリケーションに応用して、歌詞情報のうち、重み係数の高い単語を他の単語と区別して表示することも考えられる。しかし、当該特許文献１に記載の技術では、単語の使用頻度のみに基づいて重み付け処理がなされるため、楽曲中での使用頻度は高いものの重要ではない語句が抽出されてしまい、楽曲作成者の伝えたいメッセージが十分に反映されない。

以上のような事情に鑑み、本発明の目的は、歌詞情報から、楽曲作成者の伝えたいメッセージを反映した重要な語句を抽出することが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、記憶部と制御部とを有する。上記制御部は、楽曲の歌詞及び当該歌詞の各部分に対応する時間位置を示す歌詞情報と、当該楽曲が有する複数の旋律区分及び当該各旋律区分に対応する上記時間位置を示す楽曲構成情報と、上記旋律区分毎に定められた重み係数とを記憶する。上記制御部は、上記記憶された歌詞情報及び上記楽曲構成情報とを基に、上記歌詞の各部分が属する旋律区分を導出し、上記記憶された歌詞情報に含まれる歌詞から、形態素解析処理により所定の品詞の語句を抽出する。さらに制御部は、上記抽出された語句を、当該語句が属する上記旋律区分の上記重み係数により重み付け処理して当該語句の重要度を算出する。

この構成により情報処理装置は、旋律区分毎に定められた重み係数により、歌詞に含まれる語句を重み付け処理することで、歌詞情報から、楽曲作成者の伝えたいメッセージを反映した重要な語句を抽出することができる。ここで旋律区分とは、例えばサビ、Ａメロ、Ｂメロ等である。例えばＡメロ及びＢメロと比較してサビは上記重み係数が大きく設定される。

上記記憶部は、上記楽曲のタイトルまたは上記楽曲が含まれるアルバムのタイトルを示すタイトル情報を記憶してもよい。この場合上記制御部は、上記抽出された語句に上記記憶されたタイトル情報が含まれている場合、当該語句の上記重要度を加算してもよい。

これにより情報処理装置は、所属する旋律区分の重み係数を用いた語句の重み付け処理に加えて、当該語句が楽曲のタイトルにも使われている場合に当該語句の重要度を加算することで、楽曲作成者にとって重要な語句をより的確に抽出することができる。

上記情報処理装置は、上記楽曲に対応する楽曲データを再生する再生部と、上記再生される楽曲データの進行に合わせて上記楽曲の上記歌詞を出力する出力部とをさらに有してもよい。この場合上記制御部は、上記語句の重要度に応じて上記出力される歌詞の出力態様を変化させるように上記出力部を制御してもよい。

これにより情報処理装置は、例えばカラオケアプリケーションやビジュアライザアプリケーションにおいて、上記語句の出力態様をその重要度に応じて変化させることで、楽曲作成者のメッセージをユーザに的確に伝え、ユーザにより没入感を与えることができる。ここで出力態様の変化とは、例えば出力される歌詞のフォントの大きさ・種類・色を変更したり、アニメーションを付加したりすることである。

上記情報処理装置は、上記楽曲に対応する楽曲データを再生する再生部と、上記再生される楽曲データに対応する背景画像を出力するとともに、上記再生される楽曲データの進行に合わせて上記楽曲の上記歌詞を上記背景画像上に出力する出力部とをさらに有してもよい。この場合上記記憶部は、所定値以上の上記重要度を有する語句に対応する所定のマーク画像と、上記背景画像とを記憶してもよい。またこの場合上記制御部は、上記楽曲データの再生中に、上記所定値以上の上記重要度を有する語句が出力される時間位置で、当該語句に対応する上記マーク画像を上記背景画像上に出力するように上記出力部を制御してもよい。

これにより情報処理装置は、再生される楽曲データの進行に合わせて、背景画像上に歌詞とともに重要語句に対応するマーク画像を表示することで、楽曲の雰囲気を表現可能な音楽ブックレットアプリケーションを実現し、楽曲作成者のメッセージを視覚的にユーザに伝えることができる。ここで所定のマーク画像とは、例えば「愛」という語句に対応するハートの画像や、「緑」という語句に対応する植物の画像等である。

上記情報処理装置は、ユーザによる所定の語句の入力を受け付ける入力部と、上記入力された語句に対応する楽曲の検索結果を出力する出力部とをさらに有してもよい。この場合上記記憶部は、上記楽曲に対応する楽曲データと、上記抽出された語句と、当該語句の上記重要度とを対応付けて記憶してもよい。またこの場合上記制御部は、上記入力された語句と、上記記憶された語句のうち所定値以上の上記重要度を有する語句の少なくとも一部が一致する場合に、当該所定値以上の上記重要度を有する語句に対応する楽曲を検索し、当該検索結果を上記出力部に出力させてもよい。

これにより情報処理装置は、単にユーザが入力された語句を歌詞に含む楽曲を検索結果として返すのではなく、所定値以上の重要度を有する語句を歌詞に含む楽曲（入力された語句を歌詞内で特に重く用いている楽曲）を検索結果として返すことができる。したがって情報処理装置は、楽曲を検索するユーザの意図により沿った楽曲検索アプリケーションを実現できる。

本発明の他の形態に係る情報処理方法は、楽曲の歌詞及び当該歌詞の各部分に対応する時間位置を示す歌詞情報と、当該楽曲が有する複数の旋律区分及び当該各旋律区分に対応する上記時間位置を示す楽曲構成情報と、上記旋律区分毎に定められた重み係数とを記憶することを含む。上記記憶された歌詞情報及び上記楽曲構成情報とを基に、上記歌詞の各部分が属する旋律区分が導出される。上記記憶された歌詞情報に含まれる歌詞から、形態素解析処理により所定の品詞の語句が抽出される。そして、上記抽出された語句が、当該語句が属する上記旋律区分の前記重み係数により重み付け処理され当該語句の重要度が算出される。

本発明のまた別の形態に係るプログラムは、情報処理装置に、記憶ステップと、導出ステップと、抽出ステップと、算出ステップとを実行させる。上記記憶ステップでは、楽曲の歌詞及び当該歌詞の各部分に対応する時間位置を示す歌詞情報と、当該楽曲が有する複数の旋律区分及び当該各旋律区分に対応する上記時間位置を示す楽曲構成情報と、上記旋律区分毎に定められた重み係数とが記憶される。上記導出ステップでは、上記記憶された歌詞情報及び上記楽曲構成情報とを基に、上記歌詞の各部分が属する旋律区分が導出される。上記抽出ステップでは、上記記憶された歌詞情報に含まれる歌詞から、形態素解析処理により所定の品詞の語句が抽出される。上記算出ステップでは、上記抽出された語句が、当該語句が属する前記旋律区分の前記重み係数により重み付け処理され、当該語句の重要度が算出される。

以上説明したように、本発明によれば、歌詞情報から、楽曲作成者の伝えたいメッセージを反映した重要な語句を抽出することができる。

本発明の一実施形態に係る携帯端末のハードウェア構成を示すブロック図である。 本発明の一実施形態に係る携帯端末のソフトウェア構成を示すブロック図である。 本発明の一実施形態に係る携帯端末により取得される歌詞情報の例を示した図である。 本発明の一実施形態に係る携帯端末により取得される楽曲構成情報の例を示した図である。 本発明の一実施形態において楽曲構成情報の各旋律区分及び全体情報に対して設定された重み係数の設定情報を示した図である。 本発明の一実施形態に係る携帯端末による歌詞内の語句の重要度算出処理の大まかな流れを示したフローチャートである。 本発明の一実施形態に係る携帯端末による歌詞情報と楽曲構成情報との対応付け処理の結果を示した図である。 本発明の一実施形態に係る携帯端末による形態素解析処理の結果の一例を示した図である。 本発明の一実施形態に係る携帯端末による語句の重要度の算出処理の詳細な流れを示したフローチャートである。 本発明の一実施形態に係る携帯端末による重要度の算出処理が実行された結果としての重要度テーブルの例を示した図である。 本発明の一実施形態に係る携帯端末により実行されるカラオケアプリケーション及びビジュアライザアプリケーションの動作の流れを示したフローチャートである。 本発明の一実施形態に係る携帯端末により実行されるカラオケアプリケーションの実行画面を示した図である。 本発明の一実施形態に係る携帯端末により実行されるビジュアライザアプリケーションの実行画面を示した図である。 本発明の一実施形態に係る携帯端末により実行される音楽ブックレットアプリケーションの実行画面の例を示した図である。 図１４に示した音楽ブックレットアプリケーションに用いられる画像パーツの例を示した図である。 本発明の一実施形態に係る携帯端末により実行される音楽ブックレットアプリケーションの動作の流れを示したフローチャートである。 本発明の一実施形態に係る携帯端末により実行される楽曲検索アプリケーションの実行画面の例を示した図である。 本発明の一実施形態に係る携帯端末により実行される楽曲検索アプリケーションの動作の流れを示したフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。

［携帯端末のハードウェア構成］
図１は、本発明の一実施形態に係る携帯端末のハードウェア構成を示すブロック図である。携帯端末とは、例えば携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等である。

この携帯端末１０は、ＣＰＵ１１、ＲＡＭ１２、フラッシュメモリ１３、ディスプレイ１４、タッチパネル１５、通信部１６、外部Ｉ／Ｆ（インタフェース）１７、キー／スイッチ部１８、ヘッドフォン１９及びスピーカ２０を有する。

ＣＰＵ１１は、携帯端末１０の各ブロックと信号をやり取りして各種演算を行い、後述する楽曲の歌詞内の語句の重要度の算出処理等、携帯端末１０で実行される処理を統括的に制御する。

ＲＡＭ１２は、ＣＰＵ１１の作業領域として用いられ、ＣＰＵ１１が処理するコンテンツ等の各種データや、上記重要度を算出するためのアプリケーション、当該算出された重要度を利用するカラオケアプリケーション等のプログラムを一時的に格納する。

フラッシュメモリ１３は、例えばＮＡＮＤ型のものであり、楽曲データ、歌詞情報、楽曲構成情報等のデータや、ＣＰＵ１１が実行する制御プログラム及び上記各アプリケーション等の各種プログラムを記憶する。またフラッシュメモリ１３は、上記各アプリケーションが実行される際には、その実行に必要な歌詞情報や楽曲構成情報等の各種データを上記ＲＡＭ１２へ読み出す。当該各種プログラムは、例えばメモリカード（図示せず）等の他の記録媒体に記憶されていても構わない。また携帯端末１０は、当該フラッシュメモリ１３に代わる、または追加の記憶装置として、ＨＤＤ（Hard Disk Drive）を有していてもよい。

ディスプレイ１４は、例えばＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）であり、後述するように、歌詞情報や背景画像等を表示する。またディスプレイ１４はタッチパネル１５と一体的に設けられている。タッチパネル１５は、例えば再生させる楽曲データの選択操作等、ユーザのタッチ操作を検出し、ＣＰＵ１１へ伝える。タッチパネル１５の動作方式としては、例えば抵抗被膜方式や静電容量方式が用いられるが、電磁誘導方式、マトリクススイッチ方式、表面弾性波方式、赤外線方式等のその他の方式が用いられてもよい。

通信部１６は、例えばＮＩＣ（Network Interface Card）やモデム等を有し、インターネット等のＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等のネットワークを介して、他の機器との間で通信処理を行う。例えば通信部１６は、インターネット上の楽曲配信サーバ（図示せず）から歌詞情報を含む楽曲データや楽曲構成情報をダウンロードするために用いられる。当該通信部１６は、ＷＬＡＮ（Wireless LAN）モジュールを有していてもよいし、ＷＷＡＮ（Wireless WAN）モジュールを有していてもよい。

外部Ｉ／Ｆ（インタフェース）１７は、例えばＵＳＢ（Universal Serial Bus）やＨＤＭＩ（High-Definition Multimedia Interface）等の各種規格に準じて、メモリカード等の外部機器と接続し、データのやり取りを行う。例えば、他の情報処理装置で記憶された楽曲データが当該外部Ｉ／Ｆ１７を介してフラッシュメモリ１３に記憶される。

キー／スイッチ部１８は、例えば電源スイッチ、ショートカットキー等、特にタッチパネル１５では入力できないユーザの操作等を受け付け、入力信号をＣＰＵ１１へ伝える。

ヘッドフォン１９及びスピーカ２０は、上記フラッシュメモリ１３等に記憶された、または通信部１６、外部Ｉ／Ｆ１７等から入力された楽曲データの音声信号を出力する。

［携帯端末のソフトウェア構成］
図２は、本発明の一実施形態に係る携帯端末１０のソフトウェア構成（機能構成）を示すブロック図である。同図に示すように、携帯端末１０は、楽曲情報取得部２１、重み付け処理部２２及び重要度出力部２３の各ソフトウェアモジュールを有する。

楽曲情報取得部２１は、楽曲のメタ情報として、歌詞情報及び楽曲構成情報を取得する。これら歌詞情報及び楽曲構成情報の詳細については後述する。

重み付け処理部２２は、重み係数取得部２２１と、重み算出部２２２とから構成される。重み係数取得部２２１は、上記楽曲構成情報に対応する重み係数を取得する。重み算出部２２２は、重み係数取得部２２１により取得された重み係数と、歌詞内の語句の登場回数とを基に、当該語句の重要度を算出する。

重要度出力部２３は、上記算出された語句毎の重要度を様々な態様でユーザに出力する。

上記楽曲情報取得部２１により取得される歌詞情報は、上記フラッシュメモリ１３等に記憶されている楽曲データに含まれている場合と、それとは別ファイルとして存在する場合とがある。例えば上記楽曲データがＭＰ３ファイルである場合、歌詞情報はＩＤ３タグとして楽曲データに書き込まれている。楽曲データにＩＤ３タグが書き込まれていない場合でも、歌詞情報が例えばＬＲＣファイルとして付随している場合もある。携帯端末１０は、楽曲データを上記楽曲配信サーバからダウンロードする際、ＩＤ３タグが存在している場合はそのままダウンロードし、それに付随するＬＲＣファイルが存在する場合には当該ＬＲＣファイルも合わせてダウンロードしてフラッシュメモリ１３等に記憶する。

図３は、上記歌詞情報の例を示した図である。同図に示すように、歌詞情報３０は、歌詞の文字列を示すテキスト部３１と、その歌詞が楽曲のどの時間位置に対応するかを表す時間部３２とから構成される。同図の例では、例えば一行目の歌詞は、楽曲の開始から１４秒の時点から『さくら さくら』という文字列が歌われているということが示されている。同図に示す歌詞情報３０はあくまで一例であり、ファイル形式によって細かいフォーマットは異なるが、どのようなフォーマットでもテキスト情報と時間情報とが取得可能である。

図４は、上記楽曲情報取得部２１により取得される楽曲構成情報の例を示した図である。当該楽曲構成情報４０は、楽曲の大まかな構成を時系列情報として表したものである。同図に示すように、楽曲構成情報４０は、イントロ・Ａメロ・Ｂメロ・サビ等、楽曲が有する複数の旋律区分の流れを表す楽曲構成部４１と、その旋律区分が楽曲のどの位置に対応するかを表す時間部４２とから構成される。同図の例では、例えば楽曲の開始から１４秒の時点でＡメロが歌われ、開始から４８秒の時点でサビが歌われることが示されている。

ここでサビとは楽曲の中で最も盛り上がる部分（主旋律）のことであり、ＡメロやＢメロは当該サビの前後に設けられる、異なる旋律である。同図の例では、Ａメロ及びＢメロの後にサビが来ているが、楽曲によって楽曲構成は様々であり、サビが先頭に来たり、Ｂメロが存在しなかったりすることもある。

楽曲データから上記楽曲構成情報４０を取得する技術としては、本出願人が開発した１２音解析技術がある。当該１２音解析技術は、ビート・コード・メロディといった音楽の特徴情報や、どの時点でどのボーカル・楽器が演奏されているか等、楽曲を特徴づける多彩な情報を取得することを可能にする技術である。具体的には、１２音解析技術では、楽曲から時間と音程（１２の音程）の二次元画像が生成され、当該二次元画像を基に様々な信号処理、検出処理等が行われることで、上記楽曲構成情報４０を含む様々な情報が取得される。

携帯端末１０は、フラッシュメモリ１３等に記憶された楽曲データに対して上記１２音解析処理技術を用いた分析処理をリアルタイムに行い楽曲構成情報４０を取得してもよいし、様々な楽曲から上記分析処理により取得された楽曲構成情報４０を蓄積した外部のデータベースから、インターネット等を介して楽曲構成情報４０を取得してもよい。そのような外部のデータベースとしては、本出願人のグループ会社であるgracenote社が運用しているデータベースがある。携帯端末１０は、当該データベースを、楽曲のアーティスト名やタイトル名等をキーとして参照し、フラッシュメモリ１３等に記憶しておくことで、都度分析処理を行うことなく楽曲構成情報４０を取得することが可能である。

本実施形態では、上記楽曲構成情報４０に含まれる旋律区分（Ａメロ・Ｂメロ・サビ等）毎に、その重み（重要度）を示す重み係数が設定されており、当該重み係数の設定情報も上記フラッシュメモリ１３等に記憶されている。また、楽曲構成情報４０以外に、例えば楽曲タイトルやアルバムタイトル等の全体情報にも同様に重み係数が設定されている。

図５は、上記楽曲構成情報４０の各旋律区分及び上記全体情報に対して設定された重み係数の設定情報の例を示した図である。

この重み係数の設定は、楽曲作成者の伝えたいメッセージは、楽曲構成情報４０の各旋律区分によって異なるという点に着目したものである。歌詞のうち、サビのように楽曲が盛り上がる箇所で使われている語句は、より楽曲作成者の伝えたいメッセージを反映していると考えられる。つまり、同じ語句でも、例えばＡメロで１回登場する語句よりも、サビで１回登場する語句の方が、登場回数は同じでも重要度が高いと考えられる。同様に、楽曲のタイトルや、当該楽曲が含まれるアルバムのタイトル等、歌詞以外での情報において使われている語句も、重要度が高いと考えられる。

したがって、同図に示すように、楽曲構成情報４０の各旋律区分のうち、Ａメロ、Ｂメロ、Ｃメロといった平坦な旋律区分にはそれぞれ低い重み係数（重み係数１）が設定される。一方、楽曲の中で最も盛り上がる初回のサビや２回目以降のサビには高い重み係数（それぞれ重み係数３、重み係数２が設定される。またその他の旋律区分（例えばイントロ、アウトロ、Ｄメロ、Ｅメロ等）には低い重み係数（重み係数１）が設定されている。

また、全体情報として、楽曲タイトルやアルバムタイトルには高い重み係数（それぞれ重み係数３、重み係数２）が設定され、アーティスト名には低い重み係数が設定されている。

これらの設定された重み係数は、後述する歌詞内の語句の重要度の算出処理において用いられる。

［携帯端末の動作］
次に、以上のように構成された携帯端末１０の動作について説明する。以降の説明においては、携帯端末１０のＣＰＵ１１を主な動作主体として説明するが、これらの動作は、上記図１で示したその他のハードウェアや、上記図２で示した各ソフトウェアモジュール等と協働して行われる。

（重要度算出処理の概要）
図６は、本実施形態に係る携帯端末１０による歌詞内の語句の重要度算出処理の大まかな流れを示したフローチャートである。

同図に示すように、ＣＰＵ１１はまず、処理対象の楽曲について、上記歌詞情報３０及び楽曲構成情報４０を上記フラッシュメモリ１３等から読み出す（ステップ６１）。続いてＣＰＵ１１は、歌詞情報３０のテキスト部３１の全ての語句を処理したか否かを判断する（ステップ６２）。

全ての語句の処理が完了していない場合（ステップ６２のＮｏ）、ＣＰＵ１１は、上記歌詞情報３０と楽曲構成情報４０との対応付けを行う（ステップ６３）。すなわち、ＣＰＵ１１は、歌詞情報３０と楽曲構成情報４０の両方に含まれる時間部（図３の時間部３２及び図４の時間部４２）を比較することで、どの歌詞がどの旋律区分に含まれるかを導出する。図７に、上記図３に示した歌詞情報３０及び図４に示した楽曲構成情報４０を例に対応付けを行った結果を示す。

続いてＣＰＵ１１は、歌詞情報３０内のテキスト部３１を、形態素解析処理により語句に分割する（ステップ６４）。図８に、上記図３及び図７で示した歌詞情報３０のテキスト部３１のうち、１行目〜５行目の歌詞について形態素解析処理を実行した結果の一例を示す。

続いてＣＰＵ１１は、上記図５に示した、上記楽曲構成情報４０の旋律区分毎に設定された重み係数を、上記フラッシュメモリ１３等から取得する（ステップ６５）。

続いてＣＰＵ１１は、上記形態素解析処理により分割された語句と、上記取得された旋律区分毎の重み係数とを基に、語句の重要度の算出処理を実行する（ステップ６６）。図９は、当該ステップ６６における語句の重要度の算出処理の詳細な流れを示したフローチャートである。

（重要度算出処理の詳細）
同図に示すように、ＣＰＵ１１はまず、上記形態素解析の結果（形態素解析情報）を入力すると（ステップ９１）、全ての形態素について重要度算出処理を実行したか否かを判断する（ステップ９２）。

全ての形態素の処理が完了していない場合（ステップ９２のＮｏ）、ＣＰＵ１１は、次の処理対象の形態素を取得し（ステップ９３）、当該形態素の品詞が抽出対象（重要度算出対象）の語句として扱う品詞か否かを判断する（ステップ９４）。

例えばＣＰＵ１１は、名詞・動詞・形容詞・形容動詞といった自立語は抽出対象として扱い、助動詞や助詞といった付属語や「！」、「？」等の記号は抽出対象として扱わないように処理する。上記図８の例では、「さくら」（名詞）、「やよい」（名詞）、「見わた」（動詞）の各形態素は抽出対象として扱われ、「の」（助詞）、「限り」（接尾辞）、「る」（助動詞）の各形態素は抽出対象から除外される。

続いてＣＰＵ１１は、上記楽曲構成情報４０の旋律区分毎の重み係数により重み付け処理を行い（ステップ９５）、各語句に重要度を加点する。またＣＰＵ１１は、上記全体情報毎の重み係数によっても重み付け処理を行い、各語句に重要度を加点する（ステップ９６）。

ここで、旋律区分毎の重み係数をＭ、全体情報毎の重み係数をＷ、語句の登場回数をＣとした場合、抽出対象の語句の重要度は、例えば（Ｍ＋Ｗ）×Ｃとして表される。

続いてＣＰＵ１１は、処理対象の語句が、語句と重要度との対応関係を示す重要度テーブルに既に含まれているかを判断する（ステップ９７）。ＣＰＵ１１は、当該語句が重要度テーブルに含まれている場合（Ｙｅｓ）には、当該重要度テーブルにおいてその語句の重要度を加算し（ステップ９８）、含まれていない場合（Ｎｏ）には、重要度テーブルに当該語句及びその重要度を新規に追加する（ステップ９９）。

ＣＰＵ１１は、以上の処理を、全ての形態素について実行するまで繰り返し、重要度を累積していくことで、歌詞全体の重要度テーブルが得られる。

図６に戻り、ＣＰＵ１１は、以上の処理を、歌詞情報３０のテキスト部３１の全ての語句について実行するまで繰り返し、全ての語句について処理が完了した場合（ステップ６２のＹｅｓ）、上記重要度テーブルを出力する（ステップ６７）。

図１０は、上記図３及び図７で示した歌詞情報３０のテキスト部３１について重要度の算出処理が実行された結果としての重要度テーブルの例を示した図である。

同図に示すように、当該重要度テーブル１００では、歌詞内の語句の登場回数のみならず、上記楽曲構成情報４０や全体情報も踏まえた重要度算出処理が実行されることで、歌詞の中から重要な語句（図３及び図７の例では「さくら」、「恋」といった語句）が抽出されていることが分かる。

（実施例）
次に、上述の処理により算出された歌詞内の各語句の重要度を用いたアプリケーションについて説明する。

本実施例では、携帯端末１０は、上記各語句の重要度を用いたカラオケアプリケーション及びビジュアライザアプリケーションを実行することが可能である。図１２は、ディスプレイ１４に表示されるカラオケアプリケーションの実行画面を示した図であり、図１３は、ディスプレイ１４に表示されるビジュアライザアプリケーションの実行画面を示した図である。

従来のカラオケの画面が、再生される楽曲の進行に合わせて歌詞を画一的に表示しているのに対して、図１２に示すように、本実施例のカラオケアプリケーションの実行画面１２０では、上記語句の重要度に応じて語句のサイズが変化されて表示される。例えば、歌詞のうち「さくら さくら 花ざかり 恋してる」というフレーズにおいて、上述の重要度算出処理により、「さくら」、「花」、「恋」の各語句Ｗ１、Ｗ２及びＷ３が重要語として抽出された場合、これらの語句は、他の語句よりも大きなサイズで表示される。

これによりユーザは、楽曲作成者が伝えたいメッセージを得ることが可能であり、より没入感を持って歌ったり、重要な語句は力を込めて歌ったりといった楽しみ方が可能となる。

また従来のビジュアライザは、再生される楽曲の進行に合わせて様々な模様や図形（アニメーション）を表示するものであるが、図１３に示すように、本実施例のビジュアライザアプリケーションの実行画面１３０では、模様や図形に加えて歌詞も構成要素として表示される。この際、上述の重要度算出処理において重要語として抽出された語句について、語句単位またはフレーズ（行）単位で、文字サイズの変更やアニメーションの付加が行われる。例えば同図では、上記図３及び図７に示した歌詞のうち１行目〜３行目の歌詞のうち、「さくら」という重要語が含まれる１行目の「さくら さくら」というフレーズＰ１は、他のフレーズＰ２及びＰ３に比べて大きく、また目立つように上方に表示されている。またこの際、他のフレーズが表示される場合とは異なるアニメーション（模様や図形またはそれらの変化態様）が表示されてもよい。

これによりユーザは、楽曲作成者が伝えたいメッセージを得ることが可能であり、より没入感を持って楽曲を視聴することができる。

図１１は、上記カラオケアプリケーション及びビジュアライザアプリケーションの動作の流れを示したフローチャートである。

同図に示すように、まずＣＰＵ１１は、カラオケアプリケーションまたはビジュアライザアプリケーションの起動後、ユーザからある楽曲の再生命令が入力された場合、当該楽曲について上記歌詞情報３０及び重要度テーブル１００を入力する（ステップ１１１）。続いてＣＰＵ１１は、処理対象の楽曲の歌詞の全ての語句を処理したか否かを判断する（ステップ１１２）。

全ての語句の処理が完了していない場合（ステップ１１２のＮｏ）、ＣＰＵ１１は、上記歌詞情報３０内のテキスト部３１と上記重要度テーブル１００とを比較し（ステップ１１３）、処理対象の語句が重要な語句か否かを判断する（ステップ１１４）。

具体的には、ＣＰＵ１１は、上記重要度テーブル１００において所定値以上の重要度を有する語句を重要語句と判断する。所定値とは例えば重要度５等であるが、これに限られない。

処理対象の語句が重要な語句であると判断された場合（ステップ１１４のＹｅｓ）、ＣＰＵ１１は、上記カラオケアプリケーションまたはビジュアライザアプリケーションにおける出力用の映像信号上で、当該語句を、重みを付けてレイアウトする（ステップ１１５）。この重みを付けてレイアウトする処理は、上記カラオケアプリケーションでは語句のサイズを大きくする処理であり、上記ビジュアライザアプリケーションでは語句（またはそれを含むフレーズ）のサイズを大きくしたり、アニメーションを付加したりする処理である。

一方、処理対象の語句が重要な語句でないと判断された場合（ステップ１１４のＮｏ）、ＣＰＵ１１は、上記カラオケアプリケーションまたはビジュアライザアプリケーションにおける出力用の映像信号上で、当該語句を、通常通りレイアウトする（ステップ１１６）。

ＣＰＵ１１は、以上の処理を、再生対象の楽曲の歌詞内の全ての語句について繰り返し、全ての語句について処理を完了した場合（ステップ１１２のＹｅｓ）、各アプリケーション上で、上記重み付けされたレイアウトで語句を出力しながら楽曲を再生する（ステップ１１７）。

［まとめ］
以上説明したように、本実施形態によれば、携帯端末１０は、旋律区分毎の重み係数を用いて語句の重要度を算出することで、歌詞情報から、楽曲作成者の伝えたいメッセージを反映した重要な語句を抽出することができる。これによりユーザは、上記カラオケアプリケーションやビジュアライザアプリケーションにおいて、より没入感を持って楽曲を楽しむことができる。

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態においては、算出された語句の重要度をカラオケアプリケーションやビジュアライザアプリケーションに利用した例が示されたが、当該語句の重要度が利用可能なアプリケーションはこれらに限られない。

例えば携帯端末１０は、上記語句の重要度を利用して、音楽ブックレットアプリケーションを実現することも可能である。図１４は、当該音楽ブックレットアプリケーションの実行画面の例を示した図である。

同図に示すように、音楽ブックレットアプリケーションは、その実行画面１４０上で、背景画像の上に歌詞１４１や画像パーツ（マーク画像）Ｍを配置し、それらを楽曲再生の進行に合わせてアニメーションさせることが可能なアプリケーションである。これによりユーザは、従来のアルバムに付属している紙媒体のブックレットでは享受できない臨場感を得ることができる。

上記歌詞１４１は、上述した歌詞情報３０のテキスト部３１から抽出されたものであるが、上記画像パーツＭは、楽曲データには含まれておらず、複数の語句に対応して作成され、上記フラッシュメモリ１３等に記憶される。また上記背景画像もフラッシュメモリ１３等に記憶される。

図１５は、当該音楽ブックレットアプリケーションに用いられる画像パーツＭの例を示した図である。同図（Ａ）に示すように、例えば「緑」、「自然」、「落ち着く」といった語句には、植物を模した画像パーツが対応付けられ、同図（Ｂ）に示すように、「輝き」、「光線」、「まぶしい」といった語句には、光（フレア）を模した画像パーツが対応付けられる。また同図（Ｃ）に示すように、「愛」、「恋」、「好き」といった語句には、ハートマークを示す画像パーツが対応付けられ、同図（Ｄ）に示すように、「海」、「深海」、「ただよう」といった語句には、水や海を示す画像パーツが対応付けられる。

図１４に示した例では、歌詞１４１が再生される楽曲データの進行に合わせて徐々に表示されるとともに、例えば歌詞１４１中の「恋」という語句が表示される際にハートマークを示す画像パーツＭ１が表示され、「花」という語句が表示される際に植物を示す画像パーツＭ２が表示される。この場合、各画像パーツＭが、楽曲のビートに合わせて画面内を移動したり変形したりするようなアニメーションが実行されてもよい。もちろん、これら画像パーツＭ及びそれに対応する語句は図１４及び図１５に示したものに限られない。

図１６は、携帯端末１０により実行される上記音楽ブックレットアプリケーションの動作の流れを示したフローチャートである。

同図に示すように、まずＣＰＵ１１は、音楽ブックレットアプリケーションの起動後、ユーザからある楽曲の再生命令が入力された場合、上記重要度テーブル１００と、各画像パーツＭに対応する語句を入力する（ステップ１６１）。続いてＣＰＵ１１は、全ての画像パーツＭの語句を処理したか否かを判断する（ステップ１６２）。

全ての画像パーツＭの語句を処理していないと判断された場合（Ｎｏ）、ＣＰＵ１１は、上記重要度テーブル１００内で所定値以上の重要度を有する重要語と、上記画像パーツＭに対応する語句とを比較する（ステップ１６３）。

上記比較の結果、重要語と画像パーツＭの対応語句とが一致すると判断された場合（ステップ１６４のＹｅｓ）、ＣＰＵ１１は、当該語句に対応する画像パーツＭをヒットした画像パーツとして分類する（ステップ１６５）。一方、重要語と画像パーツＭの対応語句とが一致しないと判断された場合（ステップ１６４のＮｏ）、ＣＰＵ１１は、当該語句に対応する画像パーツをヒットしなかった画像パーツとして分類する（ステップ１６６）。

ＣＰＵ１１は以上の処理を、全ての画像パーツＭに対応する語句について繰り返す。全ての画像パーツＭに対応する語句について処理が完了した場合（ステップ１６２のＹｅｓ）、ＣＰＵ１１は、楽曲データを再生するとともに、上記音楽ブックレットアプリケーションの実行画面１４０上で、上記ヒットした画像パーツＭを、上記歌詞１４１中の対応語句の表示タイミングに合わせて表示する。

以上の処理により、重要語に対応した画像パーツＭを用いることで、画像パーツＭと楽曲データとが分離していても、楽曲の雰囲気に合った画像パーツＭを取得して配置し、ユーザにより楽曲を楽しませることができる。

また携帯端末１０は、上記語句の重要度を利用して、楽曲検索アプリケーションを実現することも可能である。図１７は、当該楽曲検索アプリケーションの実行画面の例を示した図である。

同図に示すように、楽曲検索アプリケーションの実行画面１７０は、ユーザから検索語の入力を受け付ける検索ボックス１７１と、検索実行の指示を受け付ける検索ボタン１７２とを有する。また実行画面１７０は、検索オプションとして、検索対象を重要語とするか、全文とするかを例えばラジオボタンで選択させる重要語／全文選択ボックス１７３と、部分一致検索と完全一致検索とを例えばラジオボタンで選択させる部分一致／完全一致選択ボックス１７４とを有する。さらに実行画面１７０は、検索結果を表示する検索結果表示欄１７５を有する。

検索結果表示欄１７５には、検索された楽曲のアーティスト名やトラック名のほか、歌詞全文及びそれに含まれる重要語が表示される。この重要語のうち、上記検索語と部分的にまたは完全に一致する重要語は、他の重要語から区別されて表示される。同図の例では、検索語「恋」に対して重要語「恋」が一致しているため、検索結果表示欄１７５において重要語「恋」が太字で表示されている。

図１８は、携帯端末１０により実行される楽曲検索アプリケーションの動作の流れを示したフローチャートである。同図では、上記楽曲検索アプリケーションの実行画面１７０の重要語／全文選択ボックス１７３において重要語検索が選択されている場合の処理が示されている。

同図に示すように、まずＣＰＵ１１は、楽曲検索アプリケーションの起動後、フラッシュメモリ１３等に記憶されている全ての楽曲毎の上記重要度テーブル１００を入力するとともに、上記検索ボックス１７１を介して検索語を入力する（ステップ１８１）。続いてＣＰＵ１１は、フラッシュメモリ１３等に記憶されている全ての楽曲を処理したか否かを判断する（ステップ１８２）。

全ての楽曲について処理が完了していないと判断された場合（Ｎｏ）、ＣＰＵ１１は、処理対象の楽曲について、上記重要度テーブル１００内で所定値以上の重要度を有する重要語と、上記検索語とを比較する（ステップ１８３）。

上記比較の結果、重要語と検索語とが、上記部分一致／完全一致選択ボックス１７４の選択状況に応じで部分的または完全に一致すると判断された場合（ステップ１８４のＹｅｓ）、ＣＰＵ１１は、重要語を含む楽曲をヒットした楽曲として分類する（ステップ１８５）。一方、重要語と検索語とが一致しないと判断された場合（ステップ１８４のＮｏ）、ＣＰＵ１１は、当該重要語を含む楽曲をヒットしなかった楽曲として分類する（ステップ１８６）。

ＣＰＵ１１は以上の処理を、全ての楽曲について繰り返し、全ての楽曲について処理が完了した場合（ステップ１８２のＹｅｓ）、上記検索結果表示欄１７５に、上記ヒットした楽曲のリストを表示する。

以上の処理により、ユーザは、この楽曲検索アプリケーションの実行画面１７０上で、楽曲の歌詞の全体を対象とした検索のみならず、重要語のみを対象とした検索も行うことができ、よりユーザの意図に沿った楽曲を見つけ出すことができる。すなわち、従来の全文検索では、例えば歌詞に「恋」という語句が含まれる楽曲を検索する場合、１回でも「恋」という語句が用いられている楽曲が全てヒットしてしまうという問題があったが、本実施例によれば、「恋」という語句を歌詞で特に重く用いている楽曲だけをヒットさせることができる。

当該楽曲検索アプリケーションによる楽曲検索処理は、上記楽曲配信サーバ上で実行されてもよい。すなわち、携帯端末１０が、上記実行画面１７０上で検索語の入力を受け付けると、それに対応する検索クエリが楽曲配信サーバへ送信され、楽曲配信サーバが記憶している楽曲データ中から上記重要語との比較処理を実行し、ヒットした楽曲のリストを検索結果として携帯端末１０へ返信して上記検索結果表示欄１７５に表示させてもよい。

上述の実施形態においては、楽曲構成情報４０の旋律区分のうち、サビ等の自立語の重み係数が高く設定され、記号（「？」や「！」等）の重み係数は低く設定されたが、当該記号の重み係数がサビと同様に高く設定されてもよい。これは、「？」や「！」等の記号が楽曲作成者のメッセージをより反映している場合も考えられるからである。この場合、当該記号を含む句全体の重要度が高く算出されてもよい。

上述の実施形態においては、本発明が携帯端末に適用された例が説明されたが、本発明は、例えばノート型ＰＣ、デスクトップ型ＰＣ、タブレット型ＰＣ、サーバ装置、記録再生装置、デジタルスチルカメラ、デジタルビデオカメラ、テレビジョン装置、ゲーム機器、カーナビゲーション装置等の他のあらゆる情報処理装置にも同様に適用可能である。

１０…携帯端末
１１…ＣＰＵ
１３…フラッシュメモリ
１４…ディスプレイ
１６…通信部
２１…楽曲情報取得部
２２…重み付け処理部
２３…重要度出力部
３０…歌詞情報
３１…テキスト部
３２…時間部
４０…楽曲構成情報
４１…楽曲構成部
４２…時間部
１００…重要度テーブル
１２０…カラオケアプリケーション実行画面
１３０…ビジュアライザアプリケーション実行画面
１４０…音楽ブックレットアプリケーション実行画面
１７０…楽曲検索アプリケーション実行画面
２２１…重み係数取得部
２２２…重み算出部

Claims (7)

1. 楽曲の歌詞及び当該歌詞の各部分に対応する時間位置を示す歌詞情報と、当該楽曲が有する複数の旋律区分及び当該各旋律区分に対応する前記時間位置を示す楽曲構成情報と、前記旋律区分毎に定められた重み係数とを記憶する記憶部と、
   前記記憶された歌詞情報及び前記楽曲構成情報とを基に、前記歌詞の各部分が属する旋律区分を導出し、前記記憶された歌詞情報に含まれる歌詞から、形態素解析処理により所定の品詞の語句を抽出し、当該抽出された語句を、当該語句が属する前記旋律区分の前記重み係数により重み付け処理して当該語句の重要度を算出する制御部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記記憶部は、前記楽曲のタイトルまたは前記楽曲が含まれるアルバムのタイトルを示すタイトル情報を記憶し、
   前記制御部は、前記抽出された語句に前記記憶されたタイトル情報が含まれている場合、当該語句の前記重要度を加算する
   情報処理装置。
3. 請求項１または２に記載の情報処理装置であって、
   前記楽曲に対応する楽曲データを再生する再生部と、
   前記再生される楽曲データの進行に合わせて前記楽曲の前記歌詞を出力する出力部と
   をさらに具備し、
   前記制御部は、前記語句の重要度に応じて前記出力される歌詞の出力態様を変化させるように前記出力部を制御する
   情報処理装置。
4. 請求項１または２に記載の情報処理装置であって、
   前記楽曲に対応する楽曲データを再生する再生部と、
   前記再生される楽曲データに対応する背景画像を出力するとともに、前記再生される楽曲データの進行に合わせて前記楽曲の前記歌詞を前記背景画像上に出力する出力部と
   をさらに具備し、
   前記記憶部は、所定値以上の前記重要度を有する語句に対応する所定のマーク画像と、前記背景画像とを記憶し、
   前記制御部は、前記楽曲データの再生中に、前記所定値以上の前記重要度を有する語句が出力される時間位置で、当該語句に対応する前記マーク画像を前記背景画像上に出力するように前記出力部を制御する
   情報処理装置。
5. 請求項１または２に記載の情報処理装置であって、
   ユーザによる所定の語句の入力を受け付ける入力部と、
   前記入力された語句に対応する楽曲の検索結果を出力する出力部と
   をさらに具備し、
   前記記憶部は、前記楽曲に対応する楽曲データと、前記抽出された語句と、当該語句の前記重要度とを対応付けて記憶し、
   前記制御部は、前記入力された語句と、前記記憶された語句のうち所定値以上の前記重要度を有する語句の少なくとも一部が一致する場合に、当該所定値以上の前記重要度を有する語句に対応する楽曲を検索し、当該検索結果を前記出力部に出力させる
   情報処理装置。
6. 楽曲の歌詞及び当該歌詞の各部分に対応する時間位置を示す歌詞情報と、当該楽曲が有する複数の旋律区分及び当該各旋律区分に対応する前記時間位置を示す楽曲構成情報と、前記旋律区分毎に定められた重み係数とを記憶し、
   前記記憶された歌詞情報及び前記楽曲構成情報とを基に、前記歌詞の各部分が属する旋律区分を導出し、
   前記記憶された歌詞情報に含まれる歌詞から、形態素解析処理により所定の品詞の語句を抽出し、
   前記抽出された語句を、当該語句が属する前記旋律区分の前記重み係数により重み付け処理して当該語句の重要度を算出する
   情報処理方法。
7. 情報処理装置に、
   楽曲の歌詞及び当該歌詞の各部分に対応する時間位置を示す歌詞情報と、当該楽曲が有する複数の旋律区分及び当該各旋律区分に対応する前記時間位置を示す楽曲構成情報と、前記旋律区分毎に定められた重み係数とを記憶するステップと、
   前記記憶された歌詞情報及び前記楽曲構成情報とを基に、前記歌詞の各部分が属する旋律区分を導出するステップと、
   前記記憶された歌詞情報に含まれる歌詞から、形態素解析処理により所定の品詞の語句を抽出するステップと、
   前記抽出された語句を、当該語句が属する前記旋律区分の前記重み係数により重み付け処理して当該語句の重要度を算出するステップと
   を実行させるプログラム。

Images