JP2005250242A - 情報処理装置、情報処理方法、情報処理用プログラム、及び記録媒体 - Google Patents

Abstract

【課題】 ボーカル音の情報を歌詞情報として提示する情報処理装置を提供する。
【解決手段】 オーディオ情報Ｄau中のボーカル情報を音声認識して歌詞情報Ｄsongを生成する音声認識処理部２と、歌詞情報Ｄsongとボーカル情報とを関連付ける管理情報IFO#iを生成する情報管理部３と、オーディオ情報Ｄauと歌詞情報Ｄsong及び管理情報IFO#iを記憶する記憶部４と、記憶部４に記憶された歌詞情報Ｄxsongを視認可能な歌詞としてディスプレイ等に表示させる歌詞情報再生部５と、記憶部４に記憶されたオーディオ情報Ｄyauを受聴可能な音としてスピーカ等から出力させるオーディオ情報再生部６を備えて構成する。ユーザ等が所定の指示をすると、音声認識処理部２及び情報管理部３が生成する歌詞情報Ｄsong及び管理情報IFO#iとオーディオ情報Ｄauとを記憶部４が記憶し、また、歌詞情報再生部５とオーディオ情報再生部６が管理情報IFO#iに基づいて記憶部４に記憶されているオーディオ情報Ｄauと歌詞情報Ｄsongを再生して歌詞と音楽等を視聴可能に提示する。
【選択図】 図１

Description

本発明は、例えば音楽等のオーディオ情報に含まれているボーカル情報を音声認識し、その認識結果を文字等からなる歌詞情報として記憶、提示等を行う情報処理装置と情報処理方法に関するものである。

近年、文字情報や、音楽等のオーディオ情報等をデジタルデータに変換したデジタルコンテンツとして情報処理することで、情報のマルチメディア化が促進され、ユーザ等の利便性の向上が図られるようになってきた。

例えば、特開２００２−２４４６７０号公報に開示されているゲーム機器等のコンピュータを備えた装置にあっては、音声データと、歌手の歌っている歌詞に係る歌詞データとが記録された記録媒体から音声データと歌詞データを再生し、音声データに基づいてスピーカ等から音楽を出力させつつ、歌詞データに基づいて音楽内のボーカル音（歌手の歌声）に合わせて歌詞をディスプレイ等に表示することにより、ユーザ等が歌詞を見ながら音楽に合わせて、いわゆるカラオケを楽しむことが可能となっている。

また、特開２００３−２２８３７５号公報に開示されている音楽データ送受信システムでは、インターネット等の伝送メディアを通じて送信されてくる音楽データと文字情報（テキストデータ）とを受信し、文字情報（テキストデータ）を音楽データに合わせて再生しディスプレイ等に表示することにより、カラオケ等を行うことができるようになっている。

特開２００２−２４４６７０号公報 特開２００３−２２８３７５号公報

ところで、上記特開２００２−２４４６７０号公報に開示されているゲーム機器等のコンピュータを備えた装置では、記録媒体に予め記録されている音声データと歌詞データとを再生することにより、歌詞を音楽に合わせてディスプレイ等に表示するため、音楽データは記録されているが歌詞データが記録されていない音楽ＣＤや音楽ＤＶＤ等の記録媒体を情報再生しても、歌詞を表示することができないという課題がある。

また、上記特開２００３−２２８３７５号公報に開示されている音楽データ送受信システムでは、音楽データと文字情報（テキストデータ）とを受信し、文字情報（テキストデータ）を音楽データに合わせて再生することにより、歌詞を音楽に合わせてディスプレイ等に表示するため、文字情報（テキストデータ）を有しない音楽データが配信されてくる場合には、歌詞を表示することができないという課題がある。

また、カラオケを楽しもうとするユーザ等に限らず、再生中の音楽から歌手の歌っている歌詞を知りたいと欲するユーザ等や、気に入った歌詞に対応する音楽を聴きたいと欲するユーザ等が存在しており、こうしたユーザ等の要求に応え得る情報処理装置等の開発が望まれている。

本発明は、このような課題に鑑みてなされたものであり、例えばオーディオ情報に含まれているボーカル音の情報を音声認識し、その認識結果を文字等からなる歌詞情報として記憶、提示等を行うことにより、ユーザビリティの向上等を実現し得る情報処理装置と情報処理方法を提供することを目的とするものである。

本発明は、このような課題に鑑みてなされたものであり、例えばオーディオ情報に含まれているボーカル音の情報を音声認識し、その認識結果を文字等からなる歌詞情報として提示等を行うことにより、ユーザビリティの向上等を実現し得る情報処理装置と情報処理方法を提供することを目的とするものである。

請求項１に記載の発明に係る情報処理装置は、信号源から供給されるオーディオ情報に含まれているボーカル情報を音声認識して歌詞情報を生成する音声認識処理手段と、前記歌詞情報と、前記ボーカル情報とを関連付ける管理情報を生成する情報管理手段と、前記オーディオ情報、前記ボーカル情報、前記歌詞情報、及び前記管理情報を記憶する記憶手段と、を備えることを特徴とする。

請求項９に記載の発明に係る情報処理方法は、信号源から供給されるオーディオ情報に含まれているボーカル情報を音声認識して歌詞情報を生成する音声認識処理工程と、前記歌詞情報と、前記ボーカル情報とを関連付ける管理情報を生成する情報管理工程と、前記オーディオ情報、前記歌詞情報、及び前記管理情報を記憶する記憶工程と、を備えることを特徴とする。

請求項１０に記載の発明に係る情報処理用プログラムは、信号源から供給されるオーディオ情報の処理をコンピュータに行わせる情報処理用プログラムであって、
前記オーディオ情報に含まれているボーカル情報を音声認識して歌詞情報を生成させる音声認識処理ステップと、前記歌詞情報と、前記ボーカル情報とを関連付ける管理情報を生成させる情報管理ステップと、前記オーディオ情報、前記歌詞情報、及び前記管理情報を記憶させる記憶ステップと、を備えることを特徴とする。

請求項１１に記載の発明に係る記録媒体は、請求項１０に記載の情報処理用プログラムを記録していることを特徴とする。

本発明の実施の形態に係る情報処理装置を図１を参照して説明する。図１（ａ）は、本実施形態の情報処理装置の構成を表したブロック図、図１（ｂ）は、本情報処理装置に設けられている記憶部に記憶されるデータの構成を模式的に表した図である。

図１（ａ）において、この情報処理装置１は、音声認識処理部２、情報管理部３、記憶部４、歌詞情報再生部５、オーディオ情報再生部６及び制御部７を備えて構成されており、信号源８から出力される所定のサンプリングレートに従ってデジタル変換されたデジタルデータ列から成るオーディオ信号（以下「デジタルオーディオデータ」という）Ｄauを入力し、デジタルオーディオデータＤauに含まれているボーカル音の信号成分（以下「ボーカル音のデータ列」という）を音声認識することにより、文字等からなる歌詞データＤsongを生成する等の信号処理を行う。

信号源８は、上述した所定のサンプリングレートを有するデジタルオーディオデータＤauを出力する電子回路や装置であり、デジタルオーディオデータＤauを出力する電子回路や装置であれば何でもよい。

例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）等の記録媒体（以下「ストレージ媒体」という）に記録されているオーディオ情報を再生してデジタルオーディオデータＤauを出力する再生プレーヤや、インターネット等の伝送メディアを通じて配信されてくるオーディオ情報を受信してデジタルオーディオデータＤauを出力する受信機等が信号源８に該当する。

音声認識処理部２は、デジタルオーディオデータＤauに含まれているボーカル音のデータ列を抽出し、その抽出したデータ列について音声認識処理を行うことにより、歌詞データＤsongを生成して出力する。

例えば、図１（ｂ）に模式的に示すようなボーカル音のデータ列を有するデジタルオーディオデータＤauが信号源８から供給され、そのボーカル音が「あの町」というデータ列と、「この町」というデータ列と、「日が暮れる」というデータ列を含んでいた場合、音声認識処理部２は、「あの町」というボーカル音のデータ列を音声認識処理することにより、「あの町」という文字列からなる歌詞データＤsongを生成し、また、「この町」というボーカル音のデータ列を音声認識処理することにより、「この町」という文字列からなる歌詞データＤsongを生成し、また、「日が暮れる」というボーカル音のデータ列を音声認識処理することにより、「日が暮れる」という文字列からなる歌詞データＤsongを生成して、生成順（時間経過順）に出力する。

情報管理部３は、デジタルオーディオデータＤauと歌詞データＤsongを入力し、歌詞データＤsongとデジタルオーディオデータＤau中のボーカル音のデータ列とを、管理データＩＦＯ#iに基づいて関連付けを行い、歌詞データＤsongとデジタルオーディオデータＤau及び管理データＩＦＯ#iを記憶部４に時間経過順に記憶させる。

例えば、図１（ｂ）に模式的に示すように、音声認識処理部２から、「あの町」と「この町」と「日が暮れる」という各歌詞データＤsongが出力された場合、情報管理部３は、これらの各歌詞データＤsongに対応するボーカル音のデータ列の開始時点又は時間範囲を特定し、それら時間情報を有する管理データＩＦＯ#1，ＩＦＯ#2，ＩＦＯ#3に基づいて、各歌詞データＤsongとボーカル音のデータ列との関連付けを行い、歌詞データＤsongとデジタルオーディオデータＤau及び管理データＩＦＯ#iを記憶部４に記憶させる。

より詳細に述べれば、例えば図１（ｂ）に示すデジタルオーディオデータＤauが時点ｔ1から時点ｔnまでの時間範囲を有する楽曲タイトルを形成しており、ボーカル音「あの町」のデータ列が時点ｔ1から時点ｔ2までの時間範囲、ボーカル音「この町」のデータ列が時点ｔ3から時点ｔ4までの時間範囲、ボーカル音「日が暮れる」のデータ列が時点ｔ5から時点ｔ6までの時間範囲であったとする。

この場合、情報管理部３は、ボーカル音「あの町」のデータ列の開始時点ｔ1又は時間範囲ｔ1〜ｔ2を示す時間情報を有する管理データＩＦＯ#1によって、歌詞データ「あの町」とボーカル音「あの町」のデータ列との関連付けを行い、また、ボーカル音「この町」のデータ列の開始時点ｔ3又は時間範囲ｔ3〜ｔ4を示す時間情報を有する管理データＩＦＯ#2によって、歌詞データ「この町」とボーカル音「この町」のデータ列との関連付けを行い、また、ボーカル音「日が暮れる」のデータ列の開始時点ｔ5又は時間範囲ｔ5〜ｔ6を示す時間情報を有する管理データＩＦＯ#3によって、歌詞データ「日が暮れる」とボーカル音「日が暮れる」のデータ列との関連付けを行う。

そして、情報管理部３は、時点ｔ1から時点ｔnまでの全時間範囲のデジタルオーディオデータＤauによって構成されている楽曲タイトルに属するデータ群として、管理データＩＦＯ#1，ＩＦＯ#2，ＩＦＯ#3，…と、各歌詞データＤsongと、デジタルオーディオデータＤauとを時間経過に従って順次に記憶部４に記憶させていく。

また、制御部７には、各楽曲タイトルのデジタルオーディオデータＤauの開始時点から終了時点までの経過時間を計測するためのタイムベースが内蔵されており、情報管理部３が該タイムベースによって計時される時間情報を利用して、上述の時間情報を有する管理データＩＦＯ#iを作成するようになっている。

記憶部４は、上述したように、情報管理部４から供給される管理データＩＦＯ#iと歌詞データＤsongとデジタルオーディオデータＤauとを楽曲タイトル毎に記憶する。更に、記憶部４は、既に記憶した管理データＩＦＯ#iと歌詞データＤsongとデジタルオーディオデータＤauを、後述の制御部７からの指令に従って出力する。

歌詞情報再生部５は、制御部７の制御の下で、記憶部４に記憶されている歌詞データが供給される。そして、その供給される歌詞データ（以下、記憶部４から出力される歌詞データを符号Ｄxsongで表す）をビデオ信号に変換して出力することにより、例えばディスプレイ等に歌詞を視認可能に表示させる。

オーディオ情報再生部６は、制御部７の制御の下で、記憶部４に記憶されているデジタルオーディオデータが供給される。そして、その供給されるデジタルオーディオデータ（以下、記憶部４から出力されるデジタルオーディオデータを符号Ｄyauで表す）を、所定のサンプリングレートに従ってアナログのオーディオ信号に変換して出力することにより、例えばスピーカ等によって音を再生させる。

制御部７は、演算及び制御機能を有するマイクロプロセッサ（ＭＰＵ）等を有し、図示していない操作部を介してユーザ等からの指令を受けると、該指令に従って、本信号処理装置１全体の動作を集中制御する。

更に、制御部７は、次に述べる代表的な制御機能を有している。
〈第１の制御機能〉
ユーザ等が上述の操作部を操作して、「記録開始」の指令を行うと、制御部７は、信号源８にデジタルオーディオデータＤauを出力させる。

すなわち、信号源８がＣＤやＤＶＤ等のストレージ媒体を情報再生する再生プレーヤである場合、それらのストレージ媒体に記録されているオーディオ情報の読み取り及び再生を開始させることにより、デジタルオーディオデータＤauを出力させる。

また、信号源８がインターネット等から配信されてくるオーディオ情報を受信する受信機等であれば、受信を開始させることによりデジタルオーディオデータＤauを出力させる。

そして、音声認識処理部２に、デジタルオーディオデータＤauに含まれているボーカル音のデータ列に基づいて音声認識処理を行わせることで、歌詞データＤsongを生成させると共に、情報管理部３に、歌詞データＤsongと音声認識が行われた上述のボーカル音のデータ列とを関連付けて管理するための管理データＩＦＯ#iを生成させ、記憶部４にそれら管理データＩＦＯ#iと歌詞データＤsongとデジタルオーディオデータＤauを記憶させる。

かかる機能により、ユーザ等は、歌詞データを有していないデジタルオーディオデータＤauから歌詞データＤsongを生成させ、デジタルオーディオデータＤau及び管理データＩＦＯ#iと共に、記憶部４に記憶させることが可能となっている。

〈第２の制御機能〉
ユーザ等が操作部を操作して、記憶部４に既に記憶されている所望の楽曲タイトルの歌詞データＤxsongを再生（以下「歌詞再生」という）すべき旨の指令を行うと、制御部７は、その指令された楽曲タイトルの歌詞データＤxsongを管理データＩＦＯ#iに基づいて検索し、記憶部４から歌詞データＤxsongを出力させると共に歌詞情報再生部５に供給させ、歌詞情報再生部５にその歌詞データＤxsongに基づくビデオ信号Ｓxoutを生成させて出力させる。

かかる機能により、歌詞情報再生部５がビデオ信号Ｓxoutをディスプレイ等に供給することで、ユーザ等の所望する楽曲タイトルの全ての歌詞をディスプレイ等に表示させることが可能となっている。

〈第３の制御機能〉
ユーザ等が上述の操作部を操作することにより、記憶部４に既に記憶されている所望の楽曲タイトルを指定し、更に所望の再生速度を指定して、該楽曲タイトルのデジタルオーディオデータＤyauを再生（以下「オーディオ再生」という）すべき旨の指令をすると、制御部７は、その指令された楽曲タイトルのデジタルオーディオデータＤyauを管理データＩＦＯ#iに基づいて検索し、記憶部４から出力させてオーディオ情報再生部６に供給させる。そして、オーディオ情報再生部６にユーザ等から指令された再生速度に従って、デジタルオーディオデータＤyauに基づくオーディオ信号Ｓyoutを生成させて出力させる。

かかる機能により、オーディオ情報再生部６がオーディオ信号Ｓyoutをスピーカ等に供給することで、ユーザ等の指令した再生速度に相当する音調で、楽曲タイトルの音楽等を鳴動させる。

また、ユーザ等が上述の「歌詞再生」と「オーディオ再生」を適宜の順序で指令することが可能となっている。すなわち、ユーザ等が上述の「歌詞再生」と「オーディオ再生」を適宜の順序で指令すると、制御部７は、指令された適宜の順序で上述の〈第２の制御機能〉と〈第３の制御機能〉を起動し、指令された楽曲タイトルの歌詞データＤxsongとデジタルオーディオデータＤyauを記憶部４から出力させて歌詞情報再生部５とオーディオ情報再生部６に夫々供給させ、歌詞データＤxsongに基づくビデオ信号ＳxoutとデジタルオーディオデータＤyauに基づくオーディオ信号Ｓyoutを生成させて出力させ、ディスプレイ等に歌詞を表示させつつ、スピーカ等にユーザ等の指令した再生速度に相当する音調で楽曲タイトルの音楽等を鳴動させる。

したがって、ユーザ等は「歌詞再生」のみ又は「オーディオ再生」のみの指令を行うことができる他、「歌詞再生」と「オーディオ再生」との両者を併せて指令し、楽曲タイトルの音楽等を聴きながら歌詞を観ることが可能となっている。

また、ユーザ等が人間の聴覚特性に相当する再生速度、別言すれば、ＣＤプレーヤやＤＶＤプレーヤ等で規格化されている１倍速の再生速度を指令して「歌詞再生」と「オーディオ再生」とを指令すると、歌詞を観ながら楽曲タイトルの音楽等を本来の音調で再生させることができる。また、ユーザ等が１倍速より遅い再生速度又は１倍速より速い再生速度速を指令すれば、歌詞を観ながら楽曲タイトルの音楽等を本来の音調より遅い又は速い音調で再生させることが可能となっている。

〈第４の制御機能〉
ユーザ等が上述の操作部を操作することにより、記憶部４に既に記憶されている所望の楽曲タイトルを指定し、該楽曲タイトルのデジタルオーディオデータＤyauに含まれているボーカル音のデータと、該ボーカル音のデータに対応する歌詞データとを同期させて再生（以下「同期再生」という）をするための指令をすると、制御部７は、その指令された楽曲タイトルの歌詞データＤxsongとデジタルオーディオデータＤyauを管理データＩＦＯ#iに基づいて検索し、記憶部４からその歌詞データＤxsongとデジタルオーディオデータＤyauを出力させて歌詞情報再生部５とオーディオ情報再生部６に夫々供給させ、歌詞データＤxsongに基づくビデオ信号ＳxoutとデジタルオーディオデータＤyauに基づくオーディオ信号Ｓyoutを生成させて出力させ、ディスプレイ等に歌詞を表示させつつ、スピーカ等によって楽曲タイトルの音楽等を鳴動させる。

ここで、「同期再生」が指令されると、制御部７の制御に従ってオーディオ情報再生部６がデジタルオーディオデータＤyauを１倍速の再生速度で再生処理を行うことによってオーディオ信号Ｓyoutを生成し、歌詞情報再生部５が管理データＩＦＯ#iに基づいてデジタルオーディオデータＤyauに含まれているボーカル音に対応する歌詞データＤxsongを１倍速の再生速度に合わせて再生処理することによりビデオ信号Ｓxoutを生成する。

したがって、スピーカ等からは、楽曲タイトルの音楽等が本来の音調で出力されると共に、ディスプレイ等には、その音楽等の音調に合わせて且つボーカル音に同期して歌詞が順次に表示される。

かかる機能によれば、ユーザ等は、楽曲タイトル本来の音調の音楽等を受聴しながら、その音楽等に含まれているボーカル音に同期して表示される歌詞を観ることが可能となっている。

〈第５の制御機能〉
ユーザ等が上述の操作部を操作して、「記録再生開始」の指令を行うと、制御部７は、信号源８にデジタルオーディオデータＤauを出力させる。すなわち、信号源８がＣＤやＤＶＤ等のストレージ媒体を情報再生する再生プレーヤである場合、それらのストレージ媒体に記録されているオーディオ情報の読み取り及び再生を開始させることにより、デジタルオーディオデータＤauを出力させる。また、信号源８がインターネット等から配信されてくるオーディオ情報を受信する受信機等であれば、受信を開始させることによりデジタルオーディオデータＤauを出力させる。

そして、音声認識処理部２に、デジタルオーディオデータＤauに含まれているボーカル音のデータ列に基づいて音声認識処理を行わせることで、歌詞データＤsongを生成させると共に、情報管理部３に、歌詞データＤsongと音声認識が行われた上述のボーカル音のデータ列とを関連付けて管理するための管理データＩＦＯ#iを生成させ、記憶部４にそれら管理データＩＦＯ#iと歌詞データＤsongとデジタルオーディオデータＤauを記憶させていく。

ここで、制御部７は、デジタルオーディオデータＤauを所定の時間分に相当するデータ量だけ記憶部４に記憶させた後、既に記憶済みとなっている歌詞データＤxsongとデジタルオーディオデータＤyauを記憶部４から順次に出力させ、歌詞情報再生部５とオーディオ情報再生部６に供給させる。

つまり、制御部７は、所定の時間分に相当するデータ量のデジタルオーディオデータＤauを記憶部４にいわゆるバッファリングさせ、そのバッファリングが完了すると、記憶部４に対して所謂ＦＩＦＯ（ファーストインファイストアウト）処理を行わせることによって、管理データＩＦＯ#iと歌詞データＤsongとデジタルオーディオデータＤauを引き続き記憶させつつ、記憶済みとなった歌詞データＤxsongとデジタルオーディオデータＤyauを歌詞情報再生部５とオーディオ情報再生部６へ供給させていく。

このように、予め所定の時間分に相当するデータ量のデジタルオーディオデータＤauを記憶部４にいわゆるバッファリングさせることにより、引き続いて所謂ＦＩＦＯ処理を行う際に、記憶部４から出力させる歌詞データＤxsongとデジタルオーディオデータＤyauが欠乏することを未然に防止している。

更に、記憶部４から上述の記憶させたデジタルオーディオデータＤyauと歌詞データＤxsongを出力させる際、制御部７は、管理データＩＦＯ#iに含まれている時間情報に基づいて、デジタルオーディオデータＤyauに含まれているボーカル音のデータ列と、歌詞データＤxsongとを同期させて、歌詞情報再生部５とオーディオ情報再生部６に供給させる。これにより、オーディオ信号Ｓyoutに基づいてスピーカ等から発せられるボーカル音の発生タイミングと、ビデオ信号Ｓxoutに基づいてディスプレイ等に表示される歌詞の表示タイミングとを時間的に合わせて再生を行わせる。

かかる機能によれば、ユーザ等はデジタルオーディオデータＤauと歌詞データＤxsong等を記憶部４にいわゆる録音させながら、音楽等と歌詞を視聴することが可能となっている。

〈第６の制御機能〉
上述の〈第３の制御機能〉又は〈第４の制御機能〉若しくは〈第５の制御機能〉によって、スピーカ等から音楽等が出力されている際、ユーザ等が所望のボーカル音が発せられた時点で、歌詞を表示すべき旨の指令（「歌詞検索表示」という）を行うと、制御部７は、その指令された時点に再生が行われているボーカル音のデータ列に対応している時間情報を有している管理データＩＦＯ#iを記憶部４から検索する。更に、検索した管理データＩＦＯ#iに対応している歌詞データＤxsongを検出し、その検出した歌詞データＤxsongを記憶部４から歌詞情報再生部５へ出力させ、ディスプレイ等に歌詞を表示させる。

例えば、記憶部４に既に記憶されている図１（ｂ）に示したデジタルオーディオデータに基づいてオーディオ情報再生部６が再生を行い、スピーカ等に音楽を出力させている際、ユーザ等が例えば「日が暮れる」というボーカル音が発せられた時点で、歌詞を表示すべき旨の指令を行うと、制御部７は、その指令された時点に再生が行われているボーカル音「日が暮れる」のデータ列に対応している時間情報を有する管理データＩＦＯ#3を記憶部４から検索する。更に、その検索した管理データＩＦＯ#3に対応している歌詞データ「日が暮れる」を検出して、その検出した歌詞データＤxsongを記憶部４から歌詞情報再生部５へ出力させて、ディスプレイ等に、その「日が暮れる」という歌詞を表示させる。

かかる機能により、ユーザ等はスピーカ等から出力される音楽を聴きながら、所望のボーカル音に対応する歌詞をディスプレイ等に表示させることが可能となっている。

〈第７の制御機能〉
上述の〈第２の制御機能〉又は〈第４の制御機能〉若しくは〈第５の制御機能〉によって、ディスプレイ等に歌詞が表示されている際、ユーザ等がそのディスプレイ等に表示されている所望の歌詞を操作部を介して指定（「音検索」という）すると、制御部７は、指定された歌詞に対応する管理データＩＦＯ#iを記憶部４から検索し、更にその検索した管理データＩＦＯ#iに含まれている時間情報に基づいて、上述の指定された歌詞に対応するボーカル音のデータ列の開始時点を検出する。そして、検出したボーカル音のデータ列の開始時点からデジタルオーディオデータＤyauを記憶部４から出力させ、オーディオ情報再生部６へ供給させる。

例えば、図１（ｂ）に示した歌詞データ「あの町」と「この町」と「日が暮れる」等に基づいて、それらの各歌詞がディスプレイ等に表示されている状態で、ユーザ等が、例えば、「この町」の歌詞部分を指定すると、制御部７は、その歌詞に対応する管理データＩＦＯ#2を記憶部４から検索する。そして、検索した管理データＩＦＯ#2に含まれている時間情報、すなわち、ボーカル音「この町」のデータ列の開始時点ｔ3を検出し、記憶部４に対して開始時点ｔ3からデジタルオーディオデータＤyauを出力させ、オーディオ情報再生部６へ供給させる。

更に、ユーザ等がディスプレイ等に表示されている複数の歌詞列を所望の範囲で指定すると、管理データＩＦＯ#iに基づいて該範囲内の先頭の歌詞から最後の歌詞までに相当するデジタルオーディオデータＤyauを記憶部４から出力させ、オーディオ情報再生部６へ供給させる。

更に、ユーザ等がディスプレイ等に表示されている所望の歌詞を指定し、更に操作部を操作していわゆる頭出しの指定をすると、管理データＩＦＯ#iに基づいて再生中の音楽の先頭のデジタルオーディオデータＤyauを検索し、該検索した先頭のデジタルオーディオデータＤyauと共にそれに続くデジタルオーディオデータを順次に記憶部４から出力させ、オーディオ情報再生部６へ供給させることにより、再生途中の音楽を最初から再生させる。

これらの機能により、ユーザ等は、ディスプレイ等に表示させた所望の歌詞に対応する音楽等の部分や範囲、或いは先頭から受聴することが可能となっている。

〈第８の制御機能〉
ユーザ等が、〈第４の制御機能〉又は〈第５の制御機能〉において説明した「同期再生」又は「記録再生」の指令をする際、ボーカル音をミュートさせるための「ミュート再生」を併せて指令すると、制御部７は、各管理データＩＦＯ#iに含まれている時間情報に基づいて、記憶部４に記憶されている該デジタルオーディオデータＤyauに含まれている各ボーカル音のデータ列を検出し、検出したデータ列を除去したデジタルオーディオデータＤyauを生成してオーディオ情報再生部６側に供給すると共に、上述の除去した各ボーカル音のデータ列に対応する歌詞データＤxsongを同期させて歌詞情報再生部５側に供給する。

かかる機能によれば、ユーザ等は、表示される歌詞を観ながら、ボーカル音が消音された伴奏等に合わせて歌う、いわゆるカラオケを行うことができる。

すなわち、ユーザ等が「同期再生」と「ミュート再生」を併せて指令すると、上述したように、〈第４の制御機能〉によって１倍速での再生が行われるため、楽曲タイトル本来の音調の伴奏等に合わせて、歌詞を観ながらカラオケを行うことができるようになっている。

〈第９の制御機能〉
ユーザ等は、上述した〈第１の機能〉〜〈第８の機能〉の何れかを夫々個別に指定することが可能であるが、制御部７に予め決められている所定の組合せに従って、それらの機能を組み合わせて指定すると、制御部７は、それらの指定された複数の機能を合わせた制御を行うことにより、ユーザ等に対してバリエーションのある楽しみ方を提供することが可能となっている。

以上説明したように、本実施形態の情報処理装置１によれば、デジタルオーディオデータに含まれているボーカル音のデータ列を音声認識し、その認識結果を歌詞データとして記憶し、更にその歌詞データを表示等するようにしたので、オーディオ情報は記録されているが歌詞情報が記録されていないＣＤやＤＶＤ等のストレージ媒体を情報再生してボーカル音に対応する歌詞をユーザ等に提示等したり、インターネット等の伝送メディアを通じて配信されてくる歌詞情報を含まないオーディオ情報を再生してボーカル音に対応する歌詞をユーザ等に提示等したりすることができ、ユーザビリティの向上を図ることができる。

また、歌詞データと、その歌詞データに対応しているデジタルオーディオデータ中のボーカル音のデータ列とを管理データに基づいて関連付けを行って管理するので、その管理データを利用することによって、上述した歌詞を指定してその歌詞に対応するボーカル音を再生させたり、それとは逆に、ボーカル音を指定して歌詞を表示させたり、カラオケを行うことを可能にする等、ユーザビリティの向上を実現し得る各種機能への応用が可能である。

なお、以上の実施形態の説明では、ＣＤやＤＶＤ等のストレージ媒体を情報再生する再生プレーヤや、インターネット等の伝送メディアと組み合わせて使用される所謂オーディオ機器としての情報処理装置について説明した。

しかし、本実施形態は、かかる場合に限定されるものではなく、上述した音声認識処理部２と、情報管理部３と、歌詞情報再生部５と、オーディオ情報再生部６及び制御部７に相当する機能を、情報処理用プログラムとしてのコンピュータプログラム（エンジン）で実現し、そのコンピュータプログラムをパーソナルコンピュータ（ＰＣ）等にインストールして、マイクロプロセッサ（ＭＰＵ）に実行させることにより、そのパーソナルコンピュータに備えられている記憶部４に該当するハードディスク等の大容量記憶装置に、歌詞データとデジタルオーディオデータ及び管理データを記憶させ、更にそれらの記憶された歌詞データとデジタルオーディオデータを再生させて、パーソナルコンピュータに接続等されているディスプレイやスピーカから出力させるようにしてもよい。

また、上記のコンピュータプログラムをストレージ媒体に記録しておき、このストレージ媒体を再生することでコンピュータに機能を実行させるようにしてもよい。

また、音楽等の情報と共に上記のコンピュータプログラムをストレージ媒体に記録しておき、このストレージ媒体から音楽等の情報を再生する際、コンピュータプログラムをコンピュータに実行させることで、音楽等に含まれるボーカル音を音声認識させ、歌詞を作成させる等の機能を発揮させるようにしてもい。

また、以上の実施形態の説明では、管理データＩＦＯ#iに含まれている時間情報を介して、歌詞データＤsongとデジタルオーディオデータＤau中のボーカル音のデータ列とを関連付けて管理するようにしているが、時間情報以外の情報によって、歌詞データＤsongとデジタルオーディオデータＤau中のボーカル音のデータ列との関連付けを行うようにしてもよい。

例えば、情報管理部３において、歌詞データＤsongと、その歌詞データＤsongに対応するデジタルオーディオデータＤau中のボーカル音のデータ列との関連付けを行う附箋データやＩＤデータ、番号データ等の識別機能を有するデータを生成し、その識別機能を有するデータを介して歌詞データとボーカル音のデータ列とをリンクさせるようにしてもよい。

かかる構成によれば、例えば、上述したディスプレイ等に表示された歌詞をユーザ等が指定すると、識別機能を有するデータを介して、記憶部４に記憶されているボーカル音のデータ列を検出して出力させ、オーディオ情報再生部６にユーザ等が指定した歌詞に対応するボーカル音等を再生するためのオーディオ信号Ｓyoutを生成させることができる。

また、ディスプレイ等に表示された歌詞をユーザ等が指定するための手段として、タッチパネル型のディスプレイを歌詞情報再生部５に接続し、ユーザ等が接触した表示面上の歌詞を制御部７が検出することにより、該歌詞に対応する記憶部４中に記憶されているボーカル音のデータ列を検出するようにしてもよい。

次に、より具体的な実施例を図２を参照して説明する。図２は、ＣＤやＤＶＤ等のストレージ媒体を再生する再生プレーヤから供給されるデジタルオーディオデータＤauを処理する情報処理装置の構成を表したブロック図であり、図１と同一又は相当する部分を同一符号で示している。

図２において、この情報処理装置１は、音声抽出部２xa、音声認識部２xb、辞書データ記憶部２xc、歌詞情報管理部３x、ハードディスクＨＤＤx等を有する大容量の記憶部４x、ビデオ信号生成部５、再生速度検出部９、記憶再生制御部８a、圧縮処理部１０、オーディオ情報管理部３y、ハードディスクＨＤＤy等を有する大容量の記憶部４y、伸張処理部６ya、オーディオ信号生成部６yb、主制御部８b及び操作部１３を備えて構成されている。

そして、信号源としての再生プレーヤ２から出力されるデジタルオーディオデータＤauが音声抽出部２xaと圧縮処理部１０に供給され、更に再生プレーヤ２から出力される再生速度を示す信号（符号略）が再生速度検出部９に供給され、ビデオ信号生成部５の出力にディスプレイ１１等の表示手段が接続され、オーディオ信号生成部６ybの出力にスピーカ１２等が接続されるようになっている。

ここで、本実施例の情報処理装置１と、図１（ａ）に示した実施形態に係る情報処理装置１との構成を対比すると、図２に示す音声抽出部２xaと音声認識部２xbと辞書データ記憶部２xcが、図１（ａ）に示した音声認識処理部２に相当している。歌詞情報管理部３xとオーディオ情報管理部３yが、図１（ａ）に示した情報管理部３に相当している。記憶部４x，４yが、図１（ａ）に示した記憶部４に相当している。ビデオ信号生成部５が、図１（ａ）に示した歌詞情報再生部５に相当している。伸張処理部６yaとオーディオ信号生成部６ybが、図１（ａ）に示したオーディオ情報再生部６に相当し、記憶再生制御部７aと主制御部７bが、図１（ａ）に示した制御部７に相当している。

再生速度検出部９は、再生プレーヤ８から出力される再生速度を示す信号を検出することにより、ストレージ媒体ＤＳＣの再生中の再生速度を示す再生速度検出データＤpdを記憶再生制御部８aに供給する。すなわち、再生プレーヤ８は、ＣＤやＤＶＤ等のストレージ媒体ＤＳＣを再生する際、ストレージ媒体ＤＳＣの再生速度を通常の１倍速の他、それより遅い速度や高速で再生することが可能であり、それら様々な速度で再生中に、再生速度を示す信号を出力するようになっている。そこで、再生速度検出部９は、再生プレーヤ８から出力される再生速度を示す信号を実時間で検出し、上述の再生速度検出データＤpdを記憶再生制御部８aに供給する。

音声抽出部２xaは、再生プレーヤ８から供給されるデジタルオーディオデータＤauを入力する。なお、デジタルオーディオデータＤauは、所定のサンプリングレートでサンプリングされたデータ列であり、例えばこのデジタルオーディオデータＤauをＤ／Ａ変換器でアナログ信号に変換してスピーカを駆動すると、可聴周波数の音を鳴動させることが可能な信号となっている。

そして、音声抽出部２xaは、人間の声の主成分の周波数帯域、例えば５００Ｈｚから３ｋＨｚまでの範囲を通過周波数帯域とするデジタルフィルタで形成されており、記憶再生制御部８aから指示される再生速度に従って、デジタルオーディオデータＤauをデジタルフィルタリングすることにより、デジタルオーディオデータＤauに含まれているボーカル音のデータ列Ｄx1を抽出して出力する。

すなわち、再生プレーヤ８が１倍速で再生処理を行っている場合には、記録再生制御部８aは、音声抽出部２xaに対して、１倍速に相当する演算速度で上述のデジタルフィルタリングの処理を行わせ、２倍速で再生処理を行っている場合には、音声抽出部２xaに対して２倍速に相当する演算速度で上述のデジタルフィルタリングの処理を行わせ、４倍速で再生処理を行っている場合には、４倍速に相当する演算速度で上述のデジタルフィルタリングの処理を行わせるというように、再生プレーヤ８の再生速度に比例した演算速度でデジタルフィルタリングを行わせる。

従って、例えば１倍速の再生速度よりも低速又は高速の再生が行われると、それに応じてあたかも低周波数又は高周波数でサンプリングされたような密度の変化したデジタルオーディオデータＤauが音声抽出部２xaに供給されることになるが、上述の音声抽出部２xaにおけるデジタルフィルタリングの演算速度も低速又は高速の再生速度に比例して可変制御される結果、デジタルオーディオデータＤauに対して再生速度とは無関係にデジタルフィルタリングを行うことが可能となっている。

音声認識部２xbは、ボーカル音のデータ列Ｄx1について音声認識を行い、その認識結果に相当する文字データを辞書データ記憶部２xcから読み出して文字データ列からなる歌詞データＤsongを作成して出力する。

例えば、「あの町」というボーカル音のデータ列Ｄx1を音声認識すると、その認識結果に基づいて「あの町」という文字データからなる歌詞データＤsongを作成して出力する。

歌詞情報管理部３xは、歌詞データＤsongに相当するボーカル音の発生期間を示す時間データを有する管理データＩＦＯxを作成し、歌詞データＤsongに付加して出力する。例えば、上述の「あの町」というボーカル音のデータ列Ｄx1が時間ｔ1〜ｔ2の期間に生じていた場合には、その歌詞データＤsongに、時間ｔ1〜ｔ2を示す時間データを有する管理データＩＦＯxを対応付け、歌詞データＤsongとして出力する。

なお、記憶再生制御部７aには、各楽曲タイトルのデジタルオーディオデータＤauの開始時点から終了時点までの経過時間を計測するためのタイムベースが内蔵されており、歌詞情報管理部３xが該タイムベースによって計時される時間情報を利用して、上述の時間データを有する管理データＩＦＯxを作成するようになっている。

記憶部３xは、歌詞情報管理部３xからの歌詞データＤsongと管理データＩＦＯxをハードディスクＨＤＤx等に記憶させ、所定のディレクトリ構造に従ってファイル管理する。

圧縮処理部１０は、デジタルオーディオデータＤauを、ＭＰＥＧオーディオ等の所定のデータ圧縮方式に従ってデータ圧縮することにより、データ量を低減したデジタルオーディオデータＤaucにして出力する。

オーディオ情報管理部３yは、上述の音声認識部２xbが音声認識を行ったボーカル音のデータ列Ｄx1の時間幅ｔ1〜ｔ2に相当する時間データを有する管理データＩＦＯyを作成し、デジタルオーディオデータＤaucと共に出力する。

記憶部４yは、オーディオ情報管理部３yからの管理データＩＦＯyとデジタルオーディオデータＤaucをハードディスクＨＤＤy等に記憶させ、所定のディレクトリ構造に従ってファイル管理する。

そして、主として、再生速度検出部９、音声抽出部２xa、音声認識部２xb、辞書データ記憶部２xc、歌詞情報管理部３x、圧縮処理部１０、オーディオ情報管理部３yによって、再生プレーヤ８から楽曲タイトル毎に供給されるデジタルオーディオデータＤauを記憶部４yにおいて記憶させると共に、ボーカル音のデータ列Ｄx1に関連する歌詞データＤsongを記憶部４yにおいて記憶させるデータ記憶系統が構成されている。

ビデオ信号生成部５は、記憶部４xに記憶されている歌詞データＤsong（なお、記憶部４yから出力される歌詞データを符号Ｄxsongで表している）が供給されると、その歌詞データＤxsongに基づいてビデオ信号Ｓxoutを生成し、ディスプレイ１１等に供給することによって歌詞を表示させる。

伸張処理部６yaは、記憶部４yから出力されるデジタルオーディオデータＤyaucをデータ伸張し、データ伸張したデジタルオーディオデータＤyauを出力する。すなわち、上述の圧縮処理部１０においてＭＰＥＧオーディオ等のデータ圧縮方式でデータ圧縮されたデジタルオーディオデータＤaucが記憶部４yに記憶されている。そこで、伸張処理部６yaは、記憶部４yからそのデジタルオーディオデータＤauc（なお、記憶部４yから出力されるデジタルオーディオデータを符号Ｄyaucで表している）が供給されるとデータ伸張を行い、データ圧縮前の状態のデジタルオーディオデータＤyauを出力する。

オーディオ信号生成部６ybは、デジタルオーディオデータＤyauに基づいてアナログのオーディオ信号Ｓyoutを生成し、スピーカ１２等に供給することによって音を出力させる。

そして、主として、ビデオ信号生成部５と伸張処理部６yaとオーディオ信号生成部６ybによって、記憶部４xに記憶されている歌詞データＤxsongに基づく歌詞の表示と、記憶部４yに記憶されているデジタルオーディオデータＤyaucに基づく音の再生を行う再生系統が構成されている。

記憶再生制御部７aは、主制御部７bから供給される制御信号Ｃ2の指令内容に従って、上述のデータ記憶系統と再生系統を制御する。

主制御部７bは、演算及び制御機能を有するマイクロプロセッサ（ＭＰＵ）等を有し、操作部１３を介してユーザ等からの指令を受けると、該指令に従って、本信号処理装置１全体の動作を集中制御すると共に、指令された内容に従って、再生プレーヤ８を制御するための制御信号Ｃ１と、記憶再生制御部７ａを制御するための制御信号Ｃ2を出力する。

次に、かかる構成を有する本信号処理装置１の動作を説明する。

本信号処理装置１は、ユーザ等が操作部１３を操作して所望の指令を行うと、記憶再生制御部７aと主制御部７bが、実施形態の説明で述べた〈第１の制御機能〉から〈第９の制御機能〉と同様の制御機能を発揮することで、ユーザ等の指令に従った動作を行うようになっている。

〈ユーザ等が記録開始の指令をした場合〉
ユーザ等が操作部１３を操作して、「記録開始」の指令を行うと、主制御部７ｂが記憶再生制御部７aに指令して、〈第１の制御機能〉に基づく動作を行わせる。

すなわち、記憶再生制御部７aは、上述のデータ記憶系統を制御して、再生プレーヤ８から楽曲タイトル毎に供給されるデジタルオーディオデータＤauを音声抽出部２xaと圧縮処理部１０に入力させる。そして、音声抽出部２xaがデジタルオーディオデータＤauに含まれているボーカル音のデータ列Ｄx1を抽出し、音声認識部２xbがデータ列Ｄx1に基づいて音声認識を行うことによって歌詞データＤsongを生成し、更に歌詞情報管理部３xが管理データＩＦＯxを生成し、これら歌詞データＤsong及び管理データＩＦＯxを順次に記憶部４xが記憶していく。更に、圧縮処理部１０がデータ圧縮したデジタルオーディオデータＤaucを生成し、オーディオ情報管理部３yが管理データＩＦＯyを生成し、これらデジタルオーディオデータＤauc及び管理データＩＦＯyを順次に記憶部４yが記憶していく。

このように、ユーザ等が「記録開始」の指令を行うと、再生プレーヤ８にセットした所望のＣＤやＤＶＤに記憶されているデジタルオーディオデータＤauからボーカル音に相当する歌詞データＤsongを生成させ、データ圧縮したデジタルオーディオデータＤaucと共に歌詞データＤsongを記憶部４x，４yに記憶させておくことが可能となっている。

〈ユーザ等が歌詞再生の指令をした場合〉
ユーザ等が操作部１３を操作し、所望の楽曲タイトルを指定して「歌詞再生」の指令を行うと、主制御部７ｂが記憶再生制御部７aに指令して、〈第２の制御機能〉に基づく動作を行わせる。

すなわち、記憶再生制御部７aは、その指令された楽曲タイトルの歌詞データＤxsongを管理データＩＦＯxに基づいて検索し、記憶部４から歌詞データＤxsongを出力させると共にビデオ信号生成部５に供給させることにより、ビデオ信号生成部５からその歌詞データＤxsongに基づくビデオ信号Ｓxoutを出力させ、ディスプレイ１１等に歌詞を表示させる。

かかる機能により、ユーザ等は、記憶部４xに記憶させておいた歌詞データＤsongに基づいて歌詞をディスプレイ１１等に表示させて、観ることが可能となっている。

〈ユーザ等がオーディオ再生をした場合〉
ユーザ等が操作部１３を操作することにより、記憶部４yに既に記憶されている所望の楽曲タイトルを指定し、更に所望の再生速度を指定して「オーディオ再生」の指令を行うと、主制御部７ｂが記憶再生制御部７aに指令して、〈第３の制御機能〉に基づく動作を行わせる。

すなわち、記憶再生制御部７aは、その指令された楽曲タイトルのデジタルオーディオデータＤyaucを管理データＩＦＯyに基づいて検索し、記憶部４yからデジタルオーディオデータＤyaucを出力させる。そして、伸張処理部６yaとオーディオ信号生成部６ybによって、そのデジタルオーディオデータＤyaucに基づくオーディオ信号Ｓyoutを、指令された再生速度に従って生成させて出力させる。

かかる機能により、オーディオ信号生成部６ybがオーディオ信号Ｓyoutをスピーカ等に供給することで、ユーザ等の指令した再生速度に相当する音調で、楽曲タイトルの音楽等を鳴動させる。

また、ユーザ等が上述の「歌詞再生」と「オーディオ再生」を適宜の順序で指令すると、記憶再生制御部７aは、指令された適宜の順序で上述の〈第２の制御機能〉と〈第３の制御機能〉を起動し、管理データＩＦＯx，ＩＦＯyに基づいて、指令された楽曲タイトルの歌詞データＤxsongとデジタルオーディオデータＤyaucを検索し、記憶部４xから歌詞データＤxsongを出力させて、ビデオ信号生成部５に供給させると共に、記憶部４yからデジタルオーディオデータＤyaucを出力させて、伸張処理部６yaとオーディオ信号生成部６yb側に供給させる。これにより、ビデオ信号生成部５とオーディオ信号生成部６ybが、歌詞データＤxsongに基づくビデオ信号ＳxoutとデジタルオーディオデータＤyaucに基づくオーディオ信号Ｓyoutを生成し、ディスプレイ１１等に歌詞を表示させつつ、スピーカ１２等にユーザ等の指令した再生速度に相当する音調で楽曲タイトルの音楽等を鳴動させる。

したがって、ユーザ等は「歌詞再生」のみ又は「オーディオ再生」のみの指令を行うことができる他、「歌詞再生」と「オーディオ再生」との両者を併せて指令し、楽曲タイトルの音楽等を聴きながら歌詞を観ることが可能となっている。

また、ユーザ等が人間の聴覚特性に相当する再生速度、別言すれば、ＣＤプレーヤやＤＶＤプレーヤ等で規格化されている１倍速の再生速度を指令して「歌詞再生」と「オーディオ再生」とを指令すると、歌詞を観ながら楽曲タイトルの音楽等を本来の音調で再生させることができる。また、ユーザ等が１倍速より遅い再生速度又は１倍速より速い再生速度速を指令すれば、歌詞を観ながら楽曲タイトルの音楽等を本来の音調より遅い又は速い音調で再生させることが可能となっている。

〈ユーザ等が同期再生を指令した場合〉
また、ユーザ等が操作部１３を操作することにより、記憶部４yに既に記憶されている所望の楽曲タイトルを指定して、「同期再生」の指令を行うと、主制御部７ｂが記憶再生制御部７aに指令して、〈第４の制御機能〉に基づく動作を行わせる。

すなわち、記憶再生制御部７aは、上述の再生系統を制御し、記憶部４xに記憶されている歌詞データＤxsongに基づく歌詞の表示と、記憶部４yに記憶されているデジタルオーディオデータＤyaucに基づく音の再生を行わせる。

更に、この同期再生の際、記憶再生制御部７aは、記憶部４x，４yに記憶されている管理データＩＦＯx，ＩＦＯyを調べ、管理データＩＦＯx，ＩＦＯyで関係付けられている歌詞データＤxsongとデジタルオーディオデータＤyauc中のボーカル音のデータ列とを時間的に同期させて、記憶部４x，４yからビデオ信号生成部５と伸張処理部６ya側へ出力させることにより、ディスプレイ１１等に表示される歌詞の表示タイミングとスピーカ１２等から発せられるボーカル音の発生タイミングとを時間的に同期させる。

更に、「同期再生」の際には、記憶再生制御部７aの制御に従ってオーディオ信号生成部６ybが、伸張処理部６yaから供給されるデジタルオーディオデータＤyauを１倍速の再生速度で再生処理することによってオーディオ信号Ｓyoutを生成し、ビデオ信号生成部５が管理データＩＦＯxに基づいてデジタルオーディオデータＤyauに含まれているボーカル音のデータ列に対応する歌詞データＤxsongを１倍速の再生速度に合わせて再生処理することによりビデオ信号Ｓxoutを生成する。

したがって、スピーカ１２等からは、楽曲タイトルの音楽等が本来の音調で出力されると共に、ディスプレイ１１等には、その音楽等の音調に合わせて且つボーカル音に同期して歌詞が順次に表示される。

かかる機能によれば、ユーザ等は、楽曲タイトル本来の音調の音楽等を聴きながら、その音楽等に含まれているボーカル音に同期して表示される歌詞を観ることが可能となっている。

また、ユーザ等が操作部１３を操作することにより、「記録再生」の指令を行うと、主制御部７ｂが記憶再生制御部７aに指令して、〈第５の制御機能〉に基づく動作を行わせる。

すなわち、記憶再生制御部７aは、上述のデータ記憶系統と再生系統を制御して、再生プレーヤ８から楽曲タイトル毎に供給されるデジタルオーディオデータＤauを音声抽出部２xaと圧縮処理部１０に入力させる。そして、音声抽出部２xaがデジタルオーディオデータＤauに含まれているボーカル音のデータ列Ｄx1を抽出し、音声認識部２xbがデータ列Ｄx1に基づいて音声認識を行うことによって歌詞データＤsongを生成し、更に歌詞情報管理部３xが管理データＩＦＯxを生成し、これら歌詞データＤsong及び管理データＩＦＯxを順次に記憶部４xが記憶していく。更に、圧縮処理部１０がデータ圧縮したデジタルオーディオデータＤaucを生成し、オーディオ情報管理部３yが管理データＩＦＯyを生成し、これらデジタルオーディオデータＤauc及び管理データＩＦＯyを順次に記憶部４yが記憶していく。

そして、記憶再生制御部７aは、所定の時間分に相当するデータ量のデジタルオーディオデータＤaucを記憶部４yにいわゆるバッファリングさせた後、記憶部４x，４yに対して所謂ＦＩＦＯ（ファーストインファイストアウト）処理を行わせることによって、管理データＩＦＯx，ＩＦＯyと歌詞データＤsongとデジタルオーディオデータＤaucを引き続き記憶させつつ、記憶済みとなった歌詞データＤxsongとデジタルオーディオデータＤyaucをビデオ信号生成部５と伸張処理部６ya側へ出力させていく。

更に、記憶再生制御部７aは、記憶部４x，４yから歌詞データＤxsongとデジタルオーディオデータＤyaucを出力させる際、管理データＩＦＯx，ＩＦＯyに含まれている時間情報に基づいて、歌詞データＤxsongと、デジタルオーディオデータＤyauに含まれているボーカル音のデータ列とを同期させて、ビデオ信号生成部５と伸張処理部６ya側へ出力させていく。

これにより、オーディオ信号生成部６ybから出力されるオーディオ信号Ｓyoutに基づいてスピーカ１２等から発せられるボーカル音の発生タイミングと、ビデオ信号生成部５から出力されるビデオ信号Ｓxoutに基づいてディスプレイ１１等に表示される歌詞の表示タイミングとを時間的に合わせて再生を行わせる。

かかる機能によれば、ユーザ等は、所望のＣＤやＤＶＤを再生プレーヤ８にセットして、デジタルオーディオデータＤaucと歌詞データＤsong等を記憶部４にいわゆる録音させながら、音楽等と歌詞を視聴することが可能となっている。

また、スピーカ１２等から音が発せられている状態で、ユーザ等が所望のボーカル音が発せられた時点で操作部１３を操作し、歌詞を表示すべき旨の指令を行うと、主制御部７bから記憶再生制御部７aに、歌詞を表示すべき旨の制御信号Ｃ2が供給される。そして、記憶再生制御部７aは、その指令された時点に再生が行われているボーカル音のデータ列に対応している管理データＩＦＯxを記憶部４xから検索すると共に、検索した管理データＩＦＯxに対応している歌詞データＤxsongを検出し、その検出した歌詞データＤxsongを記憶部４xからビデオ信号生成部５へ出力させて、ディスプレイ１１等に歌詞を表示させる。

これにより、ユーザ等はスピーカ１２等から出力される音楽等を聴きながら、所望のボーカル音に対応する歌詞をディスプレイ１１等に表示させることが可能となっている。
また、ディスプレイ１１等に歌詞が表示されている状態で、ユーザ等がそのディスプレイ１１等に表示されている所望の歌詞を操作部１３を介して指定すると、主制御部７bから記憶再生制御部７aに、歌詞が指定された旨の制御信号Ｃ2が供給される。そして、記憶再生制御部７aは、指定された歌詞に対応する管理データＩＦＯyを記憶部４yから検索し、更にその検索した管理データＩＦＯyに基づいて、上述の指定された歌詞に対応するボーカル音のデータ列の開始時点を検出し、検出したボーカル音のデータ列の開始時点からデジタルオーディオデータＤyaucを記憶部４yから出力させ、伸張処理部６yaを介してオーディオ信号生成部６ybへ供給させる。

これにより、ユーザ等は、ディスプレイ１１等に表示させた所望の歌詞に対応する音楽の部分をスピーカ１２等から出力させて受聴することが可能となっている。

更に、ユーザ等がディスプレイ１１等に表示されている複数の歌詞列を所望の範囲で指定すると、記憶再生制御部７aは、管理データＩＦＯyに基づいて該範囲内の先頭の歌詞から最後の歌詞までに相当するデジタルオーディオデータＤyaucを記憶部４yから出力させ、伸張処理部６yaを介してオーディオ信号生成部６yaに供給させ、スピーカ１２等を鳴動させる。これにより、ユーザ等は、所望の歌詞の範囲内の音楽等をボーカル音と共に受聴することができる。

更に、ユーザ等がディスプレイ１１等に表示されている所望の歌詞を指定し、更に操作部１３を操作していわゆる頭出しの指定をすると、記憶再生制御部７aは、管理データＩＦＯyに基づいて再生中の音楽の先頭のデジタルオーディオデータＤyaucを検索し、該検索した先頭のデジタルオーディオデータＤyaucと共にそれに続くデジタルオーディオデータを順次に記憶部４yから出力させ、伸張処理部６yaを介してオーディオ信号生成部６yaに供給させる。これにより、ユーザ等はディスプレイ１１に表示されている歌詞を指定するだけで、その歌詞の属する音楽等を頭から聴き直す等の操作を行うことが可能となっている。

ユーザ等が、上述の「同期再生」又は「記録再生」の指令をする際、ボーカル音をミュートさせるための「ミュート再生」を併せて指令すると、主制御部７bからの指令を受けて記憶再生制御部７aが、各管理データＩＦＯyに含まれている時間情報に基づいて、記憶部４yに記憶されているデジタルオーディオデータＤyaucに含まれている各ボーカル音のデータ列を検出し、検出したデータ列を除去したデジタルオーディオデータＤyaucを生成して、伸張処理部６yaを介してオーディオ信号生成部６ybに供給すると共に、管理データＩＦＯxに基づいて、上述の除去した各ボーカル音のデータ列に対応する歌詞データＤxsongを検索し、その歌詞データＤxsongを上述の除去した各ボーカル音のデータ列に同期させて記憶部４yから出力さて、ビデオ信号生成部５に供給させる。

そして、ビデオ信号生成部５が歌詞データＤxsongに基づいてビデオ信号Ｓxoutを生成して、ディスプレイ１１等に歌詞を表示させ、オーディオ信号生成部６ybがボーカル音のデータ列が除去されたデジタルオーディオデータＤyauに基づいてオーディオ信号Ｓyoutを生成して、スピーカ１２等に音楽等を鳴動させる。

かかる機能によれば、ユーザ等は、表示される歌詞を観ながら、ボーカル音が消音された伴奏等に合わせて歌う、いわゆるカラオケを行うことができる。

すなわち、ユーザ等が「同期再生」と「ミュート再生」を併せて指令すると、上述したように、〈第４の制御機能〉によって１倍速での再生が行われるため、楽曲タイトル本来の音調の伴奏等に合わせて、歌詞を観ながらカラオケを行うことができる。

以上説明したように、本実施例の情報処理装置１によれば、デジタルオーディオデータに含まれているボーカル音のデータ列を音声認識し、その認識結果を歌詞データとして記憶し、更にその歌詞データを表示等するようにしたので、オーディオ情報は記録されているが歌詞情報が記録されていないＣＤやＤＶＤ等のストレージ媒体を情報再生して、ボーカル音に対応する歌詞をユーザ等に提示等することができ、ユーザビリティの向上を図ることができる。

また、歌詞データと、その歌詞データに対応しているデジタルオーディオデータ中のボーカル音のデータ列とを管理データに基づいて関連付けを行って管理するので、その管理データを利用することによって、上述した歌詞を指定してその歌詞に対応するボーカル音を再生させたり、それとは逆に、ボーカル音を指定して歌詞を表示させる等、ユーザビリティの向上を実現し得る各種機能への応用が可能である。

また、ユーザ等が「同期再生」又は「記録再生」と「ミュート再生」を併せて指令すると、オーディオ情報は記録されているが歌詞情報が記録されていないＣＤやＤＶＤ等のストレージ媒体を使用しても、カラオケを行うことができることから、ユーザビリティの向上を図ることができる等の効果が発揮される。

なお、以上の実施例の説明では、ＣＤやＤＶＤ等のストレージ媒体を情報再生する再生プレーヤから供給されるデジタルオーディオデータを処理するオーディオ機器としての情報処理装置について説明した。

しかし、本実施例は、かかる場合に限定されるものではなく、上述したデータ記憶系統と再生系統と記憶再生制御部７a、主制御部７bに相当する機能をコンピュータプログラム（エンジン）で実現し、そのコンピュータプログラムをパーソナルコンピュータ（ＰＣ）等にインストールして、マイクロプロセッサ（ＭＰＵ）に実行させることにより、そのパーソナルコンピュータに備えられている記憶部４x，４yに該当するハードディスク等の大容量記憶装置に、歌詞データとデジタルオーディオデータ及び管理データを記憶させ、更にそれらの記憶された歌詞データとデジタルオーディオデータを再生させて、パーソナルコンピュータに接続等されているディスプレイやスピーカから出力させるようにしてもよい。

また、ディスプレイ１１等に表示された歌詞をユーザ等が指定するための手段として、タッチパネル型のディスプレイをビデオ信号生成部５に接続し、ユーザ等が接触した表示面上の歌詞を記憶再生制御部７aが検出することにより、該歌詞に対応する記憶部４y中に記憶されているボーカル音のデータ列を検出するようにしてもよい。

本発明の情報処理装置に係る実施形態の構成を表したブロック図、及び本情報処理装置に設けられている記憶部に記憶されるデータの構成を模式的に表した図である。 本発明の情報処理装置に係る実施例の構成を表したブロック図である。

符号の説明

１…情報処理装置
２…音声認識処理部
３…情報管理部
４…記憶部
５…歌詞情報再生部
６…オーディオ情報再生部
７…制御部
８…信号源

Claims (11)

1. 信号源から供給されるオーディオ情報に含まれているボーカル情報を音声認識して歌詞情報を生成する音声認識処理手段と、
   前記歌詞情報と、前記ボーカル情報とを関連付ける管理情報を生成する情報管理手段と、
   前記オーディオ情報、前記ボーカル情報、前記歌詞情報、及び前記管理情報を記憶する記憶手段と、
   を備えることを特徴とする情報処理装置。
2. 前記記憶手段に記憶されている前記歌詞情報を視認可能な歌詞として提示する歌詞情報再生手段を備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記記憶手段に記憶された前記オーディオ情報を受聴可能な音として提示するオーディオ情報再生手段を備えることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記記憶手段に記憶されている前記歌詞情報を視認可能な歌詞として提示する歌詞情報再生手段と、
   前記記憶手段に記憶されている前記オーディオ情報を受聴可能な音として提示するオーディオ情報再生手段と、
   前記記憶手段に記憶されている前記管理情報に基づいて前記視認可能な歌詞及び前記受聴可能な音を同期させて提示するように前記歌詞情報再生手段と前記オーディオ情報再生手段とを制御する制御手段と、
   を備えることを特徴とする請求項１に記載の情報処理装置。
5. 前記制御手段は、前記オーディオ情報、前記ボーカル情報、前記歌詞情報、及び前記管理情報を前記記憶手段に記憶させつつ、前記記憶手段に記憶させた前記管理情報に基づいて前記視認可能な歌詞及び前記受聴可能な音を提示するように前記歌詞情報再生手段と前記オーディオ情報再生手段とを制御することを特徴とする請求項４に記載の情報処理装置。
6. 前記オーディオ情報再生手段が提示した受聴可能な音に含まれるボーカル音が指定された際に、指定されたボーカル音に対応するボーカル情報と関連付けられている歌詞情報を前記管理情報に基づいて検出し、検出した歌詞情報を視認可能な歌詞として前記歌詞情報再生手段に提示させる制御手段を備えることを特徴とする請求項３に記載の情報処理装置。
7. 前記歌詞情報再生手段が提示した歌詞が指定された際に、指定された歌詞と関連付けられているボーカル情報を前記管理情報に基づいて検出し、検出したボーカル情報を含んでいるオーディオ情報を受聴可能な音として前記オーディオ情報再生手段に提示させる制御手段を備えることを特徴とする請求項３に記載の情報処理装置。
8. 前記制御手段は、前記管理情報に基づいて前記オーディオ情報からボーカル情報を除去し、除去された前記オーディオ情報を受聴可能な音として提示するように前記オーディオ再生手段を制御することを特徴とする請求項４又は５に記載の情報処理装置。
9. 信号源から供給されるオーディオ情報に含まれているボーカル情報を音声認識して歌詞情報を生成する音声認識処理工程と、
   前記歌詞情報と、前記ボーカル情報とを関連付ける管理情報を生成する情報管理工程と、
   前記オーディオ情報、前記歌詞情報、及び前記管理情報を記憶する記憶工程と、
   を備えることを特徴とする情報処理方法。
10. 信号源から供給されるオーディオ情報の処理をコンピュータに行わせる情報処理用プログラムであって、
    前記オーディオ情報に含まれているボーカル情報を音声認識して歌詞情報を生成させる音声認識処理ステップと、
    前記歌詞情報と、前記ボーカル情報とを関連付ける管理情報を生成させる情報管理ステップと、
    前記オーディオ情報、前記歌詞情報、及び前記管理情報を記憶させる記憶ステップと、
    を備えることを特徴とする情報処理用プログラム。
11. 請求項１０に記載の情報処理用プログラムを記録していることを特徴とする記録媒体。

Images