JP2008089755A

JP2008089755A - 文字データ再生装置

Info

Publication number: JP2008089755A
Application number: JP2006268250A
Authority: JP
Inventors: Akira Nishimura; 明西村; Shinichi Sakamoto; 真一坂本
Original assignee: OTODESIGNERS CO Ltd
Current assignee: OTODESIGNERS CO Ltd
Priority date: 2006-09-29
Filing date: 2006-09-29
Publication date: 2008-04-17

Abstract

【課題】カメラ付き携帯電話機でネットワークからアプリケーションをダウンロードしてから、カラオケ歌詞を埋め込んだカラオケ音声信号に埋め込まれたカラオケ歌詞を表示するカラオケシステムを提供する。
【解決手段】カメラ付き携帯電話機でＱＲコードをデコードし、アプリケーションをダウンロードしてから、前記携帯電話機のマイクロフォンで集音した複合音声をデコードして、音楽データに同期して再生できるように文字データが埋め込まれた音楽データに同期して再生できるように同期信号とともに埋め込まれた前記複合信号から文字データを再生して前記携帯電話機の表示装置にカラオケ歌詞データを表示するようにした。
【選択図】図１

Description

本発明は、カラオケ音楽の歌詞などの文字データを埋め込んだ複合音響信号を該携帯電話機の画面に文字再生する文字データ再生装置に関する。

カラオケは８トラック、カセットテープ、ＬＤやＶＨＤ、更に通信カラオケや携帯カラオケなどとカラオケ音楽媒体は様々なフォーマットで広がっている。しかし、カラオケボックスなどでカラオケを楽しもうと思っても、歌っている本人以外はモニター画面が遠くて見えにくいので、特に歌詞を覚えていない曲については気軽に歌声喫茶的な楽しみ方はできない。

特許文献１には、歌詞を表示するための歌詞表示データをオーディオ信号と同期して記録した歌詞表示データトラックを備えたオーディオメディアが請求項６に記載され、また段落（００３９）には、歌詞表示データトラックはＰＣＭ録音のオーディオトラックに対して、いわゆる電子透かしの技術で埋め込む内容が記載されている。

特許文献２には、曲名、演奏者な、各コンテンツを識別するための曲ＩＤなどの曲情報が電子透かしで埋め込まれたコンテンツの中から前記曲情報を端末装置で抽出する技術について開示されている。
特開２０００−１５６０４９号公報特開２００２−０９１４５５号公報

特許文献１には、歌詞表示データトラックはＰＣＭ録音のオーディオトラックに対して、いわゆる電子透かしの技術で埋め込むようにしてもよいと記載されていて、同期信号について記載はされているが、もともとＣＤの中には音楽データと歌詞データの全てが入っており携帯電話機でカラオケ歌詞を再生する方法については何ら開示されていない。

また、特許文献２には、前記端末装置の具備すべき必須の要素として段落（００１５）に、音楽コンテンツを入力するためのマイクロフォンと、音楽コンテンツに埋め込まれている曲情報を検出するための埋め込み情報検出手段と、検出された曲情報を表示する表示装置と、記憶手段と、前記音楽コンテンツの購入を発注することのできる発注手段とが記載されているだけであり、音楽データと文字データを同期させる記載はない。

携帯電話は、通話品質の向上や、Ｗｅｂブラウザ、Ｊａｖａ(登録商標）実行環境、ＣＣＤカメラ、テレビ電話機能の搭載など多機能化が進むにつれ、処理能力に対する要求が高まってきている。そこでツインＣＰＵ構成として音声、通話処理とアプリケーション処理の各々に別個のＣＰＵを搭載する携帯電話機も開発されている。しかし、ｉ−Ｔｕｎｅｎｓ（登録商標）などの音楽再生ソフトで音楽再生が可能であり、デジタルオーディオの処理能力に優れるＰentium（商標登録）やＡｔｈｌｏｎ（商標登録）などを搭載するＰＣと比較して携帯電話機のデータ処理能力は上記に及ばない。
したがって、処理能力の低い携帯電話機を使って音声と文字とを同期して表示する場合、文字の表示が遅れてしまう。

上記いずれの特許文献においても、携帯電話の記憶装置のデータ処理能力やメモリ容量が小さいので、再生の際に遅れが出てしまう課題が解決されない。そこで本発明の文字データ再生装置においては、以下の手段を用いることとした。

空気中を伝播する音響信号を受信する受信部と、文字データを再生するアプリケーションと、記憶手段としてのバッファとを備えた文字データ再生装置において、前記音響信号受信部は音楽データと当該音楽データの歌詞を表す文字データとこれら音楽データと文字データとを同期させる同期信号を埋め込んだ複合音響信号を受信し、前記バッファは前記複合音響信号中の文字データと同期信号を予め一定量記憶し、前記アプリケーションは前記バッファで記憶した前記文字データを同期信号によって音楽データに同期して再生表示するようにした。

また、前記文字データ再生装置において、前記音楽データはカラオケ音楽データであり、また前記文字データ再生装置を携帯電話機とした。
更に、前記文字データ再生装置において、前記アプリケーションを携帯電話機にダウンロードする手段としてＱＲコードを使えるようにした。

本発明は、本願は文字データの再生速度がＣＤプレーヤなどに比べてデータ処理速度の遅い再生装置、例えば携帯電話を考慮した発明である。文字データの再生処理速度が遅いと音楽データに対し歌詞データを同期して表示できなくなる。これは、軽量化とバッテリーの長時間化が重要視される携帯電話においては、電力消費よりも高速性を重視するＰＣに較べて非力なＣＰＵしか搭載できず、前記複合音響信号をリアルタイムで処理することが難しいが、本発明においては携帯電話機のマイクロフォンから予め複合音響信号（最初は文字データと同期信号のみが入っている）から文字データと同期信号のみをバッファに取り込み、取り込んだ文字データを音楽データに合せて徐々に放出することで、カラオケ歌詞の表示を１曲完結するまで同期できるようにした。

また、携帯電話機が文字データと同期信号のみをバッファに取り込むことによる効果として、例えばカラオケルーム内において、テレビモニターの歌詞が確認し難い位置、例えば部屋の隅に入った人でも自分の携帯電話の画面を見ることで音楽に同期した歌詞を画面で確認できるようになる。

また、本発明の別の効果として、カラオケ利用者の居場所に届く前記複合音響信号に同期して、携帯電話機の画面にカラオケ歌詞を音と同期して表示できるので、音源と前記携帯電話機とでは音波遅延が生じる広い場所で使っても前記携帯電話機の場所における音像に同期したカラオケ文字データを画面で見てカラオケを楽しむことが出来る。

更に、ＱＲコードを使って簡単に携帯電話機のアプリケーションをダウンロード出来るので、該アプリケーションがプリセットされていない携帯電話機であっても手軽にカラオケが楽しめるようになる。

以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明する。なお、以下の説明において、同一機能を有するものは同一の符号とし、その繰り返しの説明は省略する。
（実施例１）

図１は、本発明の実施例１におけるシステムのブロック図であり、カラオケ等の音楽信号に歌詞などの情報が埋め込まれた信号を出力する音響出力装置１と、前記音響信号を前記歌詞の音声よりも前に受信してバッファメモリにデータ蓄積し、その中から埋め込まれた歌詞などの情報を前記歌詞が音として流れる時に同期表示する文字データ再生装置２から構成されている。

本発明においては、Ｐｅｎｔｉｕｍ（登録商標）やＡｔｈｌｏｎ（登録商標）などを搭載するＰＣと比較して処理能力の低い携帯電話機を使って音声に埋め込まれたカラオケ歌詞を画面表示しようとするものであり、携帯電話機にとってカラオケ歌詞は電子メールデータに比較して提示したい情報量が多いので、リアルタイム処理は無理であり、カラオケ歌詞情報だけをあらかじめ携帯電話機に送信しておいてバッファメモリに蓄え、後から送られて来るカラオケ音楽に同期させて前記カラオケ歌詞を携帯電話機の画面に表示するところに特徴がある。

音響出力装置１は、カラオケの音楽などからなる音響信号入力部２と、歌詞などの文字情報を埋め込める情報に変換する埋め込み信号生成部３と、前記音響信号に前記埋め込み信号を埋め込む処理を行う埋め込み処理部４、音響信号出力部５から成る。

文字データ再生装置７は、音響出力装置１から発せられた複合音響信号６を受信する音響信号受信部８と、受信した音響信号の中から埋め込み信号を検出し、文字情報に復号化する埋め込み信号検出部９と、前記文字情報を蓄積するバッファメモリｍと、音響信号に同期して文字情報を提示するための同期情報を算出する同期信号算出部１０と、埋め込み信号の中に含まれる文字情報を提示する文字情報提示部１１から成る。

ここで、音響出力装置１における埋め込み信号生成部３、埋め込み処理部４および文字データ再生装置７における埋め込み信号検出部９は、例えば、特開２００６−２５１６７６号に記載の「音響信号に電子透かし情報を埋め込む前記電子透かし埋込装置において、前記音響信号を帯域通過フィルタ群によって帯域分割したときの対となる隣接する帯域通過信号にそれぞれ逆位相の振幅変調を与えて、その連続的な変化の中および他の離れた帯域に与える振幅変調との位相差および変調強度差の中、および時間的に離れた区間に与える振幅変調の位相差および変調強度差の中に前記電子透かし情報を埋め込む手段と、あらかじめ前記帯域通過信号に含まれている振幅変動量と前記帯域通過信号の強度とを元に知覚されにくい振幅変調強度を決定するための手段と、付与する振幅変調の帯域間位相差に電子透かし抽出時の鍵となる位相差を与える手段と、電子透かしの埋め込まれた帯域通過信号およびそうでない帯域通過信号の全てを加算することによって電子透かし情報の埋め込まれた音響信号を出力する手段とを具備する電子透かし埋込装置」などを用いれば容易に実現できる。

本実施例では、文字データ再生装置７として携帯電話を使用することとしている。この場合、音響信号受信部８と文字情報提示部１１は、それぞれ、携帯電話に具備されたマイクロフォンとディスプレイで構成され、埋め込み信号検出部９と同期情報算出部１０は、携帯電話に具備されたＣＰＵ上で動作するように専用のファームウェアを組み込んでも良いし、またｉアプリ（登録商標）などのアプリケーションソフトウェア（携帯アプリ）でも実現される。

音響出力装置１において、上述した特開２００６−２５１６７６に記載の電子透かし埋込装置を用いた電子透かし方法で音響信号にカラオケの歌詞などの情報を透かし情報として埋め込む、あるいは文字データ再生装置の埋め込み信号検出部で埋め込まれた情報を復号化するためには、一定時間長の音響信号を一つのフレームとして、そのフレーム毎に情報の埋め込み、あるいは埋め込まれた情報の復号化処理を行う必要がある。

このフレーム時間長をＴ秒とし、このフレーム内の音響信号を分析して埋め込まれた情報を復号化するのに必要な時間長を D秒とすると、T は透かし情報の埋め込み時に定められており、Ｄ＜Ｔを満たすような復号化ハードウェア（携帯電話）あるいはソフトウェアを用いることとする。また、用いる復号化ハードウェアあるいはソフトウェアによってＤの値は定まる。

あらかじめ携帯電話の機種ごとにＤの値を算出しておき、これを機種情報として用いれば、使用者がハードウェアの性能に気を使うことなく、本発明の技術を使用することができる。

図２は、埋め込み情報のビット構成図である。これは、特定のフレームを基準として文字情報の表示のタイミングを規定する方法における一つのフレームに埋め込む透かし情報（レコード）の基本ビット構成図であり、フレームｎ０は、継続フラグｎ１と提示時刻情報ｎ２とカラオケ歌詞ｎ３で構成されている。

継続フラグｎ１は、カラオケ歌詞ｎ３の属性として、該フレームｎ０が特定の群に属する情報フレームであることを示すフラグであり、通常は、群毎に連番が使われる。

提示時刻情報ｎ２には、保持フラグｍｆｇ、提示開始相対フレームｓｔｆ、フレーム内提示開始時刻情報ｆｓｔｆ、提示終了相対フレーム番号情報ｅｎｆ、フレーム内提示終了時刻情報ｆｅｎｆが含まれる。

保持フラグｍｆｇは、カラオケ歌詞ｎ３が前記特定の群の最初かどうかを示すフラグで、このフラグに“１”が立っている時はデータを保持し、“０”が立つとカラオケ歌詞を蓄積しているメモリーを一度クリアしてから新規にカラオケ歌詞を蓄積開始することにより１セットのメモリーを使い回しする目的で使うフラグである。

提示開始相対フレーム番号情報ｓｔｆは、該フレームｎ０の最初のデータを起点として、後続の何フレーム目のタイミングで前記カラオケ歌詞ｎ３を表示するかを知らせる情報である。

フレーム内提示開始時刻情報ｆｓｔｆは、前記提示開始相対フレーム番号情報ｓｔｆの情報により遅延させたフレーム内のどのタイミングで前記カラオケ歌詞ｎ３を表示するかを知らせる情報である。これは、画像的にはフェードインの効果をもたらすパラメータとして使われる。

提示終了相対フレーム番号情報ｅｎｆは、該フレームｎ０の最初のデータを起点として、後続の何フレーム目のタイミングで前記カラオケ歌詞ｎ３の表示を終了するかを知らせる情報である。

フレーム内提示終了時刻情報ｆｅｎｆは、前記提示開始相対フレーム番号情報ｓｔｆの情報により遅延させたフレーム内のどのタイミングで前記カラオケ歌詞ｎ３の表示を終了するかを知らせる情報である。これは、画像的にはフェードアウトの効果をもたらすパラメータとして使われる。

前記構成においては、フレーム番号に対して文字情報の表示タイミングを一義的に設定出来る。前記の構成においては全体でｎ_０ bit の情報を持つ。それらは、ｎ_１ bitの継続フラグ（flg）、ｎ_２ bit の提示時刻情報(ptm)の同期情報と、残り（ｎ_０-ｎ_１-ｎ_２）bit は歌詞などの文字情報とし、ここではカラオケ歌詞と呼ぶ。

n2 bitの提示時刻情報(ptm)は、さらに n20 bit の保持フラグ(mfg)、n21 bitの提示開始相対フレーム番号情報(stf)と、n22 bit のフレーム内提示開始時刻情報(fstf)、n23 bit の提示終了相対フレーム番号情報(enf)と、n24 bit のフレーム内提示終了時刻情報(fenf)に分けられている。

継続フラグは、属性として該継続フラグを持つフレームがひとつのグループ、例えば歌詞の第１番目に属する歌詞であることを示すフラグである。

前記において、提示時刻情報(ptm)とは、前記同期情報とカラオケ歌詞を含むフレームのスタートタイミングを基点として、前記カラオケ歌詞を提示すべき時刻を示している。

上記においては特定フレームを起点として、相対的な位置にあるフレームのタイミングでカラオケ歌詞ｎ３を提示する方法とし、前記カラオケ歌詞ｎ３の提示時間を固定したが、継続フラグｎ１にフレームの絶対番地データを入れ、提示時刻情報ｎ２にカラオケ歌詞ｎ３の絶対番地データを入れることにより、フレームｎ０の受信タイミングとカラオケ歌詞の提示タイミングをプログラミングによって任意に制御する方法も考えられる。

図３は、文字データ再生装置の同期情報算出部と文字情報提示部の処理のフローチャートを示している。ステップＡで初期設定をした後、ステップＢで音響信号をフレームごとに受信し、ステップＣで継続フラグ（flg）の値を抽出する。ステップＤで、flg= 0 の場合は、そのフレームよりカラオケ歌詞が開始されることを意味するので、ステップＦにおいて、提示開始相対フレーム番号情報(stf)、フレーム内提示開始時刻情報(fstf)、フレーム番号情報(enf)、フレーム内提示終了時刻情報(fenf)が読み出され、ステップＧでカラオケ歌詞はバッファに読み込まれる。ステップＨで、全てのカラオケ歌詞が読み込まれた場合はステップＩで提示開始相対フレーム番号情報(stf)、フレーム内提示開始時刻情報(fstf)、フレーム番号情報(enf)、フレーム内提示終了時刻情報(fenf)はバッファへ送出される。

ステップＨでＮＵＬＬにならなければ、ステップＪで、バッファ内の全てのレコードに対して、ｓｔｒ＝ｓｔｆ−１、ｅｎｆ＝ｅｎｆ−１の演算をしてから、ステップＫでパラメータｓｗの値を確認する。パラメータｓｗが０の場合は、ステップＬで提示開始相対フレーム番号情報(stf)が０のレコードがあるかどうかを確認する。提示開始相対フレーム番号情報(stf)が０のレコードが無ければステップＢに戻り、該レコードがあればステップＭでｆｓｔｆから１を減算処理する。この減算結果でｆｓｔｆが０でなければステップＭに戻り、０になったらステップＯで提示を開始し、パラメータｓｗに１を代入してステップＢに戻る。

ステップＫで、パラメータｓｗが０でなければ、ステップＱでフレーム番号情報(enf)の値を確認し、ｅｎｆが０でなければステップＢに戻り、０であればステップＲでｆｅｎｆの値を１減らす。その後、ステップＳでｆｅｎｆの値が０でなければステップＲに戻り、０であればステップＴで提示を終了し、パラメータｓｗに０を代入し、ステップＶで提示開始相対フレーム番号情報(stf)、フレーム内提示開始時刻情報(fstf)、フレーム番号情報(enf)、フレーム内提示終了時刻情報(fenf)をバッファから読み出してステップＢに戻る。

提示時刻情報は、提示開始相対フレーム番号情報(stf)によって、現在のフレームより何フレーム後のフレーム内で、このフレームで復号化されるカラオケ歌詞が提示されるかが相対的に指定される。提示時刻情報のうち、n22 bit のフレーム内提示開始時刻情報(fstf)は、提示されるフレームの時間を２ⁿ²² 個のセグメントに分割した時に、その何番目のセグメントの開始時刻に提示が行われるかを指定する。

同様に、n23 bit の提示終了相対フレーム番号情報(enf)は、提示開始後何フレーム後に提示終了するかを表し、n24 bit のフレーム内提示終了時刻情報(fenf)は、そのフレーム内での提示終了時刻を表す。

また、カラオケ歌詞内にNULL文字が表れ、かつNULL文字以降のビット数がn2 bit を上回るとき、それ以降はn2 bit の次のカラオケ歌詞のための提示時刻情報となり、n2 bit を差し引いた残りのビットは次のカラオケ歌詞に割り当てられているので、一旦バッファされ、前のカラオケ歌詞の提示が終了した時点でバッファより読み出される。

ステップＥで継続フラグ（flg）の値が 1 の場合は、n2 bit の提示時刻情報は含まれず、残りの n0-n1 bit によって、直前のフレームに含まれていたカラオケ歌詞の継続される部分の情報が表現される。
ここで、本実施例では、n2 bit のカラオケ歌詞は相対的な時刻としているが、絶対的な提示開始時刻(日時)と提示終了時刻を表現する形式を用いてもよい。
なお、本実施例では、複合化される情報として、歌詞などの文字情報を用いているが、これは画像、URL情報、インデックス情報などであってもよい。

URL情報の場合は、URLの指し示すインターネットアドレス上のコンテンツをすぐさま有線あるいは無線接続によりダウンロードして表示可能な情報の形態でバッファメモリに保存する。

復号化されるカラオケ歌詞が、提示端末が保持している情報へのインデックスである場合は、あらかじめ提示端末の記憶領域に表示される情報を複写しておく必要がある。提示時刻情報は、相対的な時刻であるから、現在時刻が進みデータフレームが経過する毎に更新される。指定された提示フレーム時刻が到来したカラオケ歌詞から順番に提示デバイスにおいて提示が行われる。

さらに、n2 bit の提示時刻情報に含まれる n20 bit の保持フラグ(mfg)は、提示された情報の保存などに用いることが出来る。例えば、mfg= 1 の時には、提示された後の情報は提示端末の記憶領域に保存される。この記憶領域がカラオケ歌詞で満たされると、古いカラオケ歌詞から順に消去されていく。保持フラグが 0の場合には、提示された後の情報は提示端末から消去される。

本実施例では、一連のカラオケ歌詞に関する処理のみが記載されているが、表示装置の面積と解像度が充分な場合は、複数のカラオケ歌詞に対して本フローチャートの処理を並列に実行し、表示装置の様々な場所に並行して、それぞれのカラオケ歌詞に応じた提示時間の間、カラオケ歌詞を表示することも可能である。

本実施例のように、携帯電話等の装置を用いて歌詞表示サービスを提供するためには、携帯からサービス利用の手続きを行う必要がある。この場合には、複合音響信号に埋め込まれた情報を復号化するために復号鍵が必要であり、この復号鍵は文字データ再生装置にあらかじめ入力しておく必要がある。

この復号鍵の提示端末への通知には、既存の鍵暗号化システムを用いて、暗号化復号鍵情報として通知することができる。また、異なる復号鍵によって異なる情報を同一の音響信号に同時に埋め込むことも可能であり、利用者の必要な情報に応じて、その情報を復号化する鍵を通知することとする。

次に、鍵暗号化システムを用いてカラオケ歌詞の復号化鍵を通知するシステムの具体例を説明する。

文字データ再生装置上でカラオケ歌詞復号化ソフトウェアあるいはハードウェアを最初に動作させる際に生成した疑似乱数を基に算出される鍵ペアＦとＧを文字データ再生装置の不揮発記憶領域に保存しておく。

ここで、公開鍵Ｇによってメッセージ x を暗号化して得られる暗号化メッセージを G(x)とし、秘密鍵F によって暗号化メッセージ y を復号化して得られる復号化メッセージをF(y) とした時に、下記の関係が満たされるような公開鍵暗号システムを用いる。
F(G(x)) = x

前記のような公開鍵暗号システムとしては、ＲＳＡ（Rivest Shamir Adleman）方式などが知られている。文字データ再生装置から、カラオケ歌詞提供者に公開鍵Ｇを通知し、カラオケ歌詞提供者はカラオケ歌詞復号化の鍵ｋを暗号化したメッセージＧ（ｋ）を文字データ再生装置利用者に通知する。

このＧ（ｋ）を通知する際、あるいは通知後に、通知の通信路あるいは利用者からＧあるいはＧ（ｋ）の情報が第三者に洩れたとしても、Ｇ（ｋ）からカラオケ歌詞復号化の鍵であるｋを復号するために必要な文字データ再生装置固有の秘密鍵である F を第三者は入手することが不可能なので、カラオケ歌詞提供者は文字データ再生装置利用者のみにカラオケ歌詞を提供することが可能になる。

つまり、カラオケ歌詞提供者は、Ｇ（ｋ）の提供と引換に各利用者毎から不正利用無しに確実に情報提供料金を徴収することが可能となる。

異なる復号鍵によって異なる情報を同一の音響信号に同時に埋め込む実施例としては、カラオケの歌詞情報を多言語でカラオケ音楽信号に同時に埋め込む場合、各言語毎に復号化の鍵を異ならしめることによって、カラオケ歌詞利用者の要求にあった歌詞情報を復号化鍵によって与えることが可能となり、かつ各言語毎に歌詞提供サービス料金を徴収することが可能になる。

また、呈示カラオケ歌詞提供の際に文字データ再生装置呈示端末に通知している鍵毎に異なる情報を与えることが可能となる。具体的には、店内放送等に情報を埋め込む場合、顧客向け情報と従業員向け情報を同時に送信することが可能となる。

なお、本実施例では、音響出力装置における埋め込み信号生成部および埋め込み処理部および文字データ再生装置における埋め込み信号検出部に、特開２００６−２５１６７６に記載の電子透かし技術を用いているが、これは、音楽等の音響信号に付加情報を埋め込むことが可能な技術であれば良いので、例えば、音響ＯＦＤＭのような技術を用いても同様の効果が得られる。

更に、携帯電話機がデフォルトとして文字再生機能を備えていなくとも、携帯電話機が外部との通信用に備えているインターフェースを利用して、文字提示機能を持つ外部装置と携帯電話機を接続しても良いし、ＢＬＵＥＴＯＯＴＨ（登録商標）や国際標準規格ＩＳＯ／ＩＥＣ１８０９２として承認されているＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ（ＮＦＣＩＰ−１）などの電波を使ってマイクロフォンを備えた外部機器から携帯電話機の表示手段で歌詞を表示されることも考えられる。

また、ｉＰｏｄ（登録商標）などの既存の音楽プレーヤやＰＤＡにおいても、表示手段を持ち、アプリケーションをインストールすることが出来る機種であれば、この音楽プレーヤやＰＤＡを文字データ再生装置として使うことも出来るが、サイズ的に邪魔にならなければ通常のノートブックパソコンやデスクトップパソコンを文字データ再生装置とすることは言うまでもない。

更に、見えるラジオ（登録商標）など文字多重受信機能の有る高価なラジオを使わなくとも、携帯電話機などの文字データ再生装置を複合音響信号をラジオから流すことでラジオの音から文字データを抽出することが出来る。更に、ラジオでＢＧＭとして流している音楽に前記複合音響信号を使えば、前記携帯電話機を用意すれば、カラオケを楽しみたい人だけが手軽にカラオケが楽しめる

また、もし安価に文字データ再生装置を提供する必要がある場合には、例えばマイクロフォン、スピーカー（あるいはイアホン）と表示手段を持ったトランシーバー（送受信が可能な装置という意味）を使えば、マイクロフォンで拾ったカラオケ歌詞あるいは文字情報などを複合音響信号として埋め込んだ音楽などを電波でサーバーに送り、サーバーから文字情報として前記トランシーバーにフィードバックすることにより、前記トランシーバーの表示手段に文字を表示するという方法も考えられる。この場合、多くの利用者が同時に前記サーバーにアクセスすることも考えられるが、周波数ホッピングやパケット通信技術を使えば、利用者にひどく不便をかけることなくサービスを提供することが可能となる。

図４は、既存のカラオケ装置から複合音響信号を生成する場合の実施例である。背景画面にカラオケ歌詞が挿入されていて、音声信号にはカラオケ歌詞などの文字が埋め込まれていない既存のカラオケ装置を使う場合の実施例である。

まずステップＳ１では、カラオケ再生装置１２が再生され、ステップＳ２ではカラオケ装置のビデオ端子から、カラオケ歌詞が字幕として挿入された画面１３が出力され、ステップＳ３ではオーディオ端子からはカラオケ音楽１４が出力される。

更にステップＳ４では、前記カラオケ歌詞が字幕として挿入された画面１３から字幕１５だけが抽出される。この抽出処理には、ＯＣＲ機能を持った画像処理装置などが使える。この処理には、例えばＰＣ用のハードウェアとしてはＲｖｓｉＩｎｓｐｅｃｔｉｏｎＬＬＣ社のＶｉｓｏｎｓｃａｐｅ（登録商標）４０００やＭａｔｒｏｘ社のＭａｔｒｏｘＯｄｙｓｓｅｙＸＣＬなどが使え、ソフトウェアとしてはＳｔｅｍｍｅｒ（登録商標）社のＣｏｍｍｏｎＶｉｓｉｏｎＢｌｏｘ（登録商標）やＭａｔｒｏｘＩｍａｇｉｎｇＬｉｂｒａｒｙなどが使える。

ステップＳ４にて、カラオケ歌詞１５としての歌詞データがＯＣＲ機能で抽出される。更にステップＳ５において、電子透かし埋め込み装置１６によって、所定の時間的遅延τを持つカラオケ音楽１４に、遅延された画像１８との同期信号とカラオケ歌詞１５とが電子透かしデータとして埋め込まれて複合音声信号１７を生成する。前記の通り、複合音声信号１７を生成する際の埋め込み処理時間などで、カラオケ歌詞が字幕として挿入された画面１３との時間的な遅延τが生じる。

そこで、ステップＳ６において、カラオケ歌詞が字幕として挿入された画面１３に対して時間的な遅延τをかけて、最終的に文字データ再生装置２０の画面上に歌詞が文字表示された時に、カラオケＡ／Ｖ表示装置１９の画面上に表示される遅延画面１８との間に時間的な違和感が生じることを軽減する。これにより、例えば遠距離で遅延された画面１８を鑑賞しながらカラオケに参加する場合で、映像１８と複合音声信号１７との間に時間的な差が生じても、文字データ再生装置２０を持っている人は、遠くの画面１８を見なくとも、聞こえるカラオケ音楽と文字データ再生装置２０の画面上に表示されるカラオケ歌詞とは同期しているのでカラオケを楽しむことが出来る。

出力されるカラオケ歌詞の挿入された画面にインデックス信号を付加してから遅延手段で遅延させる。一方、これとは別に該画面からＯＣＲなどの文字認識手段を使ってカラオケ歌詞を文字データとして抽出し、前記カラオケ歌詞データを前記カラオケ装置のオーディオ端子から出力されるカラオケ音楽に埋め込んで生成した複合音響信号に、前記インデックス信号を同期信号として使うことにより前記遅延させた画面と複合音響信号とを同期させてテレビ受像器などに出力することも考えられる。これにより、カラオケを唄う人以外でテレビ画面１８のカラオケ歌詞が見難い状況にあっても、携帯電話機などの表示提示装置２０を使えば間近の画面でカラオケ歌詞が確認できるのでカラオケ合唱への参加が楽になる。

上記において、遅延時間τを持つ遅延された画面１８は、オリジナルのカラオケ歌詞が字幕として挿入された画面１３と同一コンテントでも良いが、間欠静止画で間引きした映像信号を使えば、比較的小規模の遅延用画像メモリーを使った遅延回路での構成が可能となり、装置の価格を安価に抑えることが可能である。

図５は、実施例２における携帯電話機の機能ブロック図である。この構成は、上述した特開２００６−２５１６７６にある従来から知られた複合音響信号処理と似ているが、文字データと一緒に同期信号を含む制御データを音声に埋め込み、更に再生装置にメモリーを使うことにより埋め込みデータを前もってメモリーに蓄積し、適宜のタイミングでカラオケ歌詞データを携帯電話機に表示させることにより、音声に埋め込まれたフレームの受音タイミングと文字データの表示タイミングとの間に時間差を持たせることによりデータ処理能力の低い携帯電話機においても適切なタイミングでカラオケ歌詞が表示できるようにしている点で従来とは異なる構成となっている。

利用者２０ｐが携帯電話機２０のマイクロフォン２０ｍによって受音された複合音響信号１７ａは音響信号受信部２１に入力され、該複合音響信号１７ａの中から埋め込み信号検出部２２によって埋め込まれた複合音響信号が検出される。

前述した通り、前記複合音響信号中には、外国語音声データ、この外国語音声データの文字データ、これら外国語音声データと文字データとの相対位置同期信号が含まれているが、この中の文字データおよびこの文字データの相対位置同期信号は実際に音として聞こえる外国語音声データで発音される文字データよりも前の文字データが先に送られて来ていて、これら文字データおよびこの文字データの相対位置同期信号は、同期情報算出部２３を通過してメモリー部２５に蓄積される。

一方、前記複合音響信号に埋め込まれた前記外国語音声データの相対位置同期信号は、同期情報算出部２３によって検出され、前記外国語音声データの相対位置同期信号のデータに合わせて時間制御部２４によって計算された相対位置同期信号を持つ文字データがメモリー部２５から読み出されて、文字情報提示部２６に提示される。

時間制御部２５は、前記音響信号はメモリー２５に格納された前記音響信号をＦＡＴにより管理しながら決められた基準時間に対する遅延時間分だけ遅延させたタイミングで前記文字データを文字情報提示部２６に送出し、携帯電話機１９の表示手段２７によって音声に同期した文字を表示する。

ここで、前記基準時間とは、データ部１５を持たない短いダミーフレームを２個連続で作って、２個目のダミーフレームにおける前記ダミーフレームのＳＦＤ部１１の次、即ち宛先アドレス部１２の開始タイミングを基準とすることも出来るし、また例えば、複合音響信号の持つ振幅変動波形の位相を利用することも考えられる。

前記文字データの出力タイミングは利用者の操作により、時間制御部２４がメモリー部２５から文字データを読み出すタイミングを変更できるので、音声と同時に出力することも出来るし、音声よりも既定時間又は単語数分だけ早く又は遅く表示性することが出来る。前記表示制御の出力タイミング制御については、メモリー内容を管理するＦＡＴ（ＦｉｌｅＡｌｌｏｃａｔｉｏｎＴａｂｌｅ）を作成してファイル単位で管理しても良いし、区切り信号を挿入して区切りデータでストローブ信号を生成してＦＩＦＯ制御によって出力する方法でも良い。更に、高速動作が必要な場合には、複数のメモリーを用意してバンク切り替えで次々にメモリーを切り替えながら出力しても良い。

また、サブディスプレイを備えた携帯電話機の場合には、メインディスプレイに文章全体を表示し、サブディスプレイに発音される単語だけを表示するという表示方法も考えられる。

同じ画面に文章全体と発音される単語を並記して表示する場合には、携帯電話機１９のデータ保存用メモリーをＲＡＭディスクとして使い、一時的に前記メモリーを作業領域として使うことにより、発音される単語が替わる前に前記メモリー上で画面合成を行ってから画面表示システムのグラフィックＲＡＭに転送すると良い。

なお、前述したように、文字データは外国語音声データよりも前に送られて来るので、複数の秘密鍵を使って複数言語対応にする場合には、メモリー部２５に全ての秘密鍵に対応する文字データを蓄積しておく必要があり、時間制御部２４は携帯電話機１９で選択された秘密鍵に対応する文字データを音声データの相対位置同期信号に対応させてメモリー部２５から出力させる。

図６は、実施例２における操作手順のステップを図示している。前記カラオケシステムは、ネットワークサーバーに接続する情報を持つＱＲコードを印刷した媒体と、該ＱＲコードを読み取る機能とマイクロフォンと表示機能とを持つカメラ付き携帯電話機と、前記ネットワークサーバーからダウンロード可能な該携帯電話機で電子透かしデータを持つカラオケ音楽から前記電子透かしデータを抽出するプログラムと、前記電子透かしデータを持つカラオケ音楽を再生するカラオケ装置とで構成される。

例えば、カラオケ店舗に入場した後に、ＱＲコードをカメラ付き携帯電話機で読み込ませてからカラオケ装置読んでカラオケを楽しむまでの手順は下記のようになる。
（１）前記カメラ付き携帯電話機のカメラ機能でＱＲコードを撮影する。
（２）前記カメラ付き携帯電話機でＱＲコードを解読し、前記ＱＲコードに紐付けされた接続先情報で前記ネットワークサーバーに接続する。
（３）前記ネットワークサーバーから前記プログラムを携帯電話機にダウンロードする。
（４）前記カラオケ装置で電子透かしデータを持つカラオケ音楽を再生する。
（５）前記カメラ付き携帯電話機のマイクロフォンで電子透かしデータを持つカラオケ音楽を集音する。
（６）前記カメラ付き携帯電話機にダウンロードされた前記プログラムで電子透かしデータを再生し、前記表示機能で画面表示する。

上記の詳細ステップは図６に示される。ステップＳ２０１では、例えばカラオケ店の受付で料金を支払い、所定のアプリケーションを携帯電話にダウンロードする為に、カメラ付き携帯電話機２０のカメラ部２０ａでＱＲコード２１を撮影する。

ステップＳ２０２では、前記ＱＲコード２１にエンコードされたＵＲＬアドレスデータなどをデコードして画面２０ｂに表示する。デコードデータの中からＵＲＬアドレスデータに携帯電話機２０の操作レバーを使い、カーソルを合わせてから選択ボタンを押すことにより前記ＵＲＬアドレスデータにリンクされたウェブサイトにアクセスできる。

ステップＳ２０３においては、前記ＵＲＬアドレスデータにリンクされたウェブサイトにおいて提供されるダウンロードサービスを使い、必要なアプリケーションソフトを携帯電話２０にダウンロードする。

ステップＳ２０４では、前記ダウンロードしたアプリケーションソフト２０ｃを携帯電話２０で動作させることにより、カラオケ再生装置１２から出力される複合音声１７ａを携帯電話機２０のマイクロフォン２０ｄから入力し、前記アプリケーションソフト２０ｃを使って前記複合音声１７ａの中に電子透かし技術を使って埋め込まれた文字データをデコードデータとして取り出す。

ステップＳ２０５では、前記デコードデータを携帯電話機２０の画面２０ｂにカラオケ歌詞２０ｅとして表示する。この時、前記複合音声１７ａを受け取るタイミングと画面２０ｂにカラオケ歌詞２０ｅを表示するタイミングは携帯電話機２０のデータ処理能力および前記携帯電話機２０の搭載メモリー容量に依存するが、前記複合音声１７ａにカラオケ歌詞２０ｅと同期信号を埋め込むことによりカラオケ音声とカラオケ歌詞２０ｅの出力タイミングをずらすことが可能である。これにより、例えば処理速度が遅くてリアルタイムでカラオケ歌詞を表示できない再生装置を使う場合でも、カラオケ音楽の前奏部分を使って歌詞データを先出し送信しておくことにより、前記複合音声１７ａの可聴音声部分と、画面２０ｂに表示されるカラオケ歌詞２０ｅを同期させることが出来る。

また、カラオケ歌詞１５と、カラオケ歌詞全てを含むファイルと、フレームｎ０とにＩＤを付けることも考えられる。この場合、電波や赤外線通信など携帯電話の通信機能によるメモリー部２５へのダウンロード、あるいは携帯電話機に接続可能なＳＤメモリー（登録商標）やメモリースティック（登録商標）などの外部メモリーから前記携帯電話機のメモリー部２５への転送或いは前記メモリー部２５との兼用により前記カラオケ歌詞２０ｐをあらかじめ携帯電話機２０側にフレームｎ０のＩＤと共に事前格納する。

次にマイクロフォン２０ｍから集音した複合音声１７ａから前記フレームｎ０のＩＤを同期情報検出部２３で検出して、前記フレームｎ０のＩＤに対応したカラオケ歌詞１５のＩＤをメモリー２５から呼び出し、文字情報提示部２６でカラオケ歌詞として提示することが出来る。

上記の方法により、複合音声１７ａに埋め込まれた電子情報としてのカラオケ歌詞１５をリアルタイムで再生表示できない処理速度を持つ携帯電話機２０であってもメモリー２５に格納済みのカラオケ歌詞１５を前記複合音声１７ａに同期させて携帯電話機２０の画面に提示することができるようになる。

ＱＲコードを使ってアプリケーションをダウンロードする場合においては、曲に個別対応した別のＱＲコードを使うことによりカラオケ歌詞１５を携帯電話機２０のメモリー２０ｍにダウンロードすることが考えられる。

またもし、携帯電話機２０にＥｄｙ（登録商標）やＳｕｉｃａ（登録商標）などの電子マネー機能が備えられている場合には、店舗受付で読むＱＲコードにおいては秘密鍵を持たないアプリケーション２０ａをダウンロード可能とし、その後にカラオケボックスでカラオケを予約する際にＱＲコードでネットワーク上の前記電子マネーを扱う課金サーバーにも接続して、課金してから所望のカラオケ曲用の或いは所定時間有効な秘密鍵を該携帯電話２０にダウンロードすることによりアプリケーション２０ａを有効化することも考えられる。この際に複数の携帯電話機２０を使うのであれば、登録サイト情報を持つＱＲコードにより複数の携帯電話機２０を登録し、前記秘密鍵を登録した全ての携帯電話機２０に配信すれば課金は１台の携帯電話機２０で１回だけ決済される。

本発明の実施例１におけるシステムのブロック図埋め込み情報のビット構成図文字データ再生装置の同期情報算出部と文字情報提示部の処理のフローチャート既存のカラオケ装置から複合音響信号を生成する場合の実施例実施例２における携帯電話機の機能ブロック図実施例２における操作手順のステップを示す図従来の透かし情報埋め込み装置を示すブロック図

符号の説明

１…音響出力装置、２…オリジナル音響信号入力部、３…埋め込み信号生成部、４…埋め込み処理部、５…音響信号出力部、６…複合音響信号、７…文字データ再生装置、８…音響信号ハンドスキャナ、９…埋め込み信号検出部、１０…同期情報算出部、１１…文字情報提示部、１２…カラオケ再生装置、１３…カラオケ歌詞が字幕として挿入された画面、１４…カラオケ音楽、１５…カラオケ歌詞、１６…電子透かし埋め込み装置、１７…複合音響信号、１７ａ…複合音声、１８…遅延された画面、１９…カラオケＡ／Ｖ表示装置、２０…文字データ再生装置、２０ａ…アプリケーション、２０ｃ…カメラ、２０ｄ…表示画面、２０ｍ…マイクロフォン、２０ｐ…カラオケ歌詞、２１…ＱＲコード、１０１…音響信号、１０２…音入力部、１０３…Ａ／Ｄ変換部、１０４…本データ蓄積部、２１１０５…電子透かし挿入部、１０６…電子透かし蓄積部、１０７…透かし埋め込み処理部、１０８…透かし入りデータ蓄積部、１０９…Ｄ／Ａ変換部、１１０…音出力部、１１１…音響信号、ｍ…バッファメモリ。

Claims

空気中を伝播する音響信号を受信する受信部と、文字データを再生するアプリケーションと、記憶手段としてのバッファとを備えた文字データ再生装置であって、前記音響信号受信部は音楽データと当該音楽データの歌詞を表す文字データとこれら音楽データと文字データとを同期させる同期信号を埋め込んだ複合音響信号を受信し、前記バッファは前記複合音響信号中の文字データと同期信号を予め一定量記憶し、前記アプリケーションは前記バッファで記憶した前記文字データを同期信号によって音楽データに同期して再生表示することを特徴とする文字データ再生装置。
請求項１に記載の文字データ再生装置において、前記音楽データはカラオケ音楽データであり、また前記文字データ再生装置は携帯電話機であることを特徴とする文字データ再生装置。
請求項１又は請求項２に記載の文字データ再生装置であって、前記アプリケーションを携帯電話機にダウンロードする手段としてＱＲコードを使うことを特徴とする文字データ再生装置。