JP2007127861A - 付属情報埋め込み装置および再生装置 - Google Patents

Abstract

【課題】付属情報に時刻情報を含めなくてもオーディオ信号の再生に同期させて付属情報を提示させることができ、一般的な再生機器でもオーディオ信号を再生できる付属情報埋め込み装置および再生装置を提供すること。
【解決手段】配信側では、付属情報の各々とそれらが提示されるべき時刻の組11を用意する。付属情報埋め込み手段10は、オーディオ信号を読み出しつつ(S11)、オーディオ信号の対応時刻部分に付属情報を電子透かしとして埋め込む(S14)。付属情報が一定時間でない場合には付属情報に先立って同期コードを埋め込む(S13)。付属情報を電子透かしとして埋め込んだオーディオ信号を受信側に配信する(S16)。受信側では、電子透かしとして埋め込まれた付属情報をオーディオ信号から抽出し、オーディオ信号の対応時間部分の再生と同期させて提示する。
【選択図】図１

Description

本発明は、付属情報埋め込み装置および再生装置に関し、特に、オーディオ信号の再生と同期して提示すべき歌詞データなどの付属情報を該オーディオ信号の再生とともに提示可能とする付属情報埋め込み装置および再生装置に関する。

オーディオ信号の再生とともにテキストなどの付属情報を同期させて提示するための仕組みとしては、例えばW3Cで検討されているSMILがある。SMILについては、非特許文献１に記載されている。

また、歌詞に限定して言えば、ID3v2に対し歌詞付与方式Lyrics3と呼ばれるものが検討されている。Lyrics3については、非特許文献２に記載されている。

非特許文献１，２では、オーディオ信号を特にMP3を例とし、歌詞データなどの付属情報に時刻情報を付与した上でオーディオ信号に外付けする手法が提案されている。

さらに、特許文献１には、メディアがオーディオ信号ではなく画像情報であるが、デジタル透かし技術を利用して画像情報と画像説明情報の一方あるいは両方を表示し得る説明表示方法及び画面表示システムが記載されている。

特許文献１の説明表示方法及び画面表示システムでは、ディジタル透かし技術を用いて画像説明情報を画像情報に埋め込んで合成画像情報を生成し、この合成画像情報をセンタから端末に送信する。端末は、センタから送信されてきた合成画像情報を受信し、画像情報のみを表示する場合には、合成画像情報をそのまま表示し、画像情報と画像説明情報の両方を表示する場合には、画像説明情報を復号し、合成画像とともに復号された画像説明情報を表示する。これにより、端末では画像情報と画像説明情報のいずれか一方あるいは両方に切替えて表示させることが可能となる。
特開平１０−２９０４０６号公報 http://www.w3.org/TR/SMIL2/ http://www.id3.org/lyrics3200.html

しかしながら、非特許文献１，２で提案されている技術を利用した場合、オーディオ信号に歌詞データなどの付属情報が外付けされる。このフォーマットは、通常のオーディオ信号とは異なるので、一般的な再生機器そのままではオーディオ信号の再生もできないという課題がある。これを解決するには、付属情報を外してオーディオ信号のみとする機能を再生機器に備えさせなければならなくなる。

また、非特許文献１，２で提案されている技術では、オーディオ信号の再生と付属情報を同期させて提示可能とするために、オーディオ信号に付属情報を外付けするに際し、付属情報に対し時刻情報を書き込む必要があり、再生に際しては、逆に、時刻情報を読み出してオーディオ信号と同期を取る必要があるので、処理コストが高くなるという課題がある。

特許文献１に記載されている説明表示方法及び画面表示システムでは、ディジタル透かし技術を用いるので、画像情報と画像説明情報の同期調整を必要とせず、情報量を増加させることなく、画像情報に対する説明情報を表示することができる。しかし、ここでは静止画あるいは動画像データに説明情報を埋め込むこと、その場合に画像１枚ごと、つまりフレーム単位にそれぞれの画像に対する説明情報を埋め込むことを主に想定している。

特許文献１には、ディジタル情報が音声情報の場合について、埋め込み時、取り出し時の具体的な処理方法は、画像情報の場合とは異なるが、画像情報の場合と同様に、音声情報の冗長部分に埋め込み情報を埋め込み、その位置情報等を鍵情報とし、この鍵情報に基づいて埋め込み情報を埋め込み、取り出しができる、と記載されているが、ディジタル情報が音声情報の場合には画像情報と異なり、符号化処理単位のフレーム(一般的に数十msec単位のフレーム)に取り込むことが可能な情報量は、画像情報の場合と比較して極めて少なく、そこに記載されているようなフレーム単位で処理する手法によって埋め込み情報を音声情報に埋め込むことは事実上不可能である。

本発明の目的は、付属情報に時刻情報を含めなくてもオーディオ信号の再生に同期させて付属情報を提示させることができ、一般的な再生機器でもオーディオ信号を再生できる付属情報埋め込み装置および再生装置を提供することにある。

上記課題を解決するために、本発明の付属情報埋め込み装置は、メディアの再生と同期した付属情報を該メディアの再生とともに提示可能とする付属情報埋め込み装置において、メディアをオーディオ信号とし、付属情報を該オーディオ信号の対応時刻部分に電子透かしとして同期させて埋め込む付属情報埋め込み手段を備えたことを特徴としている。

付属情報の埋め込みに際しては、予め定められた時間単位の付属情報をオーディオ信号の対応時刻部分に埋め込んだり、予め定められた時間を越えない時間内の付属情報を、付属情報としては出現しない同期コードを含めた上でオーディオ信号の対応時刻部分に埋め込んだりすることができる。

また、本発明の再生装置は、上記付属情報埋め込み装置で生成された信号を元に、オーディオ信号と付属情報を再生する再生装置であり、電子透かしとして埋め込まれた付属情報をオーディオ信号から抽出する付属情報抽出手段と、前記付属情報抽出手段により抽出された付属情報を、オーディオ信号の対応時間部分の再生と同期させて提示する提示手段を備えたことを特徴としている。

付属情報の抽出および提示に際しては、予め定められた時間単位の付属情報をまとめて抽出し、抽出された付属情報を１つの付属情報として扱ったり、ある同期コードから次の同期コードの直前までのオーディオ信号に埋め込まれた付属情報、次の同期コードがない場合にはある同期コードからオーディオ信号の最後までのオーディオ信号に埋め込まれた付属情報をまとめて抽出し、抽出された付属情報を１つの付属情報として扱ったりすることができる。

また、オーディオ信号の途中からの再生開始の指示に対処できるように、オーディオ信号から所定時間分だけ前からの付属情報を再生前に抽出することも好ましい。

付属情報は、オーディオ信号の再生と同期して提示することが要求される時刻を持つ情報であり、例えば、オーディオ信号の再生と同期して提示されるべき歌詞データである。

本発明によれば、付属情報をオーディオ信号の対応時刻部分に電子透かしとして同期させて埋め込むので、付属情報に時刻情報を含める必要がなく、時刻情報なしでオーディオ信号を再生しながら付属情報を同期させて提示させることができる。

また、本発明に従って付属情報が埋め込まれたオーディオ信号は、一般的な再生機器で受信すれば、そのままオーディオ信号を再生することができる。

さらに、本発明によれば、フレームなどの符号化処理単位に拘束されることなく付属情報を埋め込む時間を確保することができるので、オーディオ信号に対して意味のある付属情報を埋め込み、さらにオーディオ信号の再生に同期してそれを提示させることができる。

以下、図面を参照して本発明を説明する。本発明における付属情報は、オーディオ信号の再生と同期して提示することが要求される時刻を持つ情報であり、例えば、オーディオ信号の再生と同期して提示されるべき歌詞データである。音楽の著作権情報などは、必ずしもオーディオ信号の再生と同期して提示することが要求されないので、本発明における付属情報には含まれない。

図１は、本発明に係る付属情報埋め込み装置の実施形態を示す機能ブロック図である。付属情報埋め込み装置は、オーディオ信号の配信側に設けられるものであり、付属情報埋め込み手段10を備え、歌詞データなどの付属情報を、オーディオ信号の、時間的に対応する部分(対応時刻部分)に電子透かしとして同期させて埋め込む。なお、付属情報埋め込み手段10が実行する各機能は、ハードウエアでもソフトウエアでも実現できる。

配信側では、オーディオ信号と付属情報を用意し、オーディオ信号に同期して付属情報を電子透かしとして埋め込む。付属情報は、予め適当に区切っておく。区切られた付属情報の各々は、オーディオ信号の再生と同期して提示されるべき時刻が予め決められており、単一の付属情報としてまとめて扱われる。

準備として、区切られた付属情報の各々とそれらが提示されるべき時刻の組11を用意しておく。なお、区切られた付属情報に相当する時間(以下、付属情報相当時間と称する。)の最大値は、予め定められている。

付属情報埋め込み装置は、オーディオ信号を読み出しつつ(S11)、まず最初に電子透かしとして埋め込むべき付属情報を読み出し(S12)、該付属情報をオーディオ信号の対応時刻部分に電子透かしとして埋め込む(S14)。

なお、一区切りの付属情報の長さが一定でない場合、各付属情報の前に同期コードを挿入して埋め込む(S13)。同期コードとしては、付属情報には存在しないコードを用いて付属情報と区別できるようにする。

最初の一区切りの付属情報の埋め込みが終了したならば、オーディオ信号全てが完了したかどうかを判定する(S15)。まだオーディオ信号がまだ残っていると判定した場合には、次の付属情報の前に同期コードが挿入されるように埋め込む。すなわち、次のオーディオ信号の対応時刻部分に、まず同期コードを埋め込み(S13)、それに続いて次の付属情報を読み出し(S12)、電子透かしとして埋め込む(S14)。

なお、同期コードの埋め込みに至るまでに電子透かしとして埋め込む付属情報がない部分については空白などを埋め込む。

以下、同様の処理を繰り返し、各時刻における付属情報を、オーディオ信号の対応時刻部分に電子透かしとして埋め込む。オーディオ信号の終了を判定(S15)した場合には、付属情報埋め込み手段10での付属情報埋め込み処理を終了する。以上のようにして付属情報を電子透かしとして埋め込んだオーディオ信号を生成し、生成されたオーディオ信号を受信側に配信する(S16)。

次に、付属情報が歌詞データである場合について具体的に説明する。図２は、この場合に予め用意される付属情報と時刻の組11、すなわち、歌詞データとそれが提示されるべき時刻の組の具体例を示す。ここでは、オーディオ信号の再生に同期して、時刻00:01〜00:10で「ここはどこ」を、時刻00:10〜00:19で「わたしはだれ」を、04:10〜04:14で「さようなら」をそれぞれ提示すべきであることを示している。なお、上記時刻は、オーディオ信号の先頭からの再生時刻に従う時刻を示している。

図３は、図２の歌詞データが埋め込まれたオーディオ信号を模式的に示す。歌詞データの長さは、一定でないのが普通であるので、ここでは、歌詞データ「ここはどこ」，「わたしはだれ」，・・・とともに、それらの前に同期コードを埋め込んでいる。また、次の同期コードの埋め込みに至るまでに電子透かしとして埋め込む付属情報がない部分に空白(図では「−−−」で示す）を埋め込んでいる。

図３に示すオーディオ信号は、図１を参照すると以下のようにして生成できる。歌詞データと時刻の組11により、まず、時刻00:01〜00:10のオーディオ信号部分に歌詞データ「ここはどこ」を埋め込むことが指示されているので、オーディオ信号を読み出しつつ(S11)、時刻t1(00:01)になったら歌詞データ「ここはどこ」を読み出し(S12)、オーディオ信号の対応時刻部分t1〜t3(00:01〜00:10)に電子透かしとして埋め込む(S14)。

このとき、歌詞データの埋め込みに先だって同期コードを埋め込む(S13)。埋め込みは、歌詞データ「ここはどこ」が時刻t1〜t3(00:01〜00:10)に収まるような適当なタイミングで行えばよい。時刻t1〜t3(00:01〜00:10)のオーディオ信号と歌詞データとの対応をより細かく規定して、オーディオ信号と歌詞データの各文字とを対応させることもできる。なお、時刻t3(00:10)より前に埋め込みが終了した場合にはそれ以後の部分に空白「−−−」を埋め込む。

次に、オーディオ信号全てが完了したかどうかを判定する(S15)。この場合、まだオーディオ信号が残っており、歌詞データと時刻の組11により、時刻00:10〜00:19のオーディオ信号部分に「わとしはだれ」を埋め込むことが指示されているので、時刻t3(00:10)になったら歌詞データ「わたしはだれ」を読み出し(S12)、オーディオ信号の対応時刻部分(00:10〜00:19)に電子透かしとして埋め込む(S14)。このときにも、歌詞データの埋め込みに先だって同期コードを埋め込む(S13)。

以下、同様の処理を繰り返し、各時刻における歌詞データを電子透かしとして埋め込む。オーディオ信号全ての完了を判定(S15)した場合には、付属情報埋め込む手段10での付属情報埋め込み処理を終了する。以上のようにして歌詞データを電子透かしとして埋め込んだオーディオ信号を受信側に配信する(S16)。

図４は、本発明に係る再生装置の実施形態を示す機能ブロック図である。再生装置の各機能も、ハードウエアでもソフトウエアでも実現できる。再生装置は、オーディオ信号の受信側に設けられ、オーディオ信号から付属情報を抽出する付属情報抽出手段40と抽出された付属情報をオーディオ信号に同期させて提示する提示手段41を備える。

付属情報抽出手段40は、付属情報埋め込み装置(配信側)から配信されて受信(S41)されたオーディオ信号を入力とし、最初の同期コードを検出してから次の同期コードを検出するまで、埋め込まれている付属情報を順に抽出していく(S42)。付属情報抽出手段40は、次の同期コードを検出したならば、S42で抽出した付属情報をまとめて提示手段41に送出する。

提示手段41は、付属情報抽出手段40から送出されてきた付属情報をオーディオ信号の再生と同期させて提示する(S43)。オーディオ信号の再生と付属情報の提示の同期は、オーディオ信号の再生を一定時間遅らせ、また、付属情報抽出手段40で抽出された付属情報を、対応するオーディオ信号部分の再生に合わせて送出することにより実現できる。

次に、オーディオ信号全てが完了したかどうかを判定する(S44)。オーディオ信号がまだ残っていると判定した場合には、次の同期コードを検出するまで、埋め込まれている付属情報を順に抽出し(S42)、抽出した付属情報を次のオーディオ信号の再生と同期させて提示する(S43)。

以下、同様の処理を繰り返し、同期コード間における付属情報を順に抽出し、オーディオ信号の対応時刻部分と同期させて提示する。オーディオ信号全ての完了を判定(S45)した場合には、再生処理を終了する。

以下に、付属情報として歌詞データが埋め込まれた図２のオーディオ信号の場合の再生処理を、図５の再生処理の概念図を参照して具体的に説明する。

最初の同期コード(1)はt1(00:01)〜t2の間に埋め込まれ、次の同期コード(2)はt3(00:10)〜t4の間に埋め込まれ、同期コード(1),(2)間に歌詞データ「ここはどこ」が埋め込まれている。まず、最初の同期コード(1)の終了点t2を検出した後、次の同期コード(2)の開始点t3を検出するまで、オーディオ信号に埋め込まれている歌詞データ「ここはどこ」を順に抽出していく。

次の同期コード(2)を検出したならば、S42で抽出した歌詞データ「ここはどこ」をオーディオ信号の対応時刻部分の再生に同期させて提示する(S43)。なお、オーディオ信号の再生はバッファなどで一定時間遅らせる。歌詞データの提示に際しては、オーディオ信号のt1(00:01)に対応する再生時刻で歌詞データ「ここはどこ」を一括提示し、その提示状態をt3(00:10)に対応する再生時刻まで継続させる。あるいは、歌詞データ「ここはどこ」の文字がオーディオ信号の再生とともに適当なタイミングで先頭から順次増えるように提示させてもよく、この場合、オーディオ信号と歌詞データをより細かく文字単位で対応させることもできる。

次に、オーディオ信号全てが完了したかどうかを判定する(S44)。この場合、オーディオ信号がまだ残っていると判定されるので、次の同期コードが検出されるまで、オーディオ信号に埋め込まれている歌詞データ「わたしはだれ」を抽出し(S42)、次の同期コードを検出したならば、抽出された歌詞データをオーディオ信号の対応時刻部分(時刻0:10〜0:19)の再生に同期させて提示する(S43)。

以下、同様の処理を繰り返し、同期コード間における歌詞データを順に抽出し(S42)、オーディオ信号の対応時刻部分の再生と同期させて提示する(S43)。オーディオ信号全ての再生が完了すれば歌詞データの再生処理も終了する。

以上では、受信側においてオーディオ信号を先頭から順に再生する場合について説明したが、以下に説明するように、オーディオ信号に対しランダムアクセスされた任意の箇所から再生可能にすることもできる。

図６は、ランダムアクセスによる再生処理を示す概念図である。ランダムアクセスポイントt5(時刻00:13)が指示され、ここからのオーディオ信号の再生が要求された場合、まず、ランダムアクセスポイントt5から一定時間前のポイントt6にさかのぼり、ポイントt6からのオーディオ信号に埋め込まれている歌詞データ(付属情報)を検出する。

なお、ここでの一定時間は、付属情報相当時間の最大値、例えば10秒であり、予め定められている。したがって、ポイントt6からランダムアクセスポイントt5の間には少なくとも１つの同期コード(ここでは同期コード(2))が必ず存在する。

ポイントt6からランダムアクセスポイントt5の間の同期コードのうち、ランダムアクセスポイントt5に最も近い同期コード(2)から次の同期コードを検出するまで、オーディオ信号に埋め込まれている歌詞データ「わたしはだれ」を順に抽出していく。

次の同期コードを検出したならば、抽出した歌詞データ「わたしはだれ」をオーディオ信号のアクセスポイントt5からの再生と同期させて提示する。以後の動作は、図５を参照して説明した動作と同様である。

なお、ランダムアクセスポイントによる再生を行う場合、アクセスポイントt5の前に位置する同期コード(2)からの歌詞データを検出し、検出された歌詞データを時刻t5に同期させて一括提示するのが好ましいが、オーディオ信号と歌詞データをより細かく対応させて、アクセスポイントt5からのオーディオ信号に対応する歌詞データの提示も可能である。アクセスポイントt5より前のオーディオ信号に埋め込まれている歌詞データの抽出は、図７に示すように、図４のS42の前に、ランダムアクセスポイントt5から付属情報相当時間の最大値分だけ前からオーディオ信号を受信し、このオーディオ信号からランダムアクセスポイントt5前に位置する同期コードからの歌詞データを予め抽出しておく(S45)ことで実現できる。この機能は、付属情報抽出手段40に持たせることができる。その他の処理は、図４と同様であるので説明を省略する。

以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、配信側において各付属情報を挿入する前に同期コードを埋め込んでいるが、付属情報がオーディオ信号の一定時間ごとに埋め込まれるものである場合には、同期コードを埋め込む必要がない。この場合には、同期コードに依らずともオーディオ信号を一定時間ごとに区切って付属情報を抽出でき、抽出された付属情報を、オーディオ信号の対応する一定時間部分の再生と同期させて提示すればよい。同期コードを埋め込むか否かについてはアプリケーションに応じて事前に決めておけばよい。

本発明に係る付属情報埋め込み装置の実施形態を示す機能ブロック図である。 付属情報と時刻の組の組の具体例を示す図である。 歌詞データが埋め込まれたオーディオ信号の模式図である。 本発明に係る再生装置の実施形態を示す機能ブロック図である。 付属情報の再生処理を示す概念図である。 ランダムアクセスによる再生処理を示す概念図である。 ランダムアクセスによる再生処理を可能とした再生装置の実施形態を示す機能ブロック図である。

符号の説明

10・・・付属情報埋め込み手段、11・・・付属情報と時刻の組、40・・・付属情報抽出手段、41・・・提示手段

Claims (9)

1. メディアの再生と同期した付属情報を該メディアの再生とともに提示可能とする付属情報埋め込み装置において、
   メディアをオーディオ信号とし、付属情報を該オーディオ信号の対応時刻部分に電子透かしとして同期させて埋め込む付属情報埋め込み手段を備えたことを特徴としたオーディオ信号への付属情報埋め込み装置。
2. 前記付属情報埋め込み手段は、予め定められた時間単位の付属情報を前記オーディオ信号の対応時刻部分に埋め込むことを特徴とする請求項１に記載の付属情報埋め込み装置。
3. 前記付属情報埋め込み手段は、予め定められた時間を越えない時間内の付属情報を、付属情報としては出現しない同期コードを含めた上で前記オーディオ信号の対応時刻部分に埋め込むことを特徴とする請求項１に記載の付属情報埋め込み装置。
4. 前記付属情報が、オーディオ信号に対する歌詞データであることを特徴とする請求項１ないし３のいずれかに記載の付属情報埋め込み装置。
5. 請求項１に記載の付属情報埋め込み装置で生成された信号を元に、オーディオ信号と付属情報を再生する再生装置において、
   電子透かしとして埋め込まれた付属情報をオーディオ信号から抽出する付属情報抽出手段と、
   前記付属情報抽出手段により抽出された付属情報を、オーディオ信号の対応時間部分の再生と同期させて提示する提示手段を備えたことを特徴とする再生装置。
6. 前記抽出手段は、予め定められた時間単位の付属情報をまとめて抽出し、前記提示手段は、前記抽出手段により、まとめて抽出された付属情報を１つの付属情報として扱うことを特徴とする請求項５に記載の再生装置。
7. 前記抽出手段は、ある同期コードから次の同期コードの直前までのオーディオ信号に埋め込まれた付属情報、次の同期コードがない場合にはある同期コードからオーディオ信号の最後までのオーディオ信号に埋め込まれた付属情報をまとめて抽出し、前記提示手段は、前記抽出手段により、まとめて抽出された付属情報を１つの付属情報として扱うことを特徴とする請求項５に記載の再生装置。
8. 前記オーディオ信号の途中からの再生開始が指示された場合、前記抽出手段は、前記オーディオ信号から所定時間分だけ前からの付属情報を再生前に抽出することを特徴とする請求項５ないし７のいずれかに記載の再生装置。
9. 前記付属情報が、オーディオ信号に対する歌詞データであることを特徴とする請求項５ないし８のいずれかに記載の再生装置。

Images