JP2009130374A - データ情報埋込装置および再生装置 - Google Patents

Abstract

【課題】デジタル放送信号から、データ情報を電子透かしとして埋め込んだ映像・音声信号を再構成し、映像・音声信号の再生と同期してデータ情報を提示可能にすること。
【解決手段】デジタル放送信号を受信し(S11)、映像・音声信号とデータ放送部分とに分離する(S12)。データ放送部分からデータ情報を抽出し(S13)、このデータ情報から透かし情報を生成し、これを電子透かしとして映像・音声信号に埋め込む(S14)。この埋め込みの際、透かし情報が字幕のように映像・音声との連動が必要な情報であれば、映像・音声信号と同期をとって透かし情報を埋め込む。再生側では、映像・音声信号から透かし情報を抽出して元のデータ情報を再構成し、映像・音声信号の再生と同期して提示させる。
【選択図】図１

Description

この発明は、データ情報埋込装置および再生装置に関し、特に、デジタル放送信号から、データ情報を電子透かしとして埋め込んだ映像・音声信号を生成するデータ情報埋込装置、およびデータ情報が埋め込まれた映像・音声信号から、映像・音声信号を再生するとともにデータ情報を提示する再生装置に関する。

テレビ放送のデジタル化に伴い、映像信号や音声信号の配信だけでなく、データ情報の配信や双方向での送受信など、高度かつ多様な機能の追加が可能になった。現在のデジタル放送においては、データ放送部分は、映像信号や音声信号と時分割で多重化されて配信される。字幕情報、その他の情報を画像中に電子透かしとして埋め込む技術も知られている。なお、本明細書での「データ放送」は、
DSM-CC(カーセル)で放送されるものだけでなく、字幕や文字スーパなど、独立PESで放送されるものをも含むものとして定義される。つまり、「データ放送」とは、本放送として放送されている映像・音声信号以外を指すものとする。

特許文献１には、デジタル画像情報中に字幕情報をデジタル透かし技術を用いて埋め込み、該字幕情報が埋め込まれたデジタル画像情報を再生する字幕情報付きデジタル情報処理装置が記載されている。

特許文献２には、コンテンツ配信装置側で字幕データや音データをそのままもしくは可変長符号を用いて符号化した上でコンテンツに埋め込み、コンテンツ受信装置側でコンテンツから字幕データや音データを抽出し、必要に応じ復号して提示するコンテンツ配信装置およびコンテンツ受信装置が記載されている。

非特許文献１には、ビデオを識別するためのビデオ信号テキスト化手法の一例が記載されている。また、非特許文献２には、画像中に存在する物体を認識しテキスト化する手法の一例が記載されている。さらに、非特許文献３には、ビデオデータなどを用いて全体の動向を表現するためのテキストの生成に関する手法が記載されている。
特開平９−１０２０４８号公報 特開２００４−１９４２３５号公報 Cees G.M. Snoek and Marcel Worring, "A review on multimodal video indexing," Proc. IEEE ICME 2002, Vol.2, pp.21-24, 2002. 柳井，"一般物体認識の現状と今後,"情報処理学会研究会資料， Vol.2006, No.93, CVIM155-17, pp.121-134, 2006. 渡辺，小林，"動向情報を表すテキスト生成," 人工知能学会全国大会予稿集, 2H5-4, 2007. 酒澤，滝嶋，和田， "A Watermarking Method Retrievable from MPEG Compressed Streem," 電子情報通信学会論文誌 Vol.E85-A, No.11(2002 11 01) pp.2489-2497, 2002.

特許文献１には、字幕情報付きデジタル情報処理装置に関し、特に、透かしとして埋め込まれた字幕情報をどのように画面上に表示するか、もしくはそれを音声化して提示するかについて開示されているが、デジタル画像情報に対して電子透かしをどのようなタイミングで埋め込むかについて言及されていない。

字幕情報は１〜２秒に数十文字を必要とする場合も一般的に存在し、特許文献１の字幕情報付きデジタル情報処理装置では、映像部分のみを埋込対象として字幕情報を埋め込むので、字幕情報を埋め込める情報量を十分にとれないことがある。

特許文献２には、コンテンツ配信装置およびコンテンツ受信装置に関し、字幕データや音データをそのままもしくは可変長符号を用いて符号化した上でコンテンツに埋め込み、受信されたコンテンツから字幕データや音データを抽出し、必要に応じ復号して再生する技術が開示されている。これには、配信対象の画像に対する字幕データや音データの埋め込みタイミングを設定する設定部も示されているが、ここで具体的にどのようなタイミングで字幕データや音データを埋め込むかは記載されていない。

また、特許文献２のコンテンツ配信装置およびコンテンツ受信装置では、コンテンツ配信装置側で字幕データや音データを埋め込むことを想定しており、デジタル放送信号を受信し、それを再構成して字幕情報などを埋め込み、再生することまでは想定されていない。

また、特許文献２のコンテンツ配信装置も、映像部分のみを埋込対象として字幕データや音声データを埋め込むので、データ情報を埋め込める情報量を十分にとれないことがある。

なお、非特許文献１−３に記載されている技術は、本発明において、透かし情報の生成のために利用できるものである。また、非特許文献４に記載されている技術は、本発明において、透かし情報の埋め込み、抽出のために利用できる者である。

本発明の目的は、デジタル放送信号から、データ情報を電子透かしとして埋め込んだ映像・音声信号を再構成し、映像・音声信号の再生と同期してデータ情報を提示できるデータ情報埋込装置および再生装置を提供することにある。

上記課題を解決するため、本発明のデータ情報埋込装置は、映像・音声信号および該映像・音声信号に付随して放送されるデータ放送部分を含む、デジタル放送信号を入力する入力手段と、前記入力手段により入力された信号から映像・音声信号とデータ放送部分とを分離する分離手段と、前記分離手段により分離されたデータ放送部分から一部あるいは全部のデータ情報を抽出する抽出手段と、前記抽出手段により抽出されたデータ情報から透かし情報を生成し、該透かし情報を電子透かしとしてそれが付随していた映像信号と音声信号の一方、または両方に同期させて埋め込む埋込手段とを備えた点に第１の特徴がある。

また、本発明のデータ情報埋込装置は、前記埋込手段が、埋め込む透かし情報の情報量と、映像・音声の各信号への電子透かし埋め込み許容量から、映像信号のみ、もしくは音声信号のみ、もしくは映像信号と音声信号の両者への電子透かし埋め込みのいずれかを選択する手段を備えた点に第２の特徴がある。

また、本発明のデータ情報埋込装置は、前記抽出手段が、データ放送部分からデータ情報を指定して抽出する手段を有する点に第３の特徴がある。

また、本発明のデータ情報埋込装置は、前記埋込手段により透かし情報が埋め込まれた映像・音声信号を記憶する記憶手段を備えた点に第４の特徴がある。

また、本発明のデータ情報埋込装置は、前記埋込手段により透かし情報が埋め込まれた映像・音声信号を再送信する再送信手段を備えた点に第５の特徴がある。

また、本発明のデータ情報埋込装置は、前記埋込手段が、透かし情報をそれが付随していた映像信号または音声信号に対して一定時間前置させて埋め込む点に第６の特徴がある。

また、本発明のデータ情報埋込装置は、前記一定時間が、映像・音声信号から電子透かし情報を抽出し、それを画面上に提示するために必要とされる遅延量より大きな値に設定される点に第７の特徴がある。

また、本発明のデータ情報埋込装置は、前記埋込手段が、前記データ放送部分に同期時刻情報が明確に記載されていない場合、該データ放送部分に関連する映像・音声信号に一定時間おきに透かし情報を電子透かしとして埋め込む点に第８の特徴がある。

また、本発明のデータ情報埋込装置は、前記透かし情報が、字幕情報である点に第９の特徴がある。

また、本発明のデータ情報埋込装置は、前記抽出手段により抽出されたデータ情報を編集あるいは文字列に変換する手段を備え、前記埋込手段は、該手段により編集あるいは文字列に変換されたデータ情報を透かし情報とする点に第１０の特徴がある。

さらに、本発明のデータ情報埋込装置は、前記透かし情報が、映像・音声信号とともに再生しようとするデータ情報が存在するインターネット上のアドレスである点に第１１の特徴がある。

本発明の再生装置は、前記第１ないし１０のいずれかの特徴を有するデータ情報埋込装置により透かし情報が埋め込まれた映像・音声信号を入力とし、該映像・音声信号とともに透かし情報に対応するデータ情報を再生する再生装置であって、透かし情報が埋め込まれた映像・音声信号から透かし情報を抽出する抽出手段と、前記抽出手段により抽出された透かし情報を元にデータ情報を生成する生成手段と、前記生成手段により生成されたデータ情報を、前記映像・音声信号の再生と同期させて提示する提示手段とを備えた点に第１の特徴がある。

また、本発明の再生装置は、前記第６の特徴を有するデータ情報埋込装置により透かし情報が埋め込まれた映像・音声信号を入力とし、該映像・音声信号とともに透かし情報に対応するデータ情報を再生する再生装置であって、透かし情報が埋め込まれた映像・音声信号から透かし情報を抽出する抽出手段と、前記抽出手段により抽出された透かし情報を元にデータ情報を生成する生成手段と、前記生成手段により生成されたデータ情報を遅延させ、前記映像・音声信号と同期させて提示する提示手段とを備えた点に第２の特徴がある。

また、本発明の再生装置は、前記第１１の特徴を有するデータ情報埋込装置により透かし情報が埋め込まれた映像・音声信号を入力とし、該映像・音声信号とともに透かし情報に対応するデータ情報を再生する再生装置であって、透かし情報が埋め込まれた映像・音声信号からアドレスを抽出する抽出手段と、前記抽出手段により抽出されたアドレスを用いて該当するデータ情報をインターネット上から取得するデータ情報取得手段と、前記データ情報取得手段により取得されたデータ情報を、前記映像・音声信号の再生と同期させて提示する提示手段とを備えた点に第３の特徴がある。

さらに、本発明の再生装置は、前記第１１の特徴を有するデータ情報埋込装置のうちの前記第６の特徴を有するデータ情報埋込装置により透かし情報が埋め込まれた映像・音声信号を入力とし、該映像・音声信号とともに透かし情報に対応するデータ情報を再生する再生装置であって、前記提示手段は、前記データ情報取得手段により取得されたデータ情報を遅延させ、前記映像・音声信号の再生と同期させて提示する提示手段とを備えた点に第４の特徴がある。

ここで、電子透かし埋込側における埋込手段には、放送で利用されるMPEG映像・音声信号に直接埋め込む手段手段を利用することも可能であるし、一旦ベースバンド信号に復号し、該ベースバンド信号に電子透かしを埋め込んだ上で再度MPEG信号に圧縮する手段を利用することも可能である。これは再生側における透かしの抽出手段でも同様である。なお、放送で利用されるMPEG映像・音声信号に透かしを直接埋め込み、抽出する手段には、例えば非特許文献４の技術を利用できる。

本発明によれば、デジタル放送信号のデータ放送部分の中から必要なデータ情報を適宜選択し、これから生成した透かし情報を電子透かしとして映像・音声信号に埋め込むので、データ情報や字幕情報，電子番組表などを表示するためのブラウザ機能を実装していなくても、デジタル放送信号に含まれていたデータ情報のうちの必要なものだけを映像・音声情報とともに提示させることができる。つまり、受信装置側で、デジタル放送字幕情報などのデータ情報から必要なものだけを取捨選択し、これから生成した透かし情報を電子透かしとして埋め込むので、再生時に必要なデータ情報を映像・音声情報とともに提示させることができる。

また、透かし情報が埋め込まれた音声・映像信号は、アナログビデオデッキや映像・音声信号だけを録画する、つまりデータ情報の録画機能を持たないデジタルビデオレコーダでも録画でき、この場合でも、放送時の映像・音声信号と透かし情報の同期関係を保つことにより、デジタル放送データ情報を映像・音声信号の再生に同期させて提示させることができる。

また、データ情報を映像・音声情報と同期させて提示することを考えた場合、データ情報から生成した透かし情報を映像・音声信号に同期させて電子透かしとして直接埋め込むので、その同期を簡単にとることができる。映像・音声信号に対して透かし情報を埋め込む際、放送時にそれが付随していた映像・音声信号に透かし情報が埋め込まれるように同期をとることもできる。また、放送時にそれが付随していた映像・音声信号に前置させて透かし情報を埋め込むように同期をとることもでき、これによれば、映像・音声信号の再生とともにそれに付随させるデータ情報を容易に提示させることができる。

さらに、透かし情報を映像信号だけでなく音声信号にも埋め込むようにすれば、埋込対象の情報量を多くすることができるので、多量の透かし情報を埋め込むことができる。

以下、図面を参照して本発明を説明する。以下では、現行のMPEGによるデジタル放送信号を処理対象とする場合を例にあげて説明する。

図１は、本発明に係るデータ情報埋込装置での処理を概念的に示すブロック図である。まず、デジタル放送信号を受信する(S11)。この信号には、映像・音声信号とデータ放送部分とが含まれており、データ放送部分には、字幕情報などのデータ情報、その他の情報が含まれている。これにより受信された信号を映像・音声信号とデータ放送部分とに分離する(S12)。

次に、分離されたデータ放送部分から、再生時に映像・音声信号の再生とともに提示しようとするデータ情報を抽出し(S13)、このデータ情報から透かし情報を生成し、これを電子透かし(以下では、単に透かしと称する)として映像・音声信号に埋め込む(S14)。この埋め込みの際、透かし情報が字幕のように映像・音声との連動が必要な情報であれば、映像・音声信号と同期をとって透かし情報を埋め込む。透かし情報を埋め込む方式は、種々提案されている。ここでの埋込め込みは、特定の方式に限定されない。また、透かし情報の埋込対象は、映像信号と音声信号の一方でも両方でもよいが、両方を埋込対象とすることにより、埋込先の情報量が多くなるので、多量の透かし情報を埋め込むことができる。埋め込む必要のある透かし情報の情報量と、映像・音声の各信号への電子透かし埋め込み許容量から、映像信号のみ、もしくは音声信号のみ、もしくは映像信号と音声信号の両者への透かし埋め込みのいずれかを選択ようにすることもできる。例えば、映像信号、音声信号の透かし許容量が１秒にそれぞれ５ビット、１０ビットである場合、１０ビットの情報を１秒分のデータに入れたのであれば、音声信号のみに透かしを入れればよい。

その後、透かし情報が埋め込まれた映像・音声信号を録画あるいは再送信する(S15)。透かし情報が埋め込まれた映像・音声信号は、必要に応じ再圧縮してHDDレコーダのようなデジタルビデオに録画することもできるし、S-VHS(S18)のようなアナログビデオに録画することもできる。

透かし情報を埋め込む処理においては、予め映像・音声信号より一定時間τだけ前置させて透かし情報を埋め込むという手法を採用できる。これにより、再生時の透かし情報の抽出や再構成などの処理で生じる遅延を予め吸収しておくことができる。また、再生の際に、透かし情報の抽出や再構成などの処理で生じる遅延を、透かし情報の遅延だけで補償できるようになる。なお、ここでの時間τは、透かし情報を抽出し、それを画面上に提示するために必要とされる遅延量を考慮した値に設定することが好ましい。具体的には、上記遅延量より大きな値で、かつ大きすぎない値(一定閾値以内)に設定することが望ましい。それにより、データ情報の提示と映像・音声信号の提示とを確実に同期させることができる。

図２は、映像・音声信号にデータ情報(透かし情報)を電子透かしとして埋め込む処理のフロー図である。ここでは、予め映像・音声信号より一定時間τだけ前のタイミングで、該映像・音声信号に付随するデータ情報を埋め込むこととしている。

そのために、前置する時間τ(一定)を設定し、時刻Tのデータ情報を時刻T-τに相当する映像PES群と音声PES群の両者に透かしとして埋め込む。上述したように、データ情報を適宜分配して映像PES群と音声PES群の両者に埋め込むことにより、多量のデータ情報を埋め込むことができる。その後、データ情報が埋め込まれた映像PES群と音声PES群を再度多重化し、録画あるいは再送信する。

図３は、本発明に係る再生装置での処理を概念的に示すブロック図である。まず、透かし情報が埋め込まれた映像・音声信号が入力される(S31)。これは、図１の録画あるいは再送信(S15)から送出されるものである。なお、透かし情報が埋め込まれた映像・音声信号が、S-VHSのようなアナログビデオからの信号である場合は、入力する前にアナログ−デジタル変換(A/D)し、さらに必要ならばMPEGで圧縮する。

次に、入力された映像・音声信号から透かし情報を抽出する(S32)。そして、抽出された透かし情報から元のデータ情報を再構成し、これに基づき映像・音声信号に価値を付加する(S33)。この価値の付加は、透かし情報に基づく情報提示であり、透かし情報が、例えば字幕情報であれば、映像・音声信号の再生と同期をとりつつ字幕情報を提示する。これにより価値が付加された映像・音声信号を提示できる(S34)。この提示では、字幕情報などの文字列は、映像内にclosed captionとして表示したり、映像外に表示したりすることができ、特定の表示方法に限定されない。

図４は、映像・音声信号に埋め込まれた透かし情報(データ情報)をもとに映像・音声信号に価値を付与しながら再生を行う処理のフロー図である。ここでは、図３のフローに従って予め映像・音声信号より一定時間τだけ前置されて透かし情報が埋め込まれて多重化された映像・音声信号から、映像・音声信号を再生するとともに価値を付与するものとしている。

図３に従って多重化された映像PES群と音声PES群を入力とし、それを映像PES群と音声PES群とに分離する。そして、前置された時間τに従って時刻T-τに相当する映像PES群と音声PES群とから透かし情報をそれぞれ抽出し、元のデータ情報を再構成する。その後、時刻Tに相当する映像PES群と音声PES群を再生するとともに、再構成されたデータ情報を同じ時刻Tに提示する。

以上の一連の流れを、日本での現在のデジタル放送を具体例として挙げ、特に、映像・音声信号の再生とデータ放送部分のデータ情報の提示との同期について説明する。

図５は、現在のデジタル放送におけるTS(Transport Stream),PES(Packetized Elementary Stream)の構造およびそれらの関係を示す図であり、図６は、字幕情報用のPESの構造を示す図である。TSは、固定長(188byte)のPESパケットが並べられたものであり、このPESパケットに映像や音声や字幕などのビットストリームが多重化される。字幕情報が含まれる独立PES中のOptional fieldsは、PTS(プレゼンテーションタイムスタンプ)を含んでいる。また、字幕用のPESパケットは、TMD(時刻制御モード)などの字幕管理データ、STM(提示開始時刻)などの字幕文データを含んでいる。

データ情報が埋め込まれたとき、あるいは提示されるときに、映像・音声信号と時刻が同期する必要がある、もしくは同期していることが望ましいデータ放送部分のデータ情報としては、(1)字幕情報、(2)イベントメッセージによる提示データ、(3)番組補完情報などがある。

データ放送部分に含まれる字幕情報は、番組中の映像・音声信号の再生と同期させて提示する必要がある。現在のデジタル放送においては、字幕情報の提示が映像・音声信号の再生と同期することが必要か否かは、字幕管理データ中のTMD(時刻制御モード)で判断することができ、映像・音声信号の再生とともに字幕情報を提示する際の同期は、字幕情報が含まれる独立PES中に含まれるPTS(プレゼンテーションタイムスタンプ)もしくは字幕文データのデータユニット中のSTM(提示開始時刻)で行うことができる。

また、データ放送部分の中には、番組中の映像・音声信号の再生と同期させて提示すべき提示データが含まれる場合もある。番組中の映像・音声信号の再生と同期させて提示させるべく、提示データがイベントメッセージを利用して搬出されている場合、その同期は、NPT参照記述子(Normal Play timeとSystem Time Clockの関係による)を利用して、あるいは汎用イベントメッセージ記述子を利用して行うことができる。

また、データ放送部分の中には、出演者やあらすじ、商品情報などの番組補完情報が含まれる場合もあり、これも番組中の映像・音声信号の再生と同期させて提示すべき情報である。番組補完情報は、主に番組全体に同期させてデータカルーセル伝送方式で搬出される場合が多いので、番組補完情報の同期は、その同期を利用して行うことができる。具体的には、データ放送に関連する映像・音声信号に対し、一定時間おきに番組補完情報を透かしとして埋め込むことにより、番組再生中に該番組補完情報を提示しておくことが可能となる。以上のとおり、映像・音声信号の再生と同期を必要とする、もしくは同期していることが望ましいケースは多々ある。ところが、映像・音声信号とデータ放送部分を分離すると、放送時には持ち合わせていた同期が欠落してしまう。したがって、映像・音声信号へ透かしとしてデータ情報を埋め込むに際しては、該データ情報が映像・音声信号と同期をとる必要があるものかどうかを判断し、同期をとる必要があると判定された場合には、映像・音声信号と同期をとって該データ情報を埋め込む。例えば、上記(1)〜(3)のデータ情報は、映像・音声信号と同期をとって埋め込む。

具体的には、以下の手順に従って字幕情報、イベントメッセージによる提示データ、番組補完情報などを透かしとして映像・音声信号に埋め込む。
(1)データ放送部分から字幕情報、イベントメッセージによる提示データ、番組補完情報など、映像・音声信号の再生と同期をとって提示する必要があるデータ情報の中から透かしとして埋め込むべきデータ情報を抽出する。透かしとして埋め込むべきデータ情報は、映像・音声信号の再生と同期をとって提示するデータ情報全て埋め込んでもよいが、その中からユーザが必要とするものを一部選択することもできる。

透かしとして埋め込むべきデータ情報が文字情報以外のデータ情報である場合には、該データ情報に対応するメタ情報、もしくは該データ情報を説明するデータ情報などで代替して埋め込むことも可能である。なお、これは、画像/音声認識、テキスト要約などの技術を利用して実現可能であり、これには非特許文献１−３の手法などを利用できる。また、個人的な利用に限れば、適当な字幕情報を追加・編集して埋め込むことも可能である。
(2)実際に透かしとして埋め込むデータ情報が提示されるべき時刻情報を確認する。例えば、字幕情報であればPTS/STMのどちらかを見るなどする。
(3)上記(2)で確認された時刻情報の時刻に相当する映像PES、音声PESに対し、上記(1)で抽出されたデータ情報を映像・音声信号に透かしとして埋め込む。また、図２を参照して説明したように、映像・音声信号より一定時間τだけ前に該映像・音声信号に付随するデータ情報を埋め込むようにしてもよい。

以上のようにしてデータ情報が埋め込まれた映像PES、音声PESを多重化することで透かし入り映像・音声信号が完成する。

一方、再生側では、以下の手順に従って映像・音声信号の再生とともにデータ情報の提示を行う。
(1)透かし入り映像・音声信号を必要に応じてアナログ−デジタル変換する。これは、透かし入り映像データがアナログ信号として録画されている場合などに必要な処理である。
(2)透かし入り映像・音声信号から透かしとして埋め込まれているデータ情報を抽出する。
(3)上記(2)で抽出されたデータ情報を元に、映像・音声信号に付加価値を与えながら再生を行う。この際、データ情報を元にした付加価値は、それが放送時に付随していた同時刻の映像・音声信号に与えられるようにする。

図７は、本発明に係るデータ情報埋込装置の一実施形態を示すブロック図である。本実施形態のデータ情報埋込装置は、デジタル放送受信部71、TS分離部72、MPEG映像・音声処理部73、データ情報抽出部74、同期部75を備える。

デジタル放送受信部71は、デジタル放送信号を受信し、TS分離部72は、受信された信号をMPEG映像・音声信号とデータ放送部分とに分離する。ここで、分離されたMPEG映像・音声信号は、そのままMPEG映像・音声処理部73に入力される。また、TS分離部72で分離されたデータ放送部分は、データ情報抽出部74に入力される。データ情報抽出部74は、データ放送部分から、MPEG映像・音声信号に埋め込んで再生時に該MPEG映像・音声信号の再生と同時に提示する必要があるデータ情報を抽出する。データ情報抽出部74において、再生時にMPEG映像・音声信号の再生と同時に提示しようとするデータ情報を指定することができる。

同期部75は、データ情報抽出部74により抽出されたデータ情報が透かしとしてMPEG映像・音声信号に埋め込まれる際に、MPEG映像・音声信号と透かし情報との同期が保持されるようにする。この同期は、透かし情報を、放送時にそれが付随していたMPEG映像・音声信号に埋め込むこと、あるいは、上述のように、透かし情報を一定時間τだけ前置させて埋め込むことを含む。

MPEG映像・音声処理部73は、データ情報から透かし情報を生成し、これをMPEG映像・音声信号に透かしとして埋め込む。透かし情報が埋め込まれたMPEG映像・音声信号は、録画部76に送出されてHDDレコーダなどのデジタルビデオやS-VHSなどのアナログビデオに録画される。データ情報埋込装置を中継装置として機能させる場合には、透かし情報が埋め込まれたMPEG映像・音声信号は、再送信部77を介して再送信される。

図８は、本発明に係る再生装置の一実施形態を示すブロック図である。本実施形態の再生装置は、入力部81、映像・音声信号への価値付加部82、透かし情報抽出部83、同期部84、提示部85を備える。

入力部81には、図７に従って録画あるいは再送信されたMPEG映像・音声信号が入力される。透かし情報抽出部83は、MPEG映像・音声信号に埋め込まれている透かし情報を抽出し、元のデータ情報を再構成する。同期部83は、透かし情報抽出部83で再構成されたデータ情報を、それが放送時に付随していた映像・音声信号に同期させる。透かし情報は、透かし情報抽出部83での抽出や再構成の処理で遅延されるが、埋込側の同期部75でMPEG映像・音声信号に対し前置されているので、同期部84は、透かし情報抽出部83での処理に要する時間分を差し引いた分だけデータ情報を遅延させればよい。なお、埋込側の同期部75で透かし情報を前置する処理を行っていない場合には、MPEG映像・音声信号の方を遅延させて同期させる必要がある。

映像・音声信号への価値付加部82は、同期されたデータ情報をもとに映像・音声信号に字幕付与などの付加価値を与える。これにより付加価値が与えられた映像・音声信号が提示部85に送出されて提示される。

以上、実施形態を説明したが、本発明は、上記実施形態に限定されるものではなく、種々に変形可能である。例えば、映像・音声信号に付随するデータ情報は、インターネット上での実際のデータ情報が存在する位置を示すURL(Uniform Resource Locators)でもよい。この場合には、再生装置にネットワーク接続およびブラウザ機能を持たせ、埋め込まれたURLに接続を行い、そこに存在する情報を取得して映像・音声信号の再生と同期させて提示させる。

本発明に係るデータ情報埋込装置での処理を概念的に示すブロック図である。 映像・音声信号にデータ情報を透かしとして埋め込む処理のフロー図である。 本発明に係る再生装置での処理を概念的に示すブロック図である。 映像・音声信号に価値を付与しながら再生を行う処理のフロー図である。 デジタル放送におけるTS,PESの構造およびそれらの関係を示す図である。 字幕情報用のPESの構造を示す図である。 本発明に係るデータ情報埋込装置の一実施形態を示すブロック図である。 本発明に係る再生装置の一実施形態を示すブロック図である。

符号の説明

71・・・デジタル放送受信部、72・・・TS分離部、73・・・MPEG映像・音声処理部、74・・・データ情報抽出部、75,84・・・同期部、76・・・録画部、77・・・再送信部、81・・・入力部、82・・・映像・音声信号への価値付加部、83・・・透かし情報抽出部、85・・・提示部

Claims (15)

1. 映像・音声信号および該映像・音声信号に付随して放送されるデータ放送部分を含む、デジタル放送信号を入力する入力手段と、
   前記入力手段により入力された信号から映像・音声信号とデータ放送部分とを分離する分離手段と、
   前記分離手段により分離されたデータ放送部分から一部あるいは全部のデータ情報を抽出する抽出手段と、
   前記抽出手段により抽出されたデータ情報から透かし情報を生成し、該透かし情報を電子透かしとしてそれが付随していた映像信号と音声信号の一方、または両方に同期させて埋め込む埋込手段とを備えたことを特徴とするデジタル放送におけるデータ情報埋込装置。
2. 前記埋込手段は、埋め込む透かし情報の情報量と、映像・音声の各信号への電子透かし埋め込み許容量から、映像信号のみ、もしくは音声信号のみ、もしくは映像信号と音声信号の両者への電子透かし埋め込みのいずれかを選択する手段を備えたことを特徴とする請求項１に記載のデジタル放送におけるデータ情報埋込装置。
3. 前記抽出手段は、データ放送部分からデータ情報を指定して抽出する手段を有することを特徴とする請求項１または２に記載のデジタル放送におけるデータ情報埋込装置。
4. 前記埋込手段により透かし情報が埋め込まれた映像・音声信号を記憶する記憶手段を備えたことを特徴とする請求項１ないし３のいずれかに記載のデジタル放送におけるデータ情報埋込装置。
5. 前記埋込手段により透かし情報が埋め込まれた映像・音声信号を再送信する再送信手段を備えたことを特徴とする請求項１ないし４のいずれかに記載のデジタル放送におけるデータ情報埋込装置。
6. 前記埋込手段は、透かし情報をそれが付随していた映像信号または音声信号に対して一定時間前置させて埋め込むことを特徴とする請求項１ないし５のいずれかに記載のデジタル放送におけるデータ情報埋込装置。
7. 前記一定時間は、映像・音声信号から電子透かし情報を抽出し、それを画面上に提示するために必要とされる遅延量より大きな値に設定されることを特徴とする請求項６に記載のデジタル放送におけるデータ情報埋込装置。
8. 前記埋込手段は、前記データ放送部分に同期時刻情報が明確に記載されていない場合、該データ放送部分に関連する映像・音声信号に一定時間おきに透かし情報を電子透かしとして埋め込むことを特徴とする請求項１ないし９のいずれかに記載のデジタル放送におけるデータ情報埋込装置。
9. 前記透かし情報は、字幕情報であることを特徴とする請求項１ないし８のいずれかに記載のデジタル放送におけるデータ情報埋込装置。
10. 前記抽出手段により抽出されたデータ情報を編集あるいは文字列に変換する手段を備え、前記埋込手段は、該手段により編集あるいは文字列に変換されたデータ情報を透かし情報とすることを特徴とする請求項１ないし９のいずれかに記載のデジタル放送におけるデータ情報埋込装置。
11. 前記透かし情報は、映像・音声信号とともに再生しようとするデータ情報が存在するインターネット上のアドレスであることを特徴とする請求項１ないし８のいずれかに記載のデジタル放送におけるデータ情報埋込装置。
12. 請求項１ないし１０のいずれかに記載のデータ情報埋込装置により透かし情報が埋め込まれた映像・音声信号を入力とし、該映像・音声信号とともに透かし情報に対応するデータ情報を再生する再生装置であって、
    透かし情報が埋め込まれた映像・音声信号から透かし情報を抽出する抽出手段と、
    前記抽出手段により抽出された透かし情報を元にデータ情報を生成する生成手段と、
    前記生成手段により生成されたデータ情報を、前記映像・音声信号の再生と同期させて提示する提示手段とを備えたことを特徴とするデジタル放送における再生装置。
13. 請求項６に記載のデータ情報埋込装置により透かし情報が埋め込まれた映像・音声信号を入力とし、該映像・音声信号とともに透かし情報に対応するデータ情報を再生する再生装置であって、
    透かし情報が埋め込まれた映像・音声信号から透かし情報を抽出する抽出手段と、
    前記抽出手段により抽出された透かし情報を元にデータ情報を生成する生成手段と、
    前記生成手段により生成されたデータ情報を遅延させ、前記映像・音声信号と同期させて提示する提示手段とを備えたことを特徴とするデジタル放送における再生装置。
14. 請求項１１に記載のデータ情報埋込装置により透かし情報が埋め込まれた映像・音声信号を入力とし、該映像・音声信号とともに透かし情報に対応するデータ情報を再生する再生装置であって、
    透かし情報が埋め込まれた映像・音声信号からアドレスを抽出する抽出手段と、
    前記抽出手段により抽出されたアドレスを用いて該当するデータ情報をインターネット上から取得するデータ情報取得手段と、
    前記データ情報取得手段により取得されたデータ情報を、前記映像・音声信号の再生と同期させて提示する提示手段とを備えたことを特徴とするデジタル放送における再生装置。
15. 請求項１１に記載のデータ情報埋込装置のうちの請求項６に記載のデータ情報埋込装置により透かし情報が埋め込まれた映像・音声信号を入力とし、該映像・音声信号とともに透かし情報に対応するデータ情報を再生する再生装置であって、
    前記提示手段は、前記データ情報取得手段により取得されたデータ情報を遅延させ、前記映像・音声信号の再生と同期させて提示する提示手段とを備えたことを特徴とする請求項１４に記載のデジタル放送における再生装置。

Images