JP2007180999A - 情報同期システム、情報送信装置、情報受信装置、情報同期プログラム、情報送信プログラム、及び情報受信プログラム - Google Patents

Abstract

【課題】複数のコンテンツ情報をプロトコルに影響されずに同期再生し、圧縮や解像度変換することが可能な同期情報システムを提供する。
【解決手段】情報送信装置３は、取得した映像フレーム３３を埋込ブロック３９とデータの大半を締める非埋込ブロック４１とに領域分割してブロック化し、埋込ブロック３９に時刻刻印を電子透かしとして埋め込み、非埋込ブロック４１を不可逆圧縮して、ネットワーク５に送出する。情報受信装置７は、複数のコンテンツ情報を受信し、それぞれのコンテンツ情報の各フレームから電子透かし情報として埋め込まれた時刻刻印を抽出し、複数のコンテンツ情報を復元する。情報受信装置７は時刻刻印を基に複数のコンテンツ情報の同期処理を行い、複数のコンテンツ情報を同時に提示する。
【選択図】図１

Description

本発明は、複数のコンテンツ情報に同期情報を電子透かしとして埋め込み、当該同期情報を利用して複数のコンテンツ情報間のタイミングを調整する情報同期システムに関する。

従来、デジタル画像や動画、音声等のコンテンツ情報の不正コピーや改ざんなどを防ぐために、画質や音質にほとんど影響を与えないで文字情報等を埋め込む電子透かし技術が利用されている。

電子透かし技術には、画像情報等をビットプレーンに分け、ノイズレベルに近い下位ビットプレーンの画素に電子透かし情報を置換して埋め込んでいく方法がある（代入法）。また、より秘匿性を高める方法として、電子透かしを埋め込む位置を暗号鍵で設定し、複数のビットプレーンに分散して電子透かし情報を埋め込んでいく方法がある（選択法）。また、量子化ノイズの統計的性質を利用する方法がある（構成法）。

電子透かし技術を応用することで、映像データや音声データに文書を埋め込んだりすることができる。例えば、画像情報に、当該画像を説明する文字情報を電子透かし技術を利用して埋め込むシステムがある（特許文献１）。この場合、文字情報を画像情報の一部に置換して電子透かしとして埋め込むことにより、情報量を増加させることなく、文字情報を添加することができる。また画像情報と文字情報の同期調整も必要としない。尚、この場合電子透かし情報の内容を秘匿する必要はない。

また、従来、画像情報と音声情報とが個別に受信される場合、画像情報と音声情報の同期を取るため、音声信号の音声に影響を与えない空チャネルまたは映像情報の画面に影響を与えないブランキング部や、画面に影響を与えない領域に予めマーキングを施し、当該マーキングを検出しつつ画像情報と音声情報の同期再生が行われていた。

特開平１０−２９０４０６号公報

しかしながら、上記従来例のマーキングによる画像情報と音声情報との同期再生には、更に文字情報等を送るとなると、伝送する情報量が増加し、特殊な同期再生装置が必要となるという問題がある。

また、例えば特許文献１の電子透かし技術を利用して、画像や音声のデータに秘匿したい文書を埋め込んで伝送する際、データの解像度変換やデータ圧縮を行うと、埋め込んだ電子透かし情報が再生時に失われるという問題がある。

また、既存の電子透かし技術を利用すると、想定する受信端末とは異なる解像度を有する端末に向けて、予め解像度を変換した映像を配信する際には解像度を落とした現画像に再度電子透かし技術によって文書を埋め込まなくてはならない。また埋め込んだデータを壊さないために、適用できるデータ圧縮技術が制限される。

また、動画、音声、テキストは、ブラウザに導入するプラグイン等のそれぞれのアプリケーションにより再生可能であるが、個別のアプリケーションであるため、連動させることができないという問題点があった。

本発明は、このような問題を鑑みてなされたもので、その目的とするところは、複数のコンテンツ情報をプロトコルに影響されずに同期再生し、圧縮や解像度変換することが可能な同期情報システムを提供することである。

前述した目的を達成するための第１の発明は、コンテンツ情報を送信する少なくとも１つの情報送信装置と、前記コンテンツ情報を受信する情報受信装置と、がネットワークを介して接続され、異なる複数のコンテンツ情報を同期させる情報同期システムであって、前記情報送信装置は、前記各コンテンツ情報を構成する複数のフレームのうちそれぞれ少なくとも１つのフレームのデータ領域を埋込領域と非埋込領域とに分割するフレーム領域分割手段と、前記埋込領域に同期情報を電子透かしとして埋め込む同期情報埋込手段と、前記埋込領域を圧縮不可に設定し、前記非埋込領域を圧縮可に設定する圧縮設定手段と、前記情報受信装置に前記複数のフレームを送信する送信手段と、を具備し、前記情報受信装置は、前記情報送信装置から前記複数のフレームを受信する受信手段と、前記フレームのデータ領域のうち圧縮領域を伸張して前記非埋込領域を復元する伸張手段と、前記フレームのデータ領域のうち非圧縮領域である前記埋込領域から前記同期情報を抽出する同期情報抽出手段と、前記同期情報に基づいて、前記異なる複数のコンテンツ情報間のタイミングを調整する同期処理手段と、を具備することを特徴とする情報同期システムである。

コンテンツ情報は、映像情報、音声情報、及び文字情報等である。本願では、当該コンテンツ情報の領域の一部に同期情報を電子透かしとして埋め込んで伝送し、当該同期情報を利用して他のコンテンツ情報とのタイミングを調整する。

フレームとは、映像情報であれば例えば縦横格子状に並んだ数百ピクセルのデータを有する１枚の静止画像に相当する。人間は概して１秒間に８フレーム以上の静止画像が連続再生されるのを見ると、これを映像として認知する。音声情報であれば、１つのフレームは、４〜２２ｋＨｚ程度の周波数でサンプリングまたは合成される数十〜数百ミリ秒のデータである。文字情報であれば、映像または音声と同期表示したい任意の文字列長となる。後述するが、文字情報の場合のみ、同期用の電子透かしを埋め込むフレーム先頭位置にダミーデータを付加し、再生側で当該ダミーデータを分離する作業が発生する。これは、映像や音声の再生においては、電子透かしが分離されなくても人間の認知結果に影響を及ぼす可能性は低いが、文字情報に電子透かしを重ねると元の文字情報が変更されてしまう場合があることによる。

フレーム領域分割手段は、１フレームを構成するデータ領域を、同期情報を埋め込む埋込領域と、非埋込領域に分割する。尚、送受信に関するフォーマットを有するヘッダ部分を除外した領域を、データ領域とする。また、通常、非埋込領域が１フレームの大半の領域を占める。

タイミング調整とは、異なる複数のコンテンツ情報の同期情報（時刻刻印情報）を同期させて再生する。また、異なる複数のコンテンツ情報を、意図的に時刻をずらせて再生するようにしても良い。例えば音声情報を、対応する画像情報に１００ｍｓ程遅らせて再生する例もある。

前記同期情報埋込手段は、所定規則に基づいて、前記同期情報の構成データを分散して前記埋込領域の構成データの一部と置換することが望ましい。
同期情報埋込手段は、同期情報の構成データを分散して、データ領域としての割合が小さい埋込領域の構成データの一部に置換し、電子透かしとして埋め込む。尚、情報送信装置は、同期情報の構成データを分散して置換するための所定の規則を参照して同期情報を埋め込み、情報受信装置は当該同期情報を復元するための所定の規則を参照して同期情報を復元する。所定の規則はそれぞれ情報送信装置と情報受信装置が保持していても良いし、情報送信装置と情報受信装置とが共通して参照することの可能な保持装置に登録するようにしても良い。

前記情報送信装置は、前記フレームを複数のブロックに分割し、各ブロックにフレームＩＤ及びブロックＩＤを付与して前記情報受信装置に送信し、前記情報受信装置は、前記情報送信装置から受信した前記ブロックを前記フレームＩＤ及びブロックＩＤに基づいて集約し、前記フレームを合成することが望ましい。
フレームを複数のブロックに分割する際、受信側で再度元のフレームを復元するために各ブロックにフレームＩＤとブロックＩＤが付与される。

前記同期情報は時刻情報を含むことが望ましい。
同期情報は、例えば時刻情報を含み、異なるコンテンツ情報のタイミングを調整する際に利用される。例えば、異なるコンテンツ情報の時刻情報を同期させて提示或いは保存するようにしても良いし、意図的に異なるコンテンツ情報の再生時刻をずらして提示或いは保存するようにしても良い。

本発明による情報同期システムは、データ領域に設定する埋込領域に同期情報を埋め込むので、プロトコル等に影響されずにコンテンツ情報の同期が可能になる。また、データ領域の大半を占める非埋込領域を圧縮することが可能なので、伝送効率を向上させる効果がある。

第２の発明は、少なくとも１つの情報受信装置にネットワークを介して接続され、前記情報受信装置にコンテンツ情報を送信する情報送信装置であって、前記各コンテンツ情報を構成する複数のフレームのうちそれぞれ少なくとも１つのフレームのデータ領域を埋込領域と非埋込領域とに分割するフレーム領域分割手段と、前記埋込領域に同期情報を電子透かしとして埋め込む同期情報埋込手段と、前記埋込領域を圧縮不可に設定し、前記非埋込領域を圧縮可に設定する圧縮設定手段と、前記情報受信装置に前記複数のフレームを送信する送信手段と、を具備することを特徴とする情報送信装置である。

第２の発明の情報送信装置は、各コンテンツ情報を構成する複数のフレームのうちそれぞれ少なくとも１つのフレームのデータ領域を埋込領域と非埋込領域とに分割し、埋込領域に同期情報を電子透かしとして埋め込み、埋込領域を圧縮不可に設定し、非埋込領域を圧縮可に設定し、情報受信装置に複数のフレームを送信する。

第３の発明は、コンテンツ情報を送信する少なくとも１つの情報送信装置にネットワークを介して接続され、前記情報送信装置から異なる複数のコンテンツ情報を受信する情報受信装置であって、前記情報送信装置から前記コンテンツ情報を構成する複数のフレームを受信する受信手段と、前記フレームのデータ領域のうち圧縮領域を伸張して前記非埋込領域を復元する伸張手段と、前記フレームのデータ領域のうち非圧縮領域である前記埋込領域から前記同期情報を抽出する同期情報抽出手段と、前記同期情報に基づいて、前記異なる複数のコンテンツ情報間のタイミングを調整する同期処理手段と、を具備することを特徴とする情報受信装置である。

第３の発明の情報受信装置は、情報送信装置からコンテンツ情報を構成する複数のフレームを受信し、当該フレームのデータ領域のうち圧縮領域を伸張して非埋込領域を復元し、当該フレームのデータ領域のうち非圧縮領域である埋込領域から同期情報を抽出し、同期情報に基づいて、異なる複数のコンテンツ情報間のタイミングを調整する。

第４の発明は、ネットワークを介して送受信される異なる複数のコンテンツ情報を同期させるために、送信側のコンピュータを、前記各コンテンツ情報を構成する複数のフレームのうちそれぞれ少なくとも１つのフレームのデータ領域を埋込領域と非埋込領域とに分割するフレーム領域分割手段と、前記埋込領域に同期情報を電子透かしとして埋め込む同期情報埋込手段と、前記埋込領域を圧縮不可に設定し、前記非埋込領域を圧縮可に設定する圧縮設定手段と、前記複数のフレームを送信する送信手段、として機能させ、受信側のコンピュータを、前記複数のフレームを受信する受信手段と、前記フレームのデータ領域のうち圧縮領域を伸張して前記非埋込領域を復元する伸張手段と、前記フレームのデータ領域のうち非圧縮領域である前記埋込領域から前記同期情報を抽出する同期情報抽出手段と、前記同期情報に基づいて、前記異なる複数のコンテンツ情報間のタイミングを調整する同期処理手段、として機能させる情報同期プログラムである。

第４の発明の情報同期プログラムは、コンピュータを請求項１乃至請求項４のいずれかに記載された情報同期システムとして機能させるものであり、このプログラムをネットワークを介して流通させることもできる。

第５の発明は、コンピュータを、少なくとも１つの情報受信装置にネットワークを介して接続され前記情報受信装置にコンテンツ情報を送信する情報送信装置として機能させるプログラムであって、前記各コンテンツ情報を構成する複数のフレームのうちそれぞれ少なくとも１つのフレームのデータ領域を埋込領域と非埋込領域とに分割するフレーム領域分割手段と、前記埋込領域に同期情報を電子透かしとして埋め込む同期情報埋込手段と、前記埋込領域を圧縮不可に設定し、前記非埋込領域を圧縮可に設定する圧縮設定手段と、前記情報受信装置に前記コンテンツ情報を構成する複数のフレームを送信する送信手段、として機能させる情報送信プログラム

第５の発明の情報送信プログラムは、コンピュータを請求項５に記載された情報送信装置として機能させるものであり、このプログラムをネットワークを介して流通させることもできる。

第６の発明は、コンピュータを、コンテンツ情報を送信する少なくとも１つの情報送信装置にネットワークを介して接続され前記情報送信装置から異なる複数のコンテンツ情報を受信する情報受信装置として機能させるプログラムであって、前記情報送信装置から前記コンテンツ情報を構成する複数のフレームを受信する受信手段と、前記フレームのデータ領域のうち圧縮領域を伸張して前記非埋込領域を復元する伸張手段と、前記フレームのデータ領域のうち非圧縮領域である前記埋込領域から前記同期情報を抽出する同期情報抽出手段と、前記同期情報に基づいて、前記異なる複数のコンテンツ情報間のタイミングを調整する同期処理手段、として機能させる情報受信プログラムである。

第６の発明の情報受信プログラムは、コンピュータを請求項６に記載された情報受信装置として機能させるものであり、このプログラムをネットワークを介して流通させることもできる。

本発明によれば、複数のコンテンツ情報をプロトコルに影響されずに同期再生し、圧縮や解像度変換することが可能な同期情報システムを提供することができる。

以下に、図面に基づいて本発明の実施の形態を詳細に説明する。最初に図１及び図２を参照しながら、本発明の実施の形態に係る情報同期システム１の構成について説明する。

（１．情報同期システム１の構成）
（１−１．機能の概略構成）
図１は、情報同期システム１の機能の概略を示す図である。
情報同期システム１は、情報送信装置３、情報受信装置７等がネットワーク５を介して接続される。情報送信装置３は、各種コンテンツ情報（映像情報、音声情報、文字情報等）に本実施の形態による処理を施し、ネットワーク５を介して情報受信装置７に送信する。情報受信装置７は、複数の情報送信装置３から送信される各種コンテンツ情報を受信して本実施の形態による復元処理を施し、複数のコンテンツ情報の同期処理を行う。

情報送信装置３と情報受信装置７は、コンピュータ等の情報処理装置である。情報送信装置３は、映像データを受信する通信部９と、記憶部１１と、情報処理機能としてのフレーム領域分割手段１０１と、埋め込み領域設定手段１０３と、時刻刻印埋め込み手段１０５と、非埋め込み領域設定手段１０７と、データ圧縮手段１０９と、ブロックＩＤ添加手段１１１と、を備える。それぞれの機能については、図３等を用いて後述する。

情報受信装置７は、通信部１３と、記憶部１５と、情報処理機能としてのブロックＩＤ抽出手段１２１と、圧縮判別手段１２３と、時刻刻印抽出手段１２５と、データ伸張手段１２７と、集約手段１２９と、フレーム領域合成手段１３１と、同期処理手段１３３と、を備える。それぞれの機能については、図８及び図９等を用いて後述する。

情報送信装置３は、各種コンテンツ情報（映像情報、音声情報、文字情報等）を通信部（Ｉ／Ｆ）９で受信し処理（処理内容については後述する。）を施したデータを通信部（送信バッファ）９から送出する。アプリケーション層１３５に送出されたデータは、ネットワーク／データリンク層１３７でパケット分割１１３され、物理層１３９でセグメント分割１１５されてネットワーク５に提供される。

情報受信装置７は、複数の情報送信装置３から送信される各種コンテンツ情報をネットワーク５から取得する。即ち、情報受信装置７は各種コンテンツ情報を物理層１３９でセグメント合成１１７し、ネットワーク／データリンク層１３７でパケット合成１１９し、通信部（受信バッファ）１３で受信して復元処理（処理内容については後述する。）を施し、複数のコンテンツ情報の同期処理を行い提示または保存する。

（１−２．情報同期システム１のハードウェア概略構成）
次に、情報同期システム１のハードウェアの概略構成について説明する。図２は、情報同期システム１のハードウェアの概略構成を示す図である。

情報同期システム１は、情報送信装置３−１、３−２・・、情報受信装置７等がネットワーク５を介して接続される。情報受信装置７には、複数の情報送信装置３−１、３−２・・から、異なるコンテンツ情報（映像情報、音声情報、文字情報等）が提供される。

情報送信装置３−１は、メディアドライブ装置等の出力部１７又は入力部１９と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disc Drive）等の記憶部１１と、中央処理装置（ＣＰＵ）等の制御部２３と、ネットワークに接続するモデムやＬＡＮボード等の通信部９等から構成され、それぞれがシステムバス２１で接続されている。尚、出力部１７として表示装置、外部記憶装置、印刷装置等が接続されていても良い。また入力部１９として、キーボード、マウス等が接続されていても良い。

制御部２３は、図１に示したフレーム領域分割手段１０１と、埋め込み領域設定手段１０３と、時刻刻印埋め込み手段１０５と、非埋め込み領域設定手段１０７と、データ圧縮手段１０９と、ブロックＩＤ添加手段１１１等の機能を実行する。
制御部２３は、ＣＰＵにより、ハードディスク、ＲＯＭ、記録媒体等に格納される実行プログラム、ＯＳ（オペレーションシステム）のプログラム、アプリケーションプログラム等をＲＡＭ上のワークメモリ領域に呼び出して実行し、演算処理（四則演算や比較演算等）、ハードウェアやソフトウェアの動作制御等を行い、上記機能を実現する。

情報受信装置７は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶部１５と、中央処理装置等の制御部２５と、ネットワークに接続するモデムやＬＡＮボード等の通信部１３と、出力部２９等から構成され、それぞれがシステムバス２７で接続されている。尚、出力部２９は、情報受信装置７が取得したコンテンツ情報を処理して提示する映像出力装置（ＣＲＴ、液晶表示装置、スクリーン装置等）、音声出力装置、或いはコンテンツ情報を外部に格納する外部記憶装置等である。

制御部２５は、図１に示したブロックＩＤ抽出手段１２１と、圧縮判別手段１２３と、時刻刻印抽出手段１２５と、データ伸張手段１２７と、集約手段１２９と、フレーム領域合成手段１３１と、同期処理手段１３３等の機能を実行する。
制御部２５は、ＣＰＵにより、ハードディスク、ＲＯＭ、記録媒体等に格納される実行プログラム、ＯＳ（オペレーションシステム）のプログラム、アプリケーションプログラム等をＲＡＭ上のワークメモリ領域に呼び出して実行し、演算処理（四則演算や比較演算等）、ハードウェアやソフトウェアの動作制御等を行い、上記機能を実現する。

（２．情報送信装置３の処理手順）
次に、図３乃至図７を用いて本実施の形態における情報送信装置３の処理手順について説明する。情報送信装置３は、コンテンツ情報として映像データを取得し、本実施の形態による同期情報の電子透かし埋め込み処理を施して出力するものとする。

図３は、情報送信装置３の時刻刻印４５の埋め込み処理を示すフローチャートである。
図４は情報送信装置３が取得或いは作成する映像データソース３１を示す図である。

情報送信装置３は、例えばネットワーク５を介して通信部（Ｉ／Ｆ）９から映像データソース３１を取得する。映像データソース３１（図４参照）は、複数の映像フレーム３３−１〜３３−ｎから構成される画像データである。映像フレーム３３−１〜３３−ｎは、時間軸３０に従って表示させると動画画像として認識することができる。例えば、１秒間に８フレームを表示させる映像フレーム３３が提供されるものとする。尚、情報送信装置３は、元になる映像データソース３１を外部から入手しても良いし、新規に作成しても良いし、編集作業等を行ったものを用いても良い。

映像データソース３１を代表する１つの映像フレーム３３に、情報送信装置３が同期情報を埋め込む処理手順を図３のフローチャートに従って説明する。
情報送信装置３は、映像フレーム３３を取得、或いは作成する（ステップ１００１）。
情報送信装置３のフレーム領域分割手段１０１（図１参照）は、取得した映像フレーム３３の領域を、同期情報を埋め込む埋込領域３５と、その他の非埋込領域３７とに領域分割する（ステップ１００２）。

例えば、同期情報を１０バイト（即ち８０ビット）の時刻刻印情報であるとする。映像フレーム３３が、１ピクセルを８ビットで表現する多階調モノクロ画像である場合、１ピクセルを示す８ビットのうちの下位１ビットを電子透かしに割り当てることにすると、１０バイトの同期情報を埋め込むには最低８０ピクセルの領域を電子透かしの埋め込みを行う埋込領域３５に割り当てる必要がある。

映像フレーム３３が７２０×４８０ピクセルの画像であるとすると、情報送信装置３の埋め込み領域設定手段１０３（図１参照）は、当該映像フレーム３３の左上位置８０ピクセル以上の領域を、同期情報を埋め込む埋込領域３５として設定し、当該埋込領域を圧縮不可に設定する（ステップ１００３）。
このように、映像フレーム３３が７２０×４８０ピクセルの画像領域から成ると仮定すれば、同期情報を埋め込む埋込領域３５として設定する領域は数百分の１以下であり、大半の領域は非埋込領域３７に設定される。

図５は、１つの映像フレーム３３を、同期情報を埋め込む埋込領域３５と非埋込領域３７とに分割する図を示す。図５（ａ）は、例えば７２０×４８０ピクセルの画像である映像フレーム３３を示す。図５（ｂ）は、映像フレーム３３が、同期情報を埋め込む埋込領域３５と非埋込領域３７とに分割して形成される映像フレーム４３を示す。
埋込領域３５は、映像フレーム３３の開始画素の例えば１６０ピクセル分の領域として設定される。後述するが、埋込領域３５に同期情報（時刻刻印４５）が分散して埋め込まれ、埋込ブロック３９が作成される。尚、埋込領域３５を１つの埋込ブロック３９としてもよいし、複数の埋込ブロック３９に分割しても良い。また、映像フレーム４３の大半の領域を占める非埋込領域３７は分割されて複数の非埋込ブロック４１が作成される。

図３に戻り、情報送信装置３の時刻刻印埋め込み手段１０５（図１参照）は、記憶部１１等に登録している時刻刻印透かし設定情報４７を参照して、時刻刻印４５を電子透かしとして埋込領域３５に埋め込み、埋込ブロック３９を生成する（ステップ１００４）。

ステップ１００３乃至ステップ１００４では、映像情報である映像フレーム３３に時刻刻印４５を埋め込む処理について説明したが、音声情報や文字情報へも同様に、時刻刻印４５埋め込み処理を行うことができる。

２次元の空間的広がりを持つ映像情報と違って、音声情報は時間軸の広がりを持つ１次元情報であるが、同様に電子透かしを埋め込むことができる。例えば、８ｂｉｔ／８ｋＨｚでサンプリングした音声データ１００ｍｓｅｃあたりのデータ量は、非圧縮状態では、８ｂｉｔ×８０００Ｈｚ×（１００／１０００）ｓｅｃ＝６４００ｂｉｔ、にもなる。これを時刻刻印４５の電子透かし情報のサイズ８０ｂｉｔと比較すると、１：８０であり、映像の場合に近い条件となる。

文字情報の場合には、電子透かしを埋め込むために要求されるデータサイズに相当するダミーデータを元の文字情報の先頭位置に挿入するので、元の文字情報のサイズ如何によらず電子透かしの埋込が可能となる。なお、ダミーデータは再生前に取り除かれるので、文字情報の変化は起こらない。

図６は、時刻刻印４５の埋め込みを示す図である。
時刻刻印４５は当該映像フレーム４３の元画像である映像フレーム３３が再生されるべき映像コンテンツ内の相対時刻を示す情報である。時刻刻印４５は、同期情報として映像フレーム４３の埋込ブロック３９に電子透かしとして埋め込み、情報受信装置７が例えば他のコンテンツ情報（映像情報、音声情報、文字情報等）とのタイミングを調整する際に当該時刻刻印４５の値を参照する。

１ピクセルを８ビットで表現する多階調モノクロ画像の下位１ビットを電子透かしに割り当てるとすると、例えば１０バイト（＝８０ビット）の時刻刻印４５は８０ピクセル以上のピクセルデータ４９からなる埋込ブロック３９に分散して時刻刻印透かしデータ５０として配置される。時刻刻印埋め込み手段１０５（図１参照）は、記憶部１１等に格納されている時刻刻印透かし設定情報４７を参照して、時刻刻印４５を埋込ブロック３９に分散して配置する。

詳細には、時刻刻印埋め込み手段１０５（図１参照）は、時刻刻印４５を示すデータ１ビット毎を、埋込ブロック３９の所定のピクセルデータ４９を構成する下位１ビット（例えば最下位ビット）の値と置換する。尚、ピクセルデータ４９のうちの置換するビットを、ピクセルデータ４９を構成する複数のビットプレーンのうちの下位プレーンから選ぶことにより、コンテンツ品質劣化の影響を抑えることができる。

尚、映像データソース３１を構成する全ての映像フレーム３３に、同期情報である時刻刻印４５を埋め込む必要はない。この場合、時刻刻印４５が埋め込まれている映像フレーム３３についてのみ同期処理を行えばよい。

図３に戻り、非埋め込み領域設定手段１０７（図１参照）は、ステップ１００２で領域分割された埋込領域３５以外の領域を、非埋込領域３７として設定し、非埋込領域３７のデータを複数のブロックに分割して非埋込ブロック４１を生成し、当該非埋込領域３７を圧縮可に設定する（ステップ１００５）。
データ圧縮手段１０９（図１参照）は、非埋込ブロック４１のデータ圧縮を行う（ステップ１００６）。
非埋込ブロック４１には時刻刻印４５が埋め込まれていないので、圧縮率の高い不可逆圧縮を行うことが可能であり、データ量を縮小することができる。

尚、不可逆圧縮は多少のデータの欠落を許容する代わりに、圧縮効率を高めた圧縮方式であり、不可逆圧縮方式により圧縮されたデータを復号しても、圧縮前のデータを完全に復元することはできない。例えば、不可逆圧縮方式として画像形式のデータにはＪＰＥＧ方式、音声形式のデータにはＭＰ３等があり、どの程度までのデータ損失を許容するかは段階的に設定することができる。

ブロックＩＤ添加手段１１１（図１参照）は、ステップ１００４で生成された埋込ブロック３９と、ステップ１００６で生成された複数の非埋込ブロック４１に、元の映像フレーム４３を再生できるように、それぞれのブロック（埋込ブロック３９、及び複数の非埋込ブロック４１）にフレームＩＤ５１とブロックＩＤ５３を添加する（ステップ１００７）。

図７は、フレームＩＤ５１とブロックＩＤ５３の付与を示す図である。
埋込ブロック３９には、フレームＩＤ５１「Ｆ０１」とブロックＩＤ５３「Ｂ０１」が付与され、非埋込ブロック４１には、順にフレームＩＤ５１「Ｆ０１」とブロックＩＤ５３「Ｂ０２」、フレームＩＤ５１「Ｆ０１」とブロックＩＤ５３「Ｂ０３」、・・・が付与される。それぞれのブロック（埋込ブロック３９、及び複数の非埋込ブロック４１）の伝送順が前後したとしても、情報受信装置７が当該ブロックに付与されたフレームＩＤ５１とブロックＩＤ５３とを参照することにより、元の順にブロックを配置し元の映像フレーム４３を再生することができる。

図３に戻り、情報送信装置３は、埋込ブロック３９と非埋込ブロック４１とを通信部（送信バッファ）９に転送し（ステップ１００８）、通信部（送信バッファ）９に格納した埋込ブロック３９と非埋込ブロック４１とを情報受信装置７へ送信する（ステップ１００９）。

情報送信装置３は、時刻刻印４５を埋め込む映像フレーム３３全てに対して、上述のステップ１００１乃至ステップ１００９の処理を行う。
尚、図示していないが、情報送信装置３は、映像フレーム４３のうち時刻刻印４５を埋め込まないフレームに対しては、前述した非埋込領域３７に準じた処理（複数の非埋込ブロック４１に分割して圧縮し、それぞれの非埋込ブロック４１にフレームＩＤ５１とブロックＩＤ５３を付与）を行って通信部（送信バッファ）９に格納し情報受信装置７へ送信する。

通信部（送信バッファ）９から送出された、映像フレーム４３を構成する埋込ブロック３９と非埋込ブロック４１は、ネットワーク／データリンク層１３７でパケット分割１１３され、物理層１３９ではセグメント分割１１５されてネットワーク５を介して情報受信装置７で受信される。

（３．情報受信装置７の処理手順）
（３−１．時刻刻印４５の抽出処理）
次に、図８のフローチャートに沿って、情報受信装置７による時刻刻印４５の抽出処理について説明する。適宜図１及び図４〜図７を参照する。
図８は、情報受信装置７が、受信した映像フレーム４３（埋込ブロック３９と非埋込ブロック４１）から時刻刻印４５を抽出する処理を示すフローチャートである。

情報送信装置３から送出された映像フレーム４３に関するデータは、ネットワーク５を介して送られ、物理層１３９においてセグメント合成１１７され、ネットワーク／データリンク層１３７でパケット合成１１９され、情報受信装置７の通信部（受信バッファ）１３は、埋込ブロック３９及び非埋込ブロック４１として取り出す（ステップ２００１）。

情報受信装置７のブロックＩＤ抽出手段１２１（図１参照）は、各埋込ブロック３９及び各非埋込ブロック４１からフレームＩＤ５１とブロックＩＤ５３を抽出する（ステップ２００２）。

圧縮判別手段１２３（図１参照）は、当該ブロック（埋込ブロック３９又は非埋込ブロック４１）が圧縮されていないブロックであれば、時刻刻印４５の埋め込まれた埋込ブロック３９であると判断する。時刻刻印４５の埋め込まれた埋込ブロック３９であれば（ステップ２００３のＹＥＳ）、時刻刻印抽出手段１２５（図１参照）は、記憶部１５等に登録している時刻刻印透かし設定情報４７を参照して、埋込ブロック３９から時刻刻印４５を抽出し（ステップ２００４）、フレームＩＤ５１と時刻刻印４５とを対応付ける（ステップ２００５）。

時刻刻印４５の埋め込まれていない非埋込ブロック４１であれば（ステップ２００３のＮＯ）、データ伸張手段１２７（図１参照）は、圧縮されている非埋込ブロック４１のデータ伸張を行う（ステップ２００６）。

情報受信装置７の集約手段１２９（図１参照）は、フレームＩＤ５１に基づいて、フレーム毎に埋込ブロック３９と非埋込ブロック４１を集約する（ステップ２００７）。即ち同じフレームＩＤ５１を有する埋込ブロック３９と非埋込ブロック４１を集約する。

フレーム領域合成手段１３１（図１参照）は、埋込ブロック３９と非埋込ブロック４１に付与されているブロックＩＤ５３を基に、ブロックの順番を元の状態に並べかえ元の映像フレーム４３を回復する（ステップ２００８）。即ちフレーム領域合成手段１３１は、情報送信装置３のブロック添加手段１１１（図１参照）の逆の処理を行い、必ずしも順に伝送されない個々の埋込ブロック３９と非埋込ブロック４１を並べ替えて図７に示す元の映像フレーム４３を回復する。

情報受信装置７は、以上説明したステップ２００１乃至ステップ２００８の処理を、取得する埋込ブロック３９及び非埋込ブロック４１に対して行い、元の映像フレーム４３を回復させる。図示していないが、情報受信装置７は、順次回復される映像フレーム４３を、当該映像フレーム４３のフレームＩＤ５１に基づいて並べ替え、元の映像データを再現する。
音声データ、文字データのフレームについても同様に再現を行う。文字データのフレームでは、電子透かしを埋め込むために付加したダミーデータを再生前に取り除く。

（３−２．受信データの同期処理と再生処理）
次に、図９のフローチャートに沿って、情報受信装置７の同期処理と再生処理について説明する。適宜図１及び図１０を参照する。
図９は、情報受信装置７が、受信した複数の種類のコンテンツ情報（映像データ５５、音声データ６０、文書データ６４）の同期処理と再生処理を行うフローチャートである。
図１０は、映像データ５５、音声データ６０、文書データ６４の同期・再生処理を説明する図である。

映像データ５５は、複数の映像フレーム５７−１、５７−２・・５７−ｎから構成される。各映像フレーム５７は、埋込ブロック３９及び非埋込ブロック４１に基づいて送信される前の状態に回復される。

音声データ６０は、複数の音声フレーム６１−１、６１−２、６１−３から構成される。埋込ブロック３９は、音声フレーム６１−１〜６１−３のデータ領域の一部に作成され、時刻刻印４５が電子透かしとして埋め込まれる。非埋込ブロック４１（時刻刻印４５が埋め込まれていない音声フレーム６１−１〜６１−３のデータ領域）は、不可逆圧縮が可能な領域である。

文書データ６４は、複数の文書フレーム６７−１、６７−２から構成される。埋込ブロック３９は、文書フレーム６７−１、６７−２の文字列データの領域の一部に作成され、時刻刻印４５が電子透かしとして埋め込まれる。尚、通常、文字列で構成される非埋込ブロック４１（時刻刻印４５が埋め込まれない文書フレーム６７−１、６７−２の文字列データ領域）は、データ損失が許されないので可逆圧縮を行うことが望ましい。

情報受信装置７の同期処理手段１３３（図１参照）は、フレーム領域合成手段１３１（図１参照）の処理結果として異なる種類のコンテンツ情報（映像データ５５、音声データ６０、文書データ６４）を構成するフレームデータ（映像フレーム５７、音声フレーム６１、文書フレーム６７）を取得する（ステップ３００１）。
尚、先述の映像フレーム４３（図４参照）は、時間軸３０に沿って時系列的に連続する映像フレーム５７−１〜５７−ｎの１つに相当する。

情報受信装置７は、フレームＩＤ５１及び時刻刻印４５に基づいて、各フレームデータ（映像フレーム５７、音声フレーム６１、文書フレーム６７）を時系列的に対応付ける（ステップ３００２）。

情報受信装置７の同期処理手段１３３（図１参照）は、各コンテンツ情報（映像データ５５、音声データ６０、文書データ６４）を構成するフレームデータ（映像フレーム５７、音声フレーム６１、文書フレーム６７）に対応する時刻刻印４５の値を参照して同期をとり、通信部（Ｉ／Ｆ）１３から同期再生情報を出力する（ステップ３００３）。

尚、複数のコンテンツ情報（映像データ５５、音声データ６０、文書データ６４）をライブ情報として取得するようにしても良いし、別々のタイミングで取得するようにしても良い。また、コンテンツ情報は、情報受信装置７の記憶部１５等に格納されたものを呼び出すようにしても良い。

また、同期処理手段１３３（図１参照）は、例えば異なるコンテンツ情報の時刻刻印４５内容を正確に同期させるようにしても良いし、各コンテンツ情報を意図的にずらして再生するようにしても良い。例えば、映像データ５５に対して数１００ｍｓ遅らせて音声データ６０を再生するようにしても良い。

（４．本実施の形態の活用例）
図１１及び図１２は、本実施の形態の活用例を示す図である。
図１１は、海外報道映像に、翻訳者の音声や字幕を重ねて放映する状況を想定した活用例である。図１２は、例えば複数の防犯カメラ等の撮影映像を取得し、監視センタ等でマルチスクリーンに表示させる状況を想定した活用例である。

図１１は、撮影装置７１、翻訳者７３、及び字幕生成装置７５（図１の情報送信装置３に相当する。）と、情報受信装置７と、視聴者７９で構成される。例えば国内放送局等に設置される情報受信装置７は、海外の撮影装置７１から配信される報道映像（映像データ５５）を得る。映像データ５５は、翻訳者７３及び字幕生成装置７５にも送られ、翻訳者７３は報道映像を通訳して音声データ６０として放送局等の情報受信装置７に送信する。また、映像データ５５は、字幕生成装置７５にも送られ、字幕生成装置７５は報道映像に合わせた文字データ６４を放送局等の情報受信装置７に送信する。

情報受信装置７は、映像データ５５、音声データ６０、文字データ６４を受信し、これら異なるコンテンツ情報に電子透かしとして埋め込まれた時刻刻印４５を基に同期合わせを行い、同期合わせ処理済みデータ７７を、各視聴者７９の視聴装置８１（テレビ等）に配信する。

図１２は、複数の撮影装置８３−１〜８３−ｎ（図１の情報送信装置３に相当する。）と、情報受信装置７とモニタ等の表示装置８７とで構成される。情報受信装置７と表示装置８７は例えば映像監視センタに設置される。尚、表示装置８７には、ネットワーク５を介して配信するようにしても良い。

情報受信装置７は、複数の撮影装置８３−１〜８３−ｎから送出される映像データ８５−１〜８５−ｎを受信し、それぞれの映像データに電子透かしとして埋め込まれた時刻刻印４５を基に同期合わせを行い、同期合わせ処理済みデータ７７を、表示装置８７（テレビ等）に表示する。この場合、異なる場所を撮影した映像データ８５−１〜８５−ｎの撮影時刻を同期させてマルチスクリーンで表示させることが可能になる。尚、同期合わせ処理済みデータ７７を記憶装置（図示しない）に格納するようにしても良い。

尚、図１では、情報送信装置３と情報受信装置７がネットワーク５で接続されるとしてが、必ずしもネットワーク５に限定されない。例えば情報送信装置３と情報受信装置７が直接有線接続されていても良い。

（５．効果等）
以上、説明したように、本実施の形態による情報同期システム１は、同期情報としての時刻刻印を、コンテンツ情報の伝送プロトコルに係わらないデータ領域の所定の僅かな領域に電子透かしとして埋め込み、伝送フォーマットを変更することがないので、コンテンツ情報の伝送に関して如何なるプロトコルが用いられていても、受信側で同期再生することができる。
また、情報受信装置７側は、特殊な同期合わせの装置やプログラムを必要とせず、複数のコンテンツ情報の同期再生を簡単に行うことができる。

また、本実施の形態による情報同期システム１は、同期情報としての時刻刻印を、コンテンツ情報の限定された僅かな領域に埋め込むので、時刻刻印の埋め込まれていないデータ領域を圧縮効率の高い不可逆圧縮することができ、伝送効率を高めることができる。時刻刻印は、電子透かしとして埋め込まれるので、取り除かなくても再生品質に大きな影響は及ばない。

また、情報送信装置３が、受信端末に合わせて送信するコンテンツ情報の解像度や音声周波数を変換する場合、時刻刻印の埋め込まれていないデータ領域を解像度変換或いは音声周波数変換することで、受信端末は時刻刻印情報を確実に復元することが可能になる。

尚、本発明の技術的範囲は、前述した実施の形態に限られるものではない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本実施の形態における情報同期システム１の機能の概略を示す図 情報同期システム１のハードウェア構成を示す図 情報送信装置３の埋め込み処理手順を示すフローチャート 情報送信装置３が得る映像データソース３１を示す図 （ａ）映像フレーム３３を示す図 （ｂ）埋込領域３５と非埋込ブロック４１に分割した映像フレーム４３を示す図 時刻刻印４５の埋め込みを示す図 フレームＩＤ５１とブロックＩＤ５３の付与を示す図 情報受信装置７の時刻刻印４５の抽出処理手順を示すフローチャート 情報受信装置７の同期処理と再生処理手順を示すフローチャート 映像データ５５、音声データ６０、文書データ６４を示す図 映像データ５５、音声データ６０、文書データ６４の同期合わせを示す図 複数の映像データ８５の同期合わせを示す図

符号の説明

１………情報同期システム
３、３−１、３−２………情報送信装置
５………ネットワーク
７………情報受信装置
９、１３………通信部
１１、１５………記憶部
１７、２９………出力部
１９………入力部
２１、２７………システムバス
２３、２５………制御部
３０………時間軸
３１………映像データソース
３３、３３−１〜３３−ｎ、４３、５７−１〜５７−ｎ………映像フレーム
３５………埋込領域
３７………非埋込領域
３９………埋込ブロック
４１………非埋込ブロック
４５………時刻刻印
４７………時刻刻印透かし設定情報
４９………ピクセルデータ
５０………時刻刻印透かしデータ
５１………フレームＩＤ
５３………ブロックＩＤ
５５、８５−１〜８５−ｎ………映像データ
６０………音声データ
６１−１〜６１−３………音声フレーム
６４………文書データ
６７−１、６７−２………文書フレーム
７１、８３−１〜８３−ｎ………撮影装置
７３………翻訳者
７５………字幕生成装置
７７………同期合わせ処理済みデータ
７９………視聴者
８１………視聴装置
８７………表示装置
１０１………フレーム領域分割手段
１０３………埋め込み領域設定手段
１０５………時刻刻印埋め込み手段
１０７………非埋め込み領域設定手段
１０９………データ圧縮手段
１１１………ブロックＩＤ添加手段
１１３………パケット分割
１１５………セグメント分割
１１７………セグメント合成
１１９………パケット合成
１２１………ブロックＩＤ抽出手段
１２３………圧縮判別手段
１２５………時刻刻印抽出手段
１２７………データ伸張手段
１２９………集約手段
１３１………フレーム領域合成手段
１３３………同期処理手段

Claims (9)

1. コンテンツ情報を送信する少なくとも１つの情報送信装置と、前記コンテンツ情報を受信する情報受信装置と、がネットワークを介して接続され、異なる複数のコンテンツ情報を同期させる情報同期システムであって、
   前記情報送信装置は、
   前記各コンテンツ情報を構成する複数のフレームのうちそれぞれ少なくとも１つのフレームのデータ領域を埋込領域と非埋込領域とに分割するフレーム領域分割手段と、
   前記埋込領域に同期情報を電子透かしとして埋め込む同期情報埋込手段と、
   前記埋込領域を圧縮不可に設定し、前記非埋込領域を圧縮可に設定する圧縮設定手段と、
   前記情報受信装置に前記複数のフレームを送信する送信手段と、を具備し、
   前記情報受信装置は、
   前記情報送信装置から前記複数のフレームを受信する受信手段と、
   前記フレームのデータ領域のうち圧縮領域を伸張して前記非埋込領域を復元する伸張手段と、
   前記フレームのデータ領域のうち非圧縮領域である前記埋込領域から前記同期情報を抽出する同期情報抽出手段と、
   前記同期情報に基づいて、前記異なる複数のコンテンツ情報間のタイミングを調整する同期処理手段と、を具備することを特徴とする情報同期システム。
2. 前記同期情報埋込手段は、所定規則に基づいて、前記同期情報の構成データを分散して前記埋込領域の構成データの一部と置換することを特徴とする請求項１に記載の情報同期システム。
3. 前記情報送信装置は、前記フレームを複数のブロックに分割し、各ブロックにフレームＩＤ及びブロックＩＤを付与して前記情報受信装置に送信し、
   前記情報受信装置は、前記情報送信装置から受信した前記ブロックを前記フレームＩＤ及びブロックＩＤに基づいて集約し、前記フレームを合成することを特徴とする請求項１または請求項２に記載の情報同期システム。
4. 前記同期情報は時刻情報を含むことを特徴とする請求項１から請求項３までのいずれかに記載の情報同期システム。
5. 少なくとも１つの情報受信装置にネットワークを介して接続され、前記情報受信装置にコンテンツ情報を送信する情報送信装置であって、
   前記各コンテンツ情報を構成する複数のフレームのうちそれぞれ少なくとも１つのフレームのデータ領域を埋込領域と非埋込領域とに分割するフレーム領域分割手段と、
   前記埋込領域に同期情報を電子透かしとして埋め込む同期情報埋込手段と、
   前記埋込領域を圧縮不可に設定し、前記非埋込領域を圧縮可に設定する圧縮設定手段と、
   前記情報受信装置に前記複数のフレームを送信する送信手段と、
   を具備することを特徴とする情報送信装置。
6. コンテンツ情報を送信する少なくとも１つの情報送信装置にネットワークを介して接続され、前記情報送信装置から異なる複数のコンテンツ情報を受信する情報受信装置であって、
   前記情報送信装置から前記コンテンツ情報を構成する複数のフレームを受信する受信手段と、
   前記フレームのデータ領域のうち圧縮領域を伸張して前記非埋込領域を復元する伸張手段と、
   前記フレームのデータ領域のうち非圧縮領域である前記埋込領域から前記同期情報を抽出する同期情報抽出手段と、
   前記同期情報に基づいて、前記異なる複数のコンテンツ情報間のタイミングを調整する同期処理手段と、
   を具備することを特徴とする情報受信装置。
7. ネットワークを介して送受信される異なる複数のコンテンツ情報を同期させるために、
   送信側のコンピュータを、
   前記各コンテンツ情報を構成する複数のフレームのうちそれぞれ少なくとも１つのフレームのデータ領域を埋込領域と非埋込領域とに分割するフレーム領域分割手段と、
   前記埋込領域に同期情報を電子透かしとして埋め込む同期情報埋込手段と、
   前記埋込領域を圧縮不可に設定し、前記非埋込領域を圧縮可に設定する圧縮設定手段と、
   前記複数のフレームを送信する送信手段、として機能させ、
   受信側のコンピュータを、
   前記複数のフレームを受信する受信手段と、
   前記フレームのデータ領域のうち圧縮領域を伸張して前記非埋込領域を復元する伸張手段と、
   前記フレームのデータ領域のうち非圧縮領域である前記埋込領域から前記同期情報を抽出する同期情報抽出手段と、
   前記同期情報に基づいて、前記異なる複数のコンテンツ情報間のタイミングを調整する同期処理手段、として機能させる情報同期プログラム。
8. コンピュータを、少なくとも１つの情報受信装置にネットワークを介して接続され前記情報受信装置にコンテンツ情報を送信する情報送信装置として機能させるプログラムであって、
   前記各コンテンツ情報を構成する複数のフレームのうちそれぞれ少なくとも１つのフレームのデータ領域を埋込領域と非埋込領域とに分割するフレーム領域分割手段と、
   前記埋込領域に同期情報を電子透かしとして埋め込む同期情報埋込手段と、
   前記埋込領域を圧縮不可に設定し、前記非埋込領域を圧縮可に設定する圧縮設定手段と、
   前記情報受信装置に前記コンテンツ情報を構成する複数のフレームを送信する送信手段、
   として機能させる情報送信プログラム。
9. コンピュータを、コンテンツ情報を送信する少なくとも１つの情報送信装置にネットワークを介して接続され前記情報送信装置から異なる複数のコンテンツ情報を受信する情報受信装置として機能させるプログラムであって、
   前記情報送信装置から前記コンテンツ情報を構成する複数のフレームを受信する受信手段と、
   前記フレームのデータ領域のうち圧縮領域を伸張して前記非埋込領域を復元する伸張手段と、
   前記フレームのデータ領域のうち非圧縮領域である前記埋込領域から前記同期情報を抽出する同期情報抽出手段と、
   前記同期情報に基づいて、前記異なる複数のコンテンツ情報間のタイミングを調整する同期処理手段、
   として機能させる情報受信プログラム。

Images