JP2005317151A - マルチメディアデータ同期再生方法、マルチメディアデータ同期再生装置およびマルチメディアデータ同期再生プログラム - Google Patents

Abstract

【課題】本発明は、後刻での解析を容易とする新たなマルチメディアデータ同期再生技術の提供を目的とする。
【解決手段】データ収集装置に対して、同一のタイミングでマルチメディアデータの状態変化を引き起こす信号を出力し、それに応答して出力される各マルチメディアデータに付与されているデータ収集時刻情報を取得して、それらのデータ収集時刻情報に従って、マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出する。そして、この時間ずれを検出すると、時間同期再生の対象となるマルチメディアデータに付与されているデータ収集時刻情報を取得して、この検出した時間ずれとその取得したデータ収集時刻情報とに基づいて、時刻基準となるマルチメディアデータに時間同期させる形で、各マルチメディアデータを時間同期させて再生する。
【選択図】図２

Description

本発明は、映像・音声を含むマルチメディアデータや各種信号データが当該データの生成時刻と結びつけて蓄積された情報蓄積サーバと連携して、個別のデータ収集装置で収集された当該時系列データ集合間の時間同期をとりながら再生することにより、後刻での事後同期解析を可能とするマルチメディアデータ同期再生方法およびその装置と、そのマルチメディアデータ同期再生方法の実現に用いられるマルチメディアデータ同期再生プログラムとに関する。

従来、各種信号データを収集する場合、映像であればカメラやビデオレコーダやハードディスクやＤＶＤレコーダ等、音声であればマイクやＩＣレコーダ等、アナログ信号データであればパーソナルコンピュータ（以降、ＰＣと記す）でのＡ／Ｄボード等を介したデータ収集装置といったような個々のデータに対応した専用の収集手段（データ収集装置）が用いられている。

また、下記の特許文献１に、データ収集をするための「マルチメディア・データ蓄積・再生装置」が開示されている。この装置では、個々の収集データをデジタルデータとしてＰＣ上に収集し、各収集周期のデータに対して、単一の取得時刻生成装置によって得られる時刻情報を付与することで、各々のデータを時間同期させている。
特開平１０−４９２０９号公報

一般的に各種信号間で時間同期をとるためには、使用する複数のデータ収集手段における収集周期の違いや、収集開始時のデータ収集手段の初期化遅延等を考慮しなければならない。

しかしながら、上記従来の専用の収集手段を用いるデータ収集の方法では、それぞれのデータ間で時間同期をとることは困難である。

また、特許文献１に記載されている装置の場合には、個々のデータには、単一の取得時刻生成装置によって時刻情報が付与される。したがって、データ収集が開始されてから実際にデータが計測されるまでの遅延が各データ計測手段で異なる場合、データを計測した後に時刻情報合成装置にデータが転送されるまでの時間遅延が各データで異なるので、単一の取得時刻生成装置によって付与される時刻情報ではデータを時間同期させることは困難である。

本発明は、このような技術的課題を解決するためになされたものであって、それぞれ個別のデータ収集装置で収集されたマルチメディアデータ（各種信号データを含む）を、データグループの情報を用いて相互に関連付けて時間同期をとりながら再生・表示することにより、後刻での解析を容易とする新たなマルチメディアデータ同期再生技術の提供を目的とする。

〔１〕第１の構成
上記の目的を達成するために、本発明のマルチメディアデータ同期再生装置は、複数のデータ収集装置から情報蓄積装置に蓄積されたデータ収集時刻情報の付与されているマルチメディアデータ（各種信号データを含む）を同期再生する処理を行うものであって、この処理を実現するために、（イ）マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出する検出手段と、（ロ）マルチメディアデータに付与されているデータ収集時刻情報を取得する取得手段と、（ハ）取得手段の取得したデータ収集時刻情報と検出手段の検出した時間ずれとに基づいて、時刻基準となるマルチメディアデータに時間同期させる形で、マルチメディアデータを時間同期させて再生する再生手段と、（ニ）情報蓄積装置に蓄積されたマルチメディアデータに基づいて所定の加工データ（例えば、映像コンテンツに対する視聴者の注目度合いなどような履歴の活用データとなるもの）の時系列データを作成して、それを時間同期再生の対象となるマルチメディアデータの１つとして情報蓄積装置に保存する登録手段と、（ホ）情報蓄積装置から検索条件に合致するマルチメディアデータを検索することで、時間同期再生の対象となるマルチメディアデータを検索する検索手段とを備えるように構成する。

ここで、情報蓄積装置は、マルチメディアデータの蓄積の際に付与された一意のデータグループ名を用いて、時間同期再生の対象となるマルチメディアデータの集合を相互に関連付けて蓄積することがあり、これを受けて、上記の各手段は、同一のデータグループ名を持つマルチメディアデータを処理対象として処理を行うことがある。

この構成を採るときに、検出手段は、データ収集装置に対して、同一のタイミングでマルチメディアデータの状態変化を引き起こす信号を出力し、それに応答して出力される各マルチメディアデータに付与されているデータ収集時刻情報を取得して、それらのデータ収集時刻情報に従って、マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出することがある。

また、再生手段は、マルチメディアデータの再生速度を可変とする形態（早送り再生やスロー再生など）で、マルチメディアデータを時間同期させて再生することがある。

以上の各処理手段が動作することで実現される本発明のマルチメディアデータ同期再生方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２〕第２の構成
また、上記の目的を達成するために、本発明のマルチメディアデータ同期再生装置は、複数のデータ収集装置から情報蓄積装置に蓄積されたデータ収集時刻情報の付与されているマルチメディアデータ（各種信号データを含む）を同期再生する処理を行うものであって、この処理を実現するために、（イ）マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出する検出手段と、（ロ）マルチメディアデータのいずれかに状態変化が発生する場合に、その状態変化の発生したマルチメディアデータに付与されている状態変化発生時点のデータ収集時刻情報を取得する取得手段と、（ハ）取得手段の取得したデータ収集時刻情報と検出手段の検出した時間ずれとに基づいて、状態変化発生時点における他のマルチメディアデータに付与されているデータ収集時刻情報を特定する特定手段と、（ニ）取得手段の取得したデータ収集時刻情報と特定手段の特定したデータ収集時刻情報とに基づいて、状態変化発生時点における各マルチメディアデータを時間同期させて再生する再生手段と、（ホ）情報蓄積装置に蓄積されたマルチメディアデータに基づいて所定の加工データ（例えば、映像コンテンツに対する視聴者の注目度合いなどような履歴の活用データとなるもの）の時系列データを作成して、それを時間同期再生の対象となるマルチメディアデータの１つとして情報蓄積装置に保存する登録手段と、（ヘ）情報蓄積装置から検索条件に合致するマルチメディアデータを検索することで、時間同期再生の対象となるマルチメディアデータを検索する検索手段とを備えるように構成する。

ここで、情報蓄積装置は、マルチメディアデータの蓄積の際に付与された一意のデータグループ名を用いて、時間同期再生の対象となるマルチメディアデータの集合を相互に関連付けて蓄積することがあり、これを受けて、上記の各手段は、同一のデータグループ名を持つマルチメディアデータを処理対象として処理を行うことがある。

この構成を採るときに、検出手段は、データ収集装置に対して、同一のタイミングでマルチメディアデータの状態変化を引き起こす信号を出力し、それに応答して出力される各マルチメディアデータに付与されているデータ収集時刻情報を取得して、それらのデータ収集時刻情報に従って、マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出することがある。

また、再生手段は、マルチメディアデータの再生速度を可変とする形態（早送り再生やスロー再生など）で、マルチメディアデータを時間同期させて再生することがある。

以上の各処理手段が動作することで実現される本発明のマルチメディアデータ同期再生方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔３〕本発明の処理
このように構成される本発明のマルチメディアデータ同期再生装置では、情報蓄積装置に蓄積されるマルチメディアデータに付与されているデータグループ名に従い、同一データグループ名を持つマルチメディアデータを時間同期再生の対象とする。

データグループとは、情報蓄積装置内において、個々のデータ収集装置を用いて蓄積されたマルチメディアデータ、各種信号データの集合を管理する単位である。生成時刻情報つきの各収集データに対して、それぞれ一意のデータグループ名が付与されて情報蓄積装置に蓄積されており、本発明のマルチメディアデータ同期再生装置は、そのデータグループ名を用いて、時間同期させて再生しなければならない時系列データの集合を特定し、情報蓄積装置から表示に必要な時系列データをすべて取得することになる。

本発明のマルチメディアデータ同期再生装置は、このようにして時間同期再生の対象となるマルチメディアデータを取得することになるが、これらのマルチメディアデータの時間軸が完全に一致していないことを考慮して、例えば、データ収集装置に対して、同一のタイミングでマルチメディアデータの状態変化を引き起こす信号を出力し、それに応答して出力される各マルチメディアデータに付与されているデータ収集時刻情報を取得して、それらのデータ収集時刻情報に従って、マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出する。

そして、本発明のマルチメディアデータ同期再生装置は、この時間ずれを検出すると、（ｉ）時間同期再生の対象となるマルチメディアデータに付与されているデータ収集時刻情報を取得して、この検出した時間ずれとその取得したデータ収集時刻情報とに基づいて、時刻基準となるマルチメディアデータに時間同期させる形で、各マルチメディアデータを時間同期させて再生したり、（ii）マルチメディアデータのいずれかに状態変化が発生する場合に、その状態変化の発生したマルチメディアデータに付与されている状態変化発生時点のデータ収集時刻情報を取得するとともに、この検出した時間ずれとその取得したデータ収集時刻情報とに基づいて、状態変化発生時点における他のマルチメディアデータに付与されているデータ収集時刻情報を特定して、それらのデータ収集時刻情報に基づいて、状態変化発生時点における各マルチメディアデータを時間同期させて再生する。

以上のように、本発明では、それぞれ個別のデータ収集装置で収集されたマルチメディアデータ（各種信号データを含む）をデータグループ名を用いて相互に関連付けて蓄積するようにして、データグループ名をキーとして時間同期再生の対象となるマルチメディアデータを相互にバインドし、かつ、それらを時間同期させて再生するという構成を採っており、これにより、後刻での事後解析が容易となることで、作業効率を大幅に向上できるようになるという効果が期待できる。

以下に、添付の図面を用いて本発明の構造と動作を説明する。なお、以下の説明は本発明の理解を助けるものであって、本発明の特許請求範囲を制限するものではない。

図１に、本発明を具備するマルチメディアデータ同期再生システムのシステム構成の一例を図示する。

この図において、１はデジタル信号情報を出力するセンシング装置、２はアナログ信号情報を出力するセンシング装置、３はＰＣなどの端末、４はセンシング装置２が出力するアナログ情報をＡ／Ｄ変換し収集するＡ／Ｄ変換装置（ＰＣや専用ハードなどで実装される）、６は時刻配信装置、７は情報蓄積サーバ、９はクライアント、１０は収集データ（マルチメディアデータ）の時系列データを時間同期させながら再生する本発明により構成される同期再生装置である。また、５および８は各装置を相互に接続する通信網で、それらの実現手段は有線、無線を問わない。

なお、図１では、情報蓄積サーバ７と同期再生装置１０とが通信網８でネットワーク接続された２台装置構成となっているが、同一のハードウェア装置１台で実装してもかまわない。

ここで、本発明を実現すべく備えられる同期再生装置１０はコンピュータとプログラムとによっても実現できるものであり、このプログラムについては記録媒体に記録することで提供することも可能であるし、ネットワークを通じて提供することも可能である。

図２に、本発明を具備するマルチメディアデータ同期再生システムを構成する各装置の装置構成の一例を図示する。

この図に示すように、同期再生装置１０は、クライアント９からのデータ取得リクエストを受け付けるリクエスト受信部１００と、クライアント９からの検索リクエストを受け付ける検索部１０１と、データ取得リクエストや検索リクエストの指定するデータグループ名を識別するデータグループ識別部１０２と、収集データの信号変化を検出する信号変化検出部１０３と、収集するデータに信号変化を発生させる信号変化発生部１０４と、信号変化発生部１０４の発生させた信号変化を使って収集データに付与されている時刻情報の補正式を導出する時刻補正式導出部１０５と、時刻補正式導出部１０５の導出した時刻補正式に従って、収集データに付与されている時刻情報を補正する時刻情報補正部１０６と、情報蓄積サーバ７から同一データグループ名を持つ収集データ（映像やデータ）を取得して、それらをバインドするデータ取得・バインド部１０７と、データ取得・バインド部１０７の取得した映像を再生する映像再生部１０８と、データ取得・バインド部１０７の取得したデータからグラフを生成して表示するグラフ生成部１０９と、映像再生部１０８やグラフ生成部１０９の表示する表示コンポーネントを制御する表示コンポーネント制御部１１０とを備える。

クライアント９は、同期再生装置１０にデータ取得リクエストを送信するリクエスト送信部９０と、同期再生装置１０に検索リクエストを送信する検索条件入力部９１と、同期再生装置１０に再生速度を指示する再生速度入力部９２とを備える。

時刻配信装置６は、時刻配信部６０を備えて、例えばＮＴＰ（Network Time Protocol ）サーバとして実装される。ＮＴＰはインターネットで標準的に利用されている時刻情報プロトコルであり、インターネットに接続される各装置は、回線の速度や経路の負荷変化に対応した高精度な時刻情報を取得できるという特長を有する。したがって、既存のＮＴＰサーバを用いることで、容易に、後述するデータ収集部２０の時間軸とデータ収集部２１の時間軸との間の同期をとることができる。

図中に示す破線で囲った部分は、センシング装置１や端末３やＡ／Ｄ変換装置４のそれぞれが備える機能であり、２０，２１はデータ収集部、２２はデータ収集部２０に対応付けて備えられる収集時刻生成部、２３はデータ収集部２１に対応付けて備えられる収集時刻生成部、２４はデータ収集部２０に対応付けて備えられる時刻情報付与部、２５はデータ収集部２１に対応付けて備えられる時刻情報付与部、２６はデータ収集部２０に対応付けて備えられるデータグループ付与部、２７はデータ収集部２１に対応付けて備えられるデータグループ付与部である。

このデータ収集部２０，２１は、周期的または任意の時間にデータの収集を行う手段であり、センサ、カメラ、マイク、アナログ入出力ボード、Ａ／Ｄ変換ボード等がある。

収集時刻生成部２２，２３は、時刻配信装置６にアクセスして独立に時刻を刻みながら時刻情報を対応する時刻情報付与部２４，２５に転送する手段であり、例えば、センサコントローラやデータ収集を行うＰＣの内部クロック等の時刻を生成する処理モジュールとして実現される。

時刻情報付与部２４，２５は、データ収集部２０，２１によって収集されたデータに対して、収集時刻生成部２２，２３で生成された時刻情報を付与して、データグループ付与部２６，２７に送信する手段であり、例えば、センサコントローラやデータ収集を行うＰＣの処理モジュールとして実現される。

データグループ付与部２６，２７は、時刻情報が付与された上記の各収集データに対して同一のデータグループ名を付与して（データ収集の開始から終了までの一連の収集データに対して同一のデータグループ名を付与する）、情報蓄積サーバ７の備えるデータ受信部７０に送信する手段であり、ＰＣなどの処理モジュールとして実現される。

情報蓄積サーバ７は、データ受信部７０とデータ蓄積部７１とを備える。

このデータ受信部７０は、上記の各収集データを、時刻情報付与部２４，２５によって付与された時刻情報およびデータグループ付与部２６，２７によって付与されたデータグループの名称の情報とともにネットワーク経由で逐次受信する手段であり、ＰＣなどの処理モジュールとして実現される。

データ蓄積部７１は、データ受信部７０によって受信された各収集データ、時刻情報およびデータグループ名の情報を相互にバインドし、時系列順に逐次蓄積、格納していく手段であり、ハードディスクなどの磁気記憶装置およびＰＣなどの処理モジュールによって実装される。

次に、同期再生装置１０の備える信号変化検出部１０３、信号変化発生部１０４、時刻補正式導出部１０５および時刻情報補正部１０６について説明する。

同期再生装置１０の備える信号変化検出部１０３は、カメラワークが変わる映像カット点や音量レベルの急激な変化を自動的に検知し、データ蓄積部７１に蓄積されている時刻情報が付与されたデータから映像・音声信号データが変化した時刻を検出する手段であり、ＰＣの処理モジュールとして実現される。

ここで、映像カット点の検出に関しては、例えば、特許2839132 号公報に記載されているような映像カット点の検出方法を用いることもできるし、単純にフレーム間差分を計算し、閾値処理するような方法を用いてもよい。

同期再生装置１０の備える信号変化発生部１０４は、データ収集部２０，２１に対して、外部から強制的に同一のタイミングでもって、その出力信号に状態変化を起こさせる信号を与える手段であり、ＰＣの処理モジュールとして実現される。

同期再生装置１０の備える時刻補正式導出部１０５は、信号変化発生部１０４により発生したデータ収集部２０，２１の状態変化個所のデータの時刻情報を取得して（データ蓄積部７１から直接取得したり、信号変化検出部１０３を介して取得する）、それらの時刻情報に基づいて、データ収集部２０の時間軸とデータ収集部２１の時間軸とを合わせるための補正式を導出する手段であり、ＰＣの処理モジュールとして実現される。

同期再生装置１０の備える時刻情報補正部１０６は、信号変化検出部１０３により検出された時刻に基づき、時刻補正式導出部１０５の導出した時刻補正式を使って、各々のデータ収集部２０，２１で収集された映像・音声信号の変化時刻を一致させる補正処理を行う手段であり、ＰＣの処理モジュールとして実現される。

図３に、このように構成される本発明を具備するマルチメディアデータ同期再生システムの動作を示すシーケンスを図示する。

次に、このシーケンス図で実行する各ステップの処理について説明する。

（１）ステップ１０の処理
センシング装置１，２や端末３におけるデータ収集部２０，２１は、それぞれ一定の周期または任意のタイミングでもって各種信号をそれぞれ収集する。アナログ信号については、Ａ／Ｄ変換装置４によりデジタル化する。

（２）ステップ１１の処理
収集時刻生成部２２，２３は、生成した収集時刻を時刻情報付与部２４，２５にそれぞれ転送する。これを受けて、時刻情報付与部２４，２５は、データ収集部２０，２１により収集されたデータに対して、収集時刻生成部２２，２３から転送されてきた収集時刻情報を追加してデータグループ付与部２６，２７に送信する。そして、データグループ付与部２６，２７は、データ収集部２０，２１により収集されたデータ（収集時刻情報が付与されている）に対して同一のデータグループ名を付与し、それらをひとまとめにして情報蓄積サーバ７に送信する。

（３）ステップ１２の処理
情報蓄積サーバ７は、データグループ付与部２６，２７から送信されてくる上記の時系列データをデータ受信部７０で受信して、データ蓄積部７１に蓄積する。

図４に、データ蓄積部７１で蓄積するデータの記述形式の一例を示す。この図に示すデータ記述形式では、ＸＭＬ（eXtensible Markup Language）を利用して、データ収集時刻とデータの値との組、および当該データが属するデータグループ名を構造化している。例えば、データグループＤＧ１に属する時刻Ｔａ１のデータをＡ１１とした場合、＜time＞タグにはＴａ１、＜value ＞タグにはＡ１１がセットされる。

情報蓄積サーバ７は、同じデータグループに属する時系列データの集合を一つの単位として管理しており、このデータグループ名は一意である必要がある。映像コンテンツを蓄積する場合の例で説明するならば、データグループ名のフォーマットを、映像コンテンツのタイトルとその映像コンテンツの収集開始時刻（または再生開始時刻）とアンダーバー“＿”とを用いて、例えば以下のように規定する。

フォーマット：映像コンテンツのタイトル＿YYYY/MM/DD hh:mm:ss.iii JST
例えば、
作業現場040225＿2004/02/25 12:34:56.789 JST
いうようなデータグループ名を用いるのである。

なお、ユーザは、映像コンテンツのファイルを同期再生装置１０に登録する際に、その映像コンテンツのタイトル、ファイル名、ファイルの保存場所（同期再生装置１０側／クライアント９側）、その他の付加的情報を入力する。したがって、映像コンテンツの登録時に、映像コンテンツのタイトルとそのファイル名とがリンクされるので、データグループ名と映像コンテンツファイルとは一意に対応づけられることになる。

このようにデータグループ名を規定することで、同期再生装置１０は、データグループ名から時間同期させて表示しなければならない時系列データの集合を特定し、情報蓄積サーバ７から表示に必要な時系列データをすべて取得することが可能となる。

（４）ステップ１３の処理
同期再生装置１０は、情報蓄積サーバ７から、表示に必要な時系列データをすべて取得する。その取得したデータにカメラワークの変化や音量レベルの急激な変動が発生していると、同期再生装置１０の備える信号変化検出部１０３は、その変化点を検出して、データに付与されている時刻情報（時刻情報付与部２４，２５により付与されたデータ収集の時刻情報）から、その検出した変化点に対応付けられる信号変化時刻を検出する。

（５）ステップ１４の処理
同期再生装置１０の備える時刻情報補正部１０６は、信号変化検出部１０３で検出された信号変化時刻に基づいて、データ収集部２０の時間軸とデータ収集部２１の時間軸とを合わせるための補正を行う。

この補正に関しては、例えば、特開2000-10933に開示されている方法を用いることができるものである。具体的には、この補正を実現するために、同期再生装置１０の備える信号変化発生部１０４および時刻補正式導出部１０５が動作する。

すなわち、信号変化発生部１０４は、データ収集の合間あるいはデータ収集の最中に、データ収集部２０，２１に対して、外部から強制的に同一のタイミングでもって、その出力信号に状態変化を起こさせる信号を与える。

これを受けて、時刻補正式導出部１０５は、信号変化発生部１０４により発生したデータ収集部２０，２１の状態変化個所のデータに付与されている時刻情報を取得して、それらの時刻情報に基づいて、データ収集部２０の時間軸とデータ収集部２１の時間軸とを合わせるための時刻補正式を導出する。

例えば、図５に示すように、信号変化発生部１０４により発生したデータ収集部２０，２１の状態変化個所のデータに付与されている時刻情報として、Ｔ_1a，Ｔ_1b，Ｔ_2a，Ｔ_2bを取得したとすると、この４つの信号変化時刻から、データ収集部２０の時間軸Ｔ₁ とデータ収集部２１の時間軸Ｔ₂ との間には、図５中に示す直線的な対応関係に従って、
（Ｔ₁ −Ｔ_1a）／（Ｔ_1b−Ｔ_1a）＝（Ｔ₂ −Ｔ_2a）／（Ｔ_2b−Ｔ_2a）
という関係が成立するので、Ｔ₁ とＴ₂ との間には、
Ｔ₁ ＝〔（Ｔ_1b−Ｔ_1a）／（Ｔ_2b−Ｔ_2a）〕×Ｔ₂
＋（Ｔ_1aＴ_2b−Ｔ_1bＴ_2a）／（Ｔ_2b−Ｔ_2a）
Ｔ₂ ＝〔（Ｔ_2b−Ｔ_2a）／（Ｔ_1b−Ｔ_1a）〕×Ｔ₁
＋（Ｔ_1bＴ_2a−Ｔ_1aＴ_2b）／（Ｔ_1b−Ｔ_1a）
という関係が成立する。

このようにして、時刻補正式導出部１０５は、信号変化発生部１０４により発生したデータ収集部２０，２１の状態変化個所のデータに付与されている時刻情報を取得して、それらの時刻情報に基づいて、データ収集部２０の時間軸とデータ収集部２１の時間軸とを合わせるための時刻補正式を導出するのである。

この時刻補正式の導出を受けて、時刻情報補正部１０６は、信号変化検出部１０３で信号変化時刻が検出されると、この時刻補正式に代入することで、信号変化を検出した収集データ以外の収集データの時間同期する収集時刻を算出するのである。そして、その算出した収集時刻がディスプレイ上で同一の時間位置にプロットされることになることに合わせて、信号変化を検出した収集データ以外の収集データの時間軸が信号変化を検出した収集データの時間軸と一致することになるようにと、この時刻補正式を使って補正を行うのである。

なお、以上の説明においては、図２の構成においてデータ収集部２０，２１のみを記載しているが、この例に限定されることなく、データ収集部はＮ個あってもよく、それに合わせて、データ収集部ごとに収集時刻生成部および時刻情報付与部を設けた構成であればよい。

この場合、時刻補正式は、各収集データをそれぞれマスタとして選択して、そのマスタとなる収集データに付与されている時刻情報を基準にすると、それ以外の収集データに付与されている時刻情報はどのように表現されることになるのかという記述形式に従って導出されることになる。

次に、図６ないし図８に示す処理フローに従って、図２のように構成される本発明の同期再生装置１０の処理について説明する。

本発明の同期再生装置１０は、例えば時刻補正式の導出周期に到達すると、図６の処理フローに示すように、先ず最初に、ステップ２０で、データ収集部に対して、その出力信号に状態変化を起こさせる信号を与え、続くステップ２１で、データ収集部の状態変化個所のデータに付与されている時刻情報Ｔ_1a, Ｔ_2a, ・・・, Ｔ_naを取得する。

続いて、ステップ２２で、ある時間が経過するのを待って、その時間が経過すると、ステップ２３に進んで、データ収集部に対して、その出力信号に状態変化を起こさせる信号を与え、続くステップ２４で、データ収集部の状態変化個所のデータに付与されている時刻情報Ｔ_1b, Ｔ_2b, ・・・, Ｔ_nbを取得する。

続いて、ステップ２５で、それらの取得した時刻情報Ｔ_1a, Ｔ_2a, ・・・, Ｔ_na, Ｔ_1b, Ｔ_2b, ・・・, Ｔ_nbを使って、上述したような直線的な対応関係に従って、時刻補正式の係数を算出することで時刻補正式を導出する。

このようにして、本発明の同期再生装置１０は、例えば、時刻補正式の導出周期に到達すると、データ収集部の時間軸を合わせるための時刻補正式を導出するように処理するのである。

一方、本発明の同期再生装置１０は、データ蓄積部７１から読み込んだ収集データに信号変化が発生したことを検出すると、図７の処理フローに示すように、先ず最初に、ステップ３０で、信号変化の発生した収集データに付与されている時刻情報Ｔを取り出す。

続いて、ステップ３１で、時刻補正式
Ｔ_i ＝Ａ_i ×Ｔ＋Ｂ_i
に従って、時間同期再生の対象となる他の収集データの対応する時刻情報Ｔ_i を特定する。

続いて、ステップ３２で、その特定した時刻情報Ｔ_i に従って、時間同期再生の対象となる他の収集データの時系列データを読み出す。

続いて、ステップ３３で、ステップ３１で用いた時刻補正式の逆変換で表される時刻補正式に従って、その読み出した収集データの時系列データに付与されている時刻情報を補正する。

続いて、ステップ３４で、その補正した時刻情報に従って、信号変化の発生した収集データの時系列データと時間同期をとる形で、その読み出した収集データの時系列データを再生する。

このようにして、本発明の同期再生装置１０は、収集データに信号変化が発生したことを検出すると、時間軸を正確に合わせつつ、その信号変化の発生した収集データの時系列データの再生と時間同期をとる形で、同一データグループに属する他の収集データの時系列データを再生するように処理するのである。

一方、本発明の同期再生装置１０は、クライアント９を操作するユーザから検索条件を指定して検索要求が発行されると、図８の処理フローに示すように、先ず最初に、ステップ４０で、検索要求で指定されるデータグループ名と、その他の検索条件（再生対象となる時刻区間や、再生対象となる収集データやその組み合わせなど）とを抽出する。

続いて、ステップ４１で、情報蓄積サーバ９から、その抽出したデータグループ名の指すデータグループに属し、かつ、その抽出した検索条件に合致する収集データを読み出す。

続いて、ステップ４２で、時刻の基準となる収集データを選択する。例えば、後述するプライマリ映像表示コンポーネント２０１に表示する映像を、時刻の基準となる収集データとして選択するのである。

続いて、ステップ４３で、あらかじめ導出してある時刻補正式に従って、時刻基準となる収集データ以外の収集データに付与されている時刻情報を、時刻基準となる収集データに付与されている時刻情報と一致することになるようにと補正する。

続いて、その補正した時刻情報に従って、検索要求のある収集データの時系列データを再生する。

このようにして、本発明の同期再生装置１０は、ユーザから検索条件を指定して検索要求が発行されると、時間軸を正確に合わせつつ、検索要求に合致するいずれかの収集データの時系列データの再生と時間同期をとる形で、それ以外の収集データの時系列データを再生するように処理するのである。

図９に、クライアント９に表示される画面レイアウトの一例を図示する。

この図において、２０１はエンコードされたデジタル映像ファイルまたはカメラなどにより撮影された映像を表示するプライマリ映像表示コンポーネント、２０２は同様にエンコードされたデジタル映像ファイルまたはカメラなどにより撮影された映像を表示する非プライマリ映像表示コンポーネント、２０３、２０４、２０５は主として折れ線グラフを表示するグラフ表示コンポーネントである。

プライマリ映像表示コンポーネント２０１には、「再生」ボタン／「一時停止」ボタン２０６、プログレスバー２０７が用意されている。

映像・音声以外の時系列データは、横軸を時間とする折れ線グラフで表示する。横軸の時間の目盛りは、プライマリ映像の再生開始時刻を０とする経過時間で表示する。検索条件に合致するデータグループに複数チャネルのリアクション情報が存在する場合は、同一ビューワ内に表示される。本折れ線グラフは縦軸にセンシング情報の値の目盛りを表示する。また、縦軸、横軸のズーム、スクロール機能も実装されている。

以下に述べる時刻同期手段により、これらのコンポーネントが同期して再生・表示される。なお、同期表示するマルチメディア情報には必ず映像が１つ以上含まれているものとし、最初の映像ファイルがプライマリ映像表示コンポーネント２０１に表示される。それ以外の映像ファイルは非プライマリ映像表示コンポーネント２０２に表示される。

時刻同期手段は、時刻を変化させるようなイベント（再生ボタンやプログレスバーの操作など）をプライマリ映像表示コンポーネント２０１からその他の表示コンポーネント（非プライマリ映像表示コンポーネント２０２、グラフ表示コンポーネント２０３〜２０５）に通知する。

その際、プライマリ映像表示コンポーネント２０１で再生中映像のその時点における時刻の情報を受信側の表示コンポーネントに渡す。そして、既定したイベントリスナーインタフェースにしたがって各コンポーネントを作成することで、プライマリ映像表示コンポーネント２０１からのイベントを受け取る表示コンポーネントを作成することが可能となる。

このような処理を行う時刻同期手段を用いれば、プライマリ映像表示コンポーネント２０１で蓄積映像を再生したり、プログレスバーを操作したりすると、時刻の情報が各表示コンポーネントに伝達されるので、各表示コンポーネントのデータを時間同期させて表示することが可能となる。すなわち、プライマリ映像の再生と同期しながら各表示コンポーネントのデータが同期再生されることになる。

グラフ表示コンポーネント２０３〜２０５では、プライマリ映像表示コンポーネント２０１から配信される時刻の位置にインジケータが表示され、プライマリ映像表示コンポーネント２０１から配信される時刻に該当するデータの値がその右上に表示されることになる。

次に、本発明の第１の実施例について説明する。

工場、オフィス、住宅など人間が活動する種々の環境において、時々刻々と発生するマルチメディアデータ、各種信号データを逐次蓄積し、履歴情報として管理することは有用である。

第１の実施例として、本発明を工場やロボットを用いて何らかの作業を行う製造現場から収集される情報を蓄積するフィールド情報蓄積管理システムに応用した例について説明する。

図１０に、製造機器３０１やロボット３０２が稼動している工場内の作業現場の概略図を図示する。

（１）ステップ１
本作業現場では、センサ群３０３によって時系列的に製造機器３０１やロボット３０２の稼動情報などが取得されている。また、カメラ３０４やマイク３０５によって、当該製造機器３０１の稼動情報や当該ロボット３０２が作業用ワーク３０６の表面を倣っている状況を撮影し、音情報を記録する。

センサ群３０３、カメラ３０４、マイク３０５におけるデータ収集部は、それぞれ一定の周期で、センシングにより得られた作業ワークの３次元形状、作業現場の映像、作業現場の音情報をそれぞれ収集する。次に、センサコントローラ３０８やＡ／Ｄ変換装置３０７で、アナログ信号情報はＡ／Ｄ変換によりデジタル化される。

一方、ロボット３０２から収集される情報としては、各関節角度の情報やロボットコントローラ３０９の内部動作情報などがある。

（２）ステップ２
Ａ／Ｄ変換装置３０７、センサコントローラ３０８、ロボットコントローラ３０９における時刻情報付与部は、時刻配信装置６との通信により、随時当該装置の時刻合わせを行うと同時に、当該データに収集時刻情報を追加してデータグループ付与部に送信する。

そして、データグループ付与部は、収集された各データおよび収集時刻情報にデータグループ名を付与し、それらをひとまとめにしてＸＭＬベースの記述形式に変換する処理を行い、情報蓄積サーバ７に送信する。

（３）ステップ３
情報蓄積サーバ７におけるデータ受信部７０は、データグループ付与部から送信された上記の時系列データを受信し、データ蓄積部７１で蓄積する。

（４）ステップ４
製造機器３０１の異常な動作音やロボット３０２の手先が何らかの障害物に接触したときの衝突音など、音量レベルの急激な変動が発生すると、同期再生装置１０における信号変化検出部１０３が当該音量変化を検知し、情報蓄積サーバ７のデータ蓄積部７１に格納されている収集されたデータの信号変化時刻の情報を取り出す。

（５）ステップ５
同期再生装置１０における時刻情報補正部１０６は、信号変化検出部１０３で検出された上記信号変化時刻に基づいて、収集された各データの変化時刻を一致させる補正処理を行う。

以上のステップにより、例えば、センサ群３０３、カメラ３０４を用いて蓄積された作業現場撮影映像４０１（図１１に示すもの）、センサ群３０３の各種信号データを時間同期させて再生することが可能となる。

ところで、本フィールド情報蓄積管理システムに、情報蓄積サーバ７に蓄積された情報について、一定周期間隔であらかじめ設定した警報条件情報と比較を行い、当該条件に合致した場合にはあらかじめ設定した警報時処理が起動されるような警報通知機能を実装することもできる。

ここでは、ロボット３０２が作業用ワーク３０６の表面を倣っている途中で当該作業用ワーク３０６に接触したため、ロボットに装着されたショックセンサがその接触を感知し、ロボット３０２が緊急停止した緊急事態を想定する。

この場合、警報時処理として、クライアント９が同期再生装置１０を介して情報蓄積サーバ７に映像取得リクエストを送信し、接触が発生した時間帯の映像を取得する。同時に、事前に設定されたメールアドレスを使って、例えば、現場の製造機器の運用担当者３１０、遠隔にいる本社管理部門担当者、製造機器ベンダーのサポートセンタに警報通知メールが送信される。

警報通知メールにより、専門知識をもつ本社の管理部門担当者は障害発生を知る。管理部門担当者は、自席端末のＷｅｂブラウザを使って、同期再生装置１０が提供するＷｅｂサービスにログインし、障害が発生した前後の映像・音・センシング情報を閲覧しながら、障害原因の把握に努める。

図１１に、このときのフィールド情報蓄積管理システムの表示画面の一例を図示する。

この図では、作業現場のカメラ３０４で撮影された作業現場撮影映像４０１と、ショックセンサ出力値を示すグラフ表示コンポーネント４０３とが同期表示されている例を示している。特に非プライマリ映像４０２が蓄積されていなければ、当該領域には何も表示されない。４０４のインジケータ（スライダ）は、プライマリ映像の収集開始時刻を０とする経過時間に相当する位置をさしている。

これと同時に、管理部門担当者は、例えば、市販ＴＶ会議システムの双方向映像音声通信機能を利用し、現場に急行した機器運用担当者３１０とコミュニケーションを図りつつ原因究明と復旧作業を遠隔から支援する。その結果、製造現場での情報の共有・活用を実現し、障害等を迅速に把握し、専門家のサポートを受けながら、早急な障害復旧が可能となる。

第２の実施例として、本発明を視聴映像に対する注目度合い（人がどの程度集中して視聴していたかの程度を示す値）を推定・解析するシステムに応用した例について説明する。

この視聴映像の注目度合い推定・解析システムの目的は、テレビ番組や映像コンテンツの制作事業者に対して、制作番組や制作コンテンツに対する一般視聴者のリアクションに基づく注目度合いや心的状態に関するデータ、いいかえれば当該映像がどのように見られているかという視聴質データをフィードバックすることにより、今後制作されるコンテンツの質的向上を図ることにある。

本実施例を説明する前に、以下の通り用語を定義する。
（ｉ）映像コンテンツ
後述するリアクション情報、リアクション映像、視聴メタ情報を取得するために被験者に視聴させる映像。
（ii）映像メタ情報
タイトル、ジャンルなどの映像コンテンツに関する固有の情報。
（iii)リアクション情報
視線位置情報、瞬目情報（まばたきの情報）、心拍数など、カメラやセンサを用いて映像コンテンツ視聴時に視聴者から収集される情報の総称。
（iv）リアクション映像
映像コンテンツ視聴時の視聴者を撮影した映像。
（ｖ）視聴メタ情報
映像コンテンツ視聴時の視聴者の心的状態（感情、気分）など、映像コンテンツのシーンまたは当該映像全体に対応して追加される視聴情報。

図１２に、視聴映像の注目度合い推定・解析システムの代表的なシステム構成の一例を図示する。ここでの注目度合いとは、実際に人がどの程度集中して映像コンテンツをみているかという定量的な指標である。本推定・解析システムでは、例えば、視線の移動パターンや瞳孔径の変化、瞬目の頻度や間隔、心拍数などのセンシング情報を統合して注目度合いを推定する。

（１）ステップ１
本推定・解析システムでは、視聴者５０１のリクエストに対して、映像再生兼視線計測装置５０２が同期再生装置１０に蓄積された映像コンテンツファイルを取得、再生し、映像表示装置５０３で表示する。

赤外線照明部を備えた赤外線カメラ５０４および映像再生兼視線計測装置５０２は、当該映像コンテンツ視聴時における視聴者５０１の右眼あるいは左眼付近の画像を逐次キャプチャし、処理を行い、映像表示装置５０３の画面上の視線位置および瞳孔径を自動計測する。

市販のＤＶカメラ５０５および瞬目計測装置５０６は、当該映像コンテンツ視聴時における視聴者５０１の両眼付近の画像を逐次キャプチャし、処理を行い、瞬きの頻度や、瞬きから次の瞬きまでの時間間隔などの情報を自動計測する。

市販の心拍計５０７は、視聴者５０１の心拍数を一定の周期でセンシングし、一定時間センシングデータを心拍計５０７の内部に蓄積する。

このように、映像再生兼視線計測装置５０２、瞬目計測装置５０６、心拍計５０７におけるデータ収集部は、それぞれ一定の周期で、視線の移動パターンや瞳孔径の変化、瞬目の頻度や時間間隔、心拍数などのセンシング情報をそれぞれ取得する。このとき、心拍計５０７は、一定の時間間隔で収集、蓄積した視聴者５０１の心拍数データを映像再生兼視線計測装置５０２に送信する。

（２）ステップ２
映像再生兼視線計測装置５０２、瞬目計測装置５０６における時刻情報付与部は、時刻配信装置６との通信により、随時当該装置の時刻合わせを行うと同時に、当該データの収集時刻情報を追加してデータグループ付与部に送信する。

そして、データグループ付与部は、収集された各データおよび収集時刻情報にデータグループ名を付与し、それらをひとまとめにしてＸＭＬベースの記述形式に変換する処理を行い、情報蓄積サーバ７に送信する。

（３）ステップ３
情報蓄積サーバ７におけるデータ受信部７０は、データグループ付与部から送信された上記の時系列データを受信し、データ蓄積部７１で蓄積する。

（４）ステップ４
視聴者５０１が視聴している映像コンテンツにおいて、当該シーンが大きく変化する映像カット点があると、同期再生装置１０における信号変化検出部１０３が当該カット点を検知し、その一部をランダムに選択して、情報蓄積サーバ７のデータ蓄積部７１に格納されている収集されたデータの信号変化時刻の情報を取り出す。

（５）ステップ５
同期再生装置１０における時刻情報補正部１０６は、信号変化検出部１０３で検出された上記信号変化時刻に基づいて、収集された各データの変化時刻を一致させる補正処理を行う。

以上のステップにより、例えば、蓄積された視聴映像コンテンツ６０１（図１３に示すもの）、ＤＶカメラ５０５によって撮影・蓄積された視聴者５０１のリアクション映像６０２（図１３に示すもの）、映像再生兼視線計測装置５０２によって計測・蓄積された視聴者５０１の視線位置および瞳孔径の情報、瞬目計測装置５０６によって計測・蓄積された瞬目の頻度や時間間隔の情報、心拍計５０７によって計測・蓄積された心拍数の情報を、すべて時間同期させて再生することが可能となる。

図１３に、この視聴映像の注目度合い推定・解析システムの表示画面の一例を図示する。図中の６０３は視聴コンテンツに対する注目度合いの遷移を表した折れ線グラフである。

この図に示す画面では、視聴コンテンツ映像６０１と、視聴者５０１のリアクション映像６０２と、視聴コンテンツに対する注目度合いの折れ線グラフ６０３と、視聴者５０１の視線位置（視聴コンテンツ映像の再生画面におけるｘ座標とｙ座標）の折れ線６０４と、瞳孔径の折れ線グラフ６０５と、映像のカット点を示す折れ線グラフ６０６との間の時間同期がとれていることがポイントである（図中に示す６０７は映像のカット点に対応したインジケータを示している）。

すなわち、プライマリ映像表示コンポーネント６０１のプログレスバーを動かすことにより、各折れ線グラフ視聴者が当該映像コンテンツのどのシーンを集中して見ていたのかを、当該映像コンテンツと見比べながら一目で把握できる点が本発明の優れた特長である。

また、情報蓄積サーバ７に蓄積されたリアクション情報から推定した注目度合いという加工情報の時系列データについても、情報蓄積サーバ７に蓄積するようにしている。そうすることによって、本発明によれば、注目度合いなどのオンタイムでは解析不可能な加工データも含めて、後刻に、時間同期再生による事後分析が可能となる。

なお、以上の実施形態例では、データ間の時間同期を自動的に補正する例について説明したが、プライマリ映像表示コンポーネント６０１で再生される映像コンテンツと、非プライマリ映像表示コンポーネント６０２で再生される視聴者個人のリアクション映像との間の時間軸合わせについて、両者の時間ずれをオフセットとして、非プライマリ映像の再生開始時刻として手動設定することにより、映像コンテンツとリアクション映像との時間同期を補正することも可能である。

本実施例で説明したように、本発明を視聴映像の注目度推定システムとして構成した場合には、本発明の時間同期再生機能によって、付与された時刻情報を検索キーとして、いつでも所望のシーン別や視聴者別に視聴者リアクションを解析することができる。さらに、ハードディスクやＤＶＤ記録メディアなどの記録媒体に録画されたテレビ番組であっても、映像コンテンツ視聴開始時刻と映像コンテンツ先頭からの再生時間とに基づいて時間同期がとれる。

したがって、オンタイムでは解析不可能な加工情報に対しても、本発明によれば事後同期可能な手段が確保されて、着目映像コンテンツに対する視聴者の様々なリアクションを後刻閲覧、解析することが可能となる。

図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではなく、特許請求の範囲内で種々の変更・応用が可能である。

本発明を具備するマルチメディアデータ同期再生システムのシステム構成の一例を示す図である。 本発明を具備するマルチメディアデータ同期再生システムを構成する各装置の装置構成の一例を示す図である。 本発明を具備するマルチメディアデータ同期再生システムの動作を示すシーケンス図である。 データ蓄積部で蓄積するデータの記述形式の一例を示す図である。 時刻補正式の導出の説明図である。 本発明の同期再生装置の実行する処理フローである。 本発明の同期再生装置の実行する処理フローである。 本発明の同期再生装置の実行する処理フローである。 クライアントに表示される画面レイアウトの一例を示す図である。 工場内の作業現場の概略を示す図である。 フィールド情報蓄積管理システムの表示画面の一例を示す図である。 視聴映像の注目度合い推定・解析システムのシステム構成の一例を示す図である。 視聴映像の注目度合い推定・解析システムの表示画面の一例を示す図である。

符号の説明

１ センシング装置
２ センシング装置
３ 端末
４ Ａ／Ｄ変換装置
５ 通信網
６ 時刻配信装置
７ 情報蓄積サーバ
８ 通信網
９ クライアント
１０ 同期再生装置
１００ リクエスト受信部
１０１ 検索部
１０２ データグループ識別部
１０３ 信号変化検出部
１０４ 信号変化発生部
１０５ 時刻補正式導出部
１０６ 時刻情報補正部
１０７ データ取得・バインド部
１０８ 映像再生部
１０９ グラフ生成部
１１０ 表示コンポーネント制御部

Claims (11)

1. 複数のデータ収集装置から情報蓄積装置に蓄積されたデータ収集時刻情報の付与されているマルチメディアデータを同期再生するマルチメディアデータ同期再生方法であって、
   マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出する過程と、
   マルチメディアデータに付与されているデータ収集時刻情報を取得する過程と、
   上記取得したデータ収集時刻情報と上記検出した時間ずれとに基づいて、時刻基準となるマルチメディアデータに時間同期させる形で、各マルチメディアデータを時間同期させて再生する過程とを備えることを、
   特徴とするマルチメディアデータ同期再生方法。
2. 複数のデータ収集装置から情報蓄積装置に蓄積されたデータ収集時刻情報の付与されているマルチメディアデータを同期再生するマルチメディアデータ同期再生方法であって、
   マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出する過程と、
   マルチメディアデータのいずれかに状態変化が発生する場合に、その状態変化の発生したマルチメディアデータに付与されている状態変化発生時点のデータ収集時刻情報を取得する過程と、
   上記取得したデータ収集時刻情報と上記検出した時間ずれとに基づいて、上記状態変化発生時点における他のマルチメディアデータに付与されているデータ収集時刻情報を特定する過程と、
   上記取得したデータ収集時刻情報と上記特定したデータ収集時刻情報とに基づいて、上記状態変化発生時点における各マルチメディアデータを時間同期させて再生する過程とを備えることを、
   特徴とするマルチメディアデータ同期再生方法。
3. 請求項１又は２に記載のマルチメディアデータ同期再生方法において、
   上記情報蓄積装置は、マルチメディアデータの蓄積の際に付与された一意のデータグループ名を用いて、時間同期再生の対象となるマルチメディアデータの集合を相互に関連付けて蓄積するように構成されることを、
   特徴とするマルチメディアデータ同期再生方法。
4. 請求項１ないし３のいずれか１項に記載のマルチメディアデータ同期再生方法において、
   上記情報蓄積装置に蓄積されたマルチメディアデータに基づいて所定の加工データの時系列データを作成して、それを時間同期再生の対象となるマルチメディアデータの１つとして上記情報蓄積装置に保存する過程を備えることを、
   特徴とするマルチメディアデータ同期再生方法。
5. 請求項１ないし４のいずれか１項に記載のマルチメディアデータ同期再生方法において、
   上記情報蓄積装置から検索条件に合致するマルチメディアデータを検索することで、時間同期再生の対象となるマルチメディアデータを検索する過程を備えることを、
   特徴とするマルチメディアデータ同期再生方法。
6. 請求項１ないし５のいずれか１項に記載のマルチメディアデータ同期再生方法において、
   上記検出する過程では、上記データ収集装置に対して、同一のタイミングでマルチメディアデータの状態変化を引き起こす信号を出力し、それに応答して出力される各マルチメディアデータに付与されているデータ収集時刻情報を取得して、それらのデータ収集時刻情報に従って、マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出することを、
   特徴とするマルチメディアデータ同期再生方法。
7. 請求項１ないし６のいずれか１項に記載のマルチメディアデータ同期再生方法において、
   上記再生する過程では、マルチメディアデータの再生速度を可変とする形態で、マルチメディアデータを時間同期させて再生することを、
   特徴とするマルチメディアデータ同期再生方法。
8. 複数のデータ収集装置から情報蓄積装置に蓄積されたデータ収集時刻情報の付与されているマルチメディアデータを同期再生するマルチメディアデータ同期再生装置であって、
   マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出する手段と、
   マルチメディアデータに付与されているデータ収集時刻情報を取得する手段と、
   上記取得したデータ収集時刻情報と上記検出した時間ずれとに基づいて、時刻基準となるマルチメディアデータに時間同期させる形で、各マルチメディアデータを時間同期させて再生する手段とを備えることを、
   特徴とするマルチメディアデータ同期再生装置。
9. 複数のデータ収集装置から情報蓄積装置に蓄積されたデータ収集時刻情報の付与されているマルチメディアデータを同期再生するマルチメディアデータ同期再生装置であって、
   マルチメディアデータに付与されているデータ収集時刻情報の間に生ずる時間ずれを検出する手段と、
   マルチメディアデータのいずれかに状態変化が発生する場合に、その状態変化の発生したマルチメディアデータに付与されている状態変化発生時点のデータ収集時刻情報を取得する手段と、
   上記取得したデータ収集時刻情報と上記検出した時間ずれとに基づいて、上記状態変化発生時点における他のマルチメディアデータに付与されているデータ収集時刻情報を特定する手段と、
   上記取得したデータ収集時刻情報と上記特定したデータ収集時刻情報とに基づいて、上記状態変化発生時点における各マルチメディアデータを時間同期させて再生する手段とを備えることを、
   特徴とするマルチメディアデータ同期再生装置。
10. 請求項８又は９に記載のマルチメディアデータ同期再生装置において、
    上記情報蓄積装置は、マルチメディアデータの蓄積の際に付与された一意のデータグループ名を用いて、時間同期再生の対象となるマルチメディアデータの集合を相互に関連付けて蓄積するように構成されることを、
    特徴とするマルチメディアデータ同期再生装置。
11. 請求項１ないし７のいずれか１項に記載のマルチメディアデータ同期再生方法の実現に用いられる処理をコンピュータに実行させるためのマルチメディアデータ同期再生プログラム。

Images