JP2009065563A - マルチメディアデータ再生装置及びプログラム - Google Patents

Abstract

【課題】 タイムスタンプ情報を参照して最適な位置からマルチメディアデータの再生が可能なマルチメディアデータ再生装置を提供する。
【解決手段】 少なくとも画像データと音声データとを含むマルチメディアデータと、複数のユーザの設定したマルチメディアデータの再生タイミングを示すタイムスタンプ情報とを記憶したデータベース１１１と、複数のユーザのタイムスタンプ情報に基づいて、マルチメディアデータの再生タイミングを算出する手段と、算出した再生タイミングに従って、マルチメディアデータを再生させる手段とを有するサーバ装置１１０とを有する構成としている。従って、タイムスタンプ情報を参照して最適な位置からマルチメディアデータの再生が可能となる。
【選択図】 図１

Description

本発明は、会議等で使用したスライド画像、ビデオデータ、画像データ、音声データ等のマルチメディアデータを時間軸上でバインドしてデータベースに保存し、ユーザからの選択指示によりマルチメディアデータを再生するマルチメディアデータ再生装置及びプログラムに関する。

昨今、通信技術、デバイス技術、コンピューティング技術等の発展に伴い、コンピュータ、カメラ、マイクおよびプロジェクタがオフィスなどに深く浸透してきている。これと相まって、オフィスや教室などで行われる会議、講演、プレゼンテーション、議論などは通信、ネットワークおよびコンピュータの支援を受けることができるようになってきている。
例えば、会議室にいわゆるネットワークコンピュータ、カメラ及びプロジェクタを配置することで、会議を支援することができる。また、近年、いわゆる会議記録システムを使用して、会議で使われた電子的なスライドなどのプレゼンテーション資料や、発言者を撮影したビデオデータおよび音声データをマルチメディアデータとしてバインドしてデータベースに蓄積し、いわゆるＷｅｂアプリケーションとしてネットワークを介して閲覧ないし提示することができるようになってきている。

会議の参加者は、発言者の重要な発言や、スクリーンに表示されたスライド画像のうち重要と思われるスライド等にタイムスタンプを付加する。会議参加者は、会議終了後にデータベースに蓄積したマルチメディアデータを再生する際に、タイムスタンプを付加した箇所からマルチメディアデータを再生することができる。

特許文献１では、ルームカメラ、スライド、ホワイトボードを撮影するカメラ、あるいは音声を録音するマイクロフォンなどの情報補足デバイスが捕捉したマルチメディアデータと、ユーザによるメモ書きをバインドする。具体的には、ユーザがメモを書いた時刻と同時刻に情報補足デバイスが捕捉したマルチメディアデータにマーキングを付加し、メモ書きとマルチメディアデータとを関連付けている。

特開２００４−２４０９６８号公報

しかしながら、ユーザの操作入力によって付加されるタイムスタンプ（時刻情報）は、ユーザが記録を意識した時刻よりも後の時刻となっている。
このため、タイムスタンプを利用してマルチメディアデータを閲覧しても正確な頭出しはできず、再生装置の早送り、巻き戻しなどの機能を使用して手作業で視聴可能な位置を探し出す必要がある。

本発明は上記事情に鑑みてなされたものであり、タイムスタンプ情報を参照して最適な位置からマルチメディアデータの再生が可能なマルチメディアデータ再生装置及びプログラムを提供することを目的とする。

かかる目的を達成するために本発明のマルチメディアデータ再生装置は、少なくとも画像データと音声データとを含むマルチメディアデータと、複数のユーザによって設定された前記マルチメディアデータの再生タイミングを示すタイムスタンプ情報とを記憶した記憶手段と、前記複数のユーザのタイムスタンプ情報に基づいて、前記マルチメディアデータの再生タイミングを算出する算出手段と、
前記算出手段の算出した再生タイミングに従って、前記マルチメディアデータを再生する再生手段とを有する構成としている。
本発明によれば、タイムスタンプ情報を参照して最適な位置からマルチメディアデータの再生が可能となる。

上記マルチメディア再生装置において、前記算出手段は、複数ユーザのタイムスタンプ情報から、正規分布に基づいて前記マルチメディアデータの再生タイミングを算出するとよい。

上記マルチメディア再生装置において、前記算出手段は、時間的に連続するマルチメディアデータを所定時間ごとに区切り、区切られた時間内に再生タイミングが設定されたタイムスタンプ情報を用いて前記マルチメディアデータの再生タイミングを算出するとよい。

上記マルチメディア再生装置において、前記算出手段は、複数ユーザのタイムスタンプ情報を用いて、正規分布に基づく９９％信頼区間の下限値を前記マルチメディアデータの再生タイミングとして算出するとよい。

本発明のプログラムは、コンピュータを、少なくとも画像データと音声データとを含むマルチメディアデータと、複数のユーザによって設定された前記マルチメディアデータの再生タイミングを示すタイムスタンプ情報とを記憶した記憶手段から前記複数のユーザのタイムスタンプ情報を参照し、前記タイムスタンプ情報に基づいて前記マルチメディアデータの再生タイミングを算出する手段と、前記算出手段の算出した再生タイミングに従って、前記マルチメディアデータを再生させる手段として機能させることを特徴としている。

本発明によれば、タイムスタンプ情報を参照して最適な位置からマルチメディアデータの再生が可能となる。

添付図面を参照しながら本発明の好適な実施例を説明する。

まず図１を参照しながら本実施例の構成を説明する。会議室１００内には、スクリーン１０１、スチルカメラ１０２、ビデオカメラ１０３、プロジェクタ１０４、マイクロフォン１０６等が配置されている。この他に、プレゼンターによってプレゼンタ用ＰＣ（パーソナルコンピュータ）１０５、プレゼンテーションの参加者によってＰＤＡ１０７などが会議室１００内に持ち込まれる。これらの機器はネットワーク１１３に接続される。このネットワーク上には、ビデオエンコーダ１０９、サーバ装置１１０、データベース１１１、クライアントＰＣ１１２がさらに接続されている。なお、図１には、参加者の用意する端末としてＰＤＡを例に挙げているが、一般的なパーソナルコンピュータであってもよい。また、プレゼンタ用ＰＣ１０５やＰＤＡ１０７は、会議室に予め備えられているものであってもよい。また、プロジェクタ１０４はスクリーン１０１の後方に配置したバックプロジェクションタイプでもよい。また、プロジェクタ１０４およびスクリーン１０１は、ビデオ信号入力が可能な大型ディスプレイでもよい。

スチルカメラ１０２は、プロジェクタ１０４によってスクリーン１０１に投影された映像をキャプチャする。スチルカメラ１０２は、キャプチャした画像データをタイムスタンプ情報（キャプチャ時刻）と共にネットワーク１１３上のサーバ装置１１０に送信する。

ビデオカメラ１０３は、会議室１００内の映像を動画像で撮影し、撮影したビデオデータをビデオエンコーダ１０９に送信する。ビデオエンコーダ１０９は、ビデオカメラ１０３で撮影したビデオデータを入力して、ビデオデータストリームに変換する。ビデオエンコーダ１０９は、変換したビデオデータストリームにタイムスタンプ情報（撮影開始時刻）を付加して、ネットワーク１１３上のサーバ装置１１０に送信する。
なお、ビデオカメラ１０３自身にビデオエンコード機能が備わっていれば、ビデオエンコーダ１０９は不要である。

プロジェクタ１０４は、プレゼンタ用ＰＣ１０５からビデオ信号を入力して、スクリーン１０１に投影する。プレゼンタ用ＰＣ１０５は、接続したマイクロフォン１０６によって説明者や参加者の音声を入力し、入力した音声データを録音する。また録音された音声データは、タイムスタンプ情報（録音開始時刻）と共にネットワーク１１３上のサーバ装置１１０に送られる。

会議の参加者は、説明者の説明を聞きながらＰＤＡ１０７を使用してタイムスタンプ情報（時刻情報）を付加する。参加者は、説明者の説明でポイントとなる箇所や、後でもう一度見たいスライドが表示されると、ＰＤＡ１０７を操作してタイムスタンプ情報（時刻情報）を入力する。ＰＤＡ１０７から出力されたタイムスタンプ１０７は、無線通信回線を介して無線通信装置１０８に送られる。無線通信装置１０８は、ＰＤＡ１０７から取得したタイムスタンプ情報をネットワーク１１３上のサーバ装置１１０に送信する。

サーバ装置１１０には、スチルカメラ１０２で撮影された画像データとこれに付加されたタイムスタンプ情報、ビデオカメラで撮影されビデオエンコーダ１０９で変換されたビデオデータストリームとこれに付加されたタイムスタンプ情報、プレゼンタ用ＰＣ１０５のマイクロフォン１０６から入力した音声データとこれに付加されたタイムスタンプ情報、会議参加者の所持するＰＤＡ１０７から入力されたタイムスタンプ情報などが送られる。
サーバ装置１１０は、画像データ、ビデオデータストリーム、音声データなどのマルチメディアデータと、タイムスタンプ情報とを１つの会議又はプレゼンテーションのデータとして関連付けを行ってデータベース１１１に格納する。すなわち、プレゼンテーションの様子を忠実に再現できるように撮影時刻情報やキャプチャ時刻などのタイムスタンプ情報に基づいてデータの関連付けを行う。

図２に、サーバ装置１１０の詳細な構成を示す。サーバ装置１１０は、入力部１２０、データ解析部１２１、関連付け処理部１２２、再生開始位置計算部１２３、再生制御部１２４を有している。
入力部１２０は、図１に示す会議室１００内の機器から送られるマルチメディアデータや、タイムスタンプ情報、クライアント端末１１２から送られるコマンドデータを入力する。
データ解析部１２１は、入力部１２０で入力したデータを解析し、解析結果に応じてデータの出力先を変更する。
入力したデータが画像データ、ビデオストリームデータや音声データなどのマルチメディアデータとその記録時間などを示すタイムスタンプ情報であった場合、データ解析部１２１は、マルチメディアデータを関連付け処理部１２３に出力する。関連付け処理部１２２は、１つのプレゼンテーション又は会議のデータであることを識別可能な変数を設定して、マルチメディアデータとしてデータベース１１１に格納する。

また、入力したデータがクライアント端末１１２から送られたマルチメディアデータの再生を指示するコマンドデータであった場合、データ解析部１２１は、コマンドデータを再生制御部１２４に出力する。
再生制御部１２４は、コマンドデータを解析して要求されたマルチメディアデータと、再生開始位置計算部１２３によって計算された再生開始位置情報とを取得要求のあったクライアント端末１１２に送信する。

また、入力したデータがＰＤＡ１０７によって入力されたタイムスタンプ情報であった場合、データ解析部１２１はタイムスタンプ情報を再生開始位置計算部１２３に出力する。再生開始位置計算部１２３は、１つの会議又はプレゼンテーションが終了すると、タイムスタンプ情報からマルチメディアデータの再生開始位置を計算する。
図３に、会議参加者がタイムスタンプ情報を入力する様子を示す。説明者は、スクリーン１０１に用意したスライドを表示しながら、このスライドの内容について説明をしていく。参加者は、説明者の説明でポイントとなる箇所や、後でもう一度見たいスライドが表示されるとタイムスタンプ情報を挿入していく。
図４には、スライドの切り替えタイミングと、ｎ人（ｎは１以上の任意の自然数）参加者によって入力されたタイムスタンプ情報の入力タイミングとを示す。なお、スチルカメラ１０２によって取り込まれる画像データは、画像の変化を検出し、変化のあった画像データだけを取り込むので、スライドの切り替えタイミングに合わせて画像データを取り込むことができる。
図４に示すＡ１，Ａ２，Ａ３・・・がスライドの切り替えタイミングであり、Ａ１からＡ２の区間で参加者１がタイムスタンプ情報を入力したタイミングが図４に示すＢ（１−１）であり、Ａ２からＡ３の区間で参加者１がタイムスタンプ情報を入力したタイミングが図４に示すＢ（１−２）である。参加者２、．．．、ｎについても同様にタイムスタンプ情報が挿入されたものとする。
再生開始位置計算部１２３は、処理対象のスライド（サーバ装置１１０内においてはスチルカメラで撮影された画像データ）がスクリーン１０１に表示されている区間を区切りとして、この区間内に入力された複数ユーザのタイムスタンプ情報を用いて、正規分布に基づく９９％信頼区間の下限値に対応する時刻を算出する。算出した時刻をこの処理対象の区間での再生開始タイミングとする。

正規分布に基づく９９％信頼区間の下限値の算出は、以下に示す式（１）、（２）によって算出される。

なお、σは標準偏差を示し、Ｎは、各スライドの表示区間内のタイムスタンプ情報の総数を示し、Ｘｋは、ｋ番目のタイムスタンプ情報が記録された時刻を示し、ｋは１からＮまでの変数を示し、Ｘバーは、Ｎ個のタイムスタンプが記録された時刻の平均値を示す。

図４を参照しながら具体的に説明すると、再生開始位置計算部１２３は、最初のＡ１からＡ２の区間の再生開始位置を計算する場合、この区間内に入力されたタイムスタンプ情報Ｂ（１−１），Ｂ（２−１），・・・Ｂ（ｎ−１）を取り出す。次に、取り出したタイムスタンプ情報を上式（１）、（２）に代入して、正規分布に基づく９９％信頼区間の下限値を求める。求めた９９％信頼区間の下限値が図４に示すＣ１であり、再生開始位置計算部１２３はこの下限値をこの区間（Ａ１〜Ａ２）での再生開始タイミングに設定する。Ａ２からＡ３の区間、Ａ３からＡ４の区間などの他の区間についても同様に算出される。

次に、図５に示すフローチャートを参照しながらサーバ装置１１０の処理手順を説明する。
サーバ装置１１０は、データ又はコマンドを入力すると（ステップＳ１／ＹＥＳ）、データ解析部１２１でこれを解析する。解析の結果、データがタイムスタンプ情報であった場合には（ステップＳ２／ＹＥＳ）、データ解析部１２１はタイムスタンプ情報を再生開始位置計算部１２３に出力する。再生開始位置計算部１２３は、タイムスタンプ情報を用いて再生開始位置の計算を行う（ステップＳ３）。計算の手順については、上述した式（１）、（２）に基づいて行われる。再生開始位置計算部１２３は、再生開始位置を計算すると、計算した再生開始位置情報をデータベース１１１に保存する（ステップＳ４）。
また、データが画像データであった場合には（ステップＳ５／ＹＥＳ）、スクリーン１０１に投影されたスライドの切り替えが発生したと判定し、画像データと、この画像データがスチルカメラ１０２でキャプチャされたキャプチャ時刻とを関連付け処理部１２２に出力する。関連付け処理部１２２は、１プレゼンテーション又は１会議を識別可能で、さらにマルチメディアデータのそれぞれを識別可能な変数を設定して、データベース１１１に格納する。このときマルチメディアデータのタイムスタンプ情報（キャプチャ時刻、撮影開始時間等）もマルチメディアデータに関連付けてデータベース１１１に保存される。

さらに、データがクライアントＰＣ１１２から入力されたマルチメディアデータの再生を要求するコマンドデータであった場合（ステップＳ７／ＹＥＳ）、データ解析部１２１は、このコマンドデータを再生制御部１２４に出力する。再生制御部１２４は、コマンドデータを解析して、再生を要求されたマルチメディアデータと、再生開始位置情報とをデータベース１１１から取り出す。再生制御部１２４は、取り出したマルチメディアデータ及び再生開始位置情報とをコマンドデータを出力したクライアントＰＣ１１２に出力する。

以上のように本実施例は、タイムスタンプ情報を参照して最適な位置からマルチメディアデータの再生が可能となる。このため、再生装置の早送り、巻き戻しなどの機能を使用して手作業で視聴可能な位置を探し出す必要がなくなる。

なお、図１には、サーバ装置１１０の機能部をハードウェアにて実現する構成を示しているが、コンピュータプログラムによるソフトウェア制御によって上述した機能を実現してもよい。この場合のハードウェア構成を図６に示す。
図６に示すように、サーバ装置１１０のハードウェア構成は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、ＮＶＲＡＭ（Non Volatile RAM）３４、入出力部３５などで構成される。ＣＰＵ３１は、ＲＯＭ３２に格納したプログラムを読み込んで、このプログラムに従った演算を行うことにより図６に示したフローチャートに従った処理を実行する。また、ＲＡＭ３３には、演算結果のデータが書き込まれ、ＮＶＲＡＭ３４は、ＲＡＭ３３に書き込まれていたデータで、電源オフ時に保存の必要なデータが書き込まれる。
なお、ＣＰＵ３１の制御に使用するプログラムは、ＣＤ−ＲＯＭ等の記録媒体に格納されたものを読み込んでＮＶＲＡＭ３４に格納してもよいし、通信網を介して送信されたプログラムを入出力部３５で受信してＮＶＲＡＭ３４に格納してもよい。

上述した実施例は本発明の好適な実施の例である。但し、これに限定されるものでなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
例えば、上述した実施例では、タイムスタンプ情報を参照して、正規分布に基づく９９％信頼区間の下限値を求めていたが、これ以外の信頼区間、例えば９５％信頼区間の下限値を求めることもできる。

システム構成を示すブロック図である。 サーバ装置の構成を示すブロック図である。 スクリーンに表示されるスライドと、複数の会議参加者によって入力されるタイムスタンプとを示す図である。 スライドの切り替えタイミングと、複数の会議参加者がタイムスタンプを挿入するタイミングと、補正された再生開始位置とを示す図である。 サーバ装置の処理手順を示すフローチャートである。 コンピュータプログラムによって実現する場合のサーバ装置のハードウェア構成を示す図である。

符号の説明

１０１ スクリーン
１０２ スチルカメラ
１０３ ビデオカメラ
１０４ プロジェクタ
１０５ プレゼンタ用ＰＣ
１０６ マイク
１０７ ＰＤＡ
１０８ 無線通信装置
１０９ ビデオエンコーダ
１１０ サーバ装置
１１１ データベース
１１２ クライアントＰＣ
１２０ 入力部
１２１ データ解析部
１２２ 再生開始位置計算部
１２３ 関連付け処理部
１２４ 再生制御部

Claims (5)

1. 少なくとも画像データと音声データとを含むマルチメディアデータと、複数のユーザによって設定された前記マルチメディアデータの再生タイミングを示すタイムスタンプ情報とを記憶した記憶手段と、
   前記複数のユーザのタイムスタンプ情報に基づいて、前記マルチメディアデータの再生タイミングを算出する算出手段と、
   前記算出手段の算出した再生タイミングに従って、前記マルチメディアデータを再生する再生手段と、
   を有することを特徴とするマルチメディアデータ再生装置。
2. 前記算出手段は、複数ユーザのタイムスタンプ情報から、正規分布に基づいて前記マルチメディアデータの再生タイミングを算出することを特徴とする請求項１記載のマルチメディアデータ再生装置。
3. 前記算出手段は、時間的に連続するマルチメディアデータを所定時間ごとに区切り、区切られた時間内に再生タイミングが設定されたタイムスタンプ情報を用いて前記マルチメディアデータの再生タイミングを算出することを特徴とする請求項１又は２記載のマルチメディアデータ再生装置。
4. 前記算出手段は、複数ユーザのタイムスタンプ情報を用いて、正規分布に基づく９９％信頼区間の下限値を前記マルチメディアデータの再生タイミングとして算出することを特徴とする請求項１から３のいずれか一項記載のマルチメディアデータ再生装置。
5. コンピュータを、
   少なくとも画像データと音声データとを含むマルチメディアデータと、複数のユーザによって設定された前記マルチメディアデータの再生タイミングを示すタイムスタンプ情報とを記憶した記憶手段から前記複数のユーザのタイムスタンプ情報を参照し、前記タイムスタンプ情報に基づいて前記マルチメディアデータの再生タイミングを算出する手段と、
   前記算出手段の算出した再生タイミングに従って、前記マルチメディアデータを再生させる手段として機能させることを特徴とするプログラム。

Images