JP2000098985A

JP2000098985A - マルチメディア情報処理装置

Info

Publication number: JP2000098985A
Application number: JP26482898A
Authority: JP
Inventors: Nobuo Suzuki; 信雄鈴木
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1998-09-18
Filing date: 1998-09-18
Publication date: 2000-04-07
Anticipated expiration: 2018-09-18
Also published as: JP3601314B2

Abstract

(57)【要約】【課題】本発明は、ストリーミングメディアにマーク情
報を適切に対応付けて、複数のクライアント間で容易且
つ適切に共有することのできるマルチメディア情報処理
装置を提供することを目的とする。【解決手段】各クライアントは、プレゼンテーションを
実行するＭＭ情報視聴部ＭＭと、メディア情報に対し
て、メディア情報に関連するマーク情報を対応付ける時
間巾を指定するマーク付け部７と、メディア情報と、マ
ーク情報と、時間巾と、を対応付けるマーク付け情報を
管理するマーク付け情報管理部９と、マーク付け情報を
送信するマーク付け情報伝達部１１とを備え、サーバＳ
は、マーク付け情報を受信するマーク付け情報伝達部２
３と、受信したマーク付け情報を記憶するマーク付け情
報管理部２１と、複数のマーク付け情報に基づいて共有
マーク付け情報を生成するマーク付け情報演算部２２と
を備えるように構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、静止画、テキスト
等のドキュメントメディアや、音声、動画、アニメーシ
ョン、グラフィックス等のストリーミングメディアを含
むメディア情報が複合されて構成されるプレゼンテーシ
ョンを視聴するためのクライアントを複数有するマルチ
メディア情報処理装置に関する。

【０００２】

【従来の技術】従来、印刷物ドキュメントに対してメモ
を書き込んだり、マーカーを付けたりするのと同様に、
デジタルドキュメントに対してマーク付けを行ったり、
個人的なメモを書き込んだり、あるいは注釈（アノテー
ション）を付けて著者に対してフィードバックを行った
りするシステムが提案されている。今後、ネットワーク
化がさらに進みマルチメディアドキュメントが普及する
にしたがってこのようなデジタルドキュメントに対する
編集行為の支援技術はネットワーク上での共同作業を行
う場面においては非常に重要になってくる。

【０００３】例えば、いわゆるＯＨＰを用いたプレゼン
テーションのようなページ単位で構成されたドキュメン
トに対して注釈を付けることのできるシステムが、特開
平５−１８９４３１号公報に記載されている。この公報
に記載されたシステムは、テキスト、図形、イメージと
いったストリーミングメディアを含まないドキュメント
メディアに対して、元の文書の保全性を損なわずに注釈
を付けることができるようになっている。このシステム
では、注釈をドキュメントとは別のレイヤーに書き込む
ことにより、元のドキュメントに対して編集行為を行な
わないようになっている。これはデジタルドキュメント
でこそ可能な技術である。

【０００４】また、複数のコンピュータ上で共有してい
るドキュメントに対して添え書きを加える技術が特開平
７−１８２２８２号公報に開示されている。この技術
は、ネットワークに接続された複数のコンピュータ上で
共通の画像を表示している際に、ユーザがその画像上に
添え書きを行うことができ、その添え書きデータを画像
データとは異なる場所に格納するというものである。そ
して、添え書きはネットワーク上の他のコンピュータに
も表示されるようになっている。この技術によると、他
のメンバーのインタラクション（メモ、注釈、質問な
ど）が画像のどの部分に対して付加されたのかを会議に
参加している複数のメンバーが一目でわかるという電子
会議システムを提供することができる。

【０００５】

【発明が解決しようとする課題】ここで、サーバ上にプ
レゼンテーションが保存されており、特定のグループ内
のメンバーがそのプレゼンテーションを見るようになっ
ている場合を想定する。このような場合において、各メ
ンバーが、他のメンバーがどこを見ているのかというこ
とや、どこに興味をもっているかということや、どこに
興味を持っていないかということや、どこに質問や意見
があるのかということを知ることは、グループ内で情報
を共有するという点で非常に有益である。また、プレゼ
ンテーションの発信者にとっても、上記のような受け手
の反応を知ることはより良いプレゼンテーションを行う
ために重要である。また、プレゼンテーションに基づい
てネットワーク上で会議する場合などにおいては、会議
のメンバーがプレゼンテーションを見たか否かというこ
とや、プレゼンテーションを正しく理解しているか否か
ということ等を会議の議長が把握することは、会議にお
ける議論を活発化するためには重要である。したがっ
て、プレゼンテーションにアノテーション等のインタラ
クション情報（マーク情報）を付加して、メンバー間で
それを共有できるようにすることが要請される。

【０００６】しかしながら、プレゼンテーション中のあ
る場所（空間的、時間的な）を特定してマーク情報を付
加する従来の技術は、主としてページ単位で構成される
ドキュメントメディアに関するものであり、時間軸を持
ったストリーミングメディアに関しては、検索を目的と
して時間軸上のある特定の「ポイント」を指し示すとい
った技術が存在するのみで、ストリーミングメディアの
所定の範囲についてマーク情報を適切に付加することが
できないという問題がある。つまり、従来技術では、ス
トリーミングメディアに対して１本の時間軸上の１点を
指すことしかできず、メディアミックスプレゼンテーシ
ョンに対してマーク情報（既読であるかあるいは未読で
あるか等の情報）を対応付けても、「（時間軸上の）ど
こからどこ」「プレゼンテーションのどの部分、あるい
はどのメディアコンテンツ」といった内容が抜け落ちて
しまい、マーク情報を対応付けた部分などが正確に伝え
られないという問題がある。

【０００７】本発明の目的は、プレゼンテーションを構
成するストリーミングメディアにマーク情報を適切に対
応付けて管理でき、このマーク情報の対応付けを複数の
端末間で容易且つ適切に共有することのできるマルチメ
ディア情報処理装置を提供することにある。

【０００８】

【課題を解決するための手段】上記目的は、サーバと、
サーバにネットワークを介して接続された複数のクライ
アントとを有するマルチメディア情報処理装置におい
て、各クライアントは、時間軸を持ったストリームメデ
ィアを含む複数のメディア情報を時間的空間的に組み合
わせて再生してプレゼンテーションを実行するマルチメ
ディア情報視聴手段と、再生されているメディア情報に
対して、メディア情報に関連するマーク情報を対応付け
るプレゼンテーションにおける時間巾を指定するマーク
付け手段と、再生されているメディア情報と、マーク情
報と、時間巾とを対応付けるマーク付け情報を管理する
第１マーク付け情報管理手段と、マーク付け情報をサー
バへ送信する第１マーク付け情報伝達手段とを備え、サ
ーバは、マーク付け情報をクライアントから受信する第
２マーク付け情報伝達手段と、受信したマーク付け情報
を記憶する第２マーク付け情報管理手段と、第２マーク
付け情報管理手段に記憶された複数のマーク付け情報に
基づいて共有マーク付け情報を生成するマーク付け情報
演算手段とを備えることを特徴とするマルチメディア情
報処理装置によって達成される。

【０００９】

【発明の実施の形態】本発明の一実施の形態によるマル
チメディア情報処理装置を図１乃至図２１を用いて説明
する。まず、本実施の形態によるマルチメディア情報処
理装置の全体構成を図１を用いて説明する。本マルチメ
ディア情報処理装置は、複数（図１中では３つ）のクラ
イアントＡ、Ｂ、Ｃと、サーバＳとを有し、各クライア
ントＡ、Ｂ、Ｃと、サーバＳとは、ネットワークＮを介
して接続されている。各クライアントＡ、Ｂ、Ｃは、Ｍ
Ｍ（マルチメディア）情報視聴部ＭＭと、マーク付け部
７と、マーク定義部８と、マーク付け情報管理部９と、
既読情報管理部１０と、マーク付け情報伝達部１１とを
有している。なお、図１では、クライアントＢおよびＣ
の各機能部の表示を省略している。

【００１０】ＭＭ情報視聴部ＭＭは、主に、複数のメデ
ィア情報を時間的空間的に組み合わせて再生することで
マルチメディア情報のプレゼンテーションを行う機能部
であり、図２に示すようにメディア情報管理部１と、再
生シナリオ管理部２と、視覚情報再生部３と、音声情報
再生部４と、シナリオ解釈部５と、再生シナリオ演算部
６とを有している。図１に戻り、サーバＳは、マーク付
け情報伝達部２３と、マーク付け情報管理部２１と、マ
ーク付け情報演算部２２とを有している。なお、上記各
機能部の詳細については後述する。

【００１１】次に、各クライアントＡ、Ｂ、Ｃについ
て、スタンドアローン（単体）での動作およびこの動作
に関わる機能部について説明する。メディア情報管理部
１は、音声１００、テキスト１０１、静止画１０２、動
画１０３、アニメーション１０４等の各メディアコンテ
ンツをそれぞれ独立したメディアとして記憶する。再生
シナリオ管理部２は、プレゼンテーションにおける各メ
ディアを再生する際の時間的な順序、空間的レイアウト
などを記述した再生シナリオファイル２００を記憶す
る。再生シナリオファイル２００の一例を図３を用いて
説明する。再生シナリオファイル２００は、大別すると
ヘッダ部２００ａとボディー部２００ｂとを有してい
る。

【００１２】ヘッダ部２００ａには、当該再生シナリオ
ファイル２００に基づいて実行されるプレゼンテーショ
ンで用いるウィンドウのレイアウトがウィンドウの個数
分（図３では３つ）記述されている。ボディー部２００
ｂには、どのコンテンツ（メディア）をどのタイミング
でどの再生するかが記述されている。具体的には、ボデ
ィー部２００ｂは実行開始時刻２００ｃ、ウィンドウ番
号２００ｄ、メディア２００ｅ、および再生時間長さ２
００ｆを有している。

【００１３】実行開始時刻２００ｃには、メディアの再
生を開始する時刻が設定される。ウインドウ番号２００
ｄには、再生するメディアが映像メディアである場合に
当該メディアを再生させるウインドウの番号が設定さ
れ、また、再生するメディアが音声メディアである場合
に、”ａｕｄｉｏ”が設定される。メディア２００ｅに
は、再生するメディアの識別名が設定される。再生時間
長さ２００ｆにおいては、時間軸を持たない静止画など
のメディアの場合には、当該メディアを表示させる時間
の長さが記述される。また、再生時間長さ２００ｆに
は、動画／アニメーション等の時間軸を持つストリーミ
ングメディアを通常の速度で再生する際には何も記述す
る必要はないが、倍速再生／スロー再生など再生するメ
ディアを通常の速度と異なる再生を行なう際には、再生
トータル時間を記述する必要がある。再生シナリオファ
イル２００では、同一の実行開始時刻に対してメディア
２００ｅに２つ以上のメディアを記述することにより、
同時に２以上のメディアの再生を始めるようにすること
ができる。

【００１４】ここで、図３に示す再生シナリオファイル
に基づくマルチメディアプレゼンテーションの再生スケ
ジュール（スコア）の概念を図４および図５を用いて説
明する。図４では、横軸に時間を取り、縦軸に再生する
空間（ウインドウ番号あるいはａｕｄｉｏ）を取ってお
り、各矩形が各メディアを示している。図５は、時刻ｔ
＝ｔｐにおけるマルチメディアプレゼンテーションの様
子を示している。図４および図５によると、時刻ｔ＝ｔ
ｐにおいて、ウィンドウＷ１でメディアａが再生され、
ウィンドウＷ２でメディアｂが再生され、ウィンドウＷ
３でメディアｃが再生され、オーディオでメディアｄが
再生されることがわかる。

【００１５】次に、本マルチメディア情報視聴装置の基
本的なマルチメディアの再生動作について図６を用いて
説明する。この動作は図５に示す表示画面上においてプ
レゼンテーションの再生ボタンＰＬＡＹがユーザに押下
されることにより開始される。まず、シナリオ解釈部５
が再生シナリオ管理部２から該当するプレゼンテーショ
ンの再生シナリオ２００を読み出す（ステップＳ１）。
次いで、シナリオ解釈部５は、再生シナリオ２００のヘ
ッダ部２００ａを読み込んでウィンドウのレイアウト情
報を取得する（ステップＳ２）。

【００１６】その後、シナリオ解釈部５のボディー部２
００ｂを頭から順に読み込んで、所定の実行開始時刻に
再生するメディアをメディア情報管理部１から読み出し
（ステップＳ３）、取り出したメディアが音声メディア
か否かを検出する（ステップＳ４）。この検出により、
当該メディアが音声メディアでなく視覚メディア、すな
わち、テキスト１０１、静止画１０２、動画１０３、ま
たはアニメ１０４である場合には、当該メディアを再生
するウィンドウのレイアウト情報とともに、当該メディ
アを視覚情報再生部４に出力する。視覚情報再生部４
は、入力されたウインドウのレイアウト情報に基づい
て、ウインドウを作成し、入力されたメディアを当該ウ
インドウに再生する（ステップＳ５）。一方、メディア
情報管理部１から読み出したメディアが音声メディア１
００の場合には当該メディアを音声情報再生部４に出力
する。音声情報再生部４は、入力されたメディアに基づ
いてスピーカから音声を再生する（ステップＳ６）。そ
して、上記処理（ステップＳ３〜Ｓ６）をボディー部２
００ｂの記述に対して実行する（ステップＳ７）。

【００１７】次に、プレゼンテーションに含まれるメデ
ィアに対応付けるマーク情報について図７を用いて説明
する。図７は、ｄｅｆａｕｌｔ（デフォルト）で用意さ
れているマーク情報と、ユーザが定義したマーク情報と
を１つのファイル（ユーザ定義ファイル２０１）で管理
している例を示している。ユーザ定義ファイル２０１は
マーク定義部８に記憶されている。ユーザ定義ファイル
２０１に含まれている各マーク情報は、マーク情報を知
覚可能に表わすシンボル（音情報も含む）、マーク情報
の内容を示すコメント、関連する情報のリンク情報（例
えば、ＵＲＬ）、マーク情報に対応する処理方法（処理
スクリプト）、マーク情報を定義した人等を有してい
る。

【００１８】図７に示すユーザ定義ファイルにおいて
は、例えば、デフォルトで設定され、視聴済みであるこ
とを表わし、シンボルが既であり、ｓｋｉｐ処理させる
というマーク情報が定義されている。また、デフォルト
で設定され、重要個所であることを表わし、シンボルが
◎であるマーク情報や、ユーザ自身（ｍｅ）が設定し、
後にゆっくりと再生すべき部分であることを表わし、シ
ンボルが★であり、ｓｌｏｗｐｌａｙ処理させるとい
うマーク情報も定義されている。また、ユーザ自身が設
定し、常識である部分であることを表わし、シンボルが
△であり、ｆａｓｔｐｌａｙ処理させるというマーク
情報や、ユーザ自身が設定し、熟考すべき部分であるこ
とを表わし、シンボルが※であり、ｐａｕｓｅさせると
いうマーク情報等が定義されている。マーク情報は、ユ
ーザがマーク定義部８を用いて定義することができるよ
うになっている。これによって、ユーザはプレゼンテー
ションに対して必要に応じてカスタマイズ、パーソナラ
イズして自分だけのプレゼンテーションを作成して視聴
することができる。

【００１９】マーク情報として予め汎用的なものを定義
しておくことは有益である。例えば、重要を表わすマー
ク情報（シンボル◎）を定義しておき、プレゼンテーシ
ョンの著者が必ず見て欲しいと思う重要なメディアに対
してマーク情報（シンボル◎）を付けておくようにする
と、プレゼンテーションのメディアを再生する際にマー
ク情報に対応付けられているメディアについて、後述す
るようにシンボル◎を表示させることができ、受け手側
は注意を払うことができる。また、マーク情報が対応付
けられたメディアの部分のみ拾って再生することで時間
の節約をすることができる。

【００２０】次に、プレゼンテーションに含まれるメデ
ィアにマーク情報を対応付ける動作を説明する。プレゼ
ンテーションの実行中にユーザが特定のメディアに対し
てマーク情報を対応付けたいと思った場合には、マーク
付け部７を用いて視覚情報再生部４により再生されてい
るプレゼンテーションの所望のメディアを指示すること
によりマーク付け情報管理部９により後述するよにマー
ク情報を対応付けることができる。音声メディアに対し
ては、プレゼンテーションウィンドウ中のオーディオメ
ディアのアイコン（図５中のアイコンＩ）に対して指示
することによりマーク情報を対応付けることができる。
対応付けるマーク情報は、マーク定義部８に登録されて
いる複数のマークからマーク付け部７により選択するこ
とができ、同じメディアに異なる複数のマーク情報を同
時に対応付けることもできるようになっている。

【００２１】例えば、シンボル★のマーク情報を対応付
ける場合には、画面上においてマーク付け部７を用いて
マーク情報のシンボル★を選択し、当該シンボルを所望
のメディア上に移動させた状態でマーク付け部７のマウ
スをクリックすればよく、これにより、当該メディアの
当該時間についてマーク情報（シンボル★）を対応付け
られるようになっている。所望のメディアの所望の時間
巾に対してマーク情報を対応付ける場合には、マーク付
け部７のマウスを所望の時間クリックダウンするなどに
より実現できる。

【００２２】また、同じメディアに対して同時に複数の
意味内容を対応付ける場合には、複数のマーク情報を対
応付けたり、既に対応付けられているマーク情報に別の
意味内容の定義を加えたりすることにより可能である。
複数のマーク情報を対応付ける場合には、プレゼンテー
ションを一旦巻き戻して再生し、再度他のマーク情報を
対応付けるようにすればよく、既に対応付けられている
マーク情報に別の意味内容の定義を加える場合には、マ
ーク定義部８により、当該マーク情報に複数の意味内容
を定義するようにすればよい。また、一旦対応付けたマ
ーク情報に対する定義をユーザがマーク定義部８により
再定義することで、一括してマーク情報の意味を変更す
ることができる。例えば、定義した処理がもはや必要で
なくなった場合などに処理の定義を削除すれば、当該処
理のマーク情報が対応付けられた部分での処理が行われ
なくなる。これによると、マーク情報の対応付けを１ヶ
所ずつ変更する手間がかからない。

【００２３】次に、マーク情報をメディアの所定の時間
に対応付けて管理するマーク付け情報ファイルの一例を
図８を用いて説明する。本実施の形態では、プレゼンテ
ーションの再生シナリオとの関連がわかりやすいように
２次元マップのマーク付け情報ファイルを用いている。
マーク付け情報ファイルはマーク情報の数だけのレイヤ
ーを有し、各レイヤーは、各マーク情報に関する対応付
けを記憶するようになっている。各レイヤーは横軸を時
間に取り、縦軸をメディアに取った２次元マップとなっ
ている。横軸の時間のサンプリング間隔は、任意の間隔
（例えば１秒単位）でよい。図８において、各レイヤー
は、メディア毎に１秒単位で１ビットの情報を持つよう
になっている。初期状態では、各レイヤーのすべてのビ
ットは”０”の状態となっている。

【００２４】また、マーク付け情報ファイルの各レイヤ
ーには、図９に示すように、当該レイヤーを公開しても
よいというＰｕｂｌｉｃ属性、または当該レイヤーを公
開してはいけないというＰｒｉｖａｔｅ属性の何れかが
設定されている。なお、ユーザはマーク定義部８を用い
て、各レイヤーに対してＰｕｂｌｉｃまたはＰｒｉｖａ
ｔｅの属性を定義することができるようになっている。

【００２５】次に、マーク情報を対応付ける動作を説明
する。マーク付け情報管理部９は、マーク付け部７によ
る指示に基づいて、対応するメディアおよび時間のビッ
トを”１”にする。例えば、ユーザがマーク付け部７に
よりメディアＢの時刻２秒から１０秒まで★マークを指
定したとすると、図８に示すように★マークに対応する
マーク情報のレイヤーのメディアＢの行の２〜１０まで
のビットのすべてを”１”にする。このようにマーク情
報を管理することで、後述するようにマーク情報に定義
された処理を施す際に演算を簡単に行なうことができ
る。

【００２６】次に、既に再生したメディアに対して既読
であることを示すマーク情報（未読既読マーク情報）を
対応付ける動作について説明する。未読既読マーク情報
をメディアに対して対応付ける動作は、ユーザが未読既
読マークを付けるオプションをオンにしてプレゼンテー
ションの再生を開始することにより実行される。この動
作においては、上述の図６に示す基本的なマルチメディ
ア再生動作が行われ、再生シナリオ２００にしたがって
シナリオ解釈部５は対応するメディアを順次読み出し、
視覚情報再生部４および音声情報再生部４はメディアを
再生する。このような動作と共に、既読情報管理部１０
は図１０に示すように各メディアのどの部分を再生した
かを検知し、マーク付け情報ファイルの未読既読マーク
情報のレイヤーの検知したメディアおよび時間に対応す
るビットを”１”にする。

【００２７】次に、ユーザが図１０の時刻ｔｃにおいて
プレゼンテーションの再生を中断させ、その後、続きの
プレゼンテーションを再生させる指示を行った場合のプ
レゼンテーションの再生動作を説明する。ユーザが再生
シナリオ演算部６に対して未読部分のみのシナリオ生成
を指示すると、再生シナリオ演算部６はマーク付け情報
ファイルをマーク付け情報管理部９より読み出し、その
中から未読既読マーク情報のレイヤーを解釈して未読部
分のみが含まれている再生シナリオを作成する。

【００２８】具体的には、再生シナリオ演算部６は、該
当するプレゼンテーションのシナリオファイルをスコア
に展開し、当該スコアに基づいて各メディアと、当該メ
ディアの再生時間との２次元マップを求める。次に、マ
ーク付け情報ファイルから未読既読マーク情報のレイヤ
ーを呼び出す。そして、前者と後者とのＡＮＤをとり既
読の部分のみを取り出す。次いで、再生シナリオ演算部
６は、マーク定義部８のユーザ定義ファイル２０１から
未読既読マーク情報に含まれている処理（メディアの再
生を行わないスキップ（Ｓｋｉｐ）処理）を取り出し、
既読部分に対してスキップ処理を行うようなスコアを求
め、当該スコアをシナリオへ逆変換する。上記の動作に
よると、既読の部分はスキップされ、その他の部分はな
にもされないシナリオ、すなわち、未読部分のみ再生す
るシナリオファイルが生成される。この作成された再生
シナリオファイルを用いて上述の図６に示すようにプレ
ゼンテーション再生を行うと、時刻ｔｃからのプレゼン
テーションが再生される。

【００２９】次に、複数のマーク情報の対応付けに基づ
いてプレゼンテーションを再生する場合の動作を図１１
を用いて説明する。ここで、マーク付け情報管理部９の
マーク付け情報ファイルには、著者が付けた重要マーク
情報（シンボル◎）、ユーザが付けたスロー再生を行わ
せるスロー再生マーク情報（シンボル★）のレイヤーが
あり、各マーク情報は通常の再生におけるスコアに重ね
て示すと図１２に示すように対応付けられているものと
する。さらに、ユーザ定義ファイル２０１において、重
要マーク情報には処理が定義されておらず、スロー再生
マーク情報に対してはスロー再生処理が定義されている
ものとする。

【００３０】ユーザによりプレゼンテーションの再生の
指示がされ、さらにマーク付け情報管理部９でレイヤー
が管理されている各マーク情報をプレゼンテーションの
再生に有効にするか否か（Ｏｎ、Ｏｆｆ）が入力される
と（ステップＳ１１）、各マーク情報に対する（Ｏｎ、
Ｏｆｆ）が再生シナリオ演算部６に送られる（ステップ
Ｓ１２）。本例では、スロー再生マーク情報および重要
マーク情報はＯｎに設定されているものとする。

【００３１】次いで、再生シナリオ演算部６は、書き出
す２次元マップの初期化を行い（ステップＳ１３）、Ｏ
ｎが設定されたマーク情報をマーク定義部８のユーザ定
義ファイル２０１から読み出し（ステップＳ１４）、マ
ーク情報に処理が定義されているか否かを検出する（ス
テップＳ１５）。この結果、処理が定義されていない場
合には、再生シナリオ演算部６は、レイヤーの”１”が
設定されたビットに対応する２次元マップ上の位置にシ
ンボルを表示させる処理を書き加える（ステップＳ１
６）。これにより、重要マーク情報のレイヤーの”１”
が設定されたビットに対応する２次元マップ上の位置に
シンボルを表示させる処理が書き加えられる。一方、処
理が定義されている場合には、再生シナリオ演算部６
は、定義されている処理を２次元マップに反映させる
（ステップＳ１７）。これにより、スロー再生マーク情
報のレイヤーの”１”が設定されたビットに対応する部
分について時間軸が伸ばされて再生されるように２次元
マップ上に反映される。

【００３２】上記処理（ステップＳ１４〜Ｓ１７）をＯ
ｎが設定されたすべてのマーク情報に対して行う（ステ
ップＳ１８）。これにより、図１３に示すような複数の
マーク情報の対応付けが加味された２次元マップが作成
される。図１３中の◎はシンボルを表示する処理を行う
ことを表わし、★はスロー再生を行うことを表わしてい
る。この後、再生シナリオ演算部６が２次元マップに基
づいてスコアを作成する。すなわち、２次元マップの◎
に対応する部分においてシンボルを表示する処理を行
い、★に対応する部分においてスロー再生を行うスコア
を作成する。これにより、図１２に示すスコアに対して
スロー再生マーク情報が対応付けられている時間軸が伸
ばされた図１４に示すようなスコアが作成される。次い
で、再生シナリオ演算部６が作成したスコアに基づいて
再生シナリオファイルを生成する（ステップＳ１９）。
ここで、重要マーク情報が対応付けられている部分の再
生において、その部分の再生中にウィンドウにシンボル
◎が表示されるように再生シナリオファイルが記述され
る。

【００３３】上記のように生成された再生シナリオファ
イルに基づいて、シナリオ解釈部５がプレゼンテーショ
ンを実行すると、スロー再生マーク情報が対応付けられ
ている部分（時間）においてスロー再生を行い、重要マ
ーク情報が対応付けられている部分においてはプレゼン
テーション中の該当するメディアの表示ウインドウ中に
シンボル◎を表示する。このとき、重要マーク情報に対
応するシンボル◎を表示する時間を重要マーク情報が対
応付けられている時間より長く表示することが好まし
く、特に、対応付けれれている時間より前から表示する
ようにすることが望ましい。これは、プレゼンテーショ
ンの再生中にユーザがマーク付け部７により重要マーク
情報を対応付けるようになっており、再生中に重要な部
分を見つけてから実際に対応付けるまでの間に時間が空
いてしまうことがあるからである。

【００３４】なお、上記処理において、スコア上の同じ
部分に異なるマーク情報が付けられていて、マーク情報
の処理を両立できないような場合が有り得るが、これに
対しては、何れのマーク情報を優先するかの優先順位に
基づいて処理を行えばよく、例えば、演算する順序を変
えることでマーク情報の処理に優先順位をつけることは
容易である。

【００３５】次に、シナリオファイルの既読した範囲に
おいて、新たにメディアが追加された場合に未読のメデ
ィアを検出する処理について説明する。まず、再生シナ
リオ演算部６は、再生シナリオファイルをスコアに変換
すると共に、マーク付け情報管理部９から未読既読マー
ク情報のレイヤーを取り出して当該レイヤーに基づいて
スコアに相当する２次元マップを生成する。次いで、再
生シナリオ演算部６は、前記未読既読マーク情報による
２次元マップをマスクにして前記再生シナリオのスコア
に重ねあわせ、マスクのかかっていない部分を検出す
る。図１５には、前記未読既読マーク情報による２次元
マップをマスクにして前記再生シナリオのスコアを重ね
あわせた状態を示している。図１５に示すようにマスク
のかかっていない部分は、新たに加わったコンテンツ若
しくは未読のコンテンツである。このように、新たに追
加されたメディアを容易に検出することができ、追加さ
れたメディアを支障なく再生することができるようにな
る。

【００３６】このように、ユーザは複数のメディアから
構成される複雑なプレゼンテーションに対して特定の部
分にアノテーション、メモ書き、メディア処理などのマ
ーク情報を自由に対応付けることができる。また、既読
未読を詳細に管理できたり、プレゼンテーションの重要
部分を容易に把握できたりして、プレゼンテーションを
効率的に視聴することができる。

【００３７】次に、クライアントＡ、Ｂ、ＣとサーバＳ
との間でのマーク付け情報の伝達動作について図１６を
用いて説明する。マーク付け情報伝達部１１は、例え
ば、ユーザがプレゼンテーションを視聴し終わったと
き、あるいはユーザがアノテーションを付与したとき等
の特定のイベントが発生した際に、マーク付け情報管理
部９からマーク付け情報を読み出す（ステップＳ２
１）。次いで、マーク付け情報伝達部１１は、当該マー
ク付け情報中の各レイヤーに設定されている属性を解釈
し（ステップＳ２２）、属性がＰｕｂｌｉｃであれば、
当該レイヤーを送信用のファイル（ｔｍｐ）に書き込む
一方、属性がＰｒｉｖａｔｅであれば何もしない（ステ
ップＳ２３、Ｓ２４）。そして、上記の処理ステップＳ
２２〜Ｓ２４をマーク付け情報ファイル中のすべてのレ
イヤーに対して行う（ステップＳ２５）。

【００３８】次いで、マーク付け情報伝達部１１は、ク
ライアントの識別子やクライアントを操作しているユー
ザＩＤ等のクライアントＩＤを送信用のファイルに書き
込み（ステップＳ２６）、さらに、マーク定義部８に記
憶されているマーク情報を送信用のファイルに書き込む
（ステップＳ２７）。図１７は、この時の送信用のファ
イルを示している。この後、マーク付け情報伝達部１１
は、サーバＳのマーク付け情報伝達部２３との間でコネ
クションを張って通信規約上でデータの送受信ができる
ようにし、送信用のファイルをマーク付け情報伝達部２
３に送信する（ステップＳ２８）。マーク付け情報伝達
部２３は、ネットワークＮを介して接続されている複数
のクライアントＡ、Ｂ、Ｃのマーク付け情報伝達部１１
からの送信用のファイルを受信し、サーバＳのマーク情
報管理部２１に記憶する。

【００３９】なお、本実施の形態では、ユーザが知らな
い間にシステムが自動的にマーク付け情報等を送るよう
にしたが、例えば、マーク付け情報送信ボタンなどを設
け、当該ボタンに対してユーザが明示的に指示したとき
のみ送信するようにすると、ユーザのプライバシーの保
護を考えた場合に有効である。また、本実施の形態で
は、サーバＳにクライアントＩＤを送信するようにした
が、クライアントＩＤは必ずしも送信する必要はない。
例えば、ユーザのプライバシーを尊重する場合にはマー
ク付け情報とともにクライアントＩＤを送信しないよう
にしてもよい。ユーザの意図に関係なくマーク付け情報
がサーバＳに送信されるような場合にはクライアントＩ
Ｄを送信しないようにしたほうがよい。

【００４０】次に、サーバＳでの複数のクライアント
Ａ、Ｂ、Ｃからのマーク付け情報から共有マーク付け情
報を作成する演算動作について図１８を用いて説明す
る。共有マーク付け情報とは、複数のクライアントで共
有プレゼンテーションを視聴した複数のユーザがプレゼ
ンテーションに対してどのようなインタラクションをし
たかという統合情報であり、だれが、プレゼンテーショ
ンのどの部分を視聴したか、どの部分にアノテーション
を付けたか、どこに重要マークをつけたか等の情報を複
数のクライアント（ユーザ）について統合した情報であ
る。ここでは、各クライアントにおいて、既／未読マー
ク情報、重要マーク情報、メモ書きマーク情報について
の対応付けが管理されている場合について説明する。本
実施の形態では、サーバＳのマーク付け情報管理部２１
がクライアントすべて（クライアントの数をＮ個とす
る）からマーク付け情報を受信したときに本動作が開始
されるものとする。なお、サーバＳの管理者が明示的に
動作を開始させるようにしてもよい。

【００４１】クライアントからＮ個目のマーク付け情報
が到着すると、マーク付け情報管理部２１は、マーク付
け情報演算部２２にＮ個目のマーク付け情報が到着した
ことを知らせる。マーク付け情報演算部２２は、マーク
付け情報管理部２１からＮ個のマーク付け情報等のセッ
トを読み出す（ステップＳ３１）。次に、マーク付け情
報演算部２２は、マーク付け情報にレイヤーが含まれて
いるマーク情報毎に同一のマーク情報のレイヤーをまと
めるためのマップを準備し（ステップＳ３２）、同一の
クライアントＩＤに対応付けられているマーク付け情報
の各レイヤーを該当するマップに書き込み（ステップＳ
３３、Ｓ３４）、他のクライアントＩＤに対応付けられ
ているマーク付け情報についても上記同様な処理（ステ
ップＳ３３、Ｓ３４）を行う（ステップＳ３５）。これ
によって、図１９に示すように、同一のマーク情報に関
連するＮ枚のレイヤーをまとめたマップが既／未読マー
ク情報（図中の既／未読マーク）、重要マーク情報（図
中の◎マーク）、メモ書きマーク情報（図中の★マー
ク）の各マーク情報ごとに作成される。

【００４２】次に、マーク付け情報演算部２２は、Ｍ個
のマップそれぞれについて、マーク定義情報に基づいて
解析して、マップ内のＮ枚のレイヤーの情報を統合す
る。時間軸の頭から順にマップのすべてのレイヤーに対
して解析し、図３のような再生シナリオを作成する。具
体的には、マーク付け情報演算部２２は、各クライアン
トＩＤに対応したマーク情報をマーク付け情報管理部２
１から読み込んでおく（ステップＳ３６）。次いで、マ
ップのレイヤーのビットを時刻ｔ＝０から順に読み込み
（ステップＳ３７）、マーク情報が対応付けられ（ビッ
トが”１”であり）、さらに当該レイヤーに対応付けら
れているクライアントＩＤのマーク情報に処理が設定さ
れていれば、当該処理を再生シナリオ形式で書き出し
（ステップＳ３８）、このような処理を当該マップのＮ
個の各レイヤーに対して行い（ステップＳ３９）、マッ
プの時間軸が終了するまで行う（ステップＳ４０）。次
いで、マーク付け情報演算部２２は、Ｍ個のマップそれ
ぞれから作成された再生シナリオをバインド（統合）し
て、共有再生シナリオ（共有マーク付け情報）を求め
（ステップＳ４１）、共有マーク付け情報管理部２１へ
記憶する。

【００４３】上記の処理によると、例えば、重要マーク
情報（◎マーク情報）に関するマップ情報が、

【００４４】

【表１】

【００４５】であり、メモ書きマーク情報（★マーク）
に関するマップ情報が、

【００４６】

【表２】

【００４７】であるとすると、図２０に示す共有マーク
付け情報が求められる。上記実施の形態では、複数のマ
ーク情報に関するマーク付け情報を統合した共有マーク
付け情報を求めるようにしたが、いずれか一つのマーク
情報に関するマーク付け情報を統合した共有マーク付け
情報を求めるようにしてもよい。

【００４８】次に、クライアントＡ、Ｂ、Ｃにおいて共
有マーク情報に基づいてプレゼンテーションを再生する
際の動作を説明する。サーバＳで作成されて共有マーク
情報管理部２１に記憶されている共有マーク情報は、サ
ーバＳのマーク情報伝達部２３により、所定のタイミン
グで各クライアントへ送信される。これにより、各クラ
イアントＡ、Ｂ、Ｃでは、プレゼンテーションを行う元
の再生シナリオファイルに加えて、サーバＳから送信さ
れたの共有マーク情報のシナリオファイルを持つことに
なる。

【００４９】各クライアントでは、再生シナリオ演算部
６が両シナリオファイルをバインドし、シナリオ解釈部
５が、バインドした新たな再生シナリオと、コンテンツ
群と、マーク情報とに基づいて、上述の複数のマーク情
報の対応付けに基づいて行うプレゼンテーションの再生
動作と同様な動作によりプレゼンテーションを実行す
る。これによると、図２１に示すように、複数のユーザ
によって対応付けられたマーク情報Ｍが適切なタイミン
グで適切な場所に表示されるプレゼンテーションが実行
される。したがって、ユーザはプレゼンテーションを実
行している最中に、複数のユーザによって対応付けられ
たマーク情報を把握することができる。

【００５０】

【発明の効果】以上のように本発明によると、ユーザは
複数のメディアから構成される複雑なプレゼンテーショ
ンに対して任意の部分にアノテーション、メモ書き、メ
ディア処理などのマーク情報を適切に対応付けることが
でき、さらにマーク情報の対応付けをネットワーク上に
おいて共有することができる。これにより、プレゼンテ
ーションに対するマーク情報の対応付けをユーザの作業
負担を増加させることなく容易に共有することができ、
複数のユーザは迅速かつ的確にこれらマーク情報の対応
付けを利用することができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態によるマルチメディア情
報処理装置の全体構成を示す図である。

【図２】本発明の一実施の形態によるマルチメディア情
報処理装置のＭＭ情報視聴部の構成を示す図である。

【図３】本発明の一実施の形態による再生シナリオファ
イルの一例を示す図である。

【図４】本発明の一実施の形態によるプレゼンテーショ
ンのスコアを示す図である。

【図５】本発明の一実施の形態によるマルチメディアプ
レゼンテーションの表示例を示す図である。

【図６】本発明の一実施の形態による基本的なマルチメ
ディアの再生動作のフローチャートである。

【図７】本発明の一実施の形態によるユーザ定義ファイ
ルを示す図である。

【図８】本発明の一実施の形態によるマーク付け情報フ
ァイルを示す図である。

【図９】本発明の一実施の形態による属性が設定された
レイヤーを説明する図である。

【図１０】本発明の一実施の形態による未読既読マーク
情報の対応付けに基づくスコアを示す図である。

【図１１】本発明の一実施の形態による再生シナリオの
演算動作のフローチャートである。

【図１２】本発明の一実施の形態による再生シナリオフ
ァイルのスコアに重要マーク情報およびスロー再生マー
ク情報の対応付けを重ねた図である。

【図１３】本発明の一実施の形態による重要マーク情報
およびスロー再生マーク情報の対応付けに基づいて演算
された２次元マップを示す図である。

【図１４】本発明の一実施の形態による重要マーク情報
およびスロー再生マーク情報の対応付けに基づく演算に
よりもとめられたスコアを示す図である。

【図１５】本発明の一実施の形態による更新されたシナ
リオに基づくスコアと、未読既読マーク情報の対応付け
に基づくスコアとを重ねあわせた状態の図である。

【図１６】本発明の一実施の形態によるマーク付け情報
の伝達動作のフローチャートである。

【図１７】本発明の一実施の形態によるマーク付け情報
送信用のファイルを示すである。

【図１８】本発明の一実施の形態による複数のマーク付
け情報から共有マーク付け情報を作成する演算動作のフ
ローチャートである。

【図１９】本発明の一実施の形態による同一のマーク情
報に関連するＮ枚のレイヤーをまとめたマップを示す図
である。

【図２０】本発明の一実施の形態による共有マーク付け
情報の一例を示す図である。

【図２１】本発明の一実施の形態による共有マーク付け
情報を用いたプレゼンテーションの表示例を示す図であ
る。

【符号の説明】

Ａ、Ｂ、ＣクライアントＮネットワークＳサーバＭＭＭＭ情報視聴部１メディア情報管理部２再生シナリオ管理部３視覚情報再生部４音声情報再生部５シナリオ解釈部６再生シナリオ演算部７マーク付け部８マーク定義部９マーク付け情報管理部１０既読情報管理部１１マーク情報伝達部２１マーク情報伝達部２２マーク付け情報管理部２３マーク付け情報演算部１００音声メディア１０１テキストメディア１０２静止画１０３動画１０４アニメーション２００再生シナリオファイル２０１ユーザ定義ファイル

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B049 BB21 BB49 CC02 CC31 EE05 EE07 FF03 FF04 FF06 GG04 GG07 5B075 KK03 KK07 KK13 KK33 ND16 ND26 PQ02 PQ04 PQ22 PQ63 PQ64 PQ65 PQ69 PR01 UU40 5C082 BA02 BA12 BA27 BA41 BB01 CA03 CA62 CB06 DA87 MM05 MM09

Claims

【特許請求の範囲】

【請求項１】サーバと、前記サーバにネットワークを介
して接続された複数のクライアントとを有するマルチメ
ディア情報処理装置において、前記各クライアントは、時間軸を持ったストリームメディアを含む複数のメディ
ア情報を時間的空間的に組み合わせて再生してプレゼン
テーションを実行するマルチメディア情報視聴手段と、再生されている前記メディア情報に対して、前記メディ
ア情報に関連するマーク情報を対応付けるプレゼンテー
ションにおける時間巾を指定するマーク付け手段と、前記再生されているメディア情報と、前記マーク情報
と、前記時間巾とを対応付けるマーク付け情報を管理す
る第１マーク付け情報管理手段と、前記マーク付け情報をサーバへ送信する第１マーク付け
情報伝達手段とを備え、前記サーバは、前記マーク付け情報を前記クライアントから受信する第
２マーク付け情報伝達手段と、受信した前記マーク付け情報を記憶する第２マーク付け
情報管理手段と、前記第２マーク付け情報管理手段に記憶された複数の前
記マーク付け情報に基づいて共有マーク付け情報を生成
するマーク付け情報演算手段とを備えることを特徴とす
るマルチメディア情報処理装置。
【請求項２】請求項１記載のマルチメディア情報処理装
置において、前記マーク付け情報演算手段は、前記マーク付け情報の
中の所定のマーク情報に関する前記マーク付け情報に基
づいて前記共有マーク付け情報を生成することを特徴と
するマルチメディア情報処理装置。
【請求項３】請求項１または２に記載のマルチメディア
情報処理装置において、前記第１マーク付け情報管理手段に記憶される前記マー
ク付け情報には、前記サーバに対する公開可否の属性情
報が設定されており、前記第１マーク情報伝達手段は前記属性情報に応じて前
記マーク付け情報の送信を制御することを特徴とするマ
ルチメディア情報処理装置。
【請求項４】請求項１乃至３のいずれかに記載のマルチ
メディア情報処理装置において、前記マルチメディア情報視聴手段は、前記プレゼンテー
ションの実行中に前記共有マーク付け情報に基づいて前
記マーク情報を表示することを特徴とするマルチメディ
ア情報処理装置。