JP2009086861A - 情報処理システム、情報処理装置及びプログラム - Google Patents

Abstract

【課題】指示位置を表す情報と、指示位置を表す画像とを配信できるようにする。
【解決手段】複数の端末２と通信を行い、各端末２に提供する画像情報を取得し、当該複数の端末のうちから予め定められた注目端末の画面上で利用者が指示する指示位置を表す情報を取得する。そして、取得した画像情報と、指示位置を表す情報と、指示位置を表す画像の情報とを各端末２へ送信する情報処理システムである。
【選択図】図１

Description

本発明は、情報処理システム、情報処理装置及びプログラムに関する。

通信網を介した遠隔会議システムが開発されている。こうした遠隔会議システムでは、利用者の各端末に共通の電子文書を表示させ、発表者の音声を配信する。

一方、会議などの場において、発表者がスクリーンやディスプレイに投影または表示した画像の一部を指し棒やレーザーポインタ、マウスポインタなどで指し示すことがある。ここで発表者と共通のスクリーンやディスプレイを見ている会議参加者は、指示位置をリアルタイムに見ることができるが、遠隔会議システムを用いて、会議に遠隔から参加している利用者においては、指示位置が必ずしも、共通に表示される電子文書や音声などと同期して伝達されない場合がある。

そこで例えば特許文献１などにおいては、指し示された位置を表すポインティング・オブジェクトについて、受け手側で表示上の時間的なずれを考慮して現在の送り手側のポインティング・オブジェクトの位置を予想し、その予想位置で受け手側の画面にポインティング・オブジェクトを表示する技術が開示されている。
特開平６−３３７９１５号公報

指示位置を表す情報と、指示位置を表す画像とを配信できるようにする。

請求項１記載の発明は、情報処理システムであって、複数の端末と通信を行う手段と、前記端末に提供する画像情報を取得する手段と、前記端末のうちから予め定められた注目端末の画面上で利用者が指示する指示位置を表す情報を取得する手段と、前記取得した画像情報と、指示位置を表す情報と、指示位置を表す画像の情報とを前記各端末へ送信する送信手段と、を含むこととしたものである。

請求項２記載の発明は、情報処理装置であって、複数の端末のうち予め定められた注目端末の画面上で利用者が指示する指示位置を表す情報を取得する手段と、端末ごとに、指示位置を表す画像を選択する手段と、端末ごとに、前記取得した画像情報と、指示位置を表す情報と、各端末に応じて選択された指示位置を表す画像の情報とを、送信する送信手段と、を含むこととしたものである。

請求項３記載の発明は、請求項２記載の情報処理装置であって、前記送信手段は、前記指示位置を表す画像の表示態様を指定する情報をさらに送信することとしたものである。

請求項４記載の発明は、請求項２または３記載の情報処理装置であって、前記注目端末から、表示された画像情報に対して書き込まれた書込情報、を受け入れる手段と、前記受け入れた書込情報を、端末ごとに定めた様式に適合するよう補正する手段と、当該補正後の書込情報を各端末へ送信する手段と、を含むこととしたものである。

請求項５記載の発明はプログラムであって、コンピュータを、複数の端末のうち予め定められた注目端末の画面上で利用者が指示する指示位置を表す情報を取得する手段と、端末ごとに、指示位置を表す画像を選択する手段と、端末ごとに、前記取得した画像情報と、指示位置を表す情報と、各端末に応じて選択された指示位置を表す画像の情報とを、送信する送信手段と、として機能させることとしたものである。

請求項１記載の発明によると、指示位置を表す情報と、指示位置を表す画像とを配信できる。

請求項２，５記載の発明によると、指示位置を表す画像を端末ごとに定めたものにできる。

請求項３記載の発明によると、端末ごとに指示位置を表す画像の表示態様を変更できる。

請求項４記載の発明によると、書込情報を端末ごとに定めた様式とすることができる。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システムは、図１に例示するように、利用者の端末２ａ，２ｂ…に対してネットワークなどの通信回線を介して接続されたサーバ群として実現される。

この情報処理システムには、情報処理装置としての指示画像サーバ１と、会議参加者などの情報を保持する会議情報管理サーバ３と、各端末２に共通に表示するべき画像や、音声を配信する配信サーバ４と、会議の資料の画像などを保持する文書管理サーバ５とを含む。なお、図１の例示では、各サーバは別体であるかのように示しているが、必ずしも別体でなくても構わない。例えば指示画像サーバ１が、会議情報管理サーバ３や配信サーバ４、文書管理サーバ５の少なくとも一部の機能を併せて実現していても構わない。

指示画像サーバ１は、図２に示すように、制御部１１と、記憶部１２と、通信部１３とを含んで構成される。ここに制御部１１は、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。

本実施の形態においては、この制御部１１は、注目端末からその利用者（発表者）が指示する指示位置を表す情報を取得し、この取得した指示位置の情報を、端末２ごとに選択した指示位置を表す画像（指示画像と呼ぶ）とともに、各端末２へ送信する。この制御部１１の具体的な処理の内容については、後に詳しく述べる。

記憶部１２は、ＲＡＭ（Random Access Memory）や、ディスクデバイスなどを含んで構成される。この記憶部１２には、制御部１１によって実行されるプログラムが保持される。このプログラムは、ＤＶＤ−ＲＯＭなどのコンピュータ可読な記録媒体に保持された状態で提供され、この記憶部１２に複写されたものであってもよい。

またこの記憶部１２には、各端末２に、提供する指示画像の情報を保持していてもよい。各端末の指示画像は、例えば、予め定められた規則に基づいて決定される。この指示画像の例については後に詳しく述べる。

通信部１３は、例えばネットワークインタフェースなどの通信手段であり、制御部１１から入力される指示に従って、ネットワークなどの通信回線を介して情報を送信する。また、この通信部１３は、ネットワークなどの通信回線を介して受け入れた情報を制御部１１に出力する。

端末２は、パーソナルコンピュータなどであり、配信サーバ４から表示するべき画像情報と、音声情報との配信を受けて、当該配信された画像情報をディスプレイ等に表示出力する。また、配信された音声情報をスピーカーなどを介して出力する。

本実施の形態において、この端末２は、さらに指示位置を表す情報と、指示位置を表す画像の情報（指示画像）とを受信し、配信された画像情報のうち、上記受信した情報が表す指示位置に、受信した情報で表される指示画像を合成して表示出力する。

また、この端末２のうち、発表者が用いる端末２（注目端末）はマウスや電子ペンなどのポインティングデバイスを備え、このポインティングデバイスを用いた発表者の操作によって、画面上の指示位置を表す情報を生成する。この処理は、マウスポインタなどの移動を行う処理と同様のものであるので、ここでの詳細な説明を省略する。またこの注目端末は、生成した指示位置を表す情報を、指示画像サーバ１へ送信する。さらにこの注目端末は、発表者の指示により、表示する画像を切り替えるべき旨の指示を受けて、次に表示するべき画像を特定する情報を配信サーバ４へ送出する。同様に注目端末は、発表者の発した音声を符号化し、音声情報として、配信サーバ４へ送出する。

会議情報管理サーバ３は、会議ごとに、会議参加者が利用する端末２を特定する情報（端末２のネットワークアドレスなど）を端末リストとして保持している。一例としてこの会議情報管理サーバ３は、会議への参加を希望する利用者側の端末２から、会議への参加要求を受信し、端末２の利用者を認証する。そして利用者が認証されると、当該参加要求元の端末２を特定する情報を取得して端末リストに追加して記憶する。

また、この会議情報管理サーバ３は、各端末２の種別や、設置場所、会議で用いられる資料など画像の格納場所を表す情報などをさらに、各会議に関連して記憶していてもよい。ここで端末２の種別には、端末２の備える表示装置の種別を含んでもよい。表示装置の種別の情報は例えば、ディスプレイとプロジェクタとの別や、表示サイズの情報などを含む。

配信サーバ４は、注目端末から、次に表示するべき画像を特定する情報と、音声情報とを受け入れる。そしてこの配信サーバ４は、当該受け入れた情報で特定される画像を、文書管理サーバ５に対して要求する。また、この配信サーバ４は、当該要求に応答した文書管理サーバ５から受信される画像を受け入れて、会議に参加している各端末２（注目端末を含む）へ配信する。配信サーバ４は、さらに注目端末２から受信した音声情報を一時的に保持（バッファ）し、この音声情報を会議に参加している各端末２へ配信する。ここで会議に参加している端末２を特定する情報は、会議情報管理サーバ３から取得すればよい。

文書管理サーバ５は、会議ごとに会議で用いられる画像の情報を保持している。一般に、会議ごとに複数の画像の情報が関連づけて保持されている。この文書管理サーバ５は、画像を特定する情報とともに、当該情報で特定される画像の要求を受けて、当該情報で特定される画像をディスクストレージなどの記憶手段から読み出す。そして当該読み出した画像の情報を、指示画像サーバ１へ送信する。このとき指示画像サーバ１へは要求元である配信サーバ４を特定する情報を併せて送信してもよい。

次に、指示画像サーバ１の制御部１１での動作について述べる。指示画像サーバ１の制御部１１が実行するプログラムは機能的には、図３に例示するように、指示位置情報取得部３２と、指示画像決定部３３と、指示画像取得部３４と、送信部３５とを含んで構成されている。

指示位置情報取得部３２は、注目端末から発表者によって指示されている指示位置の情報を受け入れて、送信部３５に出力する。

指示画像決定部３３は、会議に参加している端末２ごとに、指示画像を選択する。この選択は、例えば次のようにして行われる。指示画像の選択処理の例として、この指示画像決定部３３は、
（１）端末の種別
（２）設置場所
（３）参加者数
（４）画像情報の種別
の少なくとも一つによって定める。例えば記憶部１２に、図４に例示するように、端末の種別、設置場所、参加者数の範囲、画像情報の種別に応じて、指示画像を特定する情報を関連付けた指示画像特定テーブルを保持させておく。そして指示画像決定部３３は、端末２ごとに、その端末の種別や、設置場所、参加者数などの情報を会議情報管理サーバ３から取得する。また、指示画像決定部３３は、配信サーバ４が配信している画像情報の種別を取得する。ここに画像情報の種別とは、文字などが主体となっているか、絵柄が主体となっているかの別などであり、予め画像情報ごとに関連付けておいてもよい。また参加者数は、端末２ごとに、当該端末２を使って会議に参加する参加者の人数であり、会議情報管理サーバ３側に予め登録しておくこととすればよい。

これにより指示画像決定部３３は、ある端末２がプロジェクタを用いて画像を投影するものであり、会議室などに設置され、参加者数は１０名以上であるなどの条件に対して、上記指示画像特定テーブルを参照して、「白抜き矢印」の指示画像を用いると決定する。またこの指示画像決定部３３は、指示画像特定テーブルを参照して、指示画像の表示態様を、例えば、移動軌跡は表示しない、などと決定してもよい。

指示画像取得部３４は、端末２ごとに指示画像決定部３３が決定した指示画像を取得する。この指示画像は記憶部１２等に予め格納しておけばよい。そして端末２を特定する情報と、当該情報で特定される端末２について取得した指示画像とを送信部３５に出力する。

送信部３５は、端末２を特定する情報と、当該情報で特定される端末２について取得した指示画像と、注目端末から受信した指示位置を表す情報とを、上記情報で特定される端末２に宛てて送信する。

制御部１１は、指示画像決定部３３、指示画像取得部３４、及び送信部３５の処理を、各端末２について実行する。また、この制御部１１の送信部３５は、指示画像決定部３３が、いずれかの端末２について指示画像の表示態様を併せて決定している場合は、当該表示態様を特定する情報を、指示画像とともに対応する端末２へ送信する。

本実施の形態の情報処理システムは、以上の構成を備えてなり、次のように動作する。以下の例では、発表者が利用する注目端末２ａと、他の会議参加者が利用する端末２ｂ、及び２ｃがあるものとして説明する。また、これらの端末の種別などの情報は、予め会議情報管理サーバ３にて保持されているものとする。

図５に示すように、注目端末２ａを操作している発表者が、画像Ｄ１を呼び出す操作を行うと（Ｓ１）、次に表示するべき画像を特定する情報として、この画像Ｄ１を特定する情報が、配信サーバ４へ送信される（Ｓ２）。配信サーバ４は、この情報で特定される画像Ｄ１を文書管理サーバ５から取得し、各端末２ａ，２ｂ，２ｃへ配信する（Ｓ３）。そして各端末２において、画像Ｄ１が表示される。

一方、発表者が、注目端末２ａに接続されているマウスや電子ペンなどのポインティングデバイスを用いて、画像Ｄ１上を指し示す操作を行うと（Ｓ４）、当該指し示された位置を表す指示位置の情報が、指示画像サーバ１へ送信される（Ｓ５）。指示画像サーバ１では、端末２ごとに指示画像と、指示画像の表示態様とを決定し（Ｓ６）、各端末２ａ，２ｂ，２ｃに対して、それぞれについて決定した指示画像と指示画像の表示態様と、指示位置の情報とを送信する（Ｓ７）。

注目端末２ａを含む、各端末２では、それぞれに受信した指示画像を、画像Ｄ１上の指示位置の情報が表す位置に合成して表示する（Ｓ８）。このとき指示画像の表示態様が指定されていれば、当該表示態様で表示を行う。各端末２における合成表示は例えば、次のようにして行われる。すなわち端末２は、グラフィカル・ユーザー・インタフェースで用いるマウスカーソルの画像を、受信した指示画像に変更する。そして、マウスカーソルの表示態様を、受信した表示態様とする。これにより、画像Ｄ１上に、端末２側のオペレーティングシステムの動作として指示画像が合成される。なお、マウスカーソルの表示態様の一例としては、移動軌跡の表示などの設定があるが、ウインドウズ（登録商標）などのオペレーティングシステムにおいては、さらに軌跡の表示時間（軌跡が表示されてから消えるまでの時間）が設定可能であるので、軌跡の表示時間を設定してもよい。さらに、他の態様として、軌跡の透明度、色などを表示態様として設定するようにしてもよい。

本実施の形態において各端末２に表示される指示画像の例としては、単純な矢印形状のほか、陰付きの矢印など種々の形状のものがある。また、色も、例えば参加者数の数が多い場合は、原色などの目立つ色を用いた画像としてもよい。さらに文字などを主体とする画像上に表示する場合には、透明度の高いものとするなど、透明度が設定されていてもよい。

さらに本実施の形態では、注目端末２は、表示中の画像情報に対して発表者が書き込みを行った場合には、当該書き込みの内容を指示画像サーバ１へ送信してもよい。ここで書き込みの情報は、表示されている画像情報とは独立した情報として生成される。すなわち、注目端末２は、一般的なペイント・ソフト、またはドローソフトなどと同様に、利用者の操作に基づいて描画の指示を受け入れる。そして描画の結果を表す画像を生成し、当該生成した描画の結果を表す画像を、書き込みの内容（以下、書込画像と呼ぶ）として指示画像サーバ１へ送信する。

また各端末２（注目端末を含む）は、配信サーバ４から注目端末にて行われた書込画像を受信し、表示している画像に合成して出力する。

指示画像サーバ１では、書込画像を受信すると、当該書込画像を配信サーバ４に対して送出する。配信サーバ４は、指示画像サーバ１から受け入れた書込画像を各端末２へ送信する。

なお、指示画像サーバ１では、この書込画像についても、端末ごとに定めた様式に適合するよう補正してもよい。例えば、書込画像が、ビットマップ画像である場合、端末２の表示装置の解像度の情報に基づいて、例えば解像度が予め定めたしきい値未満のものについては、細線化処理（線分を検出し、当該検出した線分の太さを減じる処理、広く知られているのでここでの詳細な説明を省略する）を行うなど、端末２ごとに補正処理を行う。そして、各端末２について、端末２を特定する情報と、当該情報で特定される端末２に対応して補正処理後の書込画像とを関連付けて配信サーバ４に送信する。

配信サーバ４は、端末２を特定する情報を参照して、当該情報で特定される端末２に対し、当該情報に関連付けられて受け入れた補正処理後の書込画像を送信する。

［履歴保持・再生］
さらに配信サーバ４は、発表者の音声の配信を開始してからの経過時間を、タイマーなどで計時し、画像情報の配信を行う際に、当該配信する画像情報と、配信の時点でのタイマーの計時時刻とを関連付けて画像履歴情報を生成してもよい。そして配信サーバ４は、配信している音声の情報に関連付けてこの画像履歴情報を、ストレージなどに蓄積して格納してもよい。

また、配信サーバ４は、指示画像サーバ１が指示位置の情報を配信するときに、当該指示位置の情報を指示画像サーバ１から取得して、当該配信の時点でのタイマーの計時時刻と、配信する指示位置の情報とを関連付けてストレージなどに蓄積する。

同様に、配信サーバ４は、指示画像サーバ１から受け入れた書込画像を配信するときに、当該配信の時点でのタイマーの計時時刻と、配信する書込画像とを関連付けてストレージなどに蓄積する。なお、書込画像が端末２ごとの補正処理を受けているときには、どの端末２に対応する書込画像を蓄積するかの設定を予め受け入れておく。そして当該設定に従って、設定により選択される端末２に対応する書込画像を、配信の時刻に関連付けて蓄積する。

また指示画像サーバ１は、端末２に対応する書込画像だけではなく、蓄積用に補正処理した後の書込画像を蓄積して保持してもよい。この場合は、補正処理の内容を、予め注目端末の利用者（発表者）などが、指示画像サーバ１に対して指定しておくこととすればよい。指示画像サーバ１は、当該指定に従って受信した書込画像に補正処理を行い、当該補正処理後の書込画像を保持するよう、配信サーバ４に指示する。そして配信サーバ４は、この補正処理後の書込画像を、各端末２への配信の時刻に関連付けて蓄積する。

これにより配信サーバ４は、図６に示すように、音声情報Ａと、画像履歴情報のリストＶと、指示位置の情報のリストＰと、書込情報のリストＷとを関連付けて、会議履歴情報として保持するようになる。

利用者は、後に、端末２から配信サーバ４に対して、配信サーバ４が保持している会議履歴情報の一つを選択して再生するように指示してもよい。この場合、配信サーバ４は、音声情報Ａを要求元の端末２へ配信するとともに、タイマーによる計時を開始し、タイマーの計時時刻が、いずれかの画像履歴情報に含まれる時刻の情報に到達するごとに、当該到達した時刻に関連付けられた画像を端末２へ配信する。

さらに、配信サーバ４は、タイマーの計時時刻が、いずれかの指示位置の情報に関連付けられた時刻の情報に到達するごとに、当該到達した時刻に関連付けられた指示位置の情報を取得する。そして、この指示位置の情報を、指示画像サーバ１へ送信する。このとき、配信サーバ４は、端末２の種別に係る情報などを指示画像サーバ１へ併せて送信してもよい。

指示画像サーバ１では、配信サーバ４から受信した端末２の種別に係る情報などに基づいて指示画像を選択する。この処理は、既に述べた処理と同様であるので、重複した説明を省略する。指示画像サーバ１は、選択した指示画像と、配信サーバ４から受信した指示位置の情報とを送信する。なお、指示画像とともにその表示態様を併せて選択し、選択した表示態様を端末２へ送信しても構わない。

配信サーバ４は、さらに、タイマーの計時時刻が、いずれかの書込画像に関連付けられた時刻の情報に到達するごとに、当該到達した時刻に関連付けられた書込画像を取得する。そして、この書込画像を、端末２へ送信する。

端末２では、受信した音声をスピーカーなどを介して鳴動する。また、画像を受信するごとに当該画像を表示する。また、指示画像と指示位置の情報などを受信すると、画像上の指示位置に、指示画像を合成する処理を行う。さらに端末２は、書込画像が受信されると、当該書込画像を表示している画像に合成して出力する。

なお、配信サーバ４は、書込画像がベクトル情報である場合など、蓄積後に補正処理可能である場合は、書込画像を端末２ではなく、端末２の種別に係る情報などとともに、指示画像サーバ１へ送信してもよい。

指示画像サーバ１では、配信サーバ４から受信した端末２の種別に係る情報などに基づいて書込画像を補正処理し、配信サーバ４に送信する。そして配信サーバ４は、この補正処理後の書込画像を端末２へ送信してもよい。

本発明の実施の形態に係る情報処理システムの例を表す構成ブロック図である。 本発明の実施の形態に係る情報処理装置の一例を表す構成ブロック図である。 本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置が保持する指示画像の選択のためのテーブルの例を表す説明図である。 本発明の実施の形態に係る情報処理システムの動作例を表す流れ図である。 本発明の実施の形態に係る情報処理システムが保持する履歴の情報の例を表す説明図である。

符号の説明

１ 指示画像サーバ、２ 端末、３ 会議情報管理サーバ、４ 配信サーバ、５ 文書管理サーバ、１１ 制御部、１２ 記憶部、１３ 通信部、３２ 指示位置情報取得部、３３ 指示画像決定部、３４ 指示画像取得部、３５ 送信部。

Claims (5)

1. 複数の端末と通信を行う手段と、
   前記端末に提供する画像情報を取得する手段と、
   前記端末のうちから予め定められた注目端末の画面上で利用者が指示する指示位置を表す情報を取得する手段と、
   前記取得した画像情報と、指示位置を表す情報と、指示位置を表す画像の情報とを、前記各端末へ送信する送信手段と、
   を含む情報処理システム。
2. 複数の端末のうち、予め定められた注目端末の画面上で利用者が指示する指示位置を表す情報を取得する手段と、
   端末ごとに、指示位置を表す画像を選択する手段と、
   端末ごとに、前記取得した画像情報と、指示位置を表す情報と、各端末に応じて選択された指示位置を表す画像の情報とを、送信する送信手段と、
   を含むことを特徴とする情報処理装置。
3. 前記送信手段は、前記指示位置を表す画像の表示態様を指定する情報をさらに送信することを特徴とする請求項２記載の情報処理装置。
4. 前記注目端末から、表示された画像情報に対して書き込まれた書込情報、を受け入れる手段と、
   前記受け入れた書込情報を、端末ごとに定めた様式に適合するよう補正する手段と、
   当該補正後の書込情報を各端末へ送信する手段と、
   を含むことを特徴とする請求項２または３記載の情報処理装置。
5. コンピュータを、
   複数の端末のうち、予め定められた注目端末の画面上で利用者が指示する指示位置を表す情報を取得する手段と、
   端末ごとに、指示位置を表す画像を選択する手段と、
   端末ごとに、前記取得した画像情報と、指示位置を表す情報と、各端末に応じて選択された指示位置を表す画像の情報とを、送信する送信手段と、
   として機能させることを特徴とするプログラム。

Images