JP2017215833A - 情報処理システム、情報処理方法、情報処理装置およびプログラム - Google Patents

Abstract

【課題】 情報処理システムを提供すること。【解決手段】 表示装置１１０上に描画された情報を管理する情報処理システム１００であって、表示装置１１０上に描画された画情報の位置情報を所定の間隔で受信する受信手段２３２と、受信した画情報に対し、他の画情報との関係を示す付加情報を付加する情報付加手段２３６と、受信された画情報の位置情報および付加された付加情報に基づいて、表示装置１１０に対しなされた情報の描画を再生するための連続データを生成する生成手段２３４と、生成された連続データを記憶する記憶手段２３８とを含む。【選択図】 図２

Description

本発明は、情報処理システム、情報処理方法、情報処理装置およびプログラムに関する。

従来、電子ホワイトボードなどの表示装置上に書き込まれた文字や図形に関し、表示装置上の座標の軌跡として情報を取得する技術が知られている。さらに、表示装置から取得された情報をネットワーク経由で他の端末と共有する機能も知られている。

例えば、特許文献１（特許第５２１２３３４号公報）は、表示制御装置に対し入力手段により入力された表示情報および該表示情報を表示する位置を特定するための位置特定情報を送信する端末装置と、端末装置から送信された受信された表示情報を、受信した位置特定情報と位置関連情報との比較に基づいて、位置関連情報に関連付けられた位置情報に基づく位置領域に表示する表示制御装置を備える構成を開示する。

しかしながら、従来技術では、表示装置から取得される軌跡の情報は、文字や図形を表す位置情報を表しているだけであり、連続したデータとして管理されておらず、情報を効果的に共有することが難しく、充分なものではなかった。

本発明は、上記点に鑑みてなされたものであり、本発明は、表示装置上に描画された情報を、表示装置になされた情報の描画を再生することができる連続データとして管理することを可能にする、情報処理システムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する、表示装置上に描画された情報を管理するための情報処理システムを提供する。本情報処理システムは、表示装置上に描画された画情報の位置情報を所定の間隔で受信する受信手段と、受信した画情報に対し、他の画情報との関係を示す付加情報を付加する情報付加手段と、受信された画情報の位置情報および付加された付加情報に基づいて、表示装置に対しなされた情報の描画を再生するための連続データを生成する生成手段と、生成された連続データを記憶する記憶手段とを含む。

上記構成により、表示装置上に描画された情報を、表示装置になされた情報の描画を再生することができる連続データとして管理することが可能となる。

本実施形態による描画情報共有システムを示す概略図。 本実施形態による描画情報共有システムの機能ブロック図。 本実施形態による描画情報共有システムにおいて電子ホワイトボードから取得される位置情報データを説明する図。 本実施形態による描画情報共有システムにおいて取得された位置情報データに基づいて生成される連続データのデータ構造を例示する図。 本実施形態による描画情報共有システムを構成する管理サーバが実行する連続データ生成処理を示すフローチャート。 本実施形態による描画情報共有システムにおける転送サーバおよび管理サーバの配置構成を例示する図。 本実施形態による描画情報共有システムを構成する転送サーバおよび管理サーバのハードウェア構成を示す図。

以下、本実施形態について説明するが、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、情報処理システムとして、電子ホワイトボード１１０に描画された情報を共有する描画情報共有システム１００を一例として説明する。

図１は、本実施形態による描画情報共有システム１００の概略を示す。図１に示す描画情報共有システム１００は、電子ホワイトボード１１０と、転送サーバ１２０と、管理サーバ１３０と、仮想現実表示装置１５０と、ラップトップコンピュータ１６０と、複合機１８０とを含み構成される。

電子ホワイトボード１１０、転送サーバ１２０、管理サーバ１３０、仮想現実表示装置１５０、ラップトップコンピュータ１６０および複合機１８０は、ネットワーク１０２を介して通信可能に接続される。

ネットワーク１０２は、有線または無線のローカル・エリア・ネットワーク（ＬＡＮ）を含む。図１に示す例では、ネットワーク１０２には、無線ＬＡＮアクセスポイント１０４が接続されている。仮想現実表示装置１５０は、無線ＬＡＮアクセスポイント１０４を介してネットワーク１０２に接続されている。しかしながら、図１に示すネットワーク環境は、一例であり、特に限定されるものではない点に留意されたい。ネットワーク１０２は、インターネットなどの公衆ネットワークを含んでいてもよい。

電子ホワイトボード１１０は、インタラクティブ・ホワイト・ボード（Interactive Whiteboard：ＩＷＢ）あるいは電子黒板とも参照されるデバイスである。電子ホワイトボード１１０は、赤外線イメージセンサ方式、マトリクス・スイッチ方式、抵抗膜方式、表面弾性波方式、電磁誘導方式、静電容量方式などのこれまで知られたいかなる方式を採用するものであってよい。

電子ホワイトボード１１０は、利用者が電子ペン１１２や指などの指示具を用いてディスプレイ上に直接文字や絵などの画情報を描画（書き込み）することが可能なように構成されている。また、本実施形態による電子ホワイトボード１１０は、指示具を用いて盤面上に描画された文字や図形など画情報を、外部の装置に提供する機能を有する。

なお、電子ホワイトボード１１０は、電子ホワイトボード機能を提供する専用の装置として提供されてもよい。あるいは、電子ホワイトボード１１０は、電子ホワイトボード機能などの文字や絵などの画情報の描画を可能とする機能を実現するアプリケーションが稼働する、タブレット・コンピュータなどの汎用コンピュータとして提供されてもよい。

転送サーバ１２０は、電子ホワイトボード１１０の盤面に描画された画情報を電子ホワイトボード１１０から読み出し、読み出した画情報を管理サーバ１３０へ転送するサーバである。転送サーバ１２０は、典型的には、自身に関連付けられた１または複数の電子ホワイトボード１１０に描画された画情報を、これらの画情報を一元管理する管理サーバ１３０に専ら転送する専用のサーバとして構成される。しかしながら、転送サーバ１２０の構成は、特に限定されるものではなく、他の機能を兼ねたサーバとして構成されてもよいし、転送サーバ１２０の機能が、電子ホワイトボード１１０や管理サーバ１３０などの他のデバイスに組み込まれることを妨げるものではない。

管理サーバ１３０は、電子ホワイトボード１１０上に描画された情報を一元管理するサーバである。本実施形態による管理サーバ１３０は、転送サーバ１２０から転送される画情報を、電子ホワイトボード１１０に対しなされた情報の描画が再生可能なように連続データに変換する機能を有する。管理サーバ１３０は、さらに、外部のクライアント端末装置からの求めに応じて、管理している画情報の連続データを要求元のクライアント端末装置に配信する機能を有する。

特定の実施形態において、管理サーバ１３０は、生成した連続データに基づいて、電子ホワイトボード１１０上に描画された画情報のスナップショットを提供する機能を有していてもよい。ここで、スナップショットとは、キャンパス上に描画された所定時点の画情報の状態を静止画として取得したものである。

管理サーバ１３０は、典型的には、転送サーバ１２０から転送される画情報を一元管理する専用のサーバとして構成される。しかしながら、管理サーバ１３０の構成は、特に限定されるものではなく、他の機能を兼ねたサーバとして構成されてもよいし、管理サーバ１３０の機能が、他のデバイスに組み込まれることを妨げるものではない。

図１に示す仮想現実表示装置１５０は、管理サーバ１３０に対し、画情報の連続データの取得を要求し、取得した連続データに基づいて電子ホワイトボード１１０に対しなされた情報の描画を自身の表示装置上で再生するクライアント端末装置である。仮想現実表示装置１５０は、ヘッドマウントディスプレイやスマートグラスなどとして構成される。ラップトップコンピュータ１６０も同様なクライアント端末装置である。仮想現実表示装置１５０およびラップトップコンピュータ１６０は、クライアント端末装置の一例であり、その他、スマートフォンやタブレット・コンピュータなどの携帯情報端末やデスクトップコンピュータなどの汎用コンピュータをクライアント端末装置として用いることができる。本実施形態によるクライアント端末装置１５０，１６０は、さらに、管理サーバ１３０から画情報のスナップショットを取得し、複合機１８０に対しスナップショットの印刷出力を要求することもできる。

複合機１８０は、印刷出力の要求に従い、画像形成処理を実行する画像形成装置である。図１に示す実施形態においては、クライアント端末装置１５０，１６０は、複合機１８０に対し、管理サーバ１３０から取得したスナップショットの印刷出力を要求することができる。複合機１８０は、クライアント端末装置１５０，１６０からの印刷出力の要求に応答して、印刷データとして渡される画情報のスナップショットを静止画像として印刷出力することができる。

図２は、本実施形態による描画情報共有システム１００の機能ブロック２００を示す。図２には、電子ホワイトボード１１０上の機能ブロック２１０、転送サーバ１２０上の機能ブロック２２０、管理サーバ１３０上の機能ブロック２３０およびクライアント端末装置（以下、仮想現実表示装置１５０を代表して説明する。）１５０上の機能ブロック２５０が示されている。

電子ホワイトボード１１０上の機能ブロック２１０としては、位置情報提供部２１２が含まれる。ユーザが電子ペン１１２などの指示具を用いて電子ホワイトボード１１０の盤面上に文字や図形などの画情報を描画すると、電子ホワイトボード１１０は、電子ペン１１２などの指示具により指し示される位置の座標を算出し、算出された座標の軌跡に基づき線を描画して表示データを生成し、電子ホワイトボード１１０の表示装置上に表示させる。これにより、あたかもキャンパスに手書きしているかのようなユーザ・エクスペリエンスを提供する。位置情報提供部２１２は、これらの盤面上に描画された文字や図形などの画情報の軌跡を表す位置情報データを外部の装置に提供する機能を有する。

転送サーバ１２０上の機能ブロック２２０としては、位置情報読取部２２２と、位置情報記憶部２２４と、位置情報転送部２２６とが含まれる。

位置情報読取部２２２は、電子ホワイトボード１１０の位置情報提供部２１２から、描画された画情報の軌跡を表す位置情報データを読み出し、位置情報記憶部２２４に記憶する。位置情報記憶部２２４は、電子ホワイトボード１１０から読み出された画情報の位置情報データを一時的に記憶する。

位置情報データを読み出すタイミングは、特に限定されるものではないが、位置情報読取部２２２は、例えば１ストローク（文字の場合は１画分に相当する）分の描画が行われる度に１ストローク分の位置情報データを読み出すことができる。その他、例えば１文字分の描画が行われる度に１文字分の位置情報データを読み出してもよいし、ペンアップ後一定期間描画が行われなかったタイミングを区切りとして複数文字分の描画が行われる度に当該複数文字分の位置情報データを読み出してもよいし、特に限定されるものではない。

位置情報転送部２２６は、位置情報記憶部２２４に記憶された画情報の位置情報データを管理サーバ１３０へ所定の間隔で転送する。転送先の管理サーバ１３０は、事前に登録されているものとする。位置情報を転送する所定の間隔は、定期的または不定期であってよい。説明する実施形態では、位置情報転送部２２６は、画情報の位置情報データを一定周期の間隔で管理サーバ１３０へ転送するものとする。しかしながら、位置情報を転送する所定の間隔は、特に限定されるものではない。他の実施形態では、位置情報転送部２２６は、上述した１ストローク分、１文字分または複数文字分の位置情報が読み取られる毎に、１ストローク分、１文字分または複数文字分の位置情報データを即時に管理サーバ１３０へ転送することもできる。また、一連の描画の終了を検知すると、転送サーバ１２０は、完了通知を管理サーバ１３０に送信する。例えば、一定時間書き込みがなかったことに応答して、管理サーバ１３０へ完了通知が送信される。

ここで、図３を参照しながら、画情報の位置情報データについて説明する。図３は、本実施形態による描画情報共有システム１００において、電子ホワイトボード１１０から取得される位置情報データを説明する。

図３に示すように、電子ホワイトボード１１０から読み取られ、転送サーバ１２０により転送される位置情報データは、電子ホワイトボード１１０の盤面上に描画された１以上のストローク（文字の場合は１画分に相当する。）を含み構成される。各ストロークは、電子ホワイトボード１１０の所定のキャンパス上での軌跡の座標情報を含む。座標は、典型的には、図３中に示されたような座標系で表現される。具体的には、左上を基準（０，０）とし、右および下に行くに従い値が増加する。

図３に示すように、位置情報データは、１以上のストロークを含み構成され、１または複数のストロークにより文字や図形が構成される。例えば、図３に示す５つのストローク（５画）により漢字「正」が構成される。図３に示す３つのストローク（５画）により片仮名「テ」が構成される。図３には、説明の簡略化の観点から、開始点および終了点のみが示されているが、ストロークの途中の軌跡を表す１以上の中間点を含んでいてもよい。なお、管理サーバ１３０に転送される一つの位置情報データに含まれるストローク数は、上述したように、転送のタイミングに依存する。

位置情報データは、１以上のストロークの配列として構成されてもよいし、１以上のストロークの配列が、さらに、手書き文字認識処理を行うことにより文字単位のストローク群で区切られていてもよい。さらに、各ストロークには、座標情報のほか、文字や図形を描画する際に用いたペンの太さ、色、ペン先の速度などの動き情報や筆圧情報などの他の属性値が付されていてもよい。

ここで、再び図２を参照する。管理サーバ１３０上の機能ブロック２３０としては、位置情報受信部２３２と、連続データ生成部２３４と、連続データ記憶部２３８と、連続データ配信部２４０とが含まれる。

位置情報受信部２３２は、転送サーバ１２０の位置情報転送部２２６から、電子ホワイトボード１１０上に描画された画情報の位置情報データを所定の間隔で受信する。位置情報受信部２３２は、本実施形態による受信手段を構成する。所定の間隔は、上記転送サーバ１２０が送信する間隔に対応する。

連続データ生成部２３４は、受信した位置情報データに基づいて、上記電子ホワイトボード１１０に対しなされた情報の描画を再生するための連続データを生成する。連続データ生成部２３４は、より詳細には、情報付加部２３６を含む。情報付加部２３６は、画情報に対し、他の画情報との関係を示す付加情報を付加する。連続データ記憶部２３８は、連続データ生成部２３４により生成された連続データを記憶し、以後の配信に備えて保存する。

図４は、本実施形態による描画情報共有システム１００において、取得された位置情報データに基づき生成される連続データのデータ構造を例示する。図４に示すように、生成される連続データ中には、画情報の位置情報（ＳｔａｒｔＰｏｉｎｔやＥｎｄＰｏｉｎｔなど）が記録されるとともに、位置情報に関連付けて、付加情報が記録されている。

付加される付加情報としては、例えば同一の場面を構成する画情報を関連付ける場面識別情報ＳＣＥＮＥＩＤ、同一の時間範囲に描画されたオブジェクト群に帰属する画情報を関連付ける連続画像識別情報ＬＯＧＩＤ、該オブジェクト群を構成する同一オブジェクトに帰属する画情報を関連付ける画像識別情報ＳＵＢＩＤ、オブジェクト内の他の画情報との順序を規定する順序情報ＯＲＤＥＲが含まれる。ここで、場面とは、会議などを表す。オブジェクトは、文字および図形を含み得る。以下の説明では、便宜上、オブジェクトが文字であるものとして説明する。

連続データ生成部２３４は、生成される連続データ中に、画情報の位置情報を記録するとともに、位置情報に関連付けて、これらの場面識別情報ＳＣＥＮＥＩＤ、連続画像識別情報ＬＯＧＩＤ、画像識別情報ＳＵＢＩＤ、順序情報ＯＲＤＥＲを記録する。情報付加部２３６は、本実施形態による情報付加手段を構成し、連続データ生成部２３４は、本実施形態による生成手段を構成する。

ここで、再び図２を参照する。連続データ配信部２４０は、クライアント端末装置からの要求に応答して、連続データ記憶部２３８に記憶された連続データをクライアント端末装置１５０に配信する。例えば、ユーザは、場面識別情報ＳＣＥＮＥＩＤなどによって、所望の場面を指定して連続データの配信を受けることができる。ユーザは、また、所望の場面について、連続画像識別情報ＬＯＧＩＤなどで所望の時間区間を指定して連続データの配信を受けることができる。連続データ配信部２４０は、本実施形態における配信手段を構成する。あるいは、ユーザは、現在生成中の連続データを指定して先頭から連続データの配信を受けることができる。

図２に示す管理サーバ１３０上の機能ブロック２３０は、さらに、スナップショット提供部２４２と、議事録データ生成部２４４とを含み構成されてもよい。

スナップショット提供部２４２は、連続データ記憶部２３８に記憶される連続データに基づいて、スナップショットを作成し、作成したスナップショットを、要求元のクライアント端末装置１５０に提供する。例えば、ユーザは、上述した場面識別情報ＳＣＥＮＥＩＤや連続画像識別情報ＬＯＧＩＤなどにより時点を指定してスナップショットを取得することができる。スナップショット提供部２４２は、本実施形態における提供手段を提供する。

議事録データ生成部２４４は、連続データ記憶部２３８に記憶される連続データに基づいて文字認識を実行し、認識された１以上の文字を含む議事録データを作成し、要求された連続データをクライアント端末装置に提供する。例えば、ユーザは、上述した場面識別情報ＳＣＥＮＥＩＤなどにより場面を指定して、議事録データを取得することができる。議事録データ生成部２４４は、本実施形態における議事録作成手段を提供する。

議事録データ生成部２４４は、文字認識技術を適用し、上記連続データに基づき、描かれた文字を認識する処理を行うことができる。文字認識方式としては、特に限定されるものではないが、例えば、ストロークのペン先の動きやペンの上げ下げなどの属性情報が取得できる場合は、１または複数のストロークのデータに対し、認識アルゴリズムに従って文字データベースとのパターンマッチングを行い、描かれた文字を推定する、オンライン手書き認識技術を用いることができる。また、その際に、複数文字の単位で認識処理を行い、単語などの辞書を用いて、文字同士の連結のしやすさが考慮されてもよい。あるいは、他の実施形態では、座標の軌跡に基づき画像化して、オフライン文字認識技術を適用して文字を認識してもよい。

クライアント端末装置１５０上の機能ブロック２５０は、連続データ受信部２５２と、連続データ再生部２５４と、スナップショット印刷処理部２５６とを含み構成される。

連続データ受信部２５２は、管理サーバ１３０に対し、連続データの配信を要求し、管理サーバ１３０の連続データ配信部２４０から配信された連続データを受信する。連続データは、場面識別情報ＳＣＥＮＥＩＤや連続画像識別情報ＬＯＧＩＤなどによって、所望のものが指定される。あるいは、生成中の連続データが配信されてもよい。

連続データ再生部２５４は、連続データ受信部２５２が受信した連続データに基づいて、表示画面上にストロークを描画し、仮想現実表示装置１５０またはクライアント端末装置１６０が備える平面表示装置上で、電子ホワイトボード１１０に対しなされた情報の描画を再生表示する。

スナップショット印刷処理部２５６は、管理サーバ１３０に対し、スナップショットの提供を要求し、管理サーバ１３０のスナップショット提供部２４２から提供されたスナップショット・データに基づいて、外部の複合機１８０などに印刷ジョブを発行する。スナップショットは、場面識別情報ＳＣＥＮＥＩＤや連続画像識別情報ＬＯＧＩＤなどによって、所望の時点のものが指定される。あるいは、現時点のスナップショットが提供されてもよい。

なお、説明する実施形態において、取得されたスナップショットの利用態様として、印刷出力を例示して説明した。しかしながら、スナップショットの利用態様は、特に限定されるものではなく、１または複数の時点各々のスナップショットを、ＪＰＥＧ（Joint Photographic Experts Group）やＢＭＰ（Bitmap）、ＧＩＦ（Graphics Interchange Format）、ＰＮＧ（Portable Network Graphics）などの単一ページの画像ファイル、ＴＩＦＦ（Tagged Image File Format）やＰＤＦ（Portable Document Format）などの複数ページのファイルとして生成し、所定のメールアドレスに送信したり、ネットワーク共有フォルダに保存したりしてもよい。

以下、図５を参照しながら、管理サーバ１３０が実行する連続データ生成処理について、より詳細に説明する。図５は、本実施形態による描画情報共有システム１００を構成する管理サーバ１３０が実行する、連続データ生成処理を示すフローチャートである。

図５に示す処理は、例えば、所定の会議が開始される際に、ユーザからの会議の記録の指示に応答して、ステップＳ１００から開始される。ステップＳ１０１では、管理サーバ１３０は、会議毎に場面識別情報ＳＣＥＮＥＩＤを採番し、これを連続データ中に記録する。以降に取得される画情報は、会議の記録の終了が行われるまで、ここで採番された場面識別情報ＳＣＥＮＥＩＤに関連付けられる。これにより、転送サーバ１２０から管理サーバ１３０へ散発的に転送される位置情報データがまとめ上げられて管理され、画情報に対し、同一の場面を構成する他の画情報との関連性が記録される。

ステップＳ１０２では、管理サーバ１３０は、次の受信データがあるか否かを判定する。ここで、位置情報データは、位置情報受信部２３２が受信した順にキューに投入されるものとする。位置情報データが受信されていない場合は、次の受信データが未だ存在しないと判定される。ステップＳ１０２で、次の受信データが未だないと判定された場合（ＮＯ）は、ステップＳ１０３へ処理が分岐される。ステップＳ１０３では、管理サーバ１３０は、会議の記録の終了が指示されたか否かを判定する。ステップＳ１０３で、会議の記録の終了が指示されていないと判定された場合（ＮＯ）は、ステップＳ１０２へ処理が分岐される。これにより、会議の記録の終了が指示されるまで、転送サーバ１２０から転送される位置情報データを待ち受ける。

一方、ステップＳ１０２で、次の受信データがあると判定された場合（ＮＯ）は、ステップＳ１０４へ処理が分岐される。キューに、１以上の位置情報データが投入されている場合は、次の受信データが存在すると判定される。ステップＳ１０４では、管理サーバ１３０は、キューの先頭の位置情報データを次の受信データとして読み出す。

ステップＳ１０５では、管理サーバ１３０は、連続画像識別情報ＬＯＧＩＤを採番し、これを連続データ中に記録する。以降に取得される画情報は、次の受信データを処理するまで、ここで採番された連続画像識別情報ＬＯＧＩＤに関連付けられる。なお、説明する実施形態では、連続画像識別情報ＬＯＧＩＤは、位置情報受信部２３２が受信する位置情報データの単位に対して採番されることになる。これにより、ある画情報に対し、同一の一定の時間範囲内に描画された文字列に帰属する他の画情報との関連性が記録される。

ステップＳ１０６では、管理サーバ１３０は、画像識別情報ＳＵＢＩＤを採番し、これを連続データ中に記録する。画像識別情報ＳＵＢＩＤは、各文字に対して割り振られる画像ＩＤである。以降に取得される画情報は、次の文字を処理するまで、ここで採番された画像識別情報ＳＵＢＩＤに関連付けられる。これにより、ある画情報に対し、同一の時間範囲内に描画された文字列を構成する同一の文字に帰属する他の画情報との関連性が記録される。なお、説明する実施形態では、説明の便宜上、位置情報データは、少なくとも１以上の文字の単位で受信するものとし、１つの文字のストロークが複数の位置情報データに分割されないものとする。

ステップＳ１０７では、管理サーバ１３０は、当該文字内での画情報の順序を保持する順序情報ＯＲＤＥＲを初期化する。ここでは、最初の画情報であることを示す「１」に初期化されるものとする。

ステップＳ１０８では、管理サーバ１３０は、時刻情報を記録する必要があるか否かを判定する。例えば、通常、位置情報データを受信したタイミングで時刻情報が計測されるところ、連続画像識別情報ＬＯＧＩＤを採番してから最初の処理であるなど、位置情報データに付された時刻情報が取得できる場合は、時刻情報を記録する必要があると判定される。

ステップＳ１０８で、時刻情報を記録する必要があると判定された場合（ＹＥＳ）は、ステップＳ１０９へ処理が分岐される。ステップ１０９では、管理サーバ１３０は、時刻情報を連続データ中に記録する。ここで、時刻情報は、図４に示す書込時間（ＷｒｉｔｉｎｇＴｉｍｅ）および受信時間（ＳｅｒｖｅｒＲｅｃｅｉｖｅｄＴｉｍｅ）が対応する。ここで、書込時間（ＷｒｉｔｉｎｇＴｉｍｅ）は、電子ホワイトボード１１０で実際に描画されたおおよその時刻を表す。受信時間（ＳｅｒｖｅｒＲｅｃｅｉｖｅｄＴｉｍｅ）は、管理サーバ１３０にデータが送られてきた時刻を表す。

ステップＳ１１０では、管理サーバ１３０は、現時点で計数している順序情報ＯＲＤＥＲを取得し、これを連続データ中に記録し、順序情報ＯＲＤＥＲを増分する。これにより、ある画情報に対し、同一文字に帰属する他の画情報との順序が記録されることになる。

ステップＳ１１１では、管理サーバ１３０は、受信データ中の処理対象とするストロークの情報を読み出し、その座標情報を記録する。なお、ストロークは、開始点（ＳｔａｒｔＰｏｉｎｔ）および終了点（ＥｎｄＰｏｉｎｔ）を含み構成されるが、上述したように特に限定されるものではなく、１以上の中間点が含まれてもよいし、座標情報の他、上述した属性情報も記録されてもよい。

ステップＳ１１２では、管理サーバ１３０は、処理対象のストロークで文字の終了位置であるか否かを判定する。位置情報データに文字の区切りが含まれている場合は、その区切りに基づいて終了か否かを判定することができる。位置情報データに文字の区切りが含まれていない場合は、適宜、文字認識処理により、適当な区切りが判定される。ステップＳ１１２で、文字の終了位置ではないと判定された場合（ＮＯ）は、ステップＳ１１０へ処理をループし、次のストロークへ処理を進める。一方、ステップＳ１１２で、文字の終了位置であると判定された場合（ＹＥＳ）は、ステップＳ１１３へ処理が分岐される。

ステップＳ１１３では、管理サーバ１３０は、読み出した受信データの末尾に達したか否かを判定する。末尾に達していないと判定された場合（ＮＯ）は、ステップＳ１０６へ処理をループし、当該受信データ中の次の文字へ処理を進める。一方、当該受信データ中の最後のストロークの記録が終わり、末尾に達したと判定された場合（ＹＥＳ）は、ステップＳ１０２へ処理がループされ、次の受信データに対する処理へ進められる。

ステップＳ１０３を再び参照すると、ステップＳ１０３で、ユーザからの会議の終了の指示が有り、会議の記録を終了すると判定された場合（ＹＥＳ）は、ステップＳ１１４で処理を終了させる。

図５に示す連続データ生成処理により、散発的に受信する図３に示すような１以上の位置情報データから、時間や順序に関する情報が付加された図４に示すような場面単位の連続データに変換され、管理されることになる。

図６は、本実施形態による描画情報共有システム１００における転送サーバ１２０および管理サーバ１３０の具体的な配置構成を例示する。図６に示す描画情報共有システム１００では、管理サーバ１３０が複数設けられており、これらの複数の管理サーバ１３０Ａ，１３０Ｂ，１３０Ｃおよびネットワーク１０２の間にはロードバランサ１３２が設けられている。

ロードバランサ１３２は、１以上の管理サーバ１３０Ａ〜１３０Ｃに対し上述した連続データの生成処理を振り分ける。ロードバランサ１３２は、本実施形態における負荷分散装置を構成する。

図７に示す構成における転送サーバ１２０は、電子ホワイトボード１１０に描画された画情報の位置情報を電子ホワイトボード１１０から取得して、ロードバランサ１３２に画情報の位置情報を転送する。ロードバランサ１３２は、ラウンドロビンなどの所定の方式に従って、１以上の管理サーバ１３０Ａ〜１３０Ｃの中から振り分け先を決定し、画情報の位置情報をさらに転送する。

図６に示す負荷分散構成を採用することにより、電子ホワイトボード１１０が多数存在した場合でも、単一の管理サーバ１３０かかる負荷を抑制することが可能となる。

以下、図７を参照しながら、転送サーバ１２０および管理サーバ１３０のハードウェア構成について説明する。図７は、本実施形態による描画情報共有システム１００を構成する転送サーバ１２０および管理サーバ１３０のハードウェア構成図である。

本実施形態による転送サーバ１２０および管理サーバ１３０は、汎用コンピュータ１０などとして構成されている。図７に示す汎用コンピュータ１０は、シングルコアまたはマルチコアのＣＰＵ（Central Processing Unit）１２と、ＲＡＭ（Random Access Memory）１４と、ＲＯＭ（Read Only Memory）１６と、ＨＤＤ（Hard Disk Drive）１８と、通信インタフェース機器２４とを含み構成される。汎用コンピュータ１０は、必要に応じて、入力装置２０と、表示装置２２とを含むことができる。

ＣＰＵ１２は、汎用コンピュータ１０内部の処理などの全体制御を行う。ＲＡＭ１４は、ＣＰＵ１２の作業領域を提供する。ＲＯＭ１６は、ＢＩＯＳ（Basic Input / Output System）などの制御プログラムを記憶する。ＨＤＤ１８は、汎用コンピュータ１０を制御するためのＯＳ、後述する機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。

入力装置２０は、マウス、キーボード、タッチスクリーンパネルなどの入力装置である。表示装置２２は、液晶ディスプレイ装置、有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置である。入力装置２０および表示装置２２は、操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供する。通信インタフェース機器２４は、ＮＩＣなどの汎用コンピュータ１０をネットワーク１０２に接続させるインタフェース機器である。

本実施形態による汎用コンピュータ１０は、ＲＯＭ１６やＨＤＤ１８からプログラムを読み出し、ＲＡＭ１４が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、転送サーバ１２０または管理サーバ１３０としての上述した各部および各処理を実現する。

以上説明したように、上述した実施形態によれば、表示装置上に描画された情報を、表示装置になされた情報の描画を再生することができる連続データとして管理することを可能にする、情報処理システム、情報処理方法、情報処理装置およびプログラムを提供することができる。

特に上述した実施形態では、電子ホワイトボード１１０などの表示装置に描画された情報は、情報の描画を再生可能な連続データとして、管理サーバ１３０で管理される。このため、効果的に情報を共有することが可能となる。例えば、仮想現実表示装置１５０を用いて情報を共有することが可能であり、仮想現実表示装置１５０を用いることにより、会議に出席せずにリアルタイムに会議に参加しているかのような擬似的な空間を表現することが可能となる。

電子ホワイトボード１１０に描画された情報が、連続データとして管理されているため、後日、連続データを再生する際に、その書込み順に描画されるように再生可能となる。利用者は、あたかも会議に参加してその書き込まれている状況を見ているかのような疑似的な体験をすることができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…汎用コンピュータ、１２…ＣＰＵ、１４…ＲＡＭ、１６…ＲＯＭ、１８…ＨＤＤ、２０…入力装置、２２…表示装置、２４…通信インタフェース機器、１００…描画情報共有システム、１０２…ネットワーク、１０４…無線ＬＡＮアクセスポイント、１１０…電子ホワイトボード、１１２…電子ペン、１２０…転送サーバ、１３０…管理サーバ、１３２…ロードバランサ、１５０…仮想現実表示装置（クライアント端末装置）、１６０…ラップトップコンピュータ（クライアント端末装置）、１８０…複合機、２００，２１０，２２０，２３０，２５０…機能ブロック、２１２…位置情報提供部、２２２…位置情報読取部、２２４…位置情報記憶部、２２６…位置情報転送部、２３２…位置情報受信部、２３４…連続データ生成部、２３６…情報付加部、２３８…連続データ記憶部、２４０…連続データ配信部、２４２…スナップショット提供部、２４４…議事録データ生成部、２５２…連続データ受信部、２５４…連続データ再生部、２５６…スナップショット印刷処理部

特許第５２１２３３４号公報

Claims (12)

1. 表示装置上に描画された情報を管理する情報処理システムであって、
   前記表示装置上に描画された画情報の位置情報を所定の間隔で受信する受信手段と、
   受信した前記画情報に対し、他の画情報との関係を示す付加情報を付加する情報付加手段と、
   受信された前記画情報の位置情報および付加された前記付加情報に基づいて、前記表示装置に対しなされた情報の描画を再生するための連続データを生成する生成手段と、
   生成された前記連続データを記憶する記憶手段と
   を含む、情報処理システム。
2. 前記画情報は、前記表示装置上で描画されたストロークであり、前記画情報の位置情報は、前記ストロークの前記表示装置上での軌跡を示す座標情報を含む、請求項１に記載の情報処理システム。
3. 前記情報付加手段は、前記付加情報として、他の画情報との順序を規定する順序情報を採番し、前記生成手段は、生成される連続データ中に、前記位置情報に関連付けて前記順序情報を記録する、請求項１または２に記載の情報処理システム。
4. 前記情報付加手段は、前記付加情報として、同一の時間範囲に描画されたオブジェクト群に帰属する他の画情報との関連性を示す連続画像識別情報、および、該オブジェクト群を構成する同一オブジェクトに帰属する他の画情報との関連性を示す画像識別情報を採番し、前記生成手段は、生成される連続データ中に、前記位置情報に関連付けて前記連続画像識別情報および前記画像識別情報を記録する、請求項１〜３のいずれか１項に記載の情報処理システム。
5. 前記情報付加手段は、前記付加情報として、同一の場面を構成する他の画情報との関連性を示す場面識別情報を採番し、前記生成手段は、生成される連続データ中に、前記位置情報に関連付けて前記場面識別情報を記録する、請求項１〜４のいずれか１項に記載の情報処理システム。
6. 前記情報処理システムは、さらに、
   前記記憶手段に記憶された前記連続データを端末装置に配信する配信手段
   を含み、前記端末装置は、前記配信手段により配信された前記連続データに基づいて仮想現実表示装置または平面表示装置上で、前記表示装置に対しなされた情報の描画を再生する、請求項１〜５のいずれか１項に記載の情報処理システム。
7. 前記情報処理システムは、
   前記連続データに基づいて、前記表示装置上に描画された情報のスナップショットを提供する提供手段
   をさらに含む、請求項１〜６のいずれか１項に記載の情報処理システム。
8. 前記情報処理システムは、
   前記連続データに基づいて文字認識を実行し、認識された１以上の文字を含む議事録データを作成する議事録作成手段
   をさらに含む、請求項１〜７のいずれか１項に記載の情報処理システム。
9. 前記情報処理システムは、
   それぞれ、前記受信手段、前記情報付加手段、前記生成手段および前記記憶手段を実現する１以上の管理装置と、
   前記１以上の管理装置に処理を振り分ける負荷分散装置と、
   前記表示装置に描画された画情報の位置情報を前記表示装置からに取得して、前記負荷分散装置を介して、前記１以上の管理装置いずれかへ前記画情報の位置情報を転送する、転送装置と
   を含む、請求項１〜８のいずれか１項に記載の情報処理システム。
10. 表示装置上に描画された情報を管理する情報処理方法であって、コンピュータが、
    前記表示装置上に描画された画情報の位置情報を所定の間隔で受信するステップと、
    受信した画情報に対し、他の画情報との関係を示す付加情報を付加するステップと、
    受信された画情報の位置情報および付加された前記付加情報に基づいて、前記表示装置に対しなされた情報の描画を再生するための連続データを生成するステップと、
    生成された前記連続データを記憶するステップと
    を実行する、情報処理方法。
11. 表示装置上に描画された情報を管理する情報処理装置であって、
    前記表示装置上に描画された画情報の位置情報を所定の間隔で受信する受信手段と、
    受信した前記画情報に対し、他の画情報との関係を示す付加情報を付加する情報付加手段と、
    受信された前記画情報の位置情報および付加された前記付加情報に基づいて、前記表示装置に対しなされた情報の描画を再生するための連続データを生成する生成手段と、
    生成された前記連続データを記憶する記憶手段と
    を含む、情報処理装置。
12. 表示装置上に描画された情報を管理する情報処理装置を実現するためのプログラムであって、コンピュータを、
    前記表示装置上に描画された画情報の位置情報を所定の間隔で受信する受信手段、
    受信した前記画情報に対し、他の画情報との関係を示す付加情報を付加する情報付加手段、
    受信された前記画情報の位置情報および付加された前記付加情報に基づいて、前記表示装置に対しなされた情報の描画を再生するための連続データを生成する生成手段、および
    生成された前記連続データを記憶する記憶手段
    として機能させるためのプログラム。