JP2015220660A - 電子会議に用いられる装置、方法、及びプログラム - Google Patents

Abstract

【課題】電子資料への追記を含むホワイトボードの撮影画像を、電子資料の一部に位置をあわせて合成して保存することはできなかった。
【解決手段】電子会議に用いられる装置において、各拠点の盤面に描かれた物理書き込みを撮影して得られた第１の画像データを取得する。また、資料の一部分を示す第２の画像データを各拠点に送信する。第２の画像データを各拠点に送信した後に、取得される第１の画像データが変更された場合、変更された内容を資料における一部分の対応領域に追記データとして関連付けて保存する。
【選択図】図２

Description

本発明は、会議拠点に設置したカメラで撮影して得られた画像をネットワークを介して複数拠点間で共有して、それぞれの拠点で表示する電子会議に用いられる装置、方法、及びプログラムに関する。

自拠点において、遠隔地にある他拠点との会議を行うために電子会議システムが利用されることがある。電子会議システムでは、以下の処理が行われる。他拠点に設置されたホワイトボードや黒板等の描画対象物に書き込まれたテキストや図形等を、他拠点に設置されたカメラ等の撮影装置で撮影する。自拠点に設置されたプロジェクタ等の投影装置は、他拠点で撮影された画像を受信して、その画像を自拠点に設置されたホワイトボード等に投影する。このような処理が行われることにより、他拠点に設置された描画対象物上に書き込まれた内容を、自拠点においても参照することが可能になる。

このような電子会議システムにおいて、電子資料をホワイトボードに投影しつつ、参加者が必要に応じてその資料に対してコメントやメモを書き込むことが想定される。このように書き込まれた内容を撮影してその投影している電子資料と関連付けて保存できれば利便性が向上する。

特許文献１の技術には、ホワイトボードに投影中の電子資料の画像に対してマーカーペンによる書き込みをそのホワイトボードに行うと、その書込みを投影中の画像に関連付けて保存する技術が開示されている。具体的には、その書込みが投影中のページに対して新規に書き加えられたものであるか，その前のページを投影している時から既に書かれているものかを区別して書込まれた内容を保存することが開示されている。

特開２０１１−１４１５９９号公報

特許文献１の技術はページ毎の書込みの有無に基づいて書込みがあったページを特定し、その特定したページにその書込みを関連付ける技術である。しかしながら、投影中の書込みは、資料ページの注目部分を拡大してその注目部分に対して行なわれる場合が多い。特許文献１の技術はこのような資料ページの一部を部分的に拡大した場合の処理を考慮していない。そのため書き込みを含むホワイトボードの撮影画像を、電子資料の一部に位置をあわせて合成して保存することはできなかった。

本発明にかかる装置は、電子会議に用いられる装置であって、各拠点の盤面に描かれた物理書き込みを撮影して得られた第１の画像データを取得する取得手段と、資料の一部分を示す第２の画像データを各拠点に送信する送信手段と、前記第２の画像データを各拠点に送信した後に、前記取得手段で取得される第１の画像データが変更された場合、変更された内容を前記資料における前記一部分の対応領域に追記データとして関連付けて保存手段に保存するように制御する制御手段とを有することを特徴とする。

本発明によれば、資料に対する追記を含む撮影画像を、電子資料の一部に位置をあわせて保存することができる。

実施例に係る会議システムのネットワーク構成例を示す図である。 実施例における処理の概要を説明する図である。 実施例に係る会議端末と会議サーバのハードウエア構成例を示す図である。 実施例に係る会議端末設置構成の例を示す図である。 実施例に係る会議端末のソフトウエア構成例を示す図である。 実施例に係る会議サーバのソフトウエア構成例を示す図である。 実施例に係る資料データ構造を説明するための図である。 実施例に係る共有盤面座標系を説明するための図である。 実施例に係る資料座標系を説明するための図である。 実施例に係る資料原稿と資料追記との関係を示す図である。 実施例に係る処理シーケンスを示す図である。 実施例に係る盤面撮影処理のフローチャートである。 実施例に係る盤面投影処理のフローチャートである。 実施例に係る盤面に書込み撮影する様子を示す図である。 実施例に係る資料表示を開始する様子を示す図である。 実施例に係る描画画像加工処理のフローチャートである。 実施例に係る資料表示をして書込み撮影する様子を示す図である。 実施例に係る資料操作指示処理のフローチャートである。 実施例に係る資料操作処理のフローチャートである。 実施例に係る資料表示条件を変更する様子を示す図である。 実施例に係る資料追記保存する様子を示す図である。 実施例に係る資料表示を終了する様子を示す図である。 実施例に係る資料操作処理の別の例を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

以下、本発明を実施するための形態について図面を用いて説明する。

＜ネットワーク構成＞
図１に、会議システムのネットワーク構成例を示す。会議端末１０１、１０２、そして会議サーバ１０６は、インターネット１０５と接続されている。会議端末同士は会議サーバが仲介することでお互いにデータを送受信できる。以下では、会議端末１０１側で行われる処理に注目して説明を行う。そこで、会議端末１０１側を自拠点における端末として「本端末」と、会議端末１０２側を他拠点における端末として「対向端末」と呼称するものとする。会議端末１０２側に注目した場合には、この関係が入れ替わることに注意されたい。また、本実施例においては、対向端末は１台に限定する物ではなく、複数台の構成となっても適用する事ができることを予め明言する。

＜用語の定義＞
以下、本明細書で用いる用語について説明する。
・盤面：ホワイトボードや黒板などに代表されるように、プロジェクタが投影される面を含む面のことである。
・描画画像：盤面にマーカーなどによって物理的に描かれた書き込み内容を示す画像のことである。
・取得描画画像：自拠点の会議端末において盤面を撮影することによって得られた上記の描画画像のことである。
・投影用描画画像：他拠点の会議端末において得られた取得描画画像を、自拠点の会議端末で投影する際に用いられる画像のことである。
・資料原稿：ＰＤＦやプレゼンテーション用スライド、スプレッドシートなどの電子ファイルのことである。また、この電子ファイルを展開した場合に表れる内容のことを単に資料と称し、資料を表す画像のことを資料画像と称する。
・資料追記データ：資料原稿のうちの任意のページ番号、そのページ番号で特定されるページに関連付けられる追記画像データ、追記画像のサイズ、追記画像のページ中における位置情報などを含むデータである。
・投影用資料画像：投影に用いられる、上記の資料を示す画像のことである。会議端末は、投影用資料画像データに基づいて自拠点で資料画像を投影する。投影用資料画像には、資料画像のほか、追記画像がある場合には追記画像が含まれる。

なお、描画画像を示すデータのことを描画画像データというように、各画像を示すデータのことをそれぞれの名称の後にデータを付して説明することとする。

＜実施例の概要説明＞
図２は、本実施例で行なわれる処理の概要を説明する図である。図２においては（ａ）から（ｆ）の順に時間軸が推移する様子を示している。図２において左側の各会議端末拠点の画像は、各拠点の盤面に現れる内容を表している。この現れる内容とは、投影される画像及び物理的な書き込みを含むものである。図２において右側の操作結果が示す画像は、左側の操作が行われた結果、各拠点の盤面に現れる内容を示している。

図２（ａ）では、自拠点の本端末である会議端末１０１において「レビューミーティング」の書き込みがホワイトボードに対して行なわれた盤面２０１を示している。なお、初期の段階では、ホワイトボードには何も書き込みが行なわれておらず、資料の投影もなされていない状態であるものとする。すなわち、他拠点の対向端末である会議端末１０２においては、盤面２０２のように何も表示がされていない。この状況において、本端末で盤面を撮影すると、操作結果２０３に示すようにいずれの拠点においても「レビューミーティング」の文字が盤面に現れることになる。なお、より正確に説明すると、自拠点においては物理的なマーカーペンなどによる書き込みがされた「レビューミーティング」の文字が現れており、他拠点においては「レビューミーティング」の文字を含む投影用描画画像が対応領域に投影されている。

次に、図２（ｂ）では、本端末において資料の表示を開始する操作を行なう。このとき、対向端末の他拠点の盤面２０２には、操作結果２０３のような内容が現れている。資料表示開始操作によって、操作結果２１３に示すような内容が各拠点の盤面に現れる。

次に、図２（ｃ）では、自拠点の本端末において資料全体ページの中の一部分を拡大する操作を行なう。なお、自拠点の盤面２０１の「レビューミーティング」の文字は、前述の通りホワイトボードへの物理的な書き込みであり、表示されている資料の部分は投影用資料画像に基づくものである。他拠点の盤面２０２は、「レビューミーティング」の文字は前述のように投影用描画画像に基づいており、資料の内容については投影用資料画像に基づいている。資料の一部分を拡大した結果、各拠点の盤面には操作結果２２３のような内容が現れる。

次に、図２（ｄ）では、他拠点の盤面２０２において物理的な書き込みが行なわれた例を示している。この結果、各拠点の盤面には操作結果２３３で示すような内容が現れる。なお、図２（ｅ）の各拠点の盤面には、互いに異なる投影用描画画像が投影されていることになる。すなわち、自拠点の盤面２０１においては、投影用描画画像は図２（ｄ）において盤面２０２に物理的に書き込まれた「tri ok」「1.tri」という文字である。一方、他拠点の盤面２０２においては、投影用描画画像は図２（ａ）において盤面２０１に書き込まれた「レビューミーティング」という文字である。

次に、図２（ｅ）では、他拠点の対向端末において追記保存の操作が行われた例を示している。なお、自拠点の本端末において追記保存の操作が行われた場合も同様である。この場合、各拠点の盤面に現れる操作結果２４３は、図２（ｄ）の場合の操作結果２３３と同じである。このとき、追記済み資料２６０には追記内容が関連付けられて保存されている。資料１ページ全体の中で対応する部分に追記内容が関連付けられて保存されていることに留意されたい。ここでは、追記内容を示す追記画像データがページ全体の対応箇所と位置あわせをして保存されている。つまり、追記画像のページ全体における位置を示す情報を含めて保存されている。また、このとき、追記済み資料２６０には投影用資料画像が投影されている領域に対する追記内容である「tri ok」の文字のみが追記されている。

次に、図２（ｆ）では、自拠点において資料の表示の終了の操作を行った場合の例を示している。資料の表示を終了した結果、すなわち、投影用資料画像の投影を終了した結果、各拠点には操作結果２５３で示すような内容が現れている。これは、各拠点において物理的に書き込みされた内容と、投影用描画画像の内容とを含むものである。
以上のような処理を行なう構成について、以下具体的に説明する。

＜ハードウエア構成＞
図３に、会議端末と会議サーバのハードウエア構成例を示す。まずは図３（ａ）に示す会議端末の構成を説明する。本実施例では、カメラ付きプロジェクタを会議端末としている。なお、ここでは会議システムに接続するための専用ハードウェアデバイスとして会議端末を説明しているが、プロジェクタとカメラ付きスマートフォンを組み合わせる形で構成する事もできる。プロジェクタに市販品のＷｅｂカメラを接続して構成する事もできる。プロジェクタ内蔵のカメラ付きスマートフォンを用いる事もできる。

図４（ａ）に会議端末設置の様子を示す。会議端末はホワイトボード４１０の前に設置し、ホワイトボードの盤面をカメラで撮影すると共に、ホワイトボードの盤面へプロジェクタで画像を投影することができる。プロジェクタで投影する画像は対向拠点で撮影したホワイトボードの盤面である。更には会議サーバに保存された資料原稿画像をプロジェクタで投影することもできる。また撮影した画像を資料原稿に追記画像として関連付けて保存し、表示することもできる。

図３（ａ）に示す通り会議端末には、メインバス３００を介してＣＰＵ３０１と、ＲＡＭ３０２、ＲＯＭ３０３とが接続されている。また、メインバス３００を介してＣＰＵ３０１と、外部機器コントローラ３０４及び内部機器コントローラ３０５といった制御モジュールとが接続されている。ＣＰＵ３０１は後述するプログラム５００を実行するためのユニットである。ＲＡＭ３０２は、ＣＰＵ３０１がプログラム５００を実行する際に必要となるデータに対する読み書き可能メモリである。ＲＯＭ３０３はＣＰＵ３０１がプログラム５００を実行する際に必要となるデータを読み出すための読み込み専用メモリである。

外部機器コントローラ３０４は画像撮影モジュール３１１や画像投影モジュール３１２等の外部機器を制御する為のモジュールである。画像撮影モジュール３１１は、撮影面上の画像を撮影画像として撮影する為のモジュールである。画像投影モジュール３１２は、ＣＰＵ３０１が生成した投影画像を投影面に表示する為のモジュールである。ＨＩＤモジュール３１３は人間からの操作を受け付けるためのＨｕｍａｎ Ｉｎｔｅｒｆａｃｅ ｄｅｖｉｃｅモジュールである。音声入力モジュール３１４は人間からの音声入力を受け付けるためのモジュールである。例えば、画像撮影モジュール３１１としてＣＣＤ方式のカメラモジュールを、画像投影モジュール３１２としては液晶パネル方式のプロジェクションモジュールを用いる事ができる。また、ＨＩＤモジュール３１３としてはマウスを、音声入力モジュール３１４としてはマイクを用いることができる。

内部機器コントローラ３０５は内部機器を制御する為のモジュールであり、内蔵記憶装置３２１、ネットワークモジュール３２２を制御する為のモジュールである。内部記憶装置３２１はデータを保存するための二次記憶装置である。ネットワークモジュール３２２はネットワーク上の別の機器とデータの送受信を行うためのモジュールである。ネットワークモジュール３２２としては有線ＬＡＮに対応しているネットワークモジュールだけではなく、無線ＬＡＮに対応しているネットワークモジュールを適用する事もできる。

次に図３（ｂ）に示す会議サーバを説明する。会議サーバは会議端末と基本構成は同じである。そのため会議サーバと会議端末の違いに注目して説明する。会議サーバはネットワークを介して外部端末から操作するため、ＨＩＤモジュールや表示装置など外部機器は不要である。よって会議端末の構成から外部機器コントローラと、外部機器コントローラに接続する外部機器を省略した構成とする。

＜会議端末ソフトウエア構成＞
図５に、会議端末のソフトウエア構成例を示す。以下、図４の会議端末設置構成図を参照して図３の会議端末のソフトウエア構成例を説明する。プログラム５００は会議端末のＲＡＭ３０２ないしＲＯＭ３０３に記憶され、会議システムを実現する為に会議端末のＣＰＵ３０１で実行されるプログラムである。

＜会議端末を操作するための構成＞
最初に会議端末のオペレータが会議端末を操作するための構成を図５にて説明する。本実施例では会議端末を操作するための操作入力としてマウスやキーボードなどのＨＩＤ、ジェスチャ入力、音声入力が対応する。操作入力により取得描画画像の取得や資料表示に関する操作指示を会議端末のプログラムに伝えることができる。

ジェスチャ入力部５６１は、画像撮影モジュール３１１が撮影した撮影画像中から会議参加者の身振り・手振りを解析し、操作入力を描画画像操作部５６４または資料操作部５６５に通知する。ＨＩＤ入力部５６２は、ＨＩＤモジュール３１３で行われた操作を受け付け、操作入力を描画画像操作部５６４または資料操作部５６５に通知する。音声入力部５６３は、音声入力モジュール３１４から入力された音声データから会議参加者の声による操作を解析し、操作入力を描画画像操作部５６４または資料操作部５６５に通知する。

描画画像操作部５６４は、操作入力に基づき取得描画画像データ生成部５１２に対してホワイトボードの書き込みを取得描画画像として取得する操作を指示する。資料操作部５６５は、操作入力に基づき資料操作指示生成部５７１に対して会議サーバに送信する資料操作指示を生成し、資料操作指示保存部５７２に保存することを指示する。このように、会議端末の操作には大まかに資料操作に関する操作と、描画画像取得に関する操作とが含まれる。

＜ホワイトボードを撮影した画像を会議サーバへ送信するための構成＞
次にホワイトボードの盤面を撮影し取得した取得描画画像を会議端末から会議サーバに送信するための構成を説明する。接続設定５０１は、接続先となる会議サーバ、そして対向端末のＩＰアドレスなどの接続情報を記憶している設定データである。

撮影画像入力部５１１は画像撮影モジュール３１１が撮影した撮影画像を入力する。先に説明した図４（ａ）を用いて撮影画像について説明する。図４（ａ）においてホワイトボード４１０を撮影する範囲は、画像撮影領域４１５である。画像撮影領域４１５内には、対向拠点と共有する盤面領域である共有盤面領域４１２が含まれる。共有盤面領域４１２には、対向拠点からの投影用描画画像や投影用資料画像などが投影される。画像撮影領域４１５が共有盤面領域４１２よりも広い理由は幾何補正などを行なうためである。撮影画像入力部５１１は、撮影画像から幾何補正や色調整、トリミング処理などの前処理を行い共有盤面領域の取得描画画像をソフトウエア処理にて生成する。

取得描画画像データ生成部５１２は、撮影画像を解析しホワイトボードに描かれた物理書き込みを変換した取得描画画像を示す取得描画画像データを生成する。取得描画画像は図４（ｄ）に示すとおりホワイトボードに書かれた物理書き込みを示す画像である。取得描画画像データ保存部５１３は、会議サーバへ送信するための取得描画画像データを保存するもので、保存された取得描画画像データはパケット送信部５１４にて会議サーバへ送信する。取得描画画像データには撮影した会議端末の識別情報が関連付けられて会議サーバへ送信される。

＜資料操作指示を会議サーバに送信するための構成＞
次に資料操作の指示を会議端末から会議サーバに送信するための構成を説明する。ここで資料操作とは資料表示の開始、資料表示条件の変更、資料へ資料追記保存、資料表示の終了の操作を含むものである。資料表示条件とは、例えば資料のページ全体を表示するのか、あるいは部分的に表示するのか、あるいは拡大したり、表示箇所を変更したりするなどの表示条件のことである。資料追記保存とは、追記された内容を資料のページ全体に対して位置を合わせて関連付けて保存することである。

本実施例では資料原稿を示すデータは会議サーバに保存されており、会議端末は資料操作指示を会議サーバに送信し、応答を受信するものとする。資料操作指示生成部５７１は、資料操作部５６５が解析した操作指示に対応した資料操作指示を生成する。資料操作指示保存部５７２は、会議サーバへ送信するための資料操作指示を保存するもので、保存された資料操作指示はパケット送信部５１４にて会議サーバへ送信する。

＜ホワイトボードに画像を投影するための構成＞
次に、会議サーバから受信した画像を会議端末において画像投影モジュール３１２でホワイトボードに投影するための構成を説明する。

本実施例では会議サーバからは図４（ｂ）に示す、対向拠点のホワイトボードを対向拠点の会議端末で撮影して得た取得描画画像に基づく投影用描画画像４３２と、投影用資料画像４３３とを受信する。そして投影用描画画像４３２と投影用資料画像４３３とを合成した共有盤面投影画像４３１を生成し、ホワイトボードへ投影する。

なお、図４の例では、図２（ｅ）において追記保存された追記画像を含む投影用資料画像４３３が会議サーバから送られる例を示している。また、対向拠点の盤面上で追記された部分の文字「tri ok」がイレイザーで消された状態の例を示している。このとき、投影用描画画像４３２は、対向拠点でホワイトボードに物理書き込みされた「1.tri」の文字が含まれた画像であり、投影用資料画像は、文字「tri ok」が追記保存された画像である。これらを合成すると、共有盤面投影画像４３１が生成される。そして、この共有盤面投影画像４３１を自拠点の共有盤面領域に投影すると、図４（ａ）のような内容が現れることになる。なお、ホワイトボードに描かれた物理書き込み４２０は、画像投影モジュール３１２で投影されたものではない。本実施例では、投影用描画画像と投影用資料画像(資料追記画像を含む)とを区別しているので、上記のように削除するようなケースにも柔軟に対応することができる。すなわち、資料に追記する前（投影用描画画像の段階）であれば、イレイザーで消された物理書き込みは対向拠点でも投影用描画画像から削除されることになる。一方で、資料に追記した後（投影用資料画像の段階）では、イレイザーで消された物理書き込みは対向拠点では削除されない。

なお、ホワイトボードに描かれた物理書き込みのみを撮影するためには一時的にホワイトボードへ空白の画像を投影する必要がある。図４（ｃ）に示す空白の画像である盤面撮影用画像４３５をホワイトボードへ投影し、これを撮影することで物理書き込みのみを撮影を実現する。

図５の説明に戻り残りの会議端末のソフトウエア構成を説明する。画像受信制御部５４１は、パケット受信部５２１を介して会議サーバから投影用描画画像データまたは投影用資料画像データを受信する。受信した画像データは投影用描画画像保存部５４２または投影用資料画像保存部５４３に保存する。共有盤面投影画像合成部５４４は、投影用描画画像データ及び投影用資料画像データを合成した共有盤面投影画像データを共有盤面投影画像保存部５４５に保存する。

盤面撮影用画像保存部５５０は、空白の画像を示す盤面撮影用画像データを保存する。投影制御部５３１は、取得描画画像データを生成するために撮影を行うタイミングか否かを判定し盤面撮影用画像保存部５５０または共有盤面投影画像保存部５４５に保存される画像データを投影画像出力バッファ５３２に保存する。

投影画像出力部５３３は、投影画像出力バッファ５３２に保存された画像データを用いて画像を画像投影モジュール３１２でホワイトボードへ投影する。

＜会議サーバソフトウエア構成＞
図６に、会議サーバのソフトウエア構成例を示す。プログラム６００は会議サーバのＲＡＭ３５２ないしＲＯＭ３５３に記憶され、会議システムを実現する為に会議サーバのＣＰＵ３５１で実行されるプログラムである。

＜取得描画画像データを加工し会議端末に送信するための構成＞
最初に会議サーバが会議端末から受信した取得描画画像データを加工し、各拠点の会議端末に向けた投影用描画画像データを生成し送信するための構成を図６で説明する。接続情報６０１は、接続先となる会議端末のＩＰアドレスなどの接続情報を記憶している設定データである。

取得描画画像制御部６１０は、パケット受信部６０２を介して会議端末から各拠点の取得描画画像データを受信し、取得描画画像保存部６１１に保存する。投影用描画画像生成部６１２は、各拠点の会議端末に向けた投影用描画画像データをそれぞれ生成し、投影用描画画像保存部６１３に保存する。例えば、投影用描画画像生成部６１２は取得描画画像データに関連付けられている会議端末の識別情報を参照して、取得描画画像データＡの送信元の会議端末には、取得描画画像データＡ以外の取得描画画像データを投影用描画画像データとして生成する。これにより、ある拠点における物理書き込みの箇所については、その拠点用の投影用描画画像から除外されることになる。そして投影用描画画像生成部６１２は、生成した投影用描画画像データを接続情報６０１に基づきパケット送信部６０３を介して会議端末へ送信する。

＜最新書込み画像データを生成するための構成＞
次に会議サーバが各拠点の取得描画画像を合成した最新書込み画像データを生成するための構成を図６で説明する。最新書込み画像データは資料への追記事項を抽出するために生成する画像データである。

図２を参照して最新書込み画像データを用いる効果について説明する。追記済み資料２６０には、資料を表示した後に資料表示領域に物理書込みされた文字のみが関連付けられている。ここで、資料を表示した後に物理書込みされた文字のみを関連付けるのは、資料の表示前の物理書込みはその表示されている資料と関連性が低いからである。換言すると、資料を表示した後の物理書込みは、まさにその資料に対して追加したい内容であると考えられる。従って、本実施例では、資料を表示した後の物理書き込みの内容を判定する仕組みを設けている。最新書込み画像データは、この資料を表示した後の物理書込みか否かを判定するために用いられるものである。なお、図２の追記済み資料２６０において資料表示領域に物理書込みされた文字のみが関連付けられている理由は、資料の一部を拡大表示したものに対して物理書込みがされた場合にその書込みを資料のページ全体の対応位置に併せて関連付けるためである。つまり、資料表示領域外の書込みを関連付けてしまうと資料のページ全体を俯瞰した場合に、関係のない位置に関係のない内容が資料に追記されてしまうことになるからである。

最新書込み画像生成部６１４は、各拠点の取得描画画像データを合成し、各拠点の現在の物理書込みが集約された画像データである最新書込み画像データを生成し最新書込み画像データ保存部６１５に保存する。最新書込み画像生成部６１４は、取得描画画像制御部６１０が取得描画画像保存部６１１に取得描画画像データを保存すると、取得描画画像保存部６１１に現在保存されている各拠点の取得描画画像データを合成して最新書込み画像データを生成する。

＜資料操作に関わる処理を行うための構成＞
次に会議サーバにおける資料操作に関わる処理を行うための構成を図６で説明する。なお、先に説明したように、本実施例では、資料原稿データそのものは会議サーバに保存されており、その会議サーバに保存されている資料の表示等の操作指示を会議端末から受け付ける構成とする。資料操作制御部６３０は、会議端末から受信した資料操作指示に基づいて、資料表示条件を決定したり、資料追記保存処理を制御したり、投影用資料画像の生成を制御する。資料操作制御部６３０は、パケット受信部６０２を介して会議端末から各拠点からの資料操作指示を受信し、資料操作指示保存部６３１に保存する。

資料原稿データ保存部６５１は、会議端末の資料表示領域に表示する資料原稿データを保存するものである。資料原稿データとは、例えばＰＤＦやプレゼンテーション用スライド、スプレッドシートなどの電子ファイルである。資料追記データ保存部６４３は、資料への資料追記データを保存するものである。

図７に資料原稿データと資料追記データのデータ構成例を示す。図７（ａ）に示す通り、資料原稿データ７５０と資料追記データ７５５は一対のデータである。一例として一対であることはファイル名に基づき関連付けることとする。プレゼンテーション用スライドファイルの資料原稿データを「プレゼン資料．ｓｌｄ」とするならばそれに対応する資料追記データは「プレゼン資料．ａｄｄ」とする。このように一対のデータとして関連付けておくことで、資料追記データがある場合に、資料原稿データと資料追記データとを合成した投影用資料画像データを生成することが可能になる。図７（ｂ）は、資料追記データの一例を示す図であるが、資料追記データの詳細な説明については後述することにする。

共有盤面表示条件保存部６３２は、資料操作指示に基づいて共有盤面に資料表示する領域情報を保存する。もちろん、予め所定の領域情報を保存しておく形態であってもよい。なお、共有盤面とは、各拠点で共有される盤面のことであり、共有盤面に現れる内容（物理書込みと投影画像を含む）が各拠点で共有する対象となる。共有盤面表示条件保存部６３２は、具体的には共有盤面表示条件として、共有盤面サイズと資料表示領域の座標情報とを保存するものである。

共有盤面表示条件をより詳細に説明するために、図８で共有盤面座標系の説明を行う。共有盤面座標系は図８（ａ）に示す通り共有盤面で扱う画像をピクセル単位で定義したものである。共有盤面は、図２の盤面２０１と２０２に対応し、また、図４の共有盤面領域４１２に対応する。図８（ｂ）に共有盤面表示条件のデータ構造を示す。共有盤面サイズとは共有盤面領域を示す矩形サイズである。図８（ａ）に示す例ではＸ＝１２００、Ｙ＝８００のピクセル数が共有盤面サイズであり、この値が図８（ｂ）の共有盤面サイズに含まれている。資料表示領域座標とは、この共有盤面座標系において資料を表示する領域を示す矩形領域の２つの対角点座標である。図８（ａ）に示す例では左上がＸｌｔ＝１０，Ｙｌｔ＝１００、右下がＸｒｂ＝８１０、Ｙｒｂ＝７００のピクセル座標であり、図８（ｂ）ではこの値が資料表示領域座標に含まれている。つまり、図８（ｂ）の資料表示領域座標で特定される領域に図８（ａ）で示すように資料が表示されることになる。なお、図８に示す「bdbd」は、共有盤面座標系の値であることを示すものである。図８（ｃ）〜（ｅ）については、後の説明で用いることとする。

資料表示条件保存部６３３は、資料操作指示に基づいて共有盤面に資料を表示するための資料原稿データに関連する条件を保存するものである。具体的な資料表示条件の例としては資料表示を行うか否かを示すＯＮ／ＯＦＦ状態、表示する資料原稿ファイル名と表示するページ、及び１ページのなかで共有盤面に関連付ける領域である資料関連付け領域情報が挙げられる。

資料表示条件をより詳細に説明するために、図９で資料原稿座標系の説明を行う。図９（ａ）に資料原稿の１ページの全体を示す。図９（ｃ）に示す通り資料原稿は資料原稿の１ページをミリメートル単位で定義した座標系で表現される。そして、共有盤面に拡大表示する領域も資料原稿座標系で扱う。図９において「bddoc」は資料原稿座標系の値であることを示すものである。図９（ｂ）に資料表示条件のデータ構造を示す。「資料表示フラグ」は資料表示を行うか否かを示すフラグである。「資料ファイル名」は表示する資料原稿データのファイル名である。「ページ」は資料の中で表示するページを示す識別番号である。「資料関連付け領域」は、「ページ」で特定される１ページのなかで共有盤面に関連付ける領域を示す領域情報である。資料関連付け領域情報を用いることで、資料の一部分を拡大表示するようなケースにも対処することができる。ここで、資料関連付け領域情報は共有盤面と資料とを関連付ける矩形領域の２つの対角点座標である。

図９（ｂ）で示す例では資料表示はＯＮ、表示する資料原稿ファイルは「プレゼン資料．ｓｌｄ」、表示するページはページ１である。そして資料関連付け領域情報は左上がＸｌｔ＝２０，Ｙｌｔ＝４００、右下がＸｒｂ＝１２２０、Ｙｒｂ＝１２００のミリメートル座標である。図９（ｂ）に示すように、資料関連付け領域は資料原稿座標系の領域の情報である。この資料関連付け領域は、共有盤面領域に対応する領域である。すなわち、資料関連付け領域によって特定される領域が、共有盤面領域の表示候補となる。そして、この表示候補のうち、図８（ｂ）に示すような資料表示領域座標に示す領域が、実際の共有盤面の資料表示領域に表示される画像となる。図９（ｂ）及び図９（ｃ）を参照すると、図９（ｃ）の実線の矩形部分９０１が資料表示条件のうちの資料関連付け領域で特定される領域であり、共有盤面領域の表示候補となる。この実線の矩形部分９０１が共有盤面領域に対応している。図９（ｄ）は、共有盤面領域を共有盤面座標系で示す図である。図９（ｃ）の矩形部分９０１は図９（ｄ）の共有盤面領域全体に対応する。このとき、図８（ｂ）の共有盤面条件のうちの資料表示領域座標に従って資料が表示される。つまり、図９（ｃ）の矩形部分９０１のうち、資料表示領域座標によって特定される矩形部分９０２が図９（ｄ）に示すように共有盤面の資料表示領域に表示されることになる。

つまり、本実施例では、共有盤面表示条件と資料表示条件とに基づいて、資料の一部を拡大して共有盤面に表示することが可能な構成を有している。なお、共有盤面に表示するとは、会議サーバが共有盤面に投影する投影用資料画像データを生成して会議端末に送信し、会議端末でその投影用資料画像を投影することで共有盤面に表示されることを簡潔に表現したものであることに留意されたい。

次に、資料追記データについて説明する。図６において資料追記データ生成部６４０は、既存書込み画像データ保存部６４１に保存される既存書込み画像データと最新書込み画像データ保存部６１５に保存される最新書込み画像データとを比較する。そして、資料追記データ生成部６４０は、その差分を資料追記画像データとして抽出し資料追記データ保存部６４３に保存する。なお、資料追記データ生成部６４０は、最新書込み更新判定部６４２を用いて最新書込み更新の有無を判定した結果に基づいて資料追記画像データを保存する。

資料追記データは、資料追記画像データと資料中の１ページのなかで資料追記画像を関連付ける領域情報とを含むデータである。先に説明した図７（ｂ）に資料追記データの一例を示す。この資料追記データをもとに資料原稿データに資料追記画像データを関連付けることができる。図７（ｂ）の資料追記データには、追記ＩＤと、ページと、資料関連付け領域と、資料追記画像サイズと、追記オフセットと、資料追記画像とが含まれる。図７（ｂ）のうちの資料関連付け領域と、資料追記画像サイズと、追記オフセットとは、資料表示条件保存部６３３に格納されている資料表示条件と共有盤面表示条件保存部６３２に保存されている共有盤面表示条件に基づいて決定される。具体的には、図７（ｂ）の資料関連付け領域は、図９（ｂ）に示す資料表示条件に含まれる資料関連付け領域に対応する。図７（ｂ）の資料追記画像サイズは、図８（ｂ）に示す共有盤面表示条件に含まれる共有盤面サイズに対応する。図７（ｂ）の追記オフセットは、図８（ｂ）に示す共有盤面表示条件に含まれる資料表示領域座標に対応する。なお、図７（ｂ）の例では、追記画像が一つの場合を例に挙げて説明しているが、複数の追記画像がある場合には、図７（ｂ）に示すレコードが追記画像分増えた資料追記データが生成されることになる。

図１０は、資料追記データを具体的なイメージで表す図である。図１０（ｂ）は図７（ｂ）の資料追記データの共有盤面座標系での位置を示している。これを図７（ｂ）の追記オフセットと資料関連付け領域との情報を用いて資料原稿の１ページ全体に関連付けた様子を図１０（ｃ）に示す。図１０（ｂ）から図１０（ｃ）への関連付けは、図９（ｃ）から図９（ｄ）への関連付けの逆の処理とも言える。

次に、投影用資料画像データを生成する構成について図６に戻り説明する。資料表示画像生成部６５０は、会議端末に送信する投影用資料画像データを生成する。投影用資料画像データは、投影用描画画像データと異なり、各拠点に共通の画像データである。資料表示画像生成部６５０は、資料原稿データ保存部６５１に保存されている資料原稿データを、資料表示条件と共有盤面表示条件とに基づいて、例えば拡大処理やトリミング処理などを行なった投影用資料画像データを生成する。資料表示生成部６５０はまた、資料追記データ保存部６４３に格納されている資料追記データをさらに用いて投影用資料画像データを生成する。すなわち、資料追記画像を資料画像に合成した投影用資料画像データを生成する。ここで、資料追記画像と資料画像とを合成するとは、例えば資料画像のレイヤーの上に資料追記画像を重ねた画像を生成することである。図１０（ｄ）は、資料原稿画像と資料追記画像とを含む投影用資料画像の例を示している。投影用資料画像生成部６５０は、生成した投影用画像データを資料表示画像保存部６５２に保存し、パケット送信部６０３を介して会議端末へ送信する。

ここで、その他電子会議システムで必要とする一般的な機能を、会議端末のプログラム５００や会議サーバのプログラム６００が持っていてもよい。例えば、対向端末を指定するために、接続先の会議サーバや会議端末を設定する為の接続先設定ダイアログボックスを設ける事ができる。対向端末を選択する為に、ネットワークモジュール３２２を介して外部に存在するサーバに接続可能な端末を問い合わせする機能と、それをダイアログボックスに候補として通知する機能を設ける事ができる。会議におけるセキュリティを確保する為に、パケット送信信部が送信するパケットを暗号化する機能を有する事ができる。パケット受信部が受信したパケットを複号する機能を有する事ができる。

＜シーケンス＞
図１１に、会議端末と会議サーバの処理シーケンスを示す。会議端末が行なう処理としては、資料操作と、盤面撮影の２つに大別される。最初に資料操作を説明する。ステップＳ１１０１において会議端末１０１から会議サーバに対して資料操作指示をすると、ステップＳ１１０２において会議サーバは各拠点の会議端末に向けて投影用資料画像を送信する。資料操作は会議端末１０２からも操作可能である。ステップＳ１１０３において会議端末１０２から会議サーバに対して資料操作指示をすると、ステップＳ１１０４において会議サーバも同様に各拠点の会議端末に向けて投影用資料画像を送信する。

次に盤面撮影を説明する。ステップＳ１１０５において会議端末１０１が盤面撮影すると会議サーバに対して取得描画画像を送信する。すると、ステップＳ１１０６において会議サーバは各拠点の会議端末に向けて投影用描画画像を送信する。会議端末１０２での盤面撮影も同様である。すなわち、ステップＳ１１０７において会議端末１０２が盤面撮影すると会議サーバに対して取得描画画像を送信する。すると、ステップＳ１１０８において会議サーバは各拠点の会議端末に向けて投影用描画画像を送信する。

なお、図１１では、資料操作の後に盤面撮影を行なう順で説明しているが、この順に限られるものではない。

資料操作、盤面撮影共に会議サーバは複数の会議端末からの要求を受信する。複数の会議端末からの要求が競合した場合、会議サーバで要求を順次処理する。これにより会議端末からの要求を消失することなく処理できる。

＜盤面撮影処理＞
図１２を用いて、会議端末がホワイトボードの盤面を撮影し取得した取得描画画像データを会議サーバに送信する処理を説明する。ハードウエアとしては会議端末のＣＰＵ３０１が実行するソフトウエア５００の処理である。より具体的には取得描画画像データ生成部５１２を中心としたソフトウエアモジュールに関係する。

図１２の処理は撮影画像入力部５１１から送られる動画の毎フレームに対して行われる。ステップＳ１２０１において描画画像操作部５６４が、入力部の入力を解釈して撮影タイミングを判定する。ステップＳ１２０２において撮影タイミングではないと判定された場合には、このフレームに対する処理を終了する。ステップＳ１２０２において撮影タイミングであると判定された場合には、ステップＳ１２０３において取得描画画像データ生成部５１２は盤面撮影用画像の投影を指示する。ステップＳ１２０４において取得描画画像データ生成部５１２は、盤面撮影用画像を投影したホワイトボードを撮影した撮影画像データを取得する。撮影画像を取得するとステップＳ１２０５において取得描画画像データ生成部５１２は盤面撮影用画像の投影を解除する。

ステップＳ１２０６において取得描画画像データ生成部５１２は取得した撮影画像データに対して盤面共有領域の幾何変換と色処理等の画像処理を行いホワイトボードの書き込みを示す取得描画画像データを生成する。そして、取得描画画像データに会議端末を示す識別情報を関連付ける。ステップＳ１２０７において取得描画画像データ生成部５１２は生成した取得描画画像データを取得描画画像データ保存部５１３に保存する。そしてステップＳ１２０８において取得描画画像データ生成部５１２は取得描画画像データをパケット送信部５１４を用いて会議サーバへ送信する。

＜盤面投影処理＞
図１３を用いて、会議端末が会議サーバから受信した画像をプロジェクタでホワイトボードに投影する処理を説明する。ハードウエアとしては会議端末のＣＰＵ３０１が実行するソフトウエア５００の処理である。より具体的には投影制御部５３１を中心としたソフトウエアモジュールに関係する。図１３の処理は定期的に繰り返し実行する。

ステップＳ１３０１において投影制御部５３１は画像受信制御部５４１がパケット受信部５２１を介して会議サーバから投影用画像データを受信したか判定する。ステップＳ１３０２において投影用画像データ受信していないと判定した場合、ステップＳ１３０５以降の処理に進む。ステップＳ１３０２において受信したと判定した場合、ステップＳ１３０３において投影制御部５３１は投影用画像データを投影用描画画像保存部５４２または投影用資料表示画像保存部５４３に保存する。投影用画像が投影用描画画像データであるか投影用資料画像データであるかは、例えば各データの識別子やヘッダなどの関連情報に基づいて判定できる。ステップＳ１３０４において投影制御部５３１は、投影用描画画像保存部５４２及び投影用資料表示画像保存部５４３に保存されている画像データから共有盤面投影画像データを共有盤面投影画像合成部５４４で合成する。そして、共有盤面投影画像保存部５４５に共有盤面投影画像データを保存する。

ステップＳ１３０５において投影制御部５３１は盤面撮影用画像の投影指示があるか判定する。これは図１２の盤面撮影処理においてステップＳ１２０３で取得描画画像データ生成部５１２から出される盤面撮影用画像を投影する指示の有無を判定するものである。ステップＳ１３０６において盤面撮影用画像の投影指示があると判定した場合、ステップＳ１３０７において投影制御部５３１は盤面撮影用画像保存部５５０に保存される盤面撮影用画像データを投影画像出力バッファ５３２に保存する。ステップＳ１３０６において盤面撮影用画像の投影指示がないと判定した場合、ステップＳ１３０８において投影制御部５３１は共有盤面投影画像保存部５４５に保存される共有盤面投影画像データを投影画像出力バッファ５３２に保存する。ステップＳ１３０９において投影制御部５３１は投影画像出力バッファ５３２に保存された画像を投影画像出力部５３３を用いて画像投影モジュール３１２でホワイトボードに投影して処理を終了する。

本処理を図２の例を用いて説明する。投影用描画画像を受信した場合及び投影用資料画像を受信した場合の２つを説明する。なお、盤面撮影用画像投影の投影指示する状態は盤面撮影用画像を投影するだけであるので説明を割愛する。

まず投影用描画画像を受信した場合を説明する。図２（ａ）では会議端末１０１の盤面撮影の操作結果として会議サーバから投影用描画画像を受信する。このときの詳細を図１４に示す。図１４は、図２（ａ）の状態における各会議端末の取得描画画像、共有盤面投影画像、投影用描画画像、最新書込み画像、既存書込み画像、投影用資料画像の状態の例を示している。会議端末１０１、会議端末１０２はそれぞれ会議端末１０１用の投影用描画画像、会議端末１０２用の投影用描画画像を受信する。会議端末は、それぞれの拠点用に受信した投影用描画画像を投影用資料画像と合成し各会議端末の共有盤面投影画像データを生成し、各拠点のホワイトボードへ共有盤面投影画像を投影する。

次に投影用資料画像を受信した場合を説明する。図２（ｂ）では会議端末１０１の資料表示開始の操作結果として会議サーバから投影用資料画像データを受信する。詳細を図１５に示す。会議端末１０１、会議端末１０２はそれぞれ投影用資料画像データを受信する。各会議端末は、受信した投影用資料画像を、それぞれの拠点用の投影用描画画像と合成して各会議端末の共有盤面投影画像データを生成し、各拠点のホワイトボードへ共有盤面投影画像を投影する。

＜描画画像加工処理＞
図１６を用いて、会議サーバが会議端末から受信した取得描画画像データを加工し、各拠点の会議端末に向けた投影用描画画像データを生成し送信するための構成を説明する。あわせて各拠点の取得描画画像データを合成した最新書込み画像データを生成する処理も説明する。ハードウエアとしては会議サーバのＣＰＵ３５１が実行するソフトウエア６００の処理である。より具体的には取得描画画像制御部６１０を中心としたソフトウエアモジュールに関する。

図１６の処理は定期的に繰り返し実行する。ステップＳ１６０１において取得描画画像制御部６１０は、パケット受信部６０２を介して会議端末から取得描画画像データを受信したか判定する。ステップＳ１６０２において受信していないと判定した場合、処理を終了する。ステップＳ１６０２において受信したと判定した場合、ステップＳ１６０３において取得描画画像制御部６１０は受信した取得描画画像データを取得描画画像データ保存部６１１に保存する。ステップＳ１６０３において取得描画画像制御部６１０は、取得描画画像データ保存部６１１に保存された取得描画画像データをもとに各拠点の会議端末用の投影用描画画像データを投影用描画画像生成部６１２で生成し投影用描画画像保存部６１３に保存する。前述したように、取得描画画像データに関連付けられている会議端末の識別情報を元に、例えば会議端末Ａ以外からの取得描画画像データを、会議端末Ａの投影用描画画像データとして生成する。

ステップＳ１６０４において取得描画画像制御部６１０は、パケット送信部６０３を介して各拠点の会議端末に各拠点用の投影用描画画像をそれぞれ送信する。ステップＳ１６０５において取得描画画像制御部６１０は、取得描画画像データ保存部６１１に保存された各拠点の取得描画画像データを最新書込み画像生成部６１４で合成して最新書込み画像データを生成する。そして、最新書込み画像データを最新書込み画像データ保存部６１５に保存して処理を終了する。

本処理を図２の例を元に説明する。図２（ａ）では会議サーバは、会議端末１０１から取得描画画像データを受信する。図２（ａ）の詳細は図１４に示した通りである。描画画像加工処理では会議サーバは、会議端末１０１の取得描画画像データを受信する。そして、会議端末１０１の投影用描画画像データ及び会議端末１０２の投影用描画画像データを送信する。なお、この段階では会議端末１０２には何も物理書込みがされていないので、会議端末１０１用の投影用描画画像データには何も含まれていない。また各拠点用の取得描画画像データを合成して最新書込み画像データを生成する。

図２（ｄ）では会議端末１０２から取得描画画像データを受信する。この図２（ｄ）の状態における各画像の詳細を図１７に示す。描画画像加工処理では会議端末１０２の取得描画画像データを受信している状態である。このとき、会議端末１０１用の投影用描画画像データとして図１７に示すように会議端末１０２の取得画像データに基づく画像データが生成されている。会議端末１０２用の投影用描画画像データは、図２（ａ）の段階と同様である。会議サーバは、各会議端末に各会議端末用の投影用描画画像データをそれぞれ送信する。また各会議端末からの取得描画画像データを合成して最新書込み画像データを生成する。

＜資料操作指示処理＞
図１８を用いて、会議端末が資料操作の指示を会議サーバに送信するための処理を説明する。ハードウエアとしては会議端末のＣＰＵ３０１が実行するソフトウエア５００の処理である。より具体的には資料操作指示生成部５７１を中心としたソフトウエアモジュールに関係する。図１８の処理は定期的に繰り返し実行する。

ステップＳ１８０１において資料操作部５６５が、入力部の入力を解釈して資料操作指示を判定する。ここで資料操作の指示とは資料表示の開始、資料表示条件の変更、資料へ資料追記保存、資料表示の終了の操作である。ステップＳ１８０２において資料操作が無いと判定した場合、処理を終了する。ステップＳ１８０２において資料操作があると判定した場合、ステップＳ１８０３において資料操作の種類を判定する。

ステップＳ１８０４、Ｓ１８０５、Ｓ１８０６、Ｓ１８０７においては、資料操作指示の種類に対応した資料操作指示をそれぞれ資料操作指示生成部５７１で生成し資料操作指示保存部５７２に保存する。ステップＳ１８０８において資料操作指示生成部５７１は、資料操作指示をパケット送信部５１４を介して会議サーバに送信し処理を終了する。

本処理を図２の例を用いて説明する。図２（ｂ）は資料表示開始の例である。会議端末１０１の拠点で資料表示開始指示を行うと会議サーバに資料表示開始指示の資料操作指示が送信される。図２（ｃ）は資料表示条件変更の例である。つまり、資料の一部分を拡大表示するように資料表示条件を変更した例である。会議端末１０１拠点で資料表示条件変更指示を行うと会議サーバに資料表示条件変更指示の資料操作指示が送信される。図２（ｅ）は資料追記保存の例である。会議端末１０２拠点で資料追記保存指示を行うと会議サーバに資料追記保存指示の資料操作指示が送信される。図２（ｆ）は資料表示終了の例である。会議端末１０１拠点で資料表示終了指示を行うと会議サーバに資料表示終了指示の資料操作指示が送信される。

＜資料操作処理＞
図１９を用いて、会議サーバの資料操作に関わる処理を説明する。ハードウエアとしては会議サーバのＣＰＵ３５１が実行するソフトウエア６００の処理である。より具体的には資料操作制御部６３０を中心としたソフトウエアモジュールに関係する。図１９の処理は定期的に繰り返し実行する。

ステップＳ１９０１において資料操作制御部６３０は、パケット受信部６０２を介して会議端末から資料操作指示を受信したか判定する。ステップＳ１９０２において受信していと判定した場合、後述するステップＳ１９５０の資料表示するか否かの判定。ステップＳ１９０２において受信したと判定した場合、ステップＳ１９０３において資料操作制御部６３０は、受信した資料操作指示を資料操作指示保存部６３１へ保存する。ステップＳ１９０４においては、保存した資料操作指示の種類を判定し結果に基づいて分岐する。

ここでは判定結果により４つの分岐を行う。最初に資料操作指示が資料表示開始と判定した場合の説明をステップＳ１９１０からステップＳ１９１４を用いて説明する。ステップＳ１９１０からＳ１９１４の処理例は、図２（ｂ）のオペレーションに対応する。

ステップＳ１９１０において資料操作制御部６３０は資料表示開始指示に基づき指定された資料表示対象の資料原稿ファイル名とページ識別番号とを資料表示条件保存部６３３に保存する。資料表示条件のデータフォーマットは図９（ｂ）で説明したとおりである。

ステップＳ１９１１において資料操作制御部６３０は資料表示開始指示に基づき指定された資料表示領域の座標情報を共有盤面表示条件保存部６３２に保存する。共有盤面表示条件のデータフォーマットは図８（ｂ）で説明した通りである。

次に、ステップＳ１９１２において資料操作制御部６３０は共有盤面表示条件で確定した共有盤面サイズを資料原稿座標系に変換し、資料関連付け領域として資料表示条件保存部６３３に保存する。初期の資料関連付け領域は共有盤面サイズと矩形形状が同一であれば位置は任意である。次に、ステップＳ１９１３において資料操作制御部６３０は資料表示状態をＯＮにするため、資料表示条件保存部６３３に保存される資料表示フラグをＯＮに設定する。資料表示フラグは、後述のステップＳ１９５０の処理の際に用いられる。次に、ステップＳ１９１４において資料操作制御部６３０は最新書込み画像データ保存部６１５に保存される最新書込み画像データを既存書込み画像データ保存部６４１に保存する。

２番目に、資料操作指示が資料表示終了と判定した場合の説明をステップＳ１９２０で説明する。ステップＳ１９２０において資料操作制御部６３０は資料表示状態をＯＦＦにするため、資料表示条件保存部６３３に保存される資料表示フラグをＯＦＦに設定する。このステップＳ１９２０の例は、図２（ｆ）のオペレーションに対応する。すなわち、会議端末１０１での資料表示終了したオペレーションに対応する。

３番目に資料操作指示が資料表示条件変更と判定した場合の説明をステップＳ１９３０で説明する。ステップＳ１９３０において資料操作制御部６３０は資料表示条件変更の指定に従い資料表示条件保存部６３３に保存される資料関連付け領域情報を更新する。具体的には資料原稿の表示を拡大・縮小することや資料原稿の表示位置を変更することである。ステップＳ１９３０の処理例は、図２（ｃ）にオペレーションに対応する。すなわち、会議端末１０１で資料原稿の一部を拡大するオペレーションに対応する。図２（ｃ）の状態における各画像の詳細を図２０に示す。図に示す通り、会議サーバは、資料関連付け領域の変更にもとづき資料原稿の一部を拡大した投影用資料画像を生成する。

４番目に資料操作指示が資料追記保存と判定した場合の説明をステップＳ１９４０からステップＳ１９４３で説明する。ステップＳ１９４３において最新書込み更新判定部６４２が既存書込み画像データ保存部６４１と最新書込み画像データ保存部６１５に保存されるデータを比較し、最新書込み画像データに更新の有無を判定する。例えば画像データのタイムスタンプ情報を比較する手法で更新の有無を判定する。最新書込み画像データに更新が無かった場合には後述するステップＳ１９５０の資料表示をするかしないかの判定へと進む。最新書込み画像データに更新があった場合には、ステップＳ１９４１において資料追記データ生成部６４０は最新書込み画像と既存書込み画像の差分から資料追記画像データを生成する。ステップＳ１９４２において資料追記データ生成部６４０は、生成した資料追記画像データと共有盤面表示条件保存部６３２に保存されている条件と、資料原稿座標系表示条件保存部６３３に保存されている条件とを組み合わせて資料追記データを生成する。そして、生成した資料追記データを資料追記データ保存部６４３に保存する。

また、ステップＳ１９４３において資料追記データ生成部６４０は最新書込み画像データ保存部６１５に保存される最新書込み画像データを既存書込み画像データ保存部６４１に保存する。

ステップＳ１９４１及びＳ１９４２の処理例は、図２（ｅ）のオペレーションに対応する。すなわち、会議端末１０２で資料追記保存を行うオペレーションに対応する。図２（ｅ）の状態における各画像の詳細を図２１に示す。ステップＳ１９４１は図２１に示す最新書込み画像と既存書込み画像の差分から資料追記画像を生成する。図２１の状態では、資料追記画像には、「1.tri」の文字も含まれているが、図２（ｅ）に示すように、この「1.tri」の文字は追記済み資料２６０に関連付けられていない。この理由は、資料追記データに含まれれる追記オフセットによって「1.tri」の領域が追記されないからである。なお、資料追記データの例については、図７（ｂ）で説明したとおりである。資料追記データのうちページ番号と資料関連付け領域は図９（ｂ）に示す資料表示条件の情報を保存する。資料追記情報のうち追記画像サイズ、追記オフセットは図８（ｂ）に示す共有盤面表示条件の共有盤面サイズ、資料表示領域座標をそれぞれ保存する。

ここからはステップＳ１９５０以降の資料表示画像の生成に関する処理を説明する。ステップＳ１９５０において投影用利用画像生成部６５０は、資料表示条件保存部６３３に保存される資料表示フラグの状態を判定する。資料表示フラグがＯＮであればステップＳ１９５１において投影用資料画像データを生成し投影用資料画像保存部６５２に保存する。資料表示フラグがＯＦＦであればステップＳ１９５２において空白の投影用資料画像データを生成し投影用資料画像保存部６５２に保存する。ステップＳ１９５３においてパケット送信部６０３は各拠点の会議端末へ投影用資料画像データを送付する。

ステップＳ１９５１の処理例は、図２（ｅ）のオペレーションに対応する。すなわち、会議端末１０２で資料追記保存を行うオペレーションに対応する。図２（ｅ）の状態の各画像の詳細を図２１に示す。ステップＳ１９５１では図２１に示す投影用資料画像を生成する。図１０に資料追記画像と資料画像とを合成した投影用資料画像を生成する様子を示す。図１０（ｃ）の合成された投影用資料画像は、図７（ｂ）に示す資料追記データに基づくものである。図１０（ｂ）の資料追記画像は、図１０（ｃ）の資料原稿に関連づけて保存された状態である。資料追記保存した直後の状態なので資料関連付け領域はｂｐｄｏｃ＿ａｒｅａ（Ｘｌｔ，Ｙｌｔ，Ｘｒｂ，Ｙｒｂ）の矩形領域である。図１０（ｄ）が生成する投影用資料画像である。資料原稿、資料追記画像共に追記オフセット内のｂｐｂｄ＿ｏｆｆｓｅｔ（Ｘｌｔ，Ｙｌｔ，Ｘｒｂ，Ｙｒｂ）領域にトリミングをした画像が投影用資料画像となる。

図２２は、図２（ｆ）のオペレーションに対応する図である。すなわち、会議端末１０１で資料表示終了を指示した状態に対応する。図に示す通り投影用資料画像を空白にする。なお、投影用描画画像については、各拠点の取得描画画像をそれぞれ用いたものが投影される。

以上説明した通り、実施例では、資料の追記を含むホワイトボードの撮影画像を、電子資料の一部に位置をあわせて合成して保存するユースケースの要望を満たすことができる。このように合成して保存されたデータは、資料に一体化されているので、個々の追記画像を別個に確認するようなケースよりも資料全体の視認性が高まる。

実施例１においては、会議サーバは会議端末から資料追記保存の指示を行った場合にのみ資料追記画像データを抽出して資料原稿データへの関連付け保存を行う例を説明した。しかしながら、会議サーバは資料原稿への関連付け保存を資料表示条件変更指示をした場合に行っても良い。

図２３に実施例２の資料操作処理のフローチャートを示す。実施例１と異なる点は、まずステップＳ１９０４での資料操作種類の判定の分岐である。ステップＳ１９０４において資料操作種類の判定が資料追記保存又は資料表示条件変更であるならば共にステップＳ１９４０からの資料追記保存の処理へ分岐する。つまり会議端末からの指示が資料表示条件変更であっても最新書込み更新の有無を判定し更新があればステップＳ１９４１からの追記保存処理を行う。最新書込み更新がなければステップＳ２３０１処理へ進む。

ステップＳ２３０１において会議端末から受信した資料操作指示のが資料表示条件変更であるか判定し、資料表示条件変更でなければステップＳ１９５０の処理へ進む。資料表示条件変更である場合にはステップＳ１９３０の資料表示条件変更の処理へと進む。

以上の処理により、ユーザが資料追記保存の操作をしないまま資料表示条件を変更した場合であっても、システムが最新書込み更新の有無を判定した上で資料追記保存をすることが可能になる。

＜その他の実施例＞
上記の実施例では、自拠点の会議端末と他拠点の会議端末とが会議サーバを介して接続され、会議サーバに画像データを送信したり会議サーバから送信された画像データに基づいて投影を行なう例を説明した。しかしながら、会議サーバの役割を自拠点の会議端末や他拠点の会議端末に任せてもよい。つまり会議端末同士で同様の処理を行なう構成であってもよい。

また、上記の実施例では、会議サーバが資料追記データに基づく投影用資料画像と投影用描画画像とを会議端末に送信し、これを受信した各会議端末にて合成処理を行ない、共有盤面投影画像を生成して投影処理する例を説明した。しかしながら、会議サーバ側で各拠点用に投影用資料画像と投影用描画画像とを合成した画像を生成して各会議端末に送信し、これを受けた各会議端末がその送信された画像を投影する形態であってもよい。すなわち、会議端末での投影は、送信された画像または盤面撮影用画像のいずれかを投影する処理を行なう形態であってもよい。

上記の実施例では、資料の表示領域内に追記された内容を追記画像として保存する例を説明した。つまり、資料の表示領域外に追記された内容については追記画像として保存しない例を説明した。しかしながら、資料の表示領域外に追記された内容を、何かしらの形で資料に関連付けを行なってもよい。つまり、図２の追記済み資料２６０に示すように、資料表示領域外に追記された内容をそのまま追記画像として関連付けをすると、資料のページ全体を俯瞰した場合に関係のない位置に関係のない内容が資料に追記されてしまうことになる場合がある。しかしながら、その関係のない内容であることが明示できれば、資料表示領域外に追記された内容を追記画像に関連付けてもよい。例えば、資料表示領域外に追記された内容のフォントや背景等を変更したり、透明化するなどして追加画像として関連付けてもよい。あるいは、資料表示領域外に追記された内容については、別のリストとして保持し、ユーザ操作などに応じて投影するような仕組みを設けても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。

Claims (16)

1. 電子会議に用いられる装置であって、
   各拠点の盤面に描かれた物理書き込みを撮影して得られた第１の画像データを取得する取得手段と、
   資料の一部分を示す第２の画像データを各拠点に送信する送信手段と、
   前記第２の画像データを各拠点に送信した後に、前記取得手段で取得される第１の画像データが変更された場合、変更された内容を前記資料における前記一部分の対応領域に追記データとして関連付けて保存手段に保存するように制御する制御手段と
   を有することを特徴とする装置。
2. 前記取得手段は、物理書き込みをそれぞれの拠点で撮影して得られた複数の画像データを合成した画像データを前記第１の画像データとして取得することを特徴とする請求項１に記載の装置。
3. 前記送信手段はさらに、第１の拠点から送られる物理書き込みを撮影して得られた画像データを前記第１の拠点とは別の拠点である第２の拠点に送信し、前記第２の拠点から送られる物理書き込みを撮影して得られた画像データを前記第１の拠点に送信することを特徴とする請求項１または２に記載の装置。
4. 前記送信手段は、前記保存した追記データを前記第２の画像データに合成して送信することを特徴とする請求項１から３のいずれか一項に記載の装置。
5. 前記制御手段は、前記資料中における前記一部分の占める位置と、前記盤面のサイズと、前記盤面における資料の表示領域と、に基づいて前記関連付けを行うことを特徴とする請求項１から４のいずれか一項に記載の装置。
6. 前記送信手段は、前記資料の表示領域内の物理書き込みのみを含む追記データを前記第２の画像データに合成して送信することを特徴とする請求項１から５のいずれか一項に記載の装置。
7. 前記制御手段は、ユーザからの保存指示に基づいて前記保存を行うことを特徴とする請求項１から６のいずれか一項に記載の装置。
8. 前記制御手段は、前記送信手段で送信する前記第２の画像データが変更された場合、前記保存を行うことを特徴とする請求項１から６のいずれか一項に記載の装置。
9. 第１の領域と、前記第１の領域とは異なる第２の領域とを含む盤面を用いた電子会議に用いられる装置であって、
   他の拠点の盤面のうちの前記第１の領域に対応する領域に描かれた物理書き込みを撮影して得られた画像と、
   前記他の拠点の盤面のうちの前記第２の領域に対応する領域に物理書き込みが追加された画像が該領域に表示された資料の一部分に合成された画像と
   を含む、画像データを取得する取得手段と、
   前記取得した画像データが示す画像を前記盤面に投影する投影する投影手段と
   を有することを特徴とする装置。
10. 第１の領域と、前記第１の領域とは異なる第２の領域とを含む盤面を用いた電子会議に用いられる装置であって、
    他の拠点の盤面のうちの前記第１の領域に対応する領域に描かれた物理書き込みを撮影して得られた画像と、
    前記他の拠点の盤面のうちの前記第２の領域に対応する領域に物理書き込みが追加された画像が該領域に表示された資料の一部分に合成された画像と
    を合成して投影用の画像データを生成する生成手段と、
    前記生成した画像データが示す画像を前記盤面に投影する投影する投影手段と
    を有することを特徴とする装置。
11. 複数の会議端末と会議サーバとを含む、電子会議に用いられるシステムであって、
    前記会議端末は、
    拠点の盤面に描かれた物理書き込みを撮影して第１の画像データを取得する撮影手段と、
    前記撮影手段で取得した前記第１の画像データを前記会議サーバに送信する送信手段と、
    前記会議サーバから受信する、資料の一部分を示す第２の画像データと、他の拠点の盤面に描かれた物理書き込みを示す投影用描画画像データとを合成した画像を投影する投影手段と、
    を有し、
    前記会議サーバは、
    各拠点の盤面に描かれた物理書き込みを撮影して得られた第１の画像データを取得する取得手段と、
    資料の一部分を示す第２の画像データを各拠点に送信する送信手段と、
    前記第２の画像データを各拠点に送信した後に、前記取得手段で取得される第１の画像データが変更された場合、変更された内容を前記資料における前記一部分の対応領域に追記データとして関連付けて保存手段に保存するように制御する制御手段と、
    を有することを特徴とするシステム。
12. 電子会議に用いられる方法であって、
    各拠点の盤面に描かれた物理書き込みを撮影して得られた第１の画像データを取得する取得ステップと、
    資料の一部分を示す第２の画像データを各拠点に送信する送信ステップと、
    前記第２の画像データを各拠点に送信した後に、前記取得ステップで取得される第１の画像データが変更された場合、変更された内容を前記資料における前記一部分の対応領域に追記データとして関連付けて保存手段に保存するステップと
    を有することを特徴とする方法。
13. 第１の領域と、前記第１の領域とは異なる第２の領域とを含む盤面を用いた電子会議に用いられる方法であって、
    他の拠点の盤面のうちの前記第１の領域に対応する領域に描かれた物理書き込みを撮影して得られた画像と、
    前記他の拠点の盤面のうちの前記第２の領域に対応する領域に物理書き込みが追加された画像が該領域に表示された資料の一部分に合成された画像と
    を含む、画像データを取得する取得ステップと、
    前記取得した画像データが示す画像を前記盤面に投影する投影する投影ステップと
    を有することを特徴とする方法。
14. 第１の領域と、前記第１の領域とは異なる第２の領域とを含む盤面を用いた電子会議に用いられる方法であって、
    他の拠点の盤面のうちの前記第１の領域に対応する領域に描かれた物理書き込みを撮影して得られた画像と、
    前記他の拠点の盤面のうちの前記第２の領域に対応する領域に物理書き込みが追加された画像が該領域に表示された資料の一部分に合成された画像と
    を合成して投影用の画像データを生成する生成ステップと、
    前記生成した画像データが示す画像を前記盤面に投影する投影する投影ステップと
    を有することを特徴とする方法。
15. 複数の会議端末と会議サーバとを含む、電子会議に用いられるシステムにおける方法であって、
    前記会議端末に、
    拠点の盤面に描かれた物理書き込みを撮影して第１の画像データを取得する撮影ステップと、
    前記撮影ステップで取得した前記第１の画像データを前記会議サーバに送信する送信ステップと、
    前記会議サーバから受信する、資料の一部分を示す第２の画像データと、他の拠点の盤面に描かれた物理書き込みを示す投影用描画画像データとを合成した画像を投影する投影ステップと、
    を実行させ、
    前記会議サーバに、
    各拠点の盤面に描かれた物理書き込みを撮影して得られた第１の画像データを取得する取得ステップと、
    資料の一部分を示す第２の画像データを各拠点に送信する送信ステップと、
    前記第２の画像データを各拠点に送信した後に、前記取得ステップで取得される第１の画像データが変更された場合、変更された内容を前記資料における前記一部分の対応領域に追記データとして関連付けて保存手段に保存するステップと、
    を実行させることを特徴とする方法。
16. コンピュータを、請求項１から１０のいずれか一項に記載の装置として機能させるためのプログラム。

Images