JP2014150497A - 情報処理システム、情報処理装置およびプログラム - Google Patents

Abstract

【課題】 情報処理装置間での複数のレイヤを含み構成される画面の送受信を実現するための情報処理システム、情報処理装置およびプログラムを提供すること。
【解決手段】 本情報処理システム２００は、複数の情報処理装置２１０，２５０を含み、第１の情報処理装置２１０は、画面を構成する描画レイヤおよび画像レイヤのデータを送信する送信手段２１２を含む。少なくとも第２の情報処理装置２５０は、上記描画レイヤおよび画像レイヤのデータを受信する受信手段２５２を含み、描画レイヤのデータに付属する情報の受信に基づいて、描画レイヤのデータに対し遅れがある場合に、少なくとも一部を消去した画像レイヤと、前記受信手段でデータを受信した描画レイヤを画面に表示させることを特徴とする。
【選択図】 図３

Description

本発明は、情報処理システム、該情報処理システムを構成する情報処理装置、および該情報処理装置を実現するためのプログラムに関する。本発明は、より詳細には、情報処理装置間での複数のレイヤを含み構成される画面の送受信を実現するための情報処理システム、情報処理装置およびプログラムに関する。

近年、液晶ディスプレイやプラズマ・ディスプレイなどの大型フラットパネル・ディスプレイやプロジェクタと、タッチパネルとを組み合わせた電子情報ボードと呼ばれる製品が提供されている。電子情報ボードは、典型的には、パーソナル・コンピュータなどのコンピュータ装置に接続され、コンピュータ画面を大画面で投影することができる。このため、電子情報ボードは、企業や官公庁などの会議におけるプレゼンテーションや、教育機関の授業などの用途に広く用いられている。

上述した電子情報ボードは、搭載するタッチパネル機能を利用し、投影中のコンピュータ画面に直接タッチすることで、マウス操作に代えてコンピュータを操作するユーザ・インタフェースとしての機能（（１）タッチパネルを介したコンピュータ操作機能）を備える。電子情報ボードは、さらに、コンピュータ上で動作させる電子黒板アプリケーション・ソフトウエアとともに提供されて、黒板やホワイトボードを模した画面や取り込んだコンピュータ画面上に手書きを書き込む機能（（２）タッチパネルを介した手書機能）を提供するものが知られている。

上記手書き機能を備える電子情報ボードを利用することにより、会議シーンにおいて、説明のための資料を操作しながら、画面上に直接指摘事項の書き込みを行ったりすることができるようになる。電子情報ボードは、さらに必要に応じて、書き込みを含む画面内容を記録することもできる。このような機能を利用することにより、利用者は、会議終了時に画面内容を振り返り、画面内容を再利用し、効率的に結論などをまとめることができるようになる。

また、近年のネットワークの高速化、クラウド・サービスの普及に伴い、これら電子情報ボードを利用した遠隔会議システムが提供されている。上記遠隔会議システムを利用することにより、遠隔接続された電子情報ボード間で、手書き内容およびコンピュータ画面を共有することが可能となる。これにより、従来型のテレビ会議に加えて、ホワイトボードへの書き込み、投影しているコンピュータ画面をリアルタイムで共有することができるようになる。ひいては、遠隔会議でありながら、参加者間の活発なコミュニケーションを促すことが期待される。

上記電子情報ボードを利用した遠隔会議システムにおいては、電子情報ボードに投影した画面画像と、手書きで描画されたストロークとを、遠隔地間でも少ない遅延で表示させることが望まれる。しかしながら、従来技術の電子情報ボードでは、低帯域幅のネットワークを経由して画面画像およびストロークを共有した場合、大きな遅延が生じてしまうとことに起因して問題があった。

上述したような遅延を回避するため、画像を伝送する動画の圧縮率を高めたり、フレームレートを小さくしたりするという方法が提案されている。例えば、特開２０１０−１１８９７６号公報（特許文献１）は、画像送信側の処理負荷を低減する目的で、画像の変化が大きいときにフレームレートを下げる方法を開示する。しかしながら、もともと動画は、必要とされる帯域幅が大きく、動画圧縮やフレームレートの調整といった技術的限界を越える場合は、大きな遅延が生じてしまうことに変わりなかった。

また、画像とストロークとの同期をとる場合、画像のデータ量の方が圧倒的に大きいため、画像転送がボトルネックとなり、画面更新に大きな遅延を発生させてしまうという問題があった。また、画像とストロークとの間で敢えて同期をとらない手法も考えられるが、この場合、データ量の少ないストロークが従前の内容のままの画像に重畳して表示されてしまう。これは、画像とストロークとの内容の不一致を生じさせ、誤った内容を表示していることになり問題である。

本発明は、上記従来技術の問題点に鑑みてなされたものであり、本発明は、描画レイヤおよび画像レイヤを含み構成される画面を複数の情報処理装置間で送受信する場合において、画像レイヤのデータ転送が遅延した場合でも、レイヤ間の不一致の発生を低減し、レイヤ間の一定の同期を維持することができる、情報処理システム、情報処理装置およびプログラムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する、複数の情報処理装置を含んだ情報処理システムを提供する。本情報処理システムにおいて、第１の情報処理装置は、画面を構成する描画レイヤおよび画像レイヤのデータを送信する送信手段を含む。少なくとも第２の情報処理装置は、上記描画レイヤおよび画像レイヤのデータを受信する受信手段を含む。上記少なくとも第２の情報処理装置は、上記描画レイヤのデータに付属する情報に基づいて、上記描画レイヤのデータに対し遅れがある場合に、少なくとも一部を消去した画像レイヤと、上記受信手段でデータを受信した描画レイヤとを画面に表示させることを特徴としている。

上記構成によれば、描画レイヤおよび画像レイヤを含み構成される画面を複数の情報処理装置間で送受信する場合において、画像レイヤのデータ転送が遅延した場合でも、レイヤ間の不一致の発生を低減し、レイヤ間の一定の同期を維持することができる。

第１の実施形態による遠隔会議システムの概略構成図。 第１の実施形態による電子情報ボードのハードウェア構成図。 第１の実施形態による遠隔会議システムにおける画面共有機能に関連する機能ブロック図。 第１の実施形態において共有対象となる画面の構成を示す図。 （Ａ）フレームおよび（Ｂ）ストロークのデータ構造を示す図。 第１の実施形態において、共有元および共有先の電子情報ボード間で行われる、ストローク送受信処理を示すフローチャート。 第１の実施形態において、共有元電子情報ボードで行われる背景画像送信処理を示すフローチャート。 第１の実施形態において、共有先電子情報ボードで行われる背景画像受信処理を示すフローチャート。 第１の実施形態における共有元および共有先の電子情報ボード間の画面共有状態を示す図。 第２の実施形態による遠隔会議システムにおける画面共有機能に関連する機能ブロック図。 画像差分情報のデータ構造を示す図。 第２の実施形態において、共有元および共有先の電子情報ボード間で行われる、ストローク送受信処理を示すフローチャート。 第３の実施形態による遠隔会議システムの概略構成図。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下では、複数の情報処理装置を含む情報処理システムとして、それぞれタッチパネル・ディスプレイ１１２およびコントローラ１１４を含み構成される複数の電子情報ボード１１０を含む、遠隔会議システム１００を一例に説明する。

［第１の実施形態］
図１は、第１の実施形態による遠隔会議システム１００の概略構成を示す図である。図１に示す遠隔会議システム１００は、ネットワーク１０２を介して相互に接続される、複数の電子情報ボード１１０Ａ，１１０Ｂを含み構成される。電子情報ボード１１０は、それぞれネットワーク１０２に接続されており、相互に通信が可能となっている。図１に示す電子情報ボード１１０Ａおよび電子情報ボード１１０Ｂは、相互に通信を行うことにより、ネットワーク１０２を介した画面の共有を実現し、拠点間の遠隔会議を支援している。

電子情報ボード１１０は、それぞれ、タッチパネル・ディスプレイ１１２と、コントローラ１１４とを含み構成される。タッチパネル・ディスプレイ１１２は、上記コントローラ１１４の画面および手書きデータを表示する表示装置であり、かつ、上記コントローラ１１４に、画面上への文字、図形等の手書き入力を行ったり、操作情報を入力したりするための位置入力装置である。

コントローラ１１４は、典型的には、タッチパネル・ディスプレイ１１２とは別個の装置として提供されるが、タッチパネル・ディスプレイ１１２の背面等に配置される。そのため、タッチパネル・ディスプレイ１１２およびコントローラ１１４は、利用者からは一体の装置として動作しているように認識される。コントローラ１１４は、それ自体は、パーソナル・コンピュータやワークステーションといった汎用コンピュータを用いて構成され、電子黒板アプリケーションや遠隔会議アプリケーションなどの適切なアプリケーションを動作させている。

コントローラ１１４と、タッチパネル・ディスプレイ１１２との間は、ＶＧＡ（Video Graphic Array）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（High-Definition Multimedia Interface）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの適切な映像インタフェース１１６およびＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などの適切なデバイス・インタフェース１１８により接続されている。これにより、タッチパネル・ディスプレイ１１２は、コンピュータ画面（デスクトップ画面やアプリケーション画面）を表示するとともに、タッチ面を介してコンピュータ画面に手書きで書き込みを行うことができるように構成されている。

電子情報ボード１１０のコントローラ１１４は、さらに、外部コンピュータ１２０と接続されている。コントローラ１１４は、映像ケーブルで接続される外部コンピュータ１２０からの映像入力を受けて、外部コンピュータ１２０のコンピュータ画面を自らのディスプレイ画面上に表示させることができる。なお、図１では、外部コンピュータ１２０として、ラップトップ・コンピュータを例示しているが、外部コンピュータ１２０は、特に限定されるものではない。外部コンピュータ１２０としては、その他、タブレット端末やスマートフォン端末などの携帯情報端末を挙げることができる。

図２は、第１の実施形態による電子情報ボード１１０のハードウェア構成を示す図である。電子情報ボード１１０を構成するコントローラ１１４は、ＣＰＵ（Central Processing Unit）１２と、ハードディスクなどの記憶装置１４と、ＲＡＭ（Random Access Memory）などのメモリ１６と、映像出力インタフェース１８と、デバイス・インタフェース２０とを含む。記憶装置１４は、当該コントローラ１１４を制御するための各種のプログラム、電子黒板や遠隔会議用のアプリケーション・プログラム、ドキュメント・ファイルおよび書き込みデータを格納する。ＣＰＵ１２は、上記記憶装置１４に格納される各種プログラムや書き込みデータを読み出し、メモリ１６上に展開し、各種プログラムを実行し、これにより詳細を後述する各機能手段および各処理を実現する。

電子情報ボード１１０を構成するタッチパネル・ディスプレイ１１２は、ディスプレイ３０と、タッチパネル・コントローラ３２と、タッチパネル３４とを含む。上記ディスプレイは、特に限定されるものではないが、好適には、液晶ディスプレイや有機ＥＬディスプレイやプラズマ・ディスプレイなどのフラットパネル・ディスプレイとして構成される。ディスプレイ３０は、映像出力インタフェース１８でコントローラ１１４と接続されている。

タッチパネル３４は、タッチパネル・コントローラ３２を介して、デバイス・インタフェース２０でコントローラ１１４と接続されている。タッチパネル３４の位置入力方式は、特に限定されるものではないが、マトリクス・スイッチ方式、抵抗膜方式、表面弾性波方式、電磁誘導方式、静電容量方式、赤外線イメージセンサ方式などを挙げることができる。タッチパネル・コントローラ３２は、ユーザが指先またはタッチペンでタッチ面をタッチ等したことに応答して、タッチされたスクリーン面上の座標位置の演算などを実行する。

コントローラ１１４は、さらに、ＮＩＣ（Network Interface Card）２２を含む。コントローラ１１４は、ＮＩＣ２２により、他の電子情報ボード１１０や外部サーバと通信し、上述した画面共有を実現することができる。コントローラ１１４は、さらに、映像入力ボード２４を含むことができる。コントローラ１１４は、映像入力ボード２４を介して接続された外部コンピュータ１２０からの映像入力を受けて、外部コンピュータ１２０のコンピュータ画面を自らのディスプレイ画面上に表示したり、この画面の画像をキャプチャしたりすることができる。画面共有においては、コントローラ１１４のコンピュータ画面の他、このような外部コンピュータ１２０から入力される画面も画面共有の対象となり得る。

なお、説明する実施形態では、タッチパネル・ディスプレイ１１２およびコントローラ１１４から構成されるシステムとして電子情報ボード１１０を説明しているが、この構成に限定されるものではない。例えば他の実施形態では、上記タッチパネル・ディスプレイ１１２およびコントローラ１１４が一体化された単一の装置として、電子情報ボードを構成してもよい。

また、説明する実施形態では、表示装置としてディスプレイ３０を用い、位置入力装置として、ディスプレイ３０に取り付けられたタッチパネル３４を用いた例を説明するが、特に限定されるものではない。他の実施形態では、ディスプレイ３０に代えて、プロジェクタ装置を用いて、位置入力装置を投影面に取り付ける構成としてもよい。

さらに、タッチパネル・ディスプレイ１１２も、一体化された単一の装置として構成されてもよいし、ディスプレイおよびタッチパネルは、それぞれ分離した装置として提供されてもよい。すなわち、電子情報ボード１１０自体の構成は、上述したものに特に限定されるものではなく、これまで知られた如何なる態様で構成することができる。

以下、図３〜図９を参照しながら、第１の実施形態による遠隔会議システム１００における、電子情報ボード１１０間の画面共有機能について、より詳細に説明する。図３は、第１の実施形態による遠隔会議システム１００における画面共有機能に関連する機能ブロック２００を示す図である。

図１を参照して説明したように、２つの電子情報ボード１１０Ａ，１１０Ｂは、ネットワーク１０２を介して画面共有を実現している。図３では、説明の便宜上、上記画面共有にかかる２つの電子情報ボード１１０Ａ，１１０Ｂのうち、第１の情報処理装置として共有元（画面送信側）の電子情報ボードを符番「２１０」で参照し、図面上左側に配置して説明する。一方、第２の情報処理装置として共有先（画面受信側）の電子情報ボードについては、符番「２５０」で参照し、図面右側に配置して説明する。また、共有元の電子情報ボード２１０に接続される外部コンピュータを符番「２４０」で参照し、共有先に対応する外部コンピュータを符番「２７０」で参照する。そして、以下では、外部接続される外部コンピュータ２４０のコンピュータ画面を背景画像として、画面共有する場合について説明する。しかしながら、コントローラ１１４のコンピュータ画面など他の画像を背景画像としてもよいことは言うまでもない。

上記画面共有にかかる共有元および共有先の関係は、固定されておらず、画面共有における共有元および共有先の関係が逆転する場合は、反対の機能構成を有することになる。また、電子情報ボードが共有元（画面送信側）となるか共有先（画面受信側）となるかは、共有にかかる複数の電子情報ボード間でセッションを確立する際に、あるいはセッションの更新を行う際に、利用者の指示に従って決定することができる。したがって、電子情報ボードは、それぞれ送信端末の立場にも、受信端末の立場にもなり、いわゆるＰ２Ｐ型の構成となっている。

説明する実施形態では、共有対象となる画面は、複数のレイヤを含み構成されている。図４は、第１の実施形態において、共有対象となる画面の構成を説明する図である。電子情報ボード２１０，２５０間で共有される共有画面は、図４に示すように２レイヤ構成とされる。より具体的には、共有画面は、タッチパネルを介した手書きデータ（以下、ストロークと参照する。）が描画される描画レイヤとしてのストローク・レイヤと、共有元の外部コンピュータ２４０のコンピュータ画面が背景画像として書き込まれる画像レイヤとしての背景画像レイヤとを含む。

ストローク・レイヤは、背景が透明のウィンドウとして構成され、ストローク・レイヤに描画されるストロークは、画面表示上、背景画像に重畳（合成）して表示される。本実施形態において、ストローク・レイヤは、描画レイヤを構成し、背景画像レイヤは、画像レイヤを構成する。

なお、図４に示す共有画面の２レイヤ構成は、一例であり、特に限定されるものではない。他の実施形態では、例えば複数のストローク・レイヤを有するなど、３以上のレイヤから構成されてもよい。また、共有画面が複数レイヤで構成される場合は、例えばストローク・レイヤなどは双方向で共有されてもよい。また、画面共有は、１対１に限られず１対多で行われてもよい。以下の説明では、便宜上、複数のレイヤの両方について、１つの共有元（画面送信側）から１つの共有先（画面受信側）へ共有させる方向についてのみ説明するものとする。

上述のように異なる性質を有する複数レイヤで共有画面が構成される場合、各レイヤのデータ特性に起因して、一方のレイヤのデータ転送に許容できない遅延が生じる可能性がある。画素値の配列として構成される画像データは、一般に、ペンや手書きの経路に沿って生成されるストロークなどの座標値の集合として構成される描画データや、テキストなどのデータよりも、大きなデータサイズを有する。

上述のようなレイヤ構造においてレイヤ間で同期をとる場合、帯域幅が充分でなければ、背景画像レイヤのデータ転送がボトルネックとなり、画面更新に大きな遅延を発生させてしまう可能性がある。また、レイヤ間で敢えて同期をとらない手法も考えられるが、この場合、データサイズの小さなストローク・レイヤのデータが、従前の内容の背景画像レイヤに重畳して表示されてしまうことになる。これは、レイヤ間の内容の不一致を生じさせ、誤った内容を表示させてしまうことに繋がる。

そこで、第１の実施形態の遠隔会議システム１００は、電子情報ボード１１０間の画面送受信処理に関して、以下に図３〜図９を参照して説明する特徴を備える。

図３は、遠隔会議システム１００の機能ブロック２００として、共有元の電子情報ボードおよび外部コンピュータ上で実現される機能ブロック（２１０，２４０）と、共有先の電子情報ボードおよび外部コンピュータ上で実現される機能ブロック（２５０，２７０）とを示す。

共有元の電子情報ボード２１０の機能ブロックは、通信部２１２と、通信制御部２１４と、映像入力部２１６と、映像入力検知部２１８と、映像処理部２２０と、画像表示部２２２と、タッチ検知部２２４と、ストローク管理部２２６と、ストローク表示部２２８と、画面表示制御部２３０と、画像情報取得部２３２と、フレーム生成部２３４とを含む。共有元の外部コンピュータ２４０上の機能ブロックは、映像出力部２４２を含む。

共有元の外部コンピュータ２４０上の映像出力部２４２は、外部接続される機器にコンピュータ画面を映像出力する。共有元の電子情報ボード２１０上の映像入力部２１６は、外部接続される機器からの映像入力を受け付ける。映像入力検知部２１８は、映像入力部２１６を監視しており、外部接続される機器からの映像入力を検知する。映像処理部２２０は、映像入力部２１６に入力される映像を取り込んで画像を処理する。画像表示部２２２は、背景画像レイヤの画面表示処理を行う。

タッチ検知部２２４は、タッチパネル３４に対する入力を監視しており、ユーザによるタッチ操作を検出する。ストローク管理部２２６は、タッチ操作に応答して手書きされた内容を表すストローク・データの生成および管理を行う。ストローク表示部２２８は、ストローク・レイヤの画面表示処理を行う。画面表示制御部２３０は、上述した共有画面のレイヤを管理し、上記背景画像レイヤの画像表示と、ストローク・レイヤのストローク表示の表示状態を管理する。

共有元の外部コンピュータ２４０では、ＶＧＡケーブル等によって電子情報ボード２１０が接続されると、映像出力部２４２が、この接続を検知して、電子情報ボード２１０に対し、外部コンピュータ２４０のコンピュータ画面の出力を開始させる。外部コンピュータ２４０からの映像出力が開始されると、共有元の電子情報ボード２１０では、映像入力部２１６が、外部コンピュータ２４０からの映像を受信し、映像入力検知部２１８が、映像入力を検知する。映像入力が検知されると、映像処理部２２０は、入力される映像を取り込んで画像の処理を開始する。画像表示部２２２は、必要に応じて、外部コンピュータ２４０から取り込まれた画像を、背景画像レイヤの背景画像として、電子情報ボード１１０のアプリケーション画面上に画面表示する。

また、ユーザによるタッチ操作が行われると、タッチ検知部２２４が、このタッチ操作を検知し、検出したタッチ操作に関する情報をストローク管理部２２６に通知する。ストローク管理部２２６は、タッチ操作の通知を受けて、該タッチ操作に対応したストローク・データを生成し、保存する。ストローク表示部２２８は、生成されたストローク・データに従って、手書きされたストロークをストローク・レイヤの描画情報として、電子情報ボード１１０のアプリケーション画面上に画面表示処理する。ストロークは、背景画像に重畳して表示されることになる。

通信制御部２１４は、共有元および共有先の電子情報ボード間で確立される、画面共有にかかるセッション（画面共有セッションと参照する。）を管理する。ここで、画面共有セッションは、上記共有画面を構成する背景画像レイヤのデータが伝送される画像送受信メディアストリームと、上記共有画面を構成するストローク・レイヤのデータが伝送されるストローク送受信メディアストリームとを含み構成される。そして、画面共有セッションには、両端のどちらが共有元（画面送信側）として動作し、どちらが共有先（画面受信側）として動作するかが設定される。通信部２１２は、上記画像送受信メディアストリームおよびストローク送受信メディアストリームを介して、それぞれ、共有画面を構成するストローク・レイヤおよび背景画像レイヤのデータを送信する。

画像情報取得部２３２は、映像処理部２２０で処理される映像から、共有画面を構成する背景画像を取得する。フレーム生成部２３４は、画像情報取得部２３２で取得された背景画像に基づいて、所定フォーマットのフレームを生成する。ここで、フレームは、共有画面を連続する映像とした場合に、その映像を構成する静止画１枚分の単位をいう。

ユーザが、共有元の電子情報ボード２１０に対し、共有先を指定した画面共有の開始指示を行うと、通信制御部２１４は、ユーザからの指示に応答して、共有先の電子情報ボード２５０との間で、画面共有セッションを確立させる。映像入力検知部２１８は、外部コンピュータ２４０との接続を検知すると、その接続情報を通信制御部２１４に通知する。通信制御部２１４は、接続情報の通知を受けて、上記で確立されたセッション内で、電子情報ボード２１０を共有元（画面送信側）として設定し、通信部２１２は、メディアストリームを介したデータの送受信を開始させる。

データの送受信が開始されると、画像情報取得部２３２が、映像処理部２２０で処理される外部コンピュータ２４０のコンピュータ画面を背景画像としてキャプチャし、フレーム生成部２３４が、取得された背景画像からフレームを生成し、通信部２１２に渡す。通信部２１２は、フレームを受け取り、画像送受信メディアストリームを介し、背景画像レイヤのデータとして送信する。

ここで、フレームの生成は、キャプチャされたコンピュータ画面を、送信に適した形式に変換する処理をいう。図５（Ａ）は、生成されるフレームのデータ構造を示す。図５（Ａ）に示すように、フレーム３００は、フレーム番号３０２と、画像サイズ３０４と、画像圧縮フォーマット３０６と、フレームの実体データである圧縮画像データ３０８とを含み構成される。画像データの圧縮方式は、特に限定されるものではなく、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧ２０００、ＰＮＧ（Portable Network Graphics）などの静止画の圧縮形式の他、ＭＰＥＧ（Moving Picture Experts Group）などのような、前フレームの画像との差分演算に基づく動画の圧縮形式でもよい。

フレーム番号３０２は、フレームを識別する識別情報であり、受信側で、フレームの順序、対応時間を識別するために、フレームに付属される。ここで、データに付属されるとは、該データと共に送受信されるか、該データと別に送受信されるかは問わず、該データに関連付けて送受信されることをいう。

再び図３を参照すると、タッチ操作が検出される場合、ストローク管理部２２６は、上述したストロークの表示処理と並行に、上記タッチ操作に対応したストローク・データを通信部２１２に渡す。通信部２１２は、ストローク・データを受け取り、ストローク送受信メディアストリームを介し、ストローク・レイヤのデータとして送信する。

図５（Ｂ）は、ストロークのデータ構造を示す。図５（Ｂ）に示すように、ストローク３１０は、フレーム番号３２２およびフレームサイズ３２４を含むストローク対応フレーム情報３２０と、ストロークの実体データであるストローク内容データ３３０を含む。ストローク対応フレーム情報３２０は、受信側で、ストロークが描画された対応フレームを識別するためにストロークに付属される。ここで、ストロークに対応付けられる対応フレームは、ストロークを送信する際にまさに画像送受信メディアストリームを介して現在送信中のフレームとすることができる。

また、フレーム送信に時間がかかる場合、フレーム送信中に表示内容が変わることがあり、現在のストロークは、現在送信中のフレームではなく、現在表示中のフレームに対応付けることが適切な場合がある。そこで、フレーム送信に時間がかかる場合には、対応フレームを、現在表示中のフレーム（現在送信中のフレームの次のフレーム）としてもよい。この場合、次のフレームのサイズは、現在表示している背景画像から推測するか、フレーム送信中に次のフレームを生成し、その準備されたフレームからそのサイズを取得することができる。さらに、説明する実施形態では、ストローク内容データと、ストローク対応フレーム情報とを１つのデータにまとめるものとして説明するが、上述したように、それぞれ別々に送信するように構成してもよい。

再び図３を参照すると、共有先の電子情報ボード２５０上の機能ブロックは、通信部２５２と、通信制御部２５４と、画像表示部２５６と、ストローク表示部２５８と、画面表示制御部２６０とを含む。

共有先の通信制御部２５４は、共有元の電子情報ボード２１０との間で確立される、上記画面共有セッションを管理する。通信部２５２は、上記画像送受信メディアストリームおよびストローク送受信メディアストリームを介して、それぞれ、共有元の電子情報ボード２１０から、共有画面を構成するストローク・レイヤおよび背景画像レイヤのデータを受信する。

画像表示部２５６は、共有先における背景画像レイヤの画面表示処理を行う。ストローク表示部２５８は、共有先におけるストローク・レイヤの画面表示処理を行う。画面表示制御部２６０は、共有先における上述した共有画面のレイヤを管理し、背景画像レイヤの画像表示と、ストローク・レイヤのストローク表示の表示状態を管理する。

共有元の電子情報ボード２１０からセッション確立の要求を受信すると、通信制御部２５４は、通信部２５２を通して、共有元の電子情報ボード２１０との間で、上記画面共有セッションを確立させる。通信部２５２は、共有元の電子情報ボード２１０から画像送受信メディアストリームを介して送られてきたフレームを受信し、画像表示部２５６に渡す。画像表示部２５６は、フレームを受け取ると、該フレームを展開して背景画像を取り出し、アプリケーション画面にその背景画像を画面表示する。

通信部２５２は、さらに、共有元の電子情報ボード２１０からストローク送受信メディアストリームを介して送られてきたストロークを受信し、ストローク表示部２５８に渡す。ストローク表示部２５８は、ストロークを受け取ると、受信したストロークに基づいて、アプリケーション画面にそのストロークを描画する。ストロークは、送信側と同様、背景画像に重畳して表示されることになる。

本実施形態によるストローク表示部２５８は、新しく受信されたストロークと、現在表示中の背景画像との内容の整合性を検証しており、ストローク・レイヤに対し遅れがある背景画像レイヤの画面表示を消去するかを判断する。ストローク表示部２５８は、ストロークが背景画像に先行し、不整合が生じると判断される場合は、当該ストロークについてはストローク・レイヤに画面表示させるが、背景画像レイヤで現在表示している背景画像の画面表示については消去させる。

上述した背景画像を消去するか否かの判断は、ユーザ操作に基づくストロークの描画イベントに応答して共有元から送信されたストロークに付属するストローク対応フレーム情報の受信に基づいて行うことができる。ストローク表示部２５８は、ストロークに対し付属されたフレーム番号と、当該共有先の電子情報ボード２５０で現在表示中のフレームのフレーム番号とを比較する。ストローク表示部２５８は、比較に基づき、ストロークが現在表示中のフレームに先行し、重畳して表示させることが適切ではないかを判断することができる。

また、上述した背景画像を消去するか否かの判断は、ストロークに対応付けられるフレームの受信完了までに要する時間を予測し、予測された時間に基づいて行うことができる。例えば、ストロークに対応するフレームの受信完了に要する時間が既定以上かかる場合は、重畳して表示させることが適切ではないと判断し、一方、既定未満である場合は、重畳して表示させても差し支えないと判断することができる。

説明する実施形態では、背景画像の画面表示の消去は、ユーザに背景画像の受信中であることを認識させ易いという観点からは、好適には、背景画像全体を対象として行われる。しかしながら、他の実施形態では、背景画像の一部の画面表示を消去するものとしてもよい。例えば、ストロークが内包される矩形領域の単位で消去するというような態様で行われてもよい。あるいは、背景画像が複数のブロックから構成される場合に、ストロークが重なるブロック群の単位で消去するというような態様で行われてもよい。少なくともストロークが重なる恐れのある範囲の画像が消去されるので、ユーザが、その背景画像が未だ受信中でることを認識しやすくなる。また、背景画像の消去は、背景画像を白色でクリアする形で行われても良いし、黒、灰色や他の色でベタ塗りする形で行われてもよい。

本実施形態による画像表示部２５６は、受信完了したフレームと、現在表示中のストロークとの内容の整合性を検証しており、先行して受信および表示されるストロークに対応するフレームについては、その受信の完了を待って画面表示する。画像表示部２５６は、対応するフレームの受信が完了した後に、対応するフレームから取得される背景画像を画面表示する。

現在表示中のストロークと、受信完了した背景画像との内容の整合性を検証は、現在受信完了したフレームに付属するフレーム番号と、現在表示中のストロークに付属されていたストローク対応フレーム情報中のフレーム番号を比較することにより行うことができる。

以下、図６〜図８を参照しながら、共有元および共有先の電子情報ボード間で行われる、画面共有にかかるストローク送受信処理および背景画像送受信処理の流れについて説明する。なお、画面共有セッションは、既に確立されているものとする。

図６は、第１の実施形態において、共有元および共有先の電子情報ボード間で行われる、ストローク送受信処理を示すフローチャートである。なお、図６において、左側が、共有元の電子情報ボード２１０が実行する処理を示し、右側が共有先の電子情報ボード２５０が実行する処理を示している。

図６に示す共有元側（画面送信側）の処理は、タッチ検知部２２４により、ユーザ操作に基づきストロークの描画イベントが検出されたことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、電子情報ボード２１０は、現在送信中であるフレームの情報（フレーム番号およびフレームサイズ）を取得する。ステップＳ１０２では、電子情報ボード２１０は、図５（Ｂ）に示したストロークのデータを構成して、ステップＳ１０３で、通信部２１２により、共有先の電子情報ボード２５０にストロークのデータを送信する。

一方、図６に示す共有先側（画面受信側）の処理は、ステップＳ１０３で送信されたストロークのデータを受信したことに応答して、ステップＳ２００から開始される。ステップＳ２０１では、共有先電子情報ボード２５０は、ネットワーク１０２の帯域幅を測定する。帯域幅は、ネットワーク１０２における、共有元および共有先電子情報ボード間のデータ伝送速度であり、フレームの受信に要する時間を推定するために用いられる。

なお、帯域幅は、測定時刻により刻々と変化し得るが、セッション中に大幅に変動することは考えにくい。説明する実施形態では、ストローク受信毎に測定されるものとして説明するが、他の実施形態では、ストローク受信毎に測定せず、セッション開始時に１度測定し、セッションを通してその測定値を使用してもかまわない。

ステップＳ２０２では、共有先電子情報ボード２５０は、現在表示中の背景画像を消去すべきと判断するための所与の条件（以下、背景画像消去条件と参照する。）が成立したか否かを判定する。背景画像消去条件は、特定の実施形態では、当該共有先電子情報ボード２５０で現在表示中のフレームのフレーム番号が、受信したストロークに付随するストローク対応フレーム情報のフレーム番号より小さく（ストローク対応フレーム番号＞現在表示中フレーム番号）、かつ、フレーム受信完了までにかかる時間が既定値より大きい（フレーム受信完了予測時間＞既定値）ことを条件とすることができる。背景画像側のフレーム番号が小さいということは、受信したストロークの方が先行していることを意味する。

ここで、フレーム受信完了にかかる時間は、フレームサイズを帯域幅で割ることで算出することができる。受信時間にかかる既定値は、予め許容できるズレ量を試験し、ベンダ側で決定してもよいし、ユーザ側で設定してもよい。

ステップＳ２０２で、背景画像消去条件が成立すると判定された場合（ＹＥＳ）は、ステップＳ２０３へ処理が分岐される。ステップＳ２０３では、共有先電子情報ボード２５０は、背景画像レイヤで現在表示している背景画像の画面表示を消去する。ここで、単に背景画像を消去するだけでなく、図３に示すように、背景画像が未だ受信完了していないことを示す付加表示を含む、背景画像ロード中画面を表示することとしてもよい。

ステップＳ２０４では、共有先電子情報ボード２５０は、ストローク表示部２５８により、受信したストロークのストローク内容データに基づき、ストロークの画面表示を行い、ステップＳ２０５で本処理を終了させる。一方、ステップＳ２０２で、背景画像消去条件が成立しないと判定された場合（ＹＥＳ）は、ステップＳ２０４へ処理を直接分岐させる。

上述した背景画像消去条件の判断処理により、ストロークと背景画像とが一定時間以上ずれた状態で重畳表示されてしまうことが防止される。特に、帯域幅が狭く、ストロークの伝送にかかる時間と、背景画像の伝送にかかる時間との解離が大きい場合に有効である。

図７は、第１の実施形態において、共有元電子情報ボード２１０で行われる背景画像送信処理を示すフローチャートである。図７に示す処理は、共有元電子情報ボード２１０と外部コンピュータ２４０との接続状態が変更され、接続状態イベントが発生したことに応答して、ステップＳ３００から開始される。

ステップＳ３０１では、共有元電子情報ボード２１０は、接続状態に応じて処理を分岐させる。ステップＳ３０１で、切断状態から接続状態への変更であると判定された場合（接続）は、ステップＳ３０２へ処理が分岐される。ステップＳ３０２では、共有元電子情報ボード２１０は、通信制御部２１４により、「画像送信」状態にセッションを更新する。ステップＳ３０３では、共有元電子情報ボード２１０は、通信制御部２１４により、画像情報送受信メディアストリームの送信者を「自身」に変更する。ステップＳ３０４では、共有元電子情報ボード２１０は、通信部２１２により、相手方の電子情報ボード２５０に対し、「画像受信」状態へのセッション更新リクエストを送信し、ステップＳ３０８で本処理を終了させる。

一方、ステップＳ３０１で、接続状態から切断状態への変更であると判定された場合（切断）は、ステップＳ３０５へ処理が分岐される。ステップＳ３０５では、共有元電子情報ボード２１０は、通信制御部２１４により、「画像送受信なし」状態にセッションを更新する。ステップＳ３０６では、電子情報ボード２１０は、通信制御部２１４により、画像情報送受信メディアストリームの送信者を「なし」に変更する。ステップＳ３０７では、共有元電子情報ボード２１０は、通信部２１２により、相手方の電子情報ボード２５０に対し、「画像送受信なし」状態へのセッション更新リクエストを送信し、ステップＳ３０８で本処理を終了させる。

ステップＳ３０２で「画像送信」状態にセッション更新されると、ステップＳ４００からのルーチンが開始される。ステップＳ４０１では、共有元電子情報ボード２１０は、セッションが「画像送信」状態に維持されているか否かを確認する。ステップＳ４０１で、セッションが「画像送信」状態に維持されていることが確認された場合（ＹＥＳ）は、ステップＳ４０２へ処理が進められる。

ステップＳ４０２では、共有元電子情報ボード２１０は、画像情報取得部２３２により、外部コンピュータ２４０のコンピュータ画面を背景画像として取得する。ステップＳ４０３では、共有元電子情報ボード２１０は、フレーム生成部２３４により、取得された背景画像からフレームを生成する。ステップＳ４０４では、共有元電子情報ボード２１０は、通信部２１２により、生成されたフレームを共有先電子情報ボード２５０に送信し、ステップＳ４０１へ処理をループさせる。このフレーム送信処理は、セッションが更新され、「画像送信」状態から外れるまで継続されることになる。

ステップＳ３０５で、「画像送受信なし」状態にセッション更新されると、ステップＳ４０１では、セッションが「画像送信」状態から外れたと判定（ＮＯ）され、ステップＳ４０５へ処理が分岐され、本ルーチンを終了させる。これにより、フレームの送信が終了する。

上述した処理により、画面共有セッションが確立されている場合、電子情報ボード２１０に外部コンピュータ２４０が接続されると、外部コンピュータ２４０のコンピュータ画面が、自動的に共有先の電子情報ボード２５０に転送されるようになる。

図８は、第１の実施形態において、共有先の電子情報ボードで行われる背景画像受信処理を示すフローチャートである。図８に示す共有先側（画面受信側）の処理は、図７に示すステップＳ３０４またはＳ３０７で送信されたセッション更新リクエストを受信したことに応答して、ステップＳ５００から開始される。

ステップＳ５０１では、共有先電子情報ボード２５０は、セッション更新に応じて処理を分岐させる。ステップＳ５０１で、「画像受信」状態へのセッション更新であると判定された場合（画像受信）は、ステップＳ５０２へ処理が分岐される。ステップＳ５０２では、共有先電子情報ボード２５０は、通信制御部２５４により、「画像受信」状態にセッションを更新し、ステップＳ５０４で、本処理を終了させる。

一方、ステップＳ５０１で、「画像送受信なし」状態へのセッション更新であると判定された場合（画像送受信なし）は、ステップＳ５０３へ処理が分岐される。ステップＳ５０３では、共有先電子情報ボード２５０は、通信制御部２５４により、「画像送受信なし」状態にセッションを更新し、ステップＳ５０４で、本処理を終了させる。

ステップＳ５０２で「画像受信」状態にセッション更新されると、ステップＳ６００からのルーチンが開始される。ステップＳ６０１では、共有先電子情報ボード２５０は、セッションが「画像受信」状態に維持されているか否かを確認する。ステップＳ６０１で、セッションが「画像受信」状態に維持されていることが確認された場合（ＹＥＳ）は、ステップＳ６０２へ処理が進められる。

ステップＳ６０２では、共有先電子情報ボード２５０は、通信部２５２により、共有元電子情報ボード２１０からのフレームを受信し、ステップＳ６０３では、画像表示部２５６により、受信したフレームを展開し、背景画像を取り出す。ステップＳ６０４では、共有先電子情報ボード２５０は、先行して受信および画面表示されているストロークに対応したフレームの受信が完了され、新たに受信した背景画像を表示させてもよいかを判断するための所与の条件（以下、画像表示条件と参照する。）が成立したか否かを判定する。

ここで、画像表示条件は、特定の実施形態では、当該共有先電子情報ボード２５０で現在表示中のストロークのストローク対応フレーム情報のフレーム番号が、ステップＳ６０２で受信完了したフレームのフレーム番号以下である（現在表示中ストローク対応フレーム番号≦現在のフレーム番号）ことを条件とすることができる。現在表示中のストローク対応フレームのフレーム番号は、上述したストローク送受信フローで決定される。

ステップＳ６０４で、画像表示条件が成立したと判定された場合（ＹＥＳ）は、ステップＳ６０５へ処理を分岐させる。ステップＳ６０５では、共有先電子情報ボード２５０は、画像表示部２５６により、取り出された背景画像の画面表示を行い、ステップＳ６０１へ処理をループさせる。このフレーム受信処理は、セッションが更新され、画像受信状態から外れるまで継続されることになる。

ステップＳ５０３で、「画像送受信なし」状態にセッション更新されると、ステップＳ６０１では、セッションが「画像送信」状態から外れたと（ＮＯ）判定され、ステップＳ６０６へ処理が進められ、本ルーチンを終了させる。これにより、フレームの受信が終了する。

上述した処理により、電子情報ボード２１０から背景画像を受信した場合に、先行して受信および表示されたストロークに対応付けられる対応フレームが受信完了したことを待って、対応フレームの背景画像が表示されることになる。

図９は、第１の実施形態における共有元および共有先の電子情報ボード間の画面共有状態を示す図である。図９では、図９（Ａ）から図９（Ｄ）へ時間が経過している。ここで、図９（Ａ）に示すような、共有にかかる両者間で、共有画面が一致している初期状態を考える。図９（Ａ）に示す状態において、共有元電子情報ボード２１０側の画面が切り替わると、帯域幅が不充分である場合、図９（Ｂ）に示すように、共有先側では、背景画像が従前のままとなり、両者間で遅延が生じる可能性がある。

上述した遅延がある状態において、図９（Ｃ）左図に示すように、共有元側で、ユーザが共有画面にストロークを書き始めると、ストロークのデータサイズが小さいため、共有先で新しい背景画像が伝達完了する前に、ストロークが先行して共有先に伝達される。

このとき、本実施形態による画面共有処理では、共有先電子情報ボード２５０では、一旦、図９（Ｃ）右図で示すように、従前の背景画像が消去されると共に、先行して受信したストロークのみが画面表示されるようになる。そして、共有先側で、先行して受信および画面表示されたストロークに対応するフレームが受信完了された段階で、図９（Ｄ）に示すように、対応する背景画像が表示される。

ストロークは、意思伝達においてより重要な情報を伝達するものであり、可能な限り相手方に伝達されることが望まれるところ、本実施形態による画面共有処理では、背景画像が遅延した場合でも背景画像に先行して相手方に伝達される。一方、先行するストロークが、従前のままの一致しない背景画像に重ね合わせられると、意図しないスライドに手書きされたようになり、誤った情報が伝達されるおそれがある。本実施形態では、従前の背景画像は消去されるため、共有先では、誤った情報が相手方に伝達されることが無い。また、ユーザは、消去された背景を見ることにより、背景画像が受信中であることが容易に認識できる。ひいては、遅延が遠隔会議に与える悪影響が低減される。このとき、表示されるストロークと背景画像との間に一定時間以上のズレが発生することが防止されるので、ストローク・レイヤおよび背景画像レイヤ間で一定の同期が維持されているといえる。

［第２の実施形態］
以下、図１０〜図１２と、第１の実施形態で示した図７および図８を参照しながら、第２の実施形態による遠隔会議システムにおける、電子情報ボード間の画面共有機能について説明する。図１０は、第２の実施形態による遠隔会議システムにおける画面共有機能に関連する機能ブロック２００を示す図である。

第２の実施形態では、共有元（画面送信）側で先立って、前後フレーム間の背景画像の差分情報を送信し、共有先（画像受信）側で、差分情報に基づいて現在表示中の背景画像を消去するか否かを判断することが特徴になっている。図１０に示す第２の実施形態による共有元電子情報ボード２１０は、第１の実施形態で説明した機能部に加えて、さらに、画像差分情報生成部２３６を含み構成される。

画像差分情報生成部２３６は、上記ストロークに対応付けられる背景画像レイヤの前後フレーム間の画像差分を演算する。ここでいう前後フレームの画像とは、共有元で現在送信中のフレームに対応する画像と、現在表示中の画像とを含むことができる。第２の実施形態の通信部２１２は、画像差分情報生成部２３６から画像差分情報を受け取り、ストローク管理部２２６から受け取ったストローク・データに付属させ、ストローク送受信メディアストリームを介し、ストローク・レイヤのデータとして送信する。

図１１は、ストロークに付属される画像差分情報のデータ構造を示す。図１１に示すように、画像差分情報３４０は、フレーム番号３５２およびフレームサイズ３５４を含む対応するフレーム情報３５０と、差分領域サイズ３６０とを含む。差分領域サイズ３６０は、フレーム間の画像の変化量を評価する値であり、説明する実施形態では、フレーム間の画像演算で求められる差分画像における各差分が生じている領域のサイズ合計を表す。なお、差分領域の合計サイズとすることにより、簡便に画像差分を求めることができるが、さらに、色情報や画像特徴量などの画像間の変化を定量できる他の情報も含めてもよい。

なお、説明する実施形態では、差分領域サイズ３６０と、フレーム情報３５０とを１つのデータにまとめているが、上述したように、他の実施形態では、それぞれを別送するように構成してもよい。また、画像差分情報３４０は、ストローク３１０と共に送受信されてもよいし、ストローク３１０とは別に送受信されてもよい。

第２の実施形態による通信部２５２は、背景画像レイヤのデータの受信完了に先行して上記画像差分情報を受信することができる。第２の実施形態によるストローク表示部２５８は、この画像差分情報を利用して、ストローク・レイヤに対し遅れがある背景画像レイヤの画面表示を消去するかを判断する。ストローク表示部２５８は、画像差分情報に基づき、フレーム間で生じた差分が大きく、ストロークが背景画像に重畳されると、不整合が生じると判断される場合は、当該ストロークについてはストローク・レイヤに画面表示させるが、背景画像レイヤで現在表示している背景画像の画面表示については消去させる。

このとき、上述した背景画像を消去するか否かの判断は、第１の実施形態と同様に、対応するフレームの受信完了までに要する時間を予測し、予測された時間を加味して行ってもよい。

図１２は、第２の実施形態において、共有元および共有先の電子情報ボード間で行われる、ストローク送受信処理を示すフローチャートである。なお、左右の関係は、図６と同様である。

図１２に示す共有元側（画面送信側）の処理は、タッチ検知部２２４により、ストローク描画イベントが検出されたことに応答して、ステップＳ７００から開始される。ステップＳ７０１では、共有元電子情報ボード２１０は、現在送信中であるフレームの情報（フレーム番号およびフレームサイズ）を取得する。ステップＳ７０２では、電子情報ボード２１０は、画像情報を取得し、ステップＳ７０３では、画像差分情報生成部２３６により、現在表示中の画像と、現在送信中のフレームに対応する画像との差分を演算し、図１１に示した画像差分情報を生成する。ステップＳ７０４では、共有元電子情報ボード２１０は、通信部２１２により、共有先電子情報ボード２５０に画像差分情報を送信する。ステップＳ７０５では、共有元電子情報ボード２１０は、通信部２１２により、ストロークのデータ送信し、ステップ７０６で本処理を終了させる。

一方、図１２に示す共有先側（画面受信側）の処理は、ステップＳ７０４で送信された画像差分情報を受信したことに応答して、ステップＳ８００から開始される。ステップＳ８０１では、共有先電子情報ボード２５０は、ネットワーク１０２の帯域幅を測定する。ステップＳ８０２では、共有先電子情報ボード２５０は、現在表示中の背景画像を消去すべきと判断するための背景画像消去条件が成立したか否かを判定する。背景画像消去条件は、第２の実施形態では、上述した差分領域サイズが既定値より大きく（差分領域サイズ＞既定値１）、かつ、フレーム受信完了までにかかる時間が既定値より大きい（フレーム受信完了予測時間＞既定値２）ことを条件とすることができる。フレーム受信完了にかかる時間は、同様に、フレームサイズを帯域幅で割ることで算出することができる。

ステップＳ８０２で、背景画像消去条件が成立すると判定された場合（ＹＥＳ）は、ステップＳ８０３へ処理が分岐される。ステップＳ８０３では、共有先電子情報ボード２５０は、図１１に示す画像差分情報に記載のフレーム番号の次のフレームをストローク対応フレームとして決定する。ステップＳ８０４では、共有先電子情報ボード２５０は、背景画像レイヤで現在表示している背景画像の画面表示を消去し、適宜、背景画像ロード中画面を表示する。

ステップＳ８０５では、共有先電子情報ボード２５０は、ステップＳ７０５で送信されたストロークを受信して、ステップＳ８０６では、ストローク表示部２５８により、受信したストロークの画面表示を行い、ステップＳ８０７で本処理を終了させる。一方、ステップＳ８０２で、背景画像消去条件が成立しないと判定された場合（ＹＥＳ）は、ステップＳ８０５へ処理を直接分岐させる。

なお、第２の実施形態における画像表示部２５６の役割および実行する処理は、第１の実施形態と同様であり、画像送受信処理も、図７および図８を参照して説明されたものと同様である。したがって、ストロークに対応する背景画像は、第１の実施形態と同様に、ストローク対応フレームが受信された段階で表示されることになる。

第２の実施形態では、上述したように、ストローク対応フレームは、差分領域のサイズが既定値よりも大きく、かつ、フレーム伝送にかかる時間が既定よりも大きい場合は、画像変化情報に記載のフレームの次のフレームとなる。差分領域のサイズが既定値よりも小さい場合、または、フレーム伝送にかかる時間が既定よりも小さい場合は、画像変化情報に記載のフレーム番号がストローク対応フレームのフレーム番号となる。これにより、差分領域が既定より小さい場合や、フレーム伝送にかかる時間が既定より短い場合に、背景画像は迅速に表示されることになる。したがって、第２の実施形態によれば、第１の実施形態の場合よりも、背景画像が消去されている期間を短縮することができ、特に帯域幅が狭く画像転送に時間がかかる場合に有効である。

［第３の実施形態］
以上説明した第１の実施形態および第２の実施形態では、共有にかかる電子情報ボードは、直接相互通信されるものとして説明した。しかしながら、遠隔会議システムの構成において、共有先の電子情報ボードが２台以上参加する場合は、共有先の複数の電子情報ボードに対し一括して画面配信を行う画面共有サーバを好適に設けると有効である。

図１３は、そのような画像共有サーバを設けた第３の実施形態による遠隔会議システム４００の概略構成を示す図である。図１３に示す遠隔会議システム４００は、ネットワーク４０２を介して相互に接続される、複数の電子情報ボード４１０Ａ〜４１０Ｚと、それぞれ電子情報ボード４１０に接続される外部コンピュータ４２０Ａ〜４２０Ｚとを含む。第３の実施形態による遠隔会議システム４００は、さらに、メディアストリームのデータ伝送を中継する画面共有サーバ４３０が設けられている。また、画像送受信メディアストリームおよびストローク送受信メディアストリームのうちの、ストローク送受信メディアストリームのデータ中継を専ら担当するストローク共有サーバ４３２を設けて、ストロークの管理と配信を行うよう構成することができる。

上述した第３の実施形態においても、上述した第１および第２の実施形態と同様の手法を用いて画像およびストロークの同期的な画面共有を行うことができる。第３の実施形態では、画像の配信が、データ中継する画面共有サーバ４３０を経由して行われるので、帯域幅に応じて画像圧縮率およびフレームレートまたはこれらの一方を調整するような他の画像配信技術と組み合わせて実施することが容易となる。

以上説明した実施形態によれば、描画レイヤおよび画像レイヤを含み構成される画面を端末間で共有する場合において、画像レイヤのデータ転送が遅延した場合でも、先行して描画レイヤを画面表示できるとともに、レイヤ間の内容不一致の発生を低減し、レイヤ間の一定の同期を維持することができる、情報処理システム、情報処理装置およびプログラムを提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００，４００…遠隔会議システム、１０２、４０２…ネットワーク、１１０，４１０…電子情報ボード、１１２、４１２…タッチパネル・ディスプレイ、１１４、４１４…コントローラ、１１６…映像インタフェース、１１８…デバイス・インタフェース、１２０，４２０…外部コンピュータ、２１０…電子情報ボード、２１２…通信部、２１４…通信制御部、２１６…映像入力部、２１８…映像入力検知部、２２０…映像処理部、２２２…画像表示部、２２４…タッチ検知部、２２６…ストローク管理部、２２８…ストローク表示部、２３０…画面表示制御部、２３２…画像情報取得部、２３４…フレーム生成部、２３６…画像差分情報生成部、２４０…外部コンピュータ、２４２…映像出力部、２５０…電子情報ボード、２５２…通信部、２５４…通信制御部、２５６…画像表示部、２５８…ストローク表示部、２６０…画面表示制御部、２７０…外部コンピュータ、３００…フレーム、３０２…フレーム番号、３０４…画像サイズ、３０６…画像圧縮フォーマット、３０８…圧縮画像データ、３１０…ストローク、３２０…ストローク対応フレーム情報、３２２…フレーム番号、３２４…フレームサイズ、３３０…ストローク内容データ、３４０…画像差分情報、３５０…フレーム情報、３５２…フレーム番号、３５４…フレームサイズ、３６０…差分領域サイズ、４３０…画面共有サーバ，４３２…ストローク共有サーバ、１２…ＣＰＵ、１４…記憶装置、１６…メモリ、１８…映像出力インタフェース、２０…デバイス・インタフェース、２２…ＮＩＣ、２４…映像入力ボード、３０…ディスプレイ、３２…タッチパネル・コントローラ、３４…タッチパネル

特開２０１０−１１８９７６号公報

Claims (11)

1. 複数の情報処理装置を含む情報処理システムであって、
   第１の情報処理装置は、画面を構成する描画レイヤおよび画像レイヤのデータを送信する送信手段を含み、
   少なくとも第２の情報処理装置は、
   前記描画レイヤおよび前記画像レイヤのデータを受信する受信手段を含み、
   前記描画レイヤのデータに付属する情報に基づいて、前記描画レイヤのデータに対し遅れがある場合に、少なくとも一部を消去した画像レイヤと、前記受信手段でデータを受信した描画レイヤとを画面に表示させることを特徴とする情報処理システム。
2. 前記第２の情報処理装置は、前記描画レイヤのデータに対して遅れがある画像レイヤの少なくとも一部を消去するか否かを判断する判断手段を含むことを特徴とする、請求項１に記載の情報処理システム。
3. 先行して受信および画面に表示された前記描画レイヤのデータに対応付けられる前記画像レイヤのデータの受信の完了後に、該データに基づいて前記画像レイヤを画面に表示させる画像表示手段をさらに含む、請求項１または２に記載の情報処理システム。
4. 前記描画レイヤのデータに付属する情報は、前記描画レイヤのデータに対応付けられる前記画像レイヤの前後画像間の差分情報であり、前記受信手段は、前記画像レイヤのデータの受信の完了に先行して前記差分情報を受信し、前記画像レイヤの少なくとも一部を消去するか否かは、前記差分情報に基づいて判断されることを特徴とする、請求項１〜３のいずれか１項に記載の情報処理システム。
5. 前記差分情報は、前記画像レイヤの前後画像間の差分となる合計領域を定量した情報を含む、請求項４に記載の情報処理システム。
6. 前記描画レイヤのデータに付属する情報は、前記描画レイヤのデータに対応付けられる前記画像レイヤのデータを識別するための識別情報であり、前記画像レイヤの少なくとも一部を消去するか否かは、前記描画レイヤのデータに対し付属された識別情報と、前記少なくとも第２の情報処理装置で現在処理中の前記画像レイヤのデータを識別する識別情報との比較に基づいて判断されることを特徴とする、請求項１〜３のいずれか１項に記載の情報処理システム。
7. 前記少なくとも第２の情報処理装置は、さらに、前記描画レイヤのデータに対応付けられる前記画像レイヤのデータの受信完了に要する時間を予測する手段を含み、前記画像レイヤの少なくとも一部を消去するか否かは、前記予測された時間に基づいて判断されることを特徴とする、請求項１〜６のいずれか１項に記載の情報処理システム。
8. 前記少なくとも第２の情報処理装置は、前記画像レイヤの少なくとも一部が消去される場合に、前記画像レイヤのデータの受信が未完了であることを表す表示を行う手段をさらに含む、請求項１〜７のいずれか１項に記載の情報処理システム。
9. 前記情報処理システムは、さらに、複数の情報処理装置間を伝送する、前記描画レイヤおよび前記画像レイヤ、またはこれらの少なくとも一方のデータを中継する少なくとも１つの中継サーバを含む、請求項１〜８のいずれか１項に記載の情報処理システム。
10. 相手方の情報処理装置から送られてくる画面を表示する情報処理装置であって、
    前記画面を構成する描画レイヤおよび画像レイヤのデータを受信する受信手段を含み、
    前記描画レイヤのデータに付属する情報に基づいて、前記描画レイヤのデータに対し遅れがある場合に、少なくとも一部を消去した画像レイヤと、前記受信手段でデータを受信した描画レイヤとを画面に表示させることを特徴とする、情報処理装置。
11. 相手方の情報処理装置から送られてくる画面を表示する情報処理装置を実現するためのプログラムであって、コンピュータを、
    前記画面を構成する描画レイヤおよび画像レイヤのデータを受信する受信手段、および
    前記描画レイヤのデータに付属する情報に基づいて、前記描画レイヤのデータに対し遅れがある場合に、少なくとも一部を消去した画像レイヤと、前記受信手段でデータを受信した描画レイヤとを画面に表示させる手段
    として機能させるためのプログラム。