JP2014109977A - 画像通信装置、及び遠隔会議システム - Google Patents

Abstract

【課題】ストローク画像情報を描画可能な第一領域を制限することなく、第一領域を遠隔地で共有する。
【解決手段】表示部６の表示画面に対する物体の接触位置または接近位置を検出し、検出された接触位置情報または接近位置情報を使用して描画画像情報を前記表示画面上の所定の第一領域に描画及び生成し、検出された接触位置情報または接近位置情報に基づいて、第二領域情報を変更するように指定及び変更し、変更された第二領域情報、前記第一領域を表示するための表示ウィンドウのサイズ情報に基づいて第一領域を変形し、一方、第二領域情報を変更するように指定及び変更された場合に、通信部４１により当該変形後の第二領域情報を他の画像通信装置に送信する。
【選択図】図８

Description

本発明は、画像の書込み、拡大、縮小、スクロール等により変更した画像を、リアルタイムで他の会議参加端末の表示装置に表示可能な、画像通信装置、及び遠隔会議システムに関する。

従来、企業や教育機関、行政機関における会議等において、液晶やプラズマなどのフラットパネルやプロジェクタを用いた４０インチ〜６０インチ程度の比較的大型のディスプレイに書込み機能を搭載した、いわゆる「電子情報ボード」や「電子黒板」と称される画像処理装置が利用されている。一般に、電子情報ボードは、背景画像を大型ディスプレイに表示し、表示画面に併設したタッチパネルを操作して書込んだ挿入画像を、背景画像に重畳表示しながらプレゼンテーションを行う機能を備えたものもが知られている。
また、このような電子情報ボードに接続したパーソナル・コンピュータ（以下、パソコン、またはＰＣと略称する）等から、電子情報ボードにパソコンの画面情報を取り込んで拡大表示する機能、接続したＰＣと画像情報を共有する機能、各種画像情報を記録する機能等を備えたものも知られている。さらに、パソコンにインストールして電子情報ボードを多機能画像処理システムとして動作させるためのアプリケーションソフトウエアが提供されている。
このような書込み機能を備えた画像処理装置を利用すると、オフィスでの会議等において説明用の画像を表示し、必要に応じて会議メンバーが書込みを行いながら議論を進め、作成した画像を記録装置に蓄積することが可能であり、会議終了後に画面内容を利用して再検討を行う等、効率的に結論を纏める上で有用である。さらに、複数の電子情報ボードをネットワークで接続すれば、複数の遠隔地点に設定した会議場において、共有した画像を同時に表示しながら会議を行うことが可能である。例えば、一つの工場内に点在する会議場、日本国内の各地域に点在する関連企業やオフィス、あるいは、世界中に点在する会議場であっても、一つの場所で会議を行うイメージで議論を進めることができる。

ところで、従来の電子情報ボード等の画像通信端末では、描画ストロークで描画ができる領域（「第一領域」と称す）が固定的であり、自由に領域を広げたり、狭めたりすることができなかった。このため例えば、ある項目を箇条書き形式で画面の上から下方に描画する際、描画する行数が多いと、一ページに収めたい場合であっても、複数のページに跨ってしまう場合が生じる。即ち、本来一つのページに集約されるべき情報が分断されてしまうという欠点があった。縮小機能を備えた画像通信端末では、それまでに描画した項目を縮小することにより新たに余白をつくることができるものの、この機能は「ストロークの選択」と「ストロークの縮小」という二つの異なる処理（ステップ）を必要とするため、甚だ使い難いものであった。
また、電子情報ボードには、第一領域を拡大して表示するズーム機能、ズームイン後にズームしている領域を変更するパンニング機能、離れた地点に位置する電子情報ボード間でストローク画像を共有する遠隔共有機能を備えたものも提供されている。しかし、従来の電子情報ボードでは、他方の電子情報ボードで、第一領域のどの部分を表示しているのか分からないので、折角備えたズーム機能やパンニング等の高機能手段を遠隔会議に使用しても、むしろ円滑なコミュニケーションを妨げる結果となっていた。
ズームとパンニングを同時に操作する方法としては、特許文献１に、第二領域を設定することによって、ズームやパンニングを行う方法が開示されている。

しかしながら、特許文献１記載のものは、ズームとパンニングを同時に操作する方法として、第二領域を設定し、ズームやパンニングを行う方法が開示されているので、第二領域を利用可能であるが、ストローク画像を描画できる第一領域が制限されている問題や、第一領域を遠隔地で共有できないという問題は依然として解決されていない。
そこで、描画画像情報を描画可能な第一領域を制限することなく、第一領域を遠隔地で共有することが切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、描画画像情報を描画可能な第一領域を制限することなく、第一領域を遠隔地で共有することが可能な画像通信装置、及び遠隔会議システムを提供することにある。

上記課題を解決するために、請求項１記載の本発明は、描画画像情報を表示画面の第一領域に生成する描画生成手段と、前記描画画像情報に基づいて、前記表示画面の第二領域を指定する第二領域指定手段と、前記第二領域指定手段により指定された前記第二領域および前記第一領域に基づいて、前記第一領域を変形する画像変形手段と、前記第二領域指定手段により指定された第二領域の情報を他の画像通信装置に送信する送信手段と、を備えたことを特徴とする。

本発明によれば、描画画像情報を表示画面の第一領域に生成し、描画画像情報に基づいて、表示画面の第二領域を指定し、指定された第二領域および第一領域に基づいて、第一領域を変形し、指定された第二領域の情報を他の画像通信装置に送信することで、描画画像情報を描画可能な第一領域を制限することなく、第一領域を遠隔地で共有することができる。

本発明の実施形態に係る遠隔会議システムの概要図である。 本発明の実施形態に係る遠隔会議システムの構成例を示すブロック図である。 本発明の実施形態に係る画像管理サーバの構成例を示すブロック図である。 本発明の実施形態に係る画像通信端末（端末機）の一部分の構成例を示すブロック図である。 本発明の実施形態に係る遠隔会議システムの制御例を示す図である。 本発明の実施形態に係る遠隔会議システムの制御例を示す図である。 本発明の実施形態に係る遠隔会議システムの処理例を示すフローチャートである。 本発明の実施形態に係る画像通信端末（端末機）の処理例を示すフローチャートである。 本発明の実施形態に係る画像通信端末（端末機）の処理例を示すフローチャートである。 本発明の実施形態に係る画像通信端末（端末機）の処理例を示すフローチャートである。 本発明の実施形態に係る画像通信端末（端末機）の処理例を示すフローチャートである。 本発明の実施形態に係る遠隔会議システムの処理例を示すフローチャートである。 本発明の実施形態に係る他の遠隔会議システムの構成例を示すブロック図である。

本発明の実施形態について説明する。
本実施形態によれば、本発明の画像通信端末は、他の画像通信端末やＰＣから供給される表示画像、表示画面をタッチして描いた描画画像、これらを合成した合成画像、の全部または一部を一定単位で纏めて管理する機能を備えている。画像通信端末は、通信回線を介して接続された他の画像通信端末との間で画像を共有し、何れかの画像通信端末で行った拡大、縮小、ズーム、パンニング等の操作結果を、他の画像通信端末の表示画面に表示させるようにしたものである。
なお、ここで「画像情報」には、テキスト文字画像、描画した図面画像、写真等の静止画像、会議メンバー等を撮影した動画像等、に限ることなく他の情報、例えば、描画画像にコメントとして付加する音声信号等を含めてもよい。

以下、図面を参照して、本発明の実施形態について説明する。
＜第１実施形態＞
以下、本発明の実施形態に係る画像通信端末の一つとして、電子情報ボードのような画像処理機能を備えたものを例に説明する。
図１は、本発明の実施形態に係る画像通信端末と、それを利用した遠隔会議システムの例を示す概要構成図である。この例に示す遠隔会議システム１は、画像通信端末２と、外部画像通信端末としてのユーザＰＣ３ａ、３ｂとを含んだもので、画像通信端末２およびユーザＰＣ３ａ、３ｂは、それぞれケーブル４、５によって接続されている。さらに、上記画像通信端末２は、通信回線７を介して、他の画像通信端末（端末機）２−１、２−２と接続されており、これら複数の画像通信端末間で、遠隔会議を行うことができる。
画像通信端末２はタッチパネル機能を併設した表示部６を備え、ユーザＣ３ａ、３ｂの表示画像をケーブル４、５を介して取り込んで表示した表示画像、ユーザがタッチパネルを操作して生成した描画画像を表示する。画像通信端末２は、これら表示した画像を共有画像として記録することができる。

また、画像通信端末２は、表示部に対する接触によってイベントを発生させ、このイベントをユーザＰＣ３ａ、３ｂに送信する。これにより、ユーザＰＣに付属するマウスやキーボード等の入力装置のイベントと同様に、これら外部画像通信端末を遠隔制御することが可能である。
本実施形態では、ユーザＰＣ３ａ、３ｂは、インタフェースとしてＶＧＡ出力端子（図示せず）を備え、ＶＧＡケーブル等のケーブル４を介してＶＧＡ信号を画像通信端末２に送信することができる。また、ケーブルに換えて、各種無線通信プロトコルに準拠した無線通信手段により、ユーザＰＣ３ａ、３ｂと画像通信端末２とを接続してもよい。

図１に示す画像通信端末２が、会議打ち合わせに使用する電子情報ボード（電子黒板）である場合、各会議メンバーが持参した各自のノート型ＰＣを電子情報ボードのインタフェースにケーブルを介して接続して、ユーザＰＣ３ａ、３ｂとして使用することができる。あるいは、会議メンバーは、自分の勤務机上の各自のＰＣを無線ＬＡＮ、公衆電話回線、イントラネット等により画像通信端末に接続して遠隔会議システムとして使用することができる。
なお、ユーザＰＣ等の外部の画像通信端末としては、この例に限らず、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ等、通信機能や画像処理機能を備えた画像通信端末を使用することができる。

次に、図２に示す機能ブロック図を参照して、本発明の実施形態に係る画像通信端末２の構成例について説明する。
この例に示す画像通信端末２は、画像入力インタフェース２１、２２を介してユーザＰＣ３ａ、３ｂと接続される。
画像入力インタフェース２１は、上述したユーザＰＣ３ａ、３ｂから出力される画像信号を受信するインタフェースであり、ＤＶＩ（Digital Visual Interface）コネクタを採用することができる。また、他の実施形態では、ＶＧＡ（Video Graphics Array）コネクタ、ＨＤＭＩ（High-Definition Multimedia Interface）コネクタ、Ｄｉｓｐｌａｙｐｏｒｔコネクタ等であってもよい。

画像入力インタフェース２２は、画像通信端末２の表示画像をユーザＰＣ３ａ、３ｂなどの外部装置に出力する物理インタフェースであり、ＵＳＢソケットを採用することができる。画像通信端末２は、プロセッサ２３と、ＲＯＭ２４と、ＲＡＭ２５と、画像取得部２６と、座標検出部２７と、接触検知部（接触検出部とも云う）２８と、表示部６とを含んで構成される。
なお、画像入力インタフェース２１、２２は、ケーブルに換えて、Ｂｌｕｅｔｏｏｔｈ（登録商標）、超音波、赤外線、あるいは、ＷｉＦｉ等の、無線通信プロトコルに準拠した無線通信手段であってもよい。また、画像入力インタフェース２１、２２は、同様の無線通信インタフェース機能を備えたユーザＰＣ３ａ、３ｂとの間で、画像信号を送受信してもよい。

プロセッサ２３は、ＣＰＵやＭＰＵ等の処理演算装置であり、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮ、Ｃｈｒｏｍｅ、ＡｎｄｒｏｉｄなどのＯＳを動作させる。プロセッサ２３は、これらのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明を実現するためのプログラムを実行する。ＲＯＭ２４は、ＢＩＯＳ等のブートプログラムなどが保存される不揮発性メモリである。
ＲＡＭ２５は、ＤＲＡＭやＳＲＡＭ等の主記憶装置であり、ここで説明するような本発明の遠隔会議システム、画像通信端末として機能するように組まれたプログラムを実行するための実行空間を提供する。
プロセッサ２３は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置（図示せず）から、プログラムを読み出し、ＲＡＭ２５に展開して実行する。
このプログラムには、プログラムモジュールであるイベント処理部２９、アプリ画像生成部３０、レイアウト管理部３１、描画生成部３２、合成部３３、表示制御部３４、スナップショット生成部３５、リポジトリ管理部３６として機能するプログラムが含まれる。

画像取得部２６は、ユーザＰＣ３ａ、３ｂから画像信号（画像情報）を取得する機能手段であり、画像入力インタフェース２１を介して画像信号を受信する。そして、画像取得部２６は、当該画像信号を解析して、当該画像信号によって形成されるユーザＰＣ３ａ、３ｂの表示画像である画像フレームの解像度や当該画像フレームの更新頻度などの画像情報を導出し、アプリ画像生成部３０に送信する。
また、画像取得部２６は、当該画像信号を使用してユーザＰＣ３ａ、３ｂの表示画像である画像フレームを夫々形成し、画像データを一時的に保存可能な記憶手段であるビデオＲＡＭ３７にそれぞれ上書き保存する。
アプリ画像生成部３０は、表示部６に表示すべき種々の表示ウィンドウを生成する機能手段である。表示ウィンドウには、ユーザＰＣ３ａ、３ｂの表示画像である画像フレームを表示する表示ウィンドウ、ユーザが生成する描画画像を表示する表示ウィンドウが含まれる。また、表示ウィンドウには、画像通信端末２の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやＷｅｂブラウザ等の表示ウィンドウなどが含まれる。アプリ画像生成部３０は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。

レイアウト管理部３１は、アプリ画像生成部３０が生成する表示ウィンドウにユーザＰＣ３ａ、３ｂの表示画像を描画する機能手段である。レイアウト管理部３１は、画像取得部２６から画像情報を取得すると、ビデオＲＡＭ３７に格納されている画像フレームを取得する。そして、レイアウト管理部３１は、画像情報を使用して、画像フレームの大きさをアプリ画像生成部３０が生成した表示ウィンドウの大きさに適合するように変更し、当該画像フレームを描画すべき画像レイヤに描画する。

接触検知部２８は、表示部（表示画面）６に併設された描画装置３８等への物体の接触を検知する機能手段である。接触検知部２８としては特許第４６２７７８１号公報に開示されたような赤外線遮断方式による座標入力／検出装置を採用することも可能である。この公報に開示された座標入力／検出装置では、表示部６の下側両端部に設置された（複数の）受発光装置が、表示部６に平行して複数の赤外線を放射し、表示部６の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。接触検知部２８は、物体によって遮断された複数の受発光装置が放射した赤外線の識別情報を座標検出部２７に通知し、座標検出部２７が、物体の接触位置である座標位置を特定する。
なお、タッチパネルとしては、特許第４６２７７８１号公報に開示されたもの以外の方式のものであってもよい。他のタッチパネルとしては、例えば、静電容量の変化を検知することにより接触位置を特定する静電容量方式、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式が知られている。また、他のタッチパネルとしては、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式などの種々のタッチパネル方式の検出手段等、種々のものが知られているので、適宜、選択することができる。
座標検出部２７は、物体が表示部６に接触した位置である座標位置を算出するとともに、種々のイベントを発行する機能手段であり、接触位置の座標位置とに共に、種々のイベントをイベント処理部２９に発行する。座標検出部２７が発行するイベントには、物体の接触または接近したことを通知するイベント（ＴＯＵＣＨ）、物体が表示部６に接触または接近した状態で接位置または接近位置が移動したことを通知するイベント（ＭＯＶＥ）が含まれる。また、座標検出部２７が発行するイベントには、物体が表示部６から離れたことを通知するイベント（ＲＥＬＥＡＳＥ）が含まれる。
描画装置３８は、画像通信端末２の接触検知部２８に接触させて描画する装置である。描画装置３８は、先端部に物体の接触を検知する接触検知手段を備えたペン形状をしており、当該接触検知手段が物体に接触すると、接触したことを示す接触信号を当該描画装置３８の識別情報と共に座標検出部２７に送信する。

また、描画装置３８は、画像処理装置操作モードまたはユーザＰＣ操作モードを切り替えるモード切替スイッチを側面や後端部等に備えている。画像処理装置操作モードとは、ユーザが画像通信端末２の表示部６に任意の図形や文字等を描画可能なモードであり、また、表示部６に表示されたメニューやボタン等のオブジェクトを選択可能なモードである。ユーザＰＣ操作モードとは、表示部６に表示されたメニューやボタン等のオブジェクトをユーザが選択可能なモードである。

例えば、ユーザがモード切替スイッチを押下した状態で、描画装置３８を画像通信端末２に接触させた場合には、描画装置３８は、接触信号および当該描画装置の識別情報と共に、ユーザＰＣ操作モードを示すモード種別信号を送信する。ユーザがモード切替スイッチを押下していない状態で、描画装置３８を画像通信端末２に接触させた場合には、描画装置３８は、接触信号および当該描画装置の識別情報と共に、画像処理装置操作モードを示すモード種別信号を送信する。
本実施形態では、座標検出部２７は、接触検知部２８から赤外線の識別情報を受信すると、物体の接触位置情報である座標位置情報を算出し、次いで、描画装置３８から接触信号を受信すると、各種イベントを発行する。このとき、座標検出部２７は、モード種別を示す情報（以下、「モード種別情報」とする。）を当該イベントと共にイベント処理部２９に通知する。

なお、この例では、先端部に物体の接触を検知する接触検知部を有するペン形状の描画装置３８を備える例を示した。しかし、タッチパネルとそのタッチ位置（座標情報）検出手段等によって、当該描画装置の表示画面表面にタッチされる位置情報に基づいて描画画像を形成する手段が知られている。また、当該画像通信端末への制御入力、ユーザＰＣ等の外部画像通信端末の遠隔制御を行う手段が知られている。このため、他に代替手段が得られる場合は、必ずしも描画装置３８を備える必要はないであろう。その場合は、描画装置３８は、接触検知部を備えない、単なるタッチペンでよい。
イベント処理部２９は、座標検出部２７が発行するイベントを処理する機能手段である。ユーザＰＣ操作モードが指定されている場合、イベント処理部２９は、座標検出部２７からイベントを受信すると、ユーザＰＣ３ａまたはユーザＰＣ３ｂにマウスイベントを送信する。画像処理装置操作モードが指定されている場合、イベント処理部２９は、座標検出部２７からイベントを受信すると、画像通信端末２の他の機能手段に対して描画指示イベントおよび選択通知イベントを通知する。

マウスイベントとは、ユーザＰＣ３ａ、３ｂのマウス等の入力装置が発行するイベントと同様のイベントであり、ユーザＰＣ操作モードが指定されている場合に、描画装置３８による接触に起因してユーザＰＣ３ａ、３ｂに対して発行される。イベント処理部２９は、座標検出部２７が発行したイベントに含まれる座標位置情報をユーザＰＣ３ａ、３ｂの画面サイズに応じた座標位置情報に変換し、マウスイベントと共にユーザＰＣ３ａ、３ｂに送信する。ユーザＰＣ３ａ、３ｂは、マウスイベントをマウス等の入力装置が発行するイベントと同様に処理する。
描画指示イベントとは、画像通信端末２に対して描画を指示するイベントである。描画指示イベントは、画像処理装置操作モードが指定されている場合に、描画装置３８が表示部６に接触することに起因して発行される。
選択通知イベントとは、表示部６に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。選択通知イベントは、画像処理装置操作モードが指定されている場合に、描画装置３８が表示部６に接触することに起因して発行される。イベント処理部２９は、座標検出部２７が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。

本実施形態では、描画指示イベントおよび選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する画像通信端末２の機能手段は、当該識別情報を参照して種々の処理を実行する。また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する画像通信端末２の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。

描画生成部３２は、ユーザが描画装置３８を用いて作成した描画画像を生成する機能手段である。描画生成部３２は、座標位置情報が示す座標位置の色を特定の色に変更した画像レイヤを生成する。描画生成部３２は、当該座標位置情報を描画情報としてＲＡＭ２５の描画情報の格納領域に保存する。
合成部３３は、種々の画像を合成する機能手段である。合成部３３は、アプリ画像生成部３０が画像を描画すべき画像レイヤ（以下、「アプリ画像レイヤ」とする。）と、レイアウト管理部３１がユーザＰＣ３ａ、３ｂの表示画像を描画すべき画像レイヤ（以下、「画像キャプチャレイヤ」とする。）と、描画生成部３２が画像を描画すべき画像レイヤ（以下、「描画レイヤ」とする。）と、を合成する。
表示制御部３４は、表示部６を制御する機能手段である。表示制御部３４は、合成部３３が生成した合成画像を表示部６に表示する。本実施形態では、合成部３３は、表示制御部３４を呼び出して合成画像を表示部６に表示するが、他の実施形態では、合成部３３および表示制御部３４は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部６に表示してもよい。

スナップショット生成部３５は、ユーザＰＣ３ａ、３ｂの表示画像と描画生成部３２が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。スナップショット生成部３５は、表示部６に表示されたスナップショットの取得を指示するスナップショットボタンが選択されたことを示す選択通知イベントを受信すると、画像キャプチャレイヤと描画レイヤとを合成し、スナップショット画像を生成する。スナップショット生成部３５は、スナップショット画像を生成すると、リポジトリ管理部３６に対しスナップショット画像を記憶装置３９に保存させる。
リポジトリ管理部３６は、スナップショット画像を格納すべき記憶装置（スナップショット画像記憶部）３９を制御する機能手段である。リポジトリ管理部３６は、上述したように、スナップショット生成部３５の指示により、スナップショット画像を記憶装置３９に保存する。また、リポジトリ管理部３６は、ユーザＰＣ３ａ、３ｂの指示により、記憶装置３９からスナップショット画像を取得し、ユーザＰＣ３ａ、３ｂを送信する。
なお、遠隔会議管理４０に関しては、後述するが、離れた会議場で同時に同一画像を表示しながらの会議を行うための機能ブロックである。
このようにして生成した描画画像、表示画像、それらを合成した合成画像等、の全部または一部を一定単位で纏めて時系列的に識別できる状態で管理する画像管理機能を備えている。

以上構成した画像通信端末２の処理や動作について、その概要を説明する。
ユーザが例えば、描画装置３８を用いて画像通信端末２に種々の指示を与えた際に、画像通信端末２が実行する処理について説明する。
イベント処理部２９は、座標検出部２７からイベントを受信すると、その種類を判断する。イベントの種類が「ＭＯＶＥ」の場合は、受信したイベントに含まれる座標位置情報を取得し、描画生成部３２に対して描画指示イベントを発行する。描画生成部３２が座標位置情報から描画情報を生成すると、描画レイヤに描画し、描画情報をＲＡＭ２５の描画情報の格納領域に保存した後、最初の処理に戻る。

一方、イベントの種類が「ＴＯＵＣＨ」または「ＲＥＬＥＡＳＥ」である場合、イベント処理部２９は、イベントに付加されたモード種別情報に基づいてモードの種類を判断する。モードの種類がユーザＰＣ操作モードの場合、イベント処理部２９は、マウスイベントを送信すべきユーザＰＣを特定する。イベントの種類が「ＲＥＬＥＡＳＥ」のとき、本実施形態で、レイアウト管理部３１がユーザＰＣの表示画像を表示部６に表示する場合、当該ユーザＰＣの表示画像を識別する画面情報をＲＡＭ２５の描画情報の格納領域に保存する。イベント処理部２９は、当該画面情報を使用して、マウスイベントを送信すべきユーザＰＣを特定する。

一方、モードの種類が「画像処理装置操作モード」であるときは、イベント処理部２９は、表示部６に表示されたオブジェクトが選択されている場合に、オブジェクトの識別情報と共に選択通知イベントを通知し、処理をスタートに戻す。
本実施形態では、アプリ画像生成部３０がオブジェクトを描画する場合、当該オブジ
ェクトの識別情報および当該オブジェクト領域を示す座標位置情報をＲＡＭ２５に保存する。イベント処理部２９は、当該オブジェクトの座標位置情報を使用して、イベントに付加された座標位置情報がオブジェクト領域内であるか否か判断することにより、オブジェクトが選択されているか否か判断する。

画像取得部２６が実行する処理では、先ず、画像取得部２６がユーザＰＣ３ａ、３ｂから画像信号を受信したか否か判断する。画像信号を受信した場合には、画像取得部２６は、ビデオＲＡＭ３７に対する画像フレームの上書き保存を停止する指示を受信したか否か判断する。画像フレームの上書き保存の停止指示を受信した場合には、処理をスタートに戻す。一方、当該停止指示を受信していない場合には、画像取得部２６は、画像信号から画像フレームを形成するとともに、ビデオＲＡＭ３７に保存し、処理をスタートに戻す。
なお、本実施形態の画像通信端末２は、画像フレームの上書き保存を停止するボタン等を備えており、当該ボタンが押下されると、画像取得部２６に対して画像フレームの上書き保存を停止する指示が送信される。これにより、ユーザは任意のタイミングで画像フレームの上書き保存を停止することができる。例えば、ユーザＰＣの交換等によって画像フレームの乱れが生じる虞がある場合等に、既にビデオＲＡＭ３７に保存された画像フレームを表示部６に継続して表示することができる。

アプリ画像生成部３０が実行する処理では、アプリ画像生成部３０が初期メニュー画面をアプリ画像レイヤに描画し、アプリ画像生成部３０は、画像取得部２６から画像情報を受信したか否か判断する。当該情報を受信した場合には、アプリ画像生成部３０は、ビデオＲＡＭ３７から画像フレームを取得し、当該画像フレームを含む表示選択メニュー画面をアプリ画像レイヤに描画する。

次に、アプリ画像生成部３０は、表示選択メニュー画面（図示しない）に表示されたユーザＰＣの表示画像が選択されたか否か判断する。アプリ画像生成部３０は、表示選択メニュー画面内のユーザＰＣの表示画像が選択されたことを示す選択通知イベントを受信したか否か判断することにより、ユーザＰＣの表示画像が選択されたか否か判断することができる。ユーザＰＣの表示画像が選択されると、アプリ画像生成部３０は、図示を省略したユーザＰＣの表示画像のレイアウトを選択可能なレイアウト選択メニュー画面をアプリ画像レイヤに描画する。
レイアウト管理部３１が実行する処理では、レイアウト管理部３１が、ユーザＰＣの表示画像のレイアウトが選択されたことを示す選択通知イベントを受信することにより処理を開始する。レイアウト管理部３１は、選択通知イベントに付加されたレイアウト情報を取得し、レイアウトが指定された画像フレームをビデオＲＡＭ３７から取得する。その後、レイアウト管理部３１は、取得した画像フレームをレイアウト情報が指定する表示位置および大きさに適合させ、画像キャプチャレイヤに描画する。これにより、ビデオＲＡＭに保存された最新の画像フレームを画像キャプチャレイヤに描画することができ、ユーザＰＣ３ａ、３ｂの表示画像をリアルタイムで表示部６に表示することができる。
本実施形態では、ビデオＲＡＭ３７に保存されたユーザＰＣの表示画像である画像フレームには、その識別情報がメタデータとして付加されている。また、選択通知イベントに付加されたレイアウト情報には、レイアウトが指定されたユーザＰＣの表示画像の識別情報と、当該表示画像の表示位置や大きさを示す情報が含まれている。レイアウト管理部３１は、レイアウト情報に含まれるユーザＰＣの表示画像の識別情報と、ビデオＲＡＭ３７に保存されたユーザＰＣの表示画像である画像フレームの識別情報とを使用する。これにより、レイアウトが指定された画像フレームをビデオＲＡＭ３７から取得することができる。

画像通信端末の合成部３３および表示制御部３４が実行する処理は、合成部３３が、ア
プリ画像レイヤ、画像キャプチャレイヤおよび描画レイヤを合成して合成画像を生成す
る。表示制御部３４が、当該合成画像を表示部６に表示する。
画像通信端末が実行するアプリ画像レイヤ、画像キャプチャレイヤおよび描画レイヤの合成処理や、それらの表示方法については、特開２０１１−１３８４３８に具体的に開示があるのでそれらを参照することができる。

また、スナップショット画像を記憶装置３９から取り出し、通信部４１を通して、指定された宛先のユーザにメールでスナップショットを配布することができる。
以上説明したように、画像通信端末を構成したことにより、画像通信端末に接続されたユーザＰＣ等（の画像通信端末）の表示画像を取り込んで、描画画像を合成して表示することができる。これにより、当該ＰＣ等に特別なソフトウェアをインストールすることなく、複数の画像通信端末の画面に表示された各画像をリアルタイムで表示することができる。さらに、画像通信端末の表示画面のタッチパネルを操作することによって、接続した外部のＰＣ端末（画像通信端末）を遠隔制御操作することが可能である。
さらに、上述した遠隔会議管理部４０によって、離れた会議場で同時に同一画像を表示しながら会議を行う。この際に、何れかの画像通信端末から操作された、拡大指示、縮小指示、ズーム指示、パンニング指示等の操作結果が、同時に、他の画像通信端末の表示画面に表示されるように制御する機能を備えている。

次に、図３に示す機能ブロック図を参照して、遠隔会議管理機能を実現するための画像管理サーバ４２の一構成例について説明する。
この例に示す画像管理サーバ４２は、遠隔会議管理部４０と、それに関連するデータを記録するデータ保存メモリ部４０−１を備えたものある。図２を参照して、既に詳細に説明した、ＲＡＭ２５の各機能ブロックと協働して、遠隔会議システム、及び、遠隔管理機能を備えた画像通信端末を実現する。
画像管理サーバ４２の機能としては、遠隔会議システムに接続される端末機を管理するが、具体的には、システムに属する端末機（画像通信端末）から遠隔会議開催通知や第二領域情報を受信すること、遠隔会議を開催することを行う。画像管理サーバ４２の機能としては、端末機を会議参加端末として登録すること、会議資料として端末機から受信した第二領域情報を、他の会議参加端末機に送信すること、等を行う。

また、画像管理サーバ４２の機能としては、以下詳細に説明するようにデータ保存メモリ部（データ保存手段）４０−１に記録した第二領域情報を変更することを行う。さらに、端末機から描画画像情報を受信し、データ保存手段の描画画像情報を描画画像情報に基づいて編集すること、編集した画像情報を他の遠隔会議参加端末機に描画画像情報として送信すること、等を行う。
なお、ここで云う「端末機」とは、遠隔会議システムの一端末として参加する上で必要な機能を備えたものを云う。例えば、従来のＰＣに、以下詳述するような遠隔会議処理プログラムや画像処理機能を付加したものである。また、図３に示したように、画像管理サーバ４２の機能を備えたものを、画像通信端末として説明するが、上述したＰＣに本発明のプログラムを搭載したものも、画像通信端末に含まれる。

画像管理サーバ４２は、この処理によって、会議開催中に遠隔会議の進行を管理し、何れかの画像通信端末（端末機）において、表示画面の拡大指示、縮小指示、ズーム指示、パンニング指示等の操作が行われる。次いで、画像管理サーバ４２は、第二領域と表示ウィンドウのサイズ情報の差異に応じて画像情報が変形された画像情報を受け取り、他の画像通信端末や端末機に送信する。従って、離れた会議場の会議に参加している画像通信端末（端末機）においても拡大指示、縮小指示、ズーム指示、パンニング指示等の操作結果が、同時に表示画面に表示される。
なお、この例では、画像管理サーバの機能を、上述した画像通信端末２のＲＡＭ２５に含まれるプログラムによって実現する場合を示しているが、後述するように、単独の画像管理サーバとして構成してもよい。

次に、図４に示すブロック図を参照して、上述した画像管理サーバに接続される画像通信端末（端末機）が備える機能について説明する。
この例では、図２に示した画像通信端末２がその機能を含む場合を説明しているが、上述したように、通常のパソコンに図４に示す機能を持たせれば、本発明の遠隔会議システムの端末機として機能し得る。
図４に示す画像通信端末（端末機）は、図２に示した画像通信端末２のＲＡＭ２５に蓄積するプログラムに、画像管理サーバとして機能する上で必要なプログラムを追加し、類似の処理を行う他の機能ブロックとの協働によって実現してもよい。
図４に記載の各ブロックについて説明する。表示装置４０１はＰＣなどの出力映像を取り込んで表示する装置であり、この表示装置４０１にタッチパネルを併設して座標検出装置４０２として機能させる。なお、これら表示装置４０１と座標検出装置４０２は図２の表示部６、座標検出部２７を利用することができる。座標検出装置４０２としては、タッチ式パネルの他、マウスでカーソルを操作して描画された描画画像情報の座標を検知する方式であってもよい。

第一領域制御部４０３は、データ保存部４０４に保存されている描画画像情報から第一領域画像を生成する機能ブロックでる。
データ保存部４０４に保存されている描画画像情報の編集状況を監視し、描画画像情報が編集されたときに、保存している第一領域画像を更新する。また、第一領域制御部４０３は、座標検出装置４０２により入力された座標情報を第一領域画像上の座標に変換し、座標情報から描画画像情報を作成し、データ保存部４０４に保存する。
画像変形部４０５は、図５に示すような第二領域と、ウィンドウ領域からを第二領域情報とウィンドウ情報とを取得し、それらの情報に基づいて第一領域画像を変形し、変形した後の第一領域画像をウィンドウ領域（第一領域）に表示する。第二領域は、描画画像情報の一部を表示するため領域を示すもので、第二領域として指定した領域をウィンドウ領域に表示する。

画像変形手法の種類としては、例えば、図６に示すように、第二領域内の描画画像情報のみをウィンドウにアスペクト比を保持したままフィットさせて表示するように第二領域とウィンドウ領域からターゲット領域を計算する。次いで、第一領域画像を変形、あるいは変換する（第１パターン）。または、第二領域内の描画画像情報のみをウィンドウにフィットさせて表示するように、第二領域とウィンドウ領域からターゲット領域を計算し、第一領域画像を変形する（第２パターン）。この２つのパターンが考えられるが、この例に限定するものではない。

第二領域指定部４０６は、データ保存部４０４に保存されている描画画像情報のうちウィンドウに表示する領域を示したものを第二領域情報として、第二領域情報の初期値（座標情報）を設定する。第二領域指定部４０６は、座標検出装置４０２から通知されたユーザ入力情報（座標情報）に基づいて、第二領域を変更すること、等を実行する。
第二領域の変更処理としては、ジェスチャー操作を認識し、拡大操作ならば第二領域を小さくスケーリングする。縮小操作ならば第二領域を大きくスケーリングする。パンニング操作ならば第二領域のオフセットをパンニングされたパンニング方向（または逆の方向）に変更する（第１パターン）。
あるいは、第二領域の変更処理としては、拡大指示、縮小指示、パンニング指示（上、下、左、右の方向）それぞれに対応したボタンを表示し、拡大ボタンが押されたときは第二領域を小さくスケーリングする。縮小ボタンが押されたときは第二領域を大きくスケーリングする。パンニングボタンが押されたときは第二領域のオフセットをパンニングボタンにより指定された方向（または逆の方向）に変更する（第２パターン）。この２つのパターンが考えられるが、この例に限定されない。

ウィンドウ制御部４０７は、ウィンドウを作成すること、表示装置４０１にウィンドウを表示すること、データ保存部４０４に、描画画像情報や第二領域情報を保存すること、等を実行する機能ブロックである。
遠隔共有部４０８は、画像管理サーバ４２の遠隔会議管理部４０に遠隔会議開催通知、第二領域情報、遠隔会議への参加通知、等を送信する。さらに、遠隔共有部４０８は、データ保存部４０４に保存されている第二領域情報を監視し、第二領域情報が変更されたときに、第二領域情報を画像管理サーバ４２に送信する。また、遠隔共有部４０８は、画像管理サーバ４２から、描画画像情報を受信し、データ保存部４０４の描画画像情報を描画画像情報に基づいて編集する。遠隔共有部４０８は、画像管理サーバ４２から第二領域情報を受信し、データ保存部に保存されている第二領域情報を変更する。

以下、本発明の実施形態に係る遠隔会議システムの各部の処理について説明する。なお、説明を簡単にするために、画像管理サーバが後述（図１３）するように、独立した装置としてネットワークに含まれる場合を想定して説明する。
次に、図７に示すフローチャートを参照して、本発明の実施形態に係る遠隔会議システムの遠隔会議開始時の処理例について説明する。

先ず、処理がスタートすると、端末機２−１の遠隔共有部４０８は、画像管理サーバ４２の遠隔会議管理部４０に、遠隔会議開催通知と第二領域情報を送信する（Ｓ１０）。
画像管理サーバ４２では、この第二領域情報を受信した遠隔会議管理部４０は、開催通知に記載されている端末機２−２に対し、遠隔会議を開催する旨、および参加の可否等を問い合わせる情報を通知する（Ｓ１５）。
これらの通知を受けた端末機２−２は、会議に参加する旨の登録要請を画像管理サーバ４２に送信する（Ｓ２０）。
この通知を受けた画像管理サーバ４２は、当該端末機２−２を遠隔会議参加端末に登録し、当該端末機２−２に第二領域情報を送信する（Ｓ２５）。
第二領域情報を受信した端末機２−２の遠隔共有部４０８は、データ保存部４０４に保存されている第二領域情報を変更、又は、更新する（Ｓ３０）。

次に、図８に示すフローチャートを参照して、本発明の実施形態に係る端末機の起動処理例について説明する。
処理がスタートすると（Ｓ１１０）、ウィンドウ制御部４０７はウィンドウを作成し（Ｓ１１５）、第一領域制御部４０３はデータ保存部４０４に保存されている描画画像情報に基づいて第一領域画像を生成する（Ｓ１２０）。
第二領域指定部４０６は、ウィンドウのサイズ情報を取得し、第二領域情報領域の初期値（座標情報）として設定する（Ｓ１２５）。この後、画像変形部４０５は第二領域情報とウィンドウのサイズ情報を取得し、それらの情報に基づいて第一領域画像を変形し、変形した画像をウィンドウに表示する。画像変形（変換）パターンとして、上述したように、第１パターンと第２パターンの何れが指示されたかを判断する（Ｓ１３０）。
この判断結果として、例えば、第１パターンが選択される。次いで、図６に示すように、画像変形部４０５は第二領域内の描画画像情報のみをウィンドウにアスペクト比を保存した状態でフィットさせて表示するように第二領域とウィンドウ領域からターゲット領域を計算する。そして、画像変形部４０５は第一領域画像を変形、あるいは変換する（Ｓ１３５）。

また、第２パターンが選択されると、画像変形部４０５は第二領域内の描画画像情報のみをウィンドウにフィットさせて表示するように第二領域とウィンドウ領域からターゲット領域を計算し、第一領域画像を変形する（Ｓ１４０）。Ｓ１３５、Ｓ１４０の処理後は、ウィンドウ制御部４０７は、表示装置にウィンドウ画像を表示する（Ｓ１４５）。
このように、表示画面に対する物体の接触位置または接近位置を検出し、検出された接触位置情報または接近位置情報を使用して描画画像情報を前記表示画面上の所定の第一領域に描画及び生成する。そして、検出された接触位置情報または接近位置情報に基づいて、第二領域情報を変更するように指定及び変更し、変更された第二領域情報、前記第一領域を表示するための表示ウィンドウのサイズ情報に基づいて第一領域を変形する。これにより、描画画像情報を描画可能な第一領域を制限することなく利用することができる。

次に、図９に示すフローチャートを参照して、画像変形部４０５の処理について説明する。
画像変形部４０５は第二領域の描画画像情報のみをウィンドウにアスベスト比を保った状態でフィットさせて表示するように、第二領域とウィンドウ領域からターゲット領域を計算し、第一領域画像を変形する処理の例を示している。
処理がスタートすると（Ｓ２１０）、画像変形部４０５は第二領域情報を取得する（Ｓ２１５）とともに、ウィンドウのサイズ情報を取得し、位置（０、０）でサイズ情報がウィンドウのサイズ情報となる領域をウィンドウ領域と設定する（Ｓ２２０）。
さらに、画像変形部４０５は第二領域をウィンドウ領域の中心に、ウィンドウ領域の中心と第二領域の中心とが一致するように、且つ、アスペクト比を保つ状態でフィットさせた場合領域を計算し、これをターゲット領域と設定する（Ｓ２２５）。その後、第二領域から前記ターゲット領域へのアフィン変換行列を計算する（Ｓ２３０）。アフィン行列変換は、画像を平行移動してから拡大、縮小して回転させるといった複数の操作が、行列の掛け算によって一つに纏めて処理可能となる。

次に、画像変形部４０５は第一領域画像をアフィン変換行列に基づいて変形し（Ｓ２３５）、変形した第一領域画像をウィンドウ領域でトリミングする（Ｓ２４０）。次いで、画像変形部４０５はトリミングした第一領域画像のうちターゲット領域以外領域を任意の色で塗りつぶす（Ｓ２４５）。
このように、第二領域内の描画画像情報を表示する表示ウィンドウに対して、アスペクト比を保った状態で変形する。または、該表示ウィンドウのサイズ情報に一致するように画像情報を変形する。これにより、ユーザが所望した領域の画像を、拡大、縮小等の処理に対応して第二領域画像を生成することができる。

次に、図１０に示すフローチャートを参照して、端末機（画像通信端末）２−１、２−２における第二領域の変更処理（ローカル処理）について説明する。
ローカル処理というのは、内部処理に留まり、外部装置への送信を含まない処理を云う。
処理がスタートすると（Ｓ３１０）、座標検出装置４０２はユーザにより表示装置に併設したタッチパネル等を介して入力した座標や、マウスを操作して入力指定された座標を検出する（Ｓ３１５）。
その後、第一領域制御部４０３は検出された座標情報を第一領域画像上の座標に変換し、変換した座標情報から描画画像情報を生成し、データ保存部４０４に保存する（Ｓ３２０）。

さらに、第一領域制御部４０３は、データ保存部４０４に保存された描画画像情報を監視し、描画画像情報が編集された際、それに対応して第一領域画像を更新する（Ｓ３２５）。
第二領域指定部４０６は、ウィンドウのサイズ情報を取得し、第二領域の初期値（座標情報）として設定する（Ｓ３３０）。
この状態で、画像変形部４０５は、第二領域情報とウィンドウのサイズ情報を取得し、それらの情報に基づいて第一領域画像を変形し、変形した画像をウィンドウ領域（第一領域）に表示する（Ｓ３３５）。
このように、表示画面に対する物体の接触位置または接近位置を検出し、検出された接触位置情報または接近位置情報を使用して描画画像情報を前記表示画面上の所定の第一領域に描画及び生成する。そして、検出された接触位置情報または接近位置情報に基づいて、第二領域情報を変更するように指定及び変更し、変更された第二領域情報、前記第一領域を表示するための表示ウィンドウのサイズ情報に基づいて第一領域を変形する。これにより、描画画像情報を描画可能な第一領域を制限することなく利用することができる。

次に、図１１に示すフローチャートを参照して、端末機（画像通信端末）２−１、２−２における、描画画像情報の描画処理（ローカル処理）について説明する。
処理がスタートすると（Ｓ４１０）、座標検出装置４０２は、ユーザがカーソルやスタイラスまたは指等の接触により入力された座標情報を取得する（Ｓ４１５）。
検出された座標情報は、第二領域指定部４０６は、取得した座標情報に基づいて、第二領域情報を変更する（Ｓ４２０）。指定される指示として、二つのパターンを想定する。
パターンが指示されると、第二領域指定部４０６は、座標検出装置４０２により検知されたユーザ指示情報に基づき、指示内容を判断する。その結果。第１パターンの場合は、ジェスチャー操作を認識し、拡大指示の場合は、第二領域を縮小し、縮小指示の場合は、第二領域を拡大する。また、パンニング指示の場合は、第二領域のオフセットをパンニング方向と逆方向に変更する（Ｓ４２５）。

一方、ユーザの指示が第２パターンの場合は、第二領域指定部４０６は、拡大指示、縮小指示、パンニング指示（上下左右方向）夫々の方向に対応したボタンを表示する。拡大ボタン操作の場合は、第二領域を小さくスケーリングし、縮小の場合は第二領域を大きくスケーリングする。一方、パンニング操作の場合は、第二領域のオフセットを、パンニングボタンにより指定された方向（または逆方向）に変更する（Ｓ４３０）。
Ｓ４２５、Ｓ４３０いずれの場合も、画像変形部４０５は変更した結果に基づいて、第二領域情報とウィンドウのサイズ情報を取得し、変形した画像をウィンドウに表示する（Ｓ４３５）。
なお、ジェスチャー操作とは、例えば、タッチパネルに接触させた二本の指を広げたとき拡大し、狭めたとき縮小し、指を上下左右方向にスライドすると、その方向にパンニングする操作である。

このように、少なくとも拡大指示、縮小指示、パンニング指示に関するジェスチャー操作を認識しておく。そして、認識されたジェスチャー操作が拡大指示を示す場合は第二領域を小さくスケーリングする。また、ジェスチャー操作が縮小指示を示す場合は第二領域を大きくスケーリングする。さらに、ジェスチャー操作がパンニング指示を示す場合は第二領域のオフセットをパンニング方向または逆方向に変更する。これにより、指示に応じて第二領域の拡大、縮小、パンニングを行うことができる。
このように、拡大指示、縮小指示、上下左右方向のパンニング方向を指示しておく。該指示が拡大指示である場合は第二領域を小さくスケーリングする。また、該指示が縮小指示である場合は第二領域を大きくスケーリングする。該指示がパンニング指示である場合は第二領域のオフセットをパンニング方向または逆方向に変更する。これにより、指示に応じて第二領域の拡大、縮小、パンニングを行うことができる。

次に、図１２に示すフローチャートを参照して、遠隔会議システムにおける、第二領域の変更処理（遠隔制御）について説明する。
この処理は、ローカル処理で生成した変更画像を、遠隔の端末機に送信し、夫々の端末機において、変更された画像を表示する処理フローを示している。
処理がスタートすると、座標検出装置４０２（座標検出部２７）がユーザにより表示装置４０１（表示部６）に併設したタッチパネルへのスタイラスや指等の接触・非接触情報を取得し、その情報を各処理ブロック部に通知する（Ｓ５１０）。

第二領域指定部４０６は、座標検出装置４０２から通知されたユーザ入力情報（座標情報）に基づいて第二領域を変更する（Ｓ５１５）。
画像変形部４０５は第二領域情報とウィンドウのサイズ情報を取得し、それらの情報に基づいて第一領域画像を変形し、変形した画像をウィンドウに表示する（Ｓ５２０）。また同時に、遠隔共有部４０８では、データ保存部４０４に保存された第二領域情報を監視し、第二領域情報が変更された場合、第二領域情報を画像管理サーバ４２に送信する（Ｓ５２５）。
このように、第二領域情報を変更するように指定及び変更された場合に、当該第二領域情報を画像管理サーバを経由して他の画像通信端末に送信しておく。これにより、描画画像情報を描画可能な第一領域を制限することなく、第一領域を遠隔地で共有することができる。

一方、この情報を受信した画像管理サーバ４２の遠隔会議管理部４０は、端末機から第二領域情報を受信し、データ保存手段の第二領域情報を変更し、その他の遠隔会議参加端末機に第二領域情報を送信する（Ｓ５３０）。
これらの第二領域情報を受信した端末機では、遠隔共有部４０８はデータ保存部４０４の第二領域情報を変更する（Ｓ５３５）。次いで、画像変形部４０５は第二領域情報とウィンドウのサイズ情報を取得し、それらの情報に基づいて第一領域画像を変形した上で、ウィンドウ領域（第一領域）に表示する（Ｓ５４０）。
このように、画像管理サーバを介して他の画像通信端末から変更後の第二領域情報を受信しておき、受信した変更後の第二領域情報、自画像通信端末の表示ウィンドウのサイズ情報に基づいて第一領域を変形する。これにより、他の画像通信端末から受信した第二領域情報と、表示ウィンドウのサイズ情報に基づいて第一領域を変形することができる。

＜第２実施形態＞
上述した実施形態では、画像管理サーバの機能を画像通信端末に備える場合を示したが、遠隔会議に参加する端末機の台数が多くなると、比較的高速処理が可能なサーバが必要となる。そこで、画像管理サーバ装置として独立したものを構築し、ネットワークに含むように構成することも可能である。
ここで、図１３に示す概要図を参照して、この対策を施した本発明の実施形態に係る遠隔会議システムについて説明する。
この例に示す遠隔会議システム１は、画像管理サーバ４２を独立した装置として構成し、通信回線７を介して端末機２−１、２−２、２−３を接続し、上述した場合を同様に、端末機間の遠隔会議を行うように構成したものである。このときに使用する端末機２としては、図２を用いて説明した多機能の画像通信端末２であっても良いが、通常のＰＣ程度の情報処理装置に、本発明の遠隔会議システムとして必要な機能を付加したものであってもよいことは上述したとおりである。

独立した画像管理サーバとしては、少なくとも、遠隔会議に参加する端末機（画像通信端末）から画像情報、遠隔会議関連情報、第二領域情報を受信する受信手段を備える。そして、受け取った画像情報、遠隔会議関連情報、第二領域情報を保存するデータ保存手段と、画像通信端末を遠隔会議参加端末機として登録する登録手段とを備える。さらに、保存した画像情報、遠隔会議関連情報、第二領域情報を遠隔会議参加端末機として登録された端末機に送信する送信手段を備えればよい。夫々の構成や、処理手順は、既に説明した場合を同様であるので、詳細な説明を省略する。
このように本発明の遠隔会議システムを実施するための画像管理サーバを独立した装置として供給しておく。さらに、既設のＰＣ等の画像通信端末を遠隔会議参加端末機として機能させるようなプログラムを構築し提供すれば、既存の画像通信端末を利用して、本発明の遠隔会議システムや画像通信端末を実現することが可能である。
なお、既存のＰＣを本発明の遠隔会議参加端末機として機能させるためには、入力される描画画像情報の座標情報に基づいて画像情報を生成し記録する画像生成部を備える。そして、画像生成部により記録された画像情報から第二領域として表示ウィンドウに表示する領域の画像情報を取得し、第二領域と表示ウィンドウとの間のサイズ情報の差異に応じて前記画像情報を変形する画像変形部を備える。さらに、画像変形部により変形された画像情報を前記画像管理サーバに送信する送信部と、を備えればよい。

このように、画像管理サーバは、画像通信端末から受信した変更後の第二領域情報を保存しておき、保存した変更後の第二領域情報を読み出して他の画像通信端末に送信しておく。これにより、他の画像通信端末において、変更後の第二領域情報、表示ウィンドウのサイズ情報に基づいて第一領域を変形でき、描画画像情報を描画可能な第一領域を制限することなく利用することができる。この結果、第一領域を遠隔地で共有することができる。

１…画像共有システム、２…画像通信端末（端末機）、６…表示部、３ａ、３ｂ…ユーザＰＣ、４、５…ケーブル、２１、２２…画像入力インタフェース、２６…画像取得部、２７…座標検出部、２９…イベント処理部、２８…接触検知部、２９…イベント処理部、３２…描画生成部、３３…合成部、３４…表示制御部、４０…遠隔会議管理部、４１…通信部、４２…画像管理サーバ

特開２００７-１２２７１８報

Claims (6)

1. 描画画像情報を表示画面の第一領域に生成する描画生成手段と、
   前記描画画像情報に基づいて、前記表示画面の第二領域を指定する第二領域指定手段と、
   前記第二領域指定手段により指定された前記第二領域および前記第一領域に基づいて、前記第一領域を変形する画像変形手段と、
   前記第二領域指定手段により指定された第二領域の情報を他の画像通信装置に送信する送信手段と、を備えたことを特徴とする画像通信装置。
2. 前記画像変形手段は、第二領域内の描画画像情報を表示する前記表示ウィンドウに対して、アスペクト比を保った状態で変形する、または、該表示ウィンドウのサイズ情報に一致するように画像情報を変形することを特徴とする請求項１記載の画像通信装置。
3. 前記第二領域指定手段は、
   少なくとも拡大指示、縮小指示、パンニング指示に関するジェスチャー操作を認識する認識手段と、
   前記認識手段により認識された前記ジェスチャー操作が拡大指示を示す場合は第二領域を小さくスケーリングし、前記ジェスチャー操作が縮小指示を示す場合は前記第二領域を大きくスケーリングし、前記ジェスチャー操作がパンニング指示を示す場合は前記第二領域のオフセットをパンニング方向または逆方向に変更する変更手段と、を備えたことを特徴とする請求項２記載の画像通信装置。
4. 前記第二領域指定手段は、
   拡大指示、縮小指示、上下左右方向のパンニング方向を指示する指示手段と、
   前記指示手段による指示が拡大指示である場合は第二領域を小さくスケーリングし、前記指示手段による指示が縮小指示である場合は前記第二領域を大きくスケーリングし、前記指示手段による指示がパンニング指示である場合は前記第二領域のオフセットをパンニング方向または逆方向に変更する変更手段と、を備えたことを特徴とする請求項２記載の画像通信装置。
5. 他の画像通信装置から第二領域情報を受信する受信手段と、
   前記受信手段により前記他の画像通信装置から受信した第二領域情報、自画像通信装置の表示ウィンドウのサイズ情報に基づいて第一領域を変形する画像変形手段を備えたことを特徴とする請求項１記載の画像通信装置。
6. 請求項１乃至５の何れか１項記載の画像通信装置は、画像管理サーバを含んで構成され、
   前記画像管理サーバは、
   前記画像通信装置から受信した前記第二領域情報を保存する保存手段と、
   前記保存手段から読み出した前記第二領域情報を前記他の画像通信装置に送信する送信手段と、を備えることを特徴とする遠隔会議システム。

Images