JP2011076549A - 情報処理システム、情報処理装置、端末装置、及びそれらの制御方法 - Google Patents

Abstract

【課題】 被共有ウインドウの遠隔ウインドウサイズ変更操作を共有画面表示領域サイズに制限されることなく操作可能にするための技術を提供すること。
【解決手段】 情報処理装置１００は、端末装置１１０から送信された画面情報に基づくウィンドウ画面を表示し、ウィンドウ画面に対するサイズ変更操作を検知すれば、サイズ変更操作によって最終的に決定したウィンドウサイズを端末装置１１０に送信する。端末装置１１０は、共有選択されたウィンドウ画面の画面情報を情報処理装置１００に送信し、上記ウィンドウサイズを受信すると、このウィンドウサイズに応じて共有選択されたウィンドウ画面を変倍する。
【選択図】 図１

Description

本発明は、画面の遠隔操作技術に関するものである。

従来、情報処理装置において表示される画面をネットワーク越しに表示し、遠隔操作を行う画面共有技術が知られている。この技術を利用した画面共有システムは、遠隔操作対象である１つ以上の情報処理装置（以下、被共有装置と呼ぶ）と、遠隔操作を行う情報処理装置と、がネットワークを介して互いにデータ通信可能に構成されている。

画面共有システムにおける画像情報の送受信では、被共有装置が出力画面をキャプチャし、情報処理装置へと送信する。情報処理装置は、受信した出力画面を情報処理装置が有するプロジェクタ等の出力デバイスへ出力する。

また、操作情報の送受信では、情報処理装置側で表示している画像の表示領域内で発生したマウスイベント等の操作情報をキャプチャし、座標と操作情報とを被共有装置へ送信する。被共有装置は、受信した座標、操作情報を反映させた出力画面を生成する。

このように、操作情報や座標と画像とを送受信することにより、遠隔地の被共有画面を情報処理装置側で表示し、操作することが可能となる。この様な画面共有システムでは、遠隔地の被共有画面のサイズと、情報処理装置側で指定する共有画面表示領域のサイズと、が同じとは限らない。このため、通常では、情報処理装置側で受信した共有画像を表示用の領域に合わせる形で拡大縮小して表示することが多い。

上記は、被共有装置の出力画面をそのままキャプチャした画面共有システムであったが、被共有装置の特定のウインドウを共有ウインドウとして送受信するウインドウ共有システムもある。

ウインドウ共有システムは、共有する画面の指定をウインドウ単位で行い、画面共有を行う（ウインドウ共有はアプリケーション共有と称されることもあるが、ここではウインドウ共有とする）。ウインドウ共有システムの場合も上記の画面共有システムと同様に、遠隔地の被共有ウインドウサイズと情報処理装置側が指定する共有画面表示領域サイズとが同じとは限らないため、同様の処理を行うことになる。例えば、被共有装置の被共有ウインドウが情報処理装置側の共有画面表示領域サイズより小さければ元のサイズよりも拡大表示し、逆であるならば縮小して表示する。特許文献１には、所定のネットワークを介して接続されたコンピュータ端末の画面の内容を確認しつつ、そのコンピュータ端末を遠隔操作する画面共有技術が開示されている。

特開２００６−０５９０８３号公報

前述したように、画面共有システムでは、情報処理装置側が共有画面表示領域を設定し、その領域内のマウスイベントがキャプチャされ、遠隔の被共有端末上でマウスイベントが実行される。ここで、情報処理装置側で共有画面表示領域内のカーソル操作を行うことで、被共有装置側の被共有ウインドウの端をドラッグしてサイズを拡大する場合、拡大操作可能な範囲が制限されるという課題があった。

具体的に説明すると、共有画面表示領域内のドラッグ操作は遠隔地へ送信されるが、共有画面表示領域の外までドラッグ操作を継続しようとした場合に、共有画面表示領域外にドラッグ中のカーソルが出た時点でマウスイベントがキャプチャ出来なくなる。そのため、それ以上の操作イベントは遠隔地へ送信出来なくなる。結果として被共有ウインドウ端の遠隔ドラッグ操作で拡大操作可能な範囲が共有画面表示領域内に制限されてしまっていた。

さらに別の課題として、画面共有システムにおいて情報処理装置側で共有ウインドウの拡大操作を行う際に、共有ウインドウの拡大がどこまで可能であるか判断できなかった。そのため、情報処理装置側でウインドウ拡大操作を行う際に、被共有装置のデスクトップサイズを超えてウインドウサイズを拡大できない場合において、操作者の意図通りにウインドウサイズを拡大できなかった。

本発明は以上の問題に鑑みてなされたものであり、被共有ウインドウの遠隔ウインドウサイズ変更操作を共有画面表示領域サイズに制限されることなく操作可能にするための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は、以下の構成を備える。即ち、情報処理装置と、当該情報処理装置とデータ通信が可能な１以上の端末装置と、で構成されている情報処理システムであって、前記情報処理装置は、前記端末装置から送信されたウィンドウ画面の画面情報を受信する受信手段と、前記画面情報に基づくウィンドウ画面を表示する第１の表示手段と、前記ウィンドウ画面に対するサイズ変更操作を検知する検知手段と、前記サイズ変更操作によって最終的に決定したウィンドウサイズを前記端末装置に送信する第１の送信手段とを備え、前記端末装置は、ウィンドウ画面を表示する第２の表示手段と、前記第２の表示手段が表示しているウィンドウ画面のうち共有選択されたウィンドウ画面の画面情報を前記情報処理装置に送信する第２の送信手段と、前記第１の送信手段が送信した前記ウィンドウサイズを受信すると、当該ウィンドウサイズに応じて前記共有選択されたウィンドウ画面を変倍する変倍手段とを備えることを特徴とする。

本発明の構成によれば、被共有ウインドウの遠隔ウインドウサイズ変更操作を共有画面表示領域サイズに制限されることなく操作可能にすることができる。

情報処理システムの構成例を示すブロック図。 ハードウェア構成例を示すブロック図。 情報処理装置１００、端末装置１１０のそれぞれの表示画面例を示す図。 端末装置１１０が行う処理のフローチャート。 情報処理装置１００が行う処理のフローチャート。 ステップＳ８０６における処理の詳細を示すフローチャート。 表示画面例を示す図。 ステップＳ８０６における処理の詳細を示すフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、図１を用いて、本実施形態に係る情報処理システムの構成例について説明する。図１に示す如く、本実施形態に係る情報処理システムは、パーソナルコンピュータなどの情報処理装置１００と、１以上（図１では２台）の端末装置（被共有装置）１１０と、を有する。

情報処理装置１００には、表示装置の一例としてのプロジェクションデバイス１０１が、通信ケーブル１０５、画像信号ケーブル１０６を介して接続されている。画像信号ケーブル１０６は、情報処理装置１００とプロジェクションデバイス１０１との間での画像信号通信の為に使用されるもので、通信ケーブル１０５は、その他の種類の信号を用いた通信の為に使用されるものである。もちろん、情報処理装置１００とプロジェクションデバイス１０１との間の接続形態についてはこれに限定するものではない。

プロジェクションデバイス１０１の表示画面上の規定の位置（図１では左上隅と右上隅）には、デジタイザモジュール１０２，１０３が取り付けられている。デジタイザモジュール１０２、１０３は、プロジェクションデバイス１０１の表示画面上をスキャンするものであり、ユーザがペン型のポインティングデバイス１０７を用いて表示画面上で操作を行った場合に、この操作を検知する為のものである。デジタイザモジュール１０２、１０３による検知結果（表示画面上における入力デバイス１０７の座標位置）は、通信ケーブル１０５を介して情報処理装置１００に送信される。もちろん、プロジェクションデバイス１０１の表示画面上におけるユーザの指示位置を取得するための構成はこれに限るものではない。

一般に、デジタイザシステムでは、プロジェクションデバイス１０１の表示画面上をデジタイザモジュール１０２、１０３などを用いてスキャンし監視している。係る状況下において、入力デバイス１０７を表示画面上に置くと、スキャンしている受信信号のレベルが変化し、表示画面上における入力デバイス１０７による指示位置（座標）を得ることが出来る。また、入力デバイス１０７にはスイッチが設けられており、クリック等の操作も可能である。スイッチのクリック操作は、入力デバイス１０７と情報処理装置１００との間を繋ぐ不図示の信号線を介して情報処理装置１００に通知される。もちろん、係る通知は無線通信で行っても良い。

また情報処理装置１００は、ＬＡＮ１２１に接続されており、このＬＡＮ１２１には無線LANアクセスポイント付ルータ１２０が接続されている。端末装置１１０は、この無線LANアクセスポイント付ルータ１２０に無線で接続されている。従って、情報処理装置１００と端末装置１１０とは、無線LANアクセスポイント付ルータ１２０、ＬＡＮ１２１を介して互いにデータ通信が可能となる。なお、情報処理装置１００と端末装置１１０との間のネットワーク構成については、係る構成に限定するものではなく、互いにデータ通信が可能であれば、如何なるネットワーク構成を採用しても良い。なお、無線LANアクセスポイント付ルータ１２０は更に、一般のネットワーク１３０にも接続している。

次に、図２（ａ）を用いて、情報処理装置１００のハードウェア構成例について説明する。

ＣＰＵ２０６は、ＲＡＭ２０７やＲＯＭ２０８に格納されているコンピュータプログラムやデータを用いて情報処理装置１００全体の制御を行うと共に、情報処理装置１００が行うものとして後述する各処理を実行する（機能する）。

ＲＡＭ２０７は、コンピュータ読み取り可能な記憶媒体の一例であり、外部記憶装置２０９からロードされたコンピュータプログラムやデータ、通信Ｉ／Ｆ部２０３を介して外部から受信したデータ等を一時的に記憶するためのエリアを有する。更にＲＡＭ２０７は、ＣＰＵ２０６が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ２０７は、各種のエリアを適宜提供することができる。ＲＯＭ２０８は、コンピュータ読み取り可能な記憶媒体の一例であり、情報処理装置１００の設定データやブートプログラムなどが格納されている。

外部記憶装置２０９は、コンピュータ読み取り可能な記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置２０９には、ＯＳ（オペレーティングシステム）や、情報処理装置１００が行うものとして後述する各処理をＣＰＵ２０６に実行させるためのコンピュータプログラムやデータが保存されている。係るコンピュータプログラムには、端末装置１１０とウィンドウ画面を共有するためのアプリケーションソフトとしての画面共有アプリケーションが含まれている。外部記憶装置２０９に保存されているコンピュータプログラムやデータは、ＣＰＵ２０６による制御に従って適宜ＲＡＭ２０７にロードされ、ＣＰＵ２０６による処理対象となる。

入力機器Ｉ／Ｆ部２０１には、入力デバイス１０７やデジタイザモジュール１０２、１０３等の入力装置２０２が接続され、入力デバイス１０７による表示画面上の指示位置やクリック操作は、この入力機器Ｉ／Ｆ部２０１を介してＣＰＵ２０６に通知される。なお、入力装置２０２は、画面上における座標入力を行うためのものであれば、マウスやタブレットなど、他の機器を適用しても良い。

通信Ｉ／Ｆ部２０３には、上記のＬＡＮ１２１が接続され、情報処理装置１００は、この通信Ｉ／Ｆ部２０３を介して端末装置１１０とのデータ通信を行うことになる。ディスプレイＩ／Ｆ部２０４には、表示部２０５としてのプロジェクションデバイス１０１が接続され、プロジェクションデバイス１０１に表示するための画面信号は、このディスプレイＩ／Ｆ部２０４を介してプロジェクションデバイス１０１に送信される。

次に、図２（ｂ）を用いて、端末装置１１０のハードウェア構成例について説明する。

ＣＰＵ３０６は、ＲＡＭ３０７やＲＯＭ３０８に格納されているコンピュータプログラムやデータを用いて端末装置１１０全体の制御を行うと共に、端末装置１１０が行うものとして後述する各処理を実行する。

ＲＡＭ３０７は、コンピュータ読み取り可能な記憶媒体の一例であり、外部記憶装置３０９からロードされたコンピュータプログラムやデータ、無線通信Ｉ／Ｆ部３０３を介して外部から受信したデータ等を一時的に記憶するためのエリアを有する。更にＲＡＭ３０７は、ＣＰＵ３０６が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ３０７は、各種のエリアを適宜提供することができる。ＲＯＭ３０８は、コンピュータ読み取り可能な記憶媒体の一例であり、端末装置１１０の設定データやブートプログラムなどが格納されている。

外部記憶装置３０９は、コンピュータ読み取り可能な記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置３０９には、ＯＳ（オペレーティングシステム）や、端末装置１１０が行うものとして後述する各処理をＣＰＵ３０６に実行させるためのコンピュータプログラムやデータが保存されている。係るコンピュータプログラムには、情報処理装置１００とウィンドウ画面を共有するためのアプリケーションソフトとしての画面共有アプリケーションが含まれている。外部記憶装置３０９に保存されているコンピュータプログラムやデータは、ＣＰＵ３０６による制御に従って適宜ＲＡＭ３０７にロードされ、ＣＰＵ３０６による処理対象となる。

入力機器Ｉ／Ｆ部３０１には、キーボードやマウスなどの入力装置３０２が接続されており、ユーザがこの入力装置３０２を用いて入力した各種の操作指示は、この入力機器Ｉ／Ｆ部３０１を介してＣＰＵ３０６に通知される。

無線通信Ｉ／Ｆ部３０３は、上記の無線LANアクセスポイント付ルータ１２０との間の無線通信を行うためのものであり、無線LANアクセスポイント付ルータ１２０との間のデータの送受信は、この無線通信Ｉ／Ｆ部３０３を介して行う。

ディスプレイＩ／Ｆ部３０４には、ＣＲＴや液晶画面等により構成されている表示部３０５が接続され、表示部３０５に表示するための画面信号は、このディスプレイＩ／Ｆ部３０４を介して表示部３０５に送信される。

次に、図３（ａ）〜（ｃ）を用いて、情報処理装置１００と端末装置１１０とでウィンドウを共有している状態における、情報処理装置１００側での表示画面、端末装置１１０側での表示画面について説明する。

図３（ａ）において画面４００は、プロジェクションデバイス１０１に表示される画面の一例であり、係る画面４００内には、画面共有アプリケーションが動作することで表示されるウィンドウ（画面共有アプリケーションウィンドウ）４０１が配される。画面共有アプリケーションウィンドウ４０１内には、領域（共有ウィンドウ領域）４０２，４０４が設けられている。共有ウィンドウ領域４０２内には、一方の端末装置１１０（第１の端末装置）と共有するウィンドウ４０３を表示する（第１の表示）。共有ウィンドウ領域４０４内には、他方の端末装置１１０（第２の端末装置）と共有するウィンドウ４０５を表示する。然るに、情報処理装置１００が複数台の端末装置１１０とウィンドウを共有する場合には、画面共有アプリケーションウィンドウ４０１内には、それぞれの端末装置１１０に対応する共有ウィンドウ領域が設けられることになる。そして、それぞれの共有ウィンドウ領域内には、対応する端末装置１１０と共有するウィンドウを表示することになる。これにより、画面共有アプリケーションウィンドウ４０１内には、それぞれの端末装置１１０と共有するウィンドウが一覧表示される。

図３（ｂ）において４１０は、第１の端末装置が有する表示部３０５に表示される画面の一例であり、係る画面４１０内には、ウィンドウ４１１，４１２が配置されている（第２の表示）。ここで、ウィンドウ４１１は共有選択されたウィンドウ（以下、共有ウィンドウ）で、ウィンドウ４１２は共有選択されていないウィンドウ（ローカルで表示されているウィンドウ）であるとする。従ってこの場合、ウィンドウ４１１が、上記共有ウィンドウ領域４０２内にウィンドウ４０３として表示されることになる。もちろん、ウィンドウ４１２を共有選択した場合には、上記画面共有アプリケーションウィンドウ４０１内には、このウィンドウ４１２を表示するための共有ウィンドウ領域が設けられることになる。

図３（ｃ）において４２０は、第２の端末装置が有する表示部３０５に表示される画面の一例であり、係る画面４２０内には、ウィンドウ４２１が配置されている。ここで、ウィンドウ４２１は共有選択されたウィンドウであるとする。従ってこの場合、ウィンドウ４２１が、上記共有ウィンドウ領域４０４内にウィンドウ４０５として表示されることになる。

何れの端末装置１１０においても、このように共有選択されたウィンドウは、画面情報として情報処理装置１００に送信される（第２の送信）ことになる。そして情報処理装置１００は、それぞれの端末装置１１０から受信した画面情報に基づく画面を、対応する共有ウィンドウ領域内に描画する。

なお本実施形態では、ウィンドウ４１１を共有ウィンドウ領域４０２内に表示する際、ウィンドウ４１１のアスペクト比を固定した上で、共有ウィンドウ領域４０２内で収まる最大のサイズにまでウィンドウ４１１を拡大／縮小し、ウィンドウ４０３とする。従って、共有ウィンドウ領域４０２においてウィンドウ４１１の表示領域以外の部分については黒塗り表示となっている。以上のことは、ウィンドウ４２１についても同様である。

また、ユーザが入力デバイス１０７を用いてプロジェクションデバイス１０１の表示画面上に表示されているウィンドウ４０３に対して操作を行うと、この操作内容を示す情報（操作情報）は、情報処理装置１００から第１の端末装置に対して送信される。そして係る操作情報を受けた第１の端末装置は、操作イベントを発行する。また、ユーザが入力デバイス１０７を用いてプロジェクションデバイス１０１の表示画面上に表示されているウィンドウ４０５に対して操作を行うと、この操作内容を示す情報（操作情報）は、情報処理装置１００から第２の端末装置に対して送信される。そして係る操作情報を受けた第２の端末装置は、操作イベントを発行する。これにより、ウィンドウ４１１，４２１の遠隔操作を可能にしている。

次に、図４を用いて、端末装置１１０が行う処理について説明する。図４では主に、端末装置１１０側の画面更新取得・送信処理及び操作処理ループを示している。なお、図４に示したフローチャートに従った処理は、端末装置１１０のＣＰＵ３０６が実行することになる。そのためのコンピュータプログラムやデータは上述の通り外部記憶装置３０９に格納されており、これを適宜ＣＰＵ３０６がＲＡＭ３０７に読み出して処理に用いることで、端末装置１１０は、以下に説明する各処理を実行することになる。

先ずステップＳ７０１においてＣＰＵ３０６は、画面共有に必要な情報処理装置１００との接続や設定、共有ウィンドウの指定等の初期化を行う。即ちこの時点で、プロジェクションデバイス１０１、表示部３０５のそれぞれには、図３（ａ）〜（ｃ）に例示したそれぞれの画面が表示されていることになる。

次に、ステップＳ７０２においてＣＰＵ３０６は、情報処理装置１００から送信される様々な通知情報（イベント）を解析する。そして係る解析の結果、情報処理装置１００から受信したイベントが、ステップＳ７０１で共有指定されたウィンドウ（共有ウィンドウ）のサイズ変更が情報処理装置１００側で開始されたことを示すか否かをチェックする。係るチェックの結果、受信したイベントがサイズ変更が開始されたことを示す場合、即ち、サイズ変更の開始を検知した場合には処理をステップＳ７０３に進め、検知していない場合には処理をステップＳ７０５に進める。

ここで、共有ウィンドウのサイズ変更開始の検知は、情報処理装置１００側で共有ウインドウの端がマウス等の操作によりドラッグされたことを検知すれば良い。もちろん、共有ウィンドウのサイズ変更開始を検知する為の方法には様々なものがあり、本実施形態では如何なる方法を採用しても良い。以下に、その一例を示す。
・ 端末装置１１０側で共有ウインドウのサイズを監視することで、サイズ変更を検知する。
・ 端末装置１１０側で発生するマウスイベントをフックすることで、共有ウインドウのサイズ変更イベント発生を検知する。
・ 端末装置１１０側で共有ウインドウのサイズを画像解析により監視することで、サイズ変更を検知する。
・ 情報処理装置１００がサイズ変更メッセージを送信する場合、端末装置１１０側でこのメッセージの送信を監視することで、共有ウインドウのサイズ変更イベント発生を検知する。

ステップＳ７０３では、ＣＰＵ３０６は、ウインドウサイズ変更可能領域を算出する。ここでは、表示部３０５の画面サイズ（デスクトップサイズ）をウインドウサイズ変更可能領域として取得する。そしてステップＳ７０４では、ＣＰＵ３０６は、この算出したウインドウサイズ変更可能領域を示す情報と、共有ウィンドウのサイズ変更が開始されたことを示す情報と、を含むウインドウサイズ変更状態情報をイベントとして情報処理装置１００に送信する。そして処理をステップＳ７０２に戻す。

一方、ステップＳ７０５では、共有ウィンドウのサイズ変更開始を示すイベント以外のイベントを情報処理装置１００から受信しているか否かをチェックする。係るチェックの結果、受信している場合には処理をステップＳ７０６に進め、受信していない場合には、処理をステップＳ７０７に進める。

ステップＳ７０７では、端末装置１１０側で共有ウィンドウを変更した（若しくは更新した）か否かをチェックする。例えば、現在共有選択しているウィンドウの代わりに他のウィンドウを共有選択したり、現在共有選択しているウィンドウの内容が変更された場合には、ステップＳ７０７では、端末装置１１０側で共有ウィンドウを変更した若しくは更新したと判断する。係るチェックの結果、変更若しくは更新した場合には、処理をステップＳ７０８に進め、共有ウィンドウについて何等変更がない場合には処理をステップＳ７０２に戻す。

ステップＳ７０８では、変更した若しくは更新した共有ウィンドウの画面情報、及び共有ウィンドウが変更若しくは更新された旨を示すイベントを、情報処理装置１００に送信する。これにより情報処理装置１００側では、この端末装置１１０に対応する共有ウィンドウ領域内に、この画面情報に応じたウィンドウの画像が、上述のようにリサイズされて表示されることになる。

一方、ステップＳ７０６では、ＣＰＵ３０６は、受信したイベントに応じた処理を実行する。なお、受信したイベントが、共有ウィンドウの最終的な決定サイズを示すものである場合には、自身の共有ウィンドウのサイズを、この決定サイズに応じて変倍する。この場合、変倍後の共有ウィンドウの表示内容は変更されることになるので、変倍後の共有ウィンドウの画面情報と、共有ウィンドウが変更若しくは更新された旨を示すイベントと、を情報処理装置１００に送信する。

次に、図５を用いて、情報処理装置１００が行う処理について説明する。図５では主に、情報処理装置１００側の画面描画処理及び操作処理ループを示している。なお、図５に示したフローチャートに従った処理は、情報処理装置１００のＣＰＵ２０６が実行することになる。そのためのコンピュータプログラムやデータは上述の通り外部記憶装置２０９に格納されており、これを適宜ＣＰＵ２０６がＲＡＭ２０７に読み出して処理に用いることで、情報処理装置１００は、以下に説明する各処理を実行することになる。

先ずステップＳ８０１においてＣＰＵ２０６は、画面共有に必要な端末装置１１０との接続や設定、端末装置１１０からの画面情報の受信等の初期化を行う。即ちこの時点で、プロジェクションデバイス１０１、表示部３０５のそれぞれには、図３（ａ）〜（ｃ）に例示したそれぞれの画面が表示されていることになる。

次に、ステップＳ８０２では、端末装置１１０からイベントを受信したか否かをチェックする。係るチェックの結果、受信している場合には処理をステップＳ８０３に進め、受信していない場合には、処理をステップＳ８０８に進める。

ステップＳ８０３では、端末装置１１０から受信したイベントが、共有ウィンドウの変更若しくは更新を示すものであるのか否かを判断する。係る判断の結果、共有ウィンドウの変更若しくは更新を示す場合には処理をステップＳ８０４に進め、共有ウィンドウの変更若しくは更新を示すものではない場合には、処理をステップＳ８０５に進める。

ステップＳ８０４では、画面共有アプリケーションウィンドウにおいて、イベントを送信した端末装置１１０に対応する共有ウィンドウ領域内の共有ウィンドウの画像を、このイベントと共に受信した画面情報に応じて変更する。そして処理をステップＳ８０２に戻す。

一方、ステップＳ８０５では、端末装置１１０から受信したイベントが、共有ウィンドウのサイズ変更を示すものであるのか否かを判断する。具体的には、受信したイベントが、上述のウインドウサイズ変更状態情報であるか否かを判断する。係る判断の結果、共有ウィンドウのサイズ変更を示すものである場合（受信したイベントがウインドウサイズ変更状態情報である場合）には、処理をステップＳ８０６に進める。一方、共有ウィンドウのサイズ変更を示すものではない場合（受信したイベントがウインドウサイズ変更状態情報ではない場合）には、処理をステップＳ８０７に進める。

ステップＳ８０６では、共有ウィンドウのサイズ変更を行う。本ステップにおける処理の詳細については図６を用いて後述する。ウインドウサイズ変更以外の一般的なイベントに対する処理は、ステップＳ８０７にて適宜行う。ステップＳ８０６、Ｓ８０７の何れの後も、処理はステップＳ８０２に戻る。

ステップＳ８０８では、共有ウィンドウ領域内に表示されている共有ウィンドウに対して、何らかのユーザ操作がなされたか否かを検知する。例えば、プロジェクションデバイス１０１上に表示されている共有ウィンドウ領域内の共有ウィンドウに対して、ユーザが入力デバイス１０７を用いてサイズ変更操作を行った場合には、この操作を検知する。このように、ユーザ操作を検知した場合には処理をステップＳ８０９に進め、何等ユーザ操作を検知していない場合には、処理をステップＳ８０２に戻す。

ステップＳ８０９では、検知した操作内容を示すイベントを、端末装置１１０に対して送信する。例えば、プロジェクションデバイス１０１上に表示されているウィンドウ４０３に対してユーザが入力デバイス１０７を用いてサイズ変更操作を行うと、サイズ変更操作が開始されたことを示すイベントは、情報処理装置１００から第１の端末装置に送信される。そして処理をステップＳ８０２に戻す。

次に、図６を用いて、上記ステップＳ８０６における処理の詳細について説明する。

ステップＳ９０１では、ユーザが入力デバイス１０７を用いて画面共有アプリケーションウィンドウ内で操作を行った場合には、この操作内容を示す操作イベントを取得する。

以下では、ユーザが入力デバイス１０７を用いて行う操作の一例として、共有ウィンドウ領域内に表示されている共有ウィンドウの一端をドラッグ操作して移動させることでこの共有ウィンドウのサイズを変更する場合について説明する。この場合、ステップＳ９０１では、この共有ウィンドウのサイズ変更イベントを操作イベントとして発行することになり、ステップＳ９０１では、この操作イベントを取得することになる。

通常では、共有ウィンドウ領域内に表示されているウィンドウに対する操作イベントは、共有ウィンドウ領域内でしか検知しない。しかし本実施形態では、ユーザが共有ウィンドウ領域内のウィンドウの一端をドラッグ操作して移動させる場合に、この共有ウィンドウ領域の外側への移動を許可するので、画面共有アプリケーションウィンドウ内の操作内容を示す操作イベントを生成する。なお、ステップＳ９０１における処理を行うと、この操作イベントが端末装置１１０に通知されるまでは端末装置１１０は待機状態となる。また、入力デバイス１０７を用いてドラッグ操作を行っている最中は、情報処理装置１００側のカーソルをウインドウ拡大中を示すカーソル、若しくはドラッグ中を示すカーソルに変更する。そして更に、ステップＳ９０１では、共有ウィンドウのサイズを変更している最中は、現在のサイズを示すラバーバンドを表示する。ステップＳ９０２では、サイズが変更される毎に、このサイズを示すラバーバンドを更新する。

なお、現在調整中のウィンドウサイズを示すラバーバンドの表示・更新処理については一般的な技術であるし、本実施形態では必須なものではないため、これについての詳細な説明は省略する。

次に、ステップＳ９０３では、共有ウィンドウのサイズ変更操作が完了したか否か（共有ウィンドウのサイズが決定したか否か）を判断する。例えば、ドラッグ操作が完了したことを検知した場合には、共有ウィンドウのサイズ変更操作が完了したものと判断する。そして係る判断の結果、共有ウィンドウのサイズ変更操作が完了したと判断した場合には、処理をステップＳ９０４に進め、未だ完了していないと判断した場合には、処理をステップＳ９０２に戻す。

ステップＳ９０４では、変更後の共有ウィンドウのサイズを示すサイズ情報を取得する。例えば、共有ウィンドウの左下隅を移動させることで共有ウィンドウのサイズを変更した場合、共有ウィンドウの右上隅の座標位置（プロジェクションデバイス１０１の画面内の座標）と、ドラッグ操作を解除した時点でのカーソルの座標位置と、を取得する。そして取得したそれぞれの座標位置のｘ、ｙの差分をそれぞれ、ｘ方向のサイズ情報、ｙ方向のサイズ情報とする。もちろん、取得するサイズ情報についてはこれに限定するものではなく、変更前のサイズに対する変更後のサイズの倍率をサイズ情報として取得しても良い。そして更にステップＳ９０４では、この取得したサイズ情報をイベントとして（変倍指示として）端末装置１１０に対して送信する（第１の送信）。

次に、ステップＳ９０５では、ラバーバンドを消去（非表示にする）し、入力デバイス１０７による操作イベントの取得処理を終了する。

次に、図６を用いて説明した処理について、図３（ｄ）、（ｅ）に示した具体例を用いて更に詳細に説明する。図３（ｄ）、（ｅ）では、第２の端末装置と共有している共有ウィンドウ４０５のサイズを変更する操作を、画面共有アプリケーションウィンドウ４００内で行っている。カーソル５０２は、入力デバイス１０７を操作することで移動させることができる。ここで、図３（ｄ）、（ｅ）に示したカーソル５０２の位置で入力デバイス１０７を用いてドラッグ操作を開始すると、その旨を示すイベントがステップＳ８０９において情報処理装置１００から第２の端末装置に対して送信される。第２の端末装置は、このイベントを受信すると、ステップＳ７０３，Ｓ７０４における処理を行うことで、情報処理装置１００に対して、上述のウインドウサイズ変更状態情報をイベントとして送信する。

これにより情報処理装置１００側では、ステップＳ８０６における処理を開始する。ステップＳ９０１ではカーソル５０２をドラッグ中を示すカーソルに変更し、ステップＳ９０２でラバーバンド５０４を表示する。ユーザが入力デバイス１０７を用いてカーソル５０２をアイコン５０３に重ねてドラッグ操作した場合、ラバーバンド５０４はカーソル５０２の移動に追従してそのサイズが変わる。このとき第２の端末装置側では共有ウインドウのウインドウサイズ変更が遠隔で行われている状態となっている。なお、図３（ｄ）、（ｅ）において点線の矢印は、拡大操作を明示的に示すために図示したもので、実際に表示されるわけではない。

そしてユーザが入力デバイス１０７を用いたドラッグ操作を完了すると、ステップＳ９０４において、最終的なウィンドウサイズが決定するので、この決定したウィンドウサイズを第２の端末装置に対して送信する。これにより第２の端末装置は、この最終的なウィンドウサイズを受信すると、図３（ｅ）の点線の矢印で示す如く、受信したウィンドウサイズに応じてウィンドウ４２１を変倍する。

なお、プロジェクションデバイス１０１と表示部３０５とでは画面サイズが異なることが一般である。そのため、表示部３０５に表示されているウィンドウを、プロジェクションデバイス１０１上で指定したウィンドウサイズと同じサイズに変倍するのではなく、それぞれの画面サイズの比に応じた分だけ変倍すればよい。もちろん、画面サイズが同じであれば係る変倍処理は必要ない。これは、一般に行われていることであるので、係る点についてのこれ以上の説明は省略する。そして情報処理装置１００は、ラバーバンドの表示やカーソルを元の状態に戻し、ウインドウサイズ変更処理を終了する。

ここで、ウインドウサイズ変更処理中は、入力デバイス１０７を使用しているユーザ以外のユーザによる操作を不可とするようにしてもよい。ユーザを限定することにより共有ウインドウのサイズ変更処理を円滑に行うことができるようになる。

なお、上記でも述べたが、本実施形態に係る情報処理システムの構成については、図１に示した構成に限定するものではない。例えば、上記ＬＡＮ１２１の代わりに無線通信ネットワークを適用しても良い。この無線通信ネットワークとしては、赤外線通信やBluetooth等の各種方式を含むことはいうまでもない。

以上の説明により、本実施形態によれば、共有ウインドウの遠隔ウインドウサイズ変更操作を、共有ウィンドウ領域のサイズに制限されることなく実施することができる。

［第２の実施形態］
以下に、本実施形態が第１の実施形態と異なる点のみについて説明する。第１の実施形態では、ステップＳ７０３において送信されたウインドウサイズ変更可能領域を示す情報は、情報処理装置１００では参照されていなかった。従って第１の実施形態ではこの情報については送信しなくても良いのであるが、本実施形態では、この情報を送信する。そして本実施形態では、情報処理装置１００は、画面共有アプリケーションウィンドウにおいて、ウインドウサイズ変更可能領域が示す領域内でのみ、サイズ変更操作を許可する。

図３（ｆ）、（ｇ）を用いて、情報処理装置１００と端末装置１１０とでウィンドウを共有している状態における、情報処理装置１００側での表示画面、端末装置１１０側での表示画面について説明する。

本実施形態では情報処理装置１００は図３（ｆ）に示す如く、共有ウィンドウ４０５のサイズ変更を行っている最中はラバーバンド５０４を表示するのであるが、その際、端末装置１１０から受信した「ウインドウサイズ変更可能領域を示す情報」を参照する。そして、参照した情報が示すサイズの枠６０４を表示する。枠６０４の表示処理は、ステップＳ９０１で行う。なお、枠６０４の表示位置は、画面４２０と共有ウィンドウ４２１との位置関係が、枠６０４と共有ウィンドウ４０５との位置関係となるような位置となる。従って、「ウインドウサイズ変更可能領域を示す情報」には、画面４２０内における共有ウィンドウ４２１の位置情報をも含めておく必要がある。そして情報処理装置１００は、カーソル５０２の移動範囲を、この枠６０４内に限定する。また、図７（ａ）に示す如く、枠６０４の外側を網掛け表示しても良い。また、図７（ｃ）に示す如く、ウインドウサイズ変更可能領域１１０３を端末装置１１０側で指定しても良い。この場合の枠１１０２は、図７（ｂ）に示したように表示される。

以上の説明により、本実施形態によれば、ウインドウサイズ変更可能領域内でのみウィンドウサイズ変更操作を許可するので、この領域を超えたウインドウサイズの変更を抑制することができる。またこれにより、端末装置１１０側の視認性の低下又は操作の妨げになることを防ぐ。また、ユーザインタフェースにより拡大可能な範囲を視認できる為、拡大操作を行ったのにもかかわらず、結果として拡大できていないという事象の発生を防ぎ、円滑な拡大操作を行うことが出来る。

［第３の実施形態］
第１，２の実施形態では、ウインドウサイズの変更処理を行った後に決定したウインドウサイズを端末装置１１０に通知していた。しかし、例えば、ウインドウサイズの変更処理中にリアルタイムに、端末装置１１０はウインドウサイズ変更状態情報を情報処理装置１００に送信し、情報処理装置１００は現在のウィンドウサイズを端末装置１１０に送信する、というようにしても良い。以下に、本実施形態について詳細に説明する。なお、以下では、本実施形態が第２の実施形態と異なる点のみについて説明する。図８を用いて、上記ステップＳ８０６において本実施形態において行う処理の詳細について説明する。

ステップＳ１３０１では、ユーザが入力デバイス１０７を用いて画面共有アプリケーションウィンドウ内で操作を行った場合には、この操作内容を示す操作イベントを取得する。

次に、ステップＳ１３０２では、入力デバイス１０７を用いてドラッグ操作を行っている最中は、情報処理装置１００側のカーソルをウインドウ拡大中を示すカーソル、若しくはドラッグ中を示すカーソルに変更する。そして更に、ステップＳ１３０２では、共有ウィンドウのサイズを変更している最中は、現在のサイズを示すラバーバンドを表示する。

次に、ステップＳ１３０３では、現在の共有ウィンドウのサイズを示すサイズ情報を取得する。サイズ情報の取得方法については第１の実施形態で説明したとおりである。そして、この取得したサイズ情報を端末装置１１０に対して送信する。なお、送信する情報はこれに加えて、カーソル座標やラバーバンド領域情報等、表示情報やユーザ情報、接続情報等、変更処理中に変更のあった情報であれば特に制限しない。

次に、ステップＳ１３０４では、端末装置１１０から受信したイベントが、共有ウィンドウのサイズ変更を示すものであるのか否かを判断する。具体的には、上述のウインドウサイズ変更状態情報を受信したか否かを判断する。係る判断の結果、共有ウィンドウのサイズ変更を示すものである場合（受信したイベントがウインドウサイズ変更状態情報である場合）には、処理をステップＳ１３０２に戻す。一方、共有ウィンドウのサイズ変更を示すものではない場合（受信したイベントがウインドウサイズ変更状態情報ではない場合）には、処理をステップＳ１３０５に進める。

ステップＳ１３０５では、共有ウィンドウのサイズ変更操作が完了したか否か（共有ウィンドウのサイズが決定したか否か）を、第１の実施形態と同様の方法でもって判断する。共有ウィンドウのサイズ変更操作が完了したと判断した場合には、処理をステップＳ１３０６に進め、未だ完了していないと判断した場合には、処理をステップＳ１３０２に戻す。

ステップＳ１３０６では、サイズ変更後の共有ウィンドウのサイズを示すサイズ情報を取得する。サイズ情報の取得方法については第１の実施形態で説明したとおりである。そして更にステップＳ１３０６では、この取得したサイズ情報を端末装置１１０に対して送信する。次に、ステップＳ１３０７では、ラバーバンドを消去（非表示にする）し、入力デバイス１０７による操作イベントの取得処理を終了する。

以上の説明により、本実施形態によれば、ウインドウサイズ変更処理中でも端末装置１１０と情報処理装置１００との間でリアルタイムに変更状態を送受信するので、予期しないウインドウ遷移や表示状態の変化等にも対応できる。そしてこれにより、ユーザに現在の状態を視認しやすくし、操作性を向上させることが出来る。

［第４の実施形態］
以下に、本実施形態が第２の実施形態と異なる点のみについて説明する。先ず、図７（ｄ）、（ｅ）を用いて、情報処理装置１００と端末装置１１０とでウィンドウを共有している状態における、情報処理装置１００側での表示画面、端末装置１１０側での表示画面について説明する。

図７（ｄ）において画面１２９０は、プロジェクションデバイス１０１に表示される画面の一例であり、図７（ｅ）において画面１２９２は、表示部３０５に表示される画面の一例である。画面１２９０内には、画面共有アプリケーションウィンドウ１２９１が表示されており、画面共有アプリケーションウィンドウ１２９１内には、６００×４００のサイズの共有ウィンドウ領域１２０２が設けられている。

共有ウィンドウ領域１２０２内には、端末装置１１０側の画面１２９２内で共有選択された３００×２００のサイズのウィンドウ１２０１が、６００×４００のサイズにリサイズされて表示されている。ここで、プロジェクションデバイス１０１の画面の縦のサイズ、横のサイズはそれぞれ、表示部３０５の縦のサイズの２倍、横のサイズの２倍であるとする。

ここで、共有ウィンドウ１２０１のサイズより共有ウィンドウ領域１２０２のサイズが大きい場合は、共有ウィンドウ領域１２０２のサイズに合わせて共有ウィンドウ１２０１を拡大して共有ウィンドウ領域１２０２内に表示することになる。一般に拡大表示では、元の画像中の画素を用いて拡大画像を生成して表示しているだけであるので、ドットが荒く表示されているだけで、元の画像と表示画像との間に情報量の違いはない。

一方、共有ウィンドウ１２０１のサイズより共有ウィンドウ領域１２０２のサイズが小さい場合は、共有ウィンドウ領域１２０２のサイズに合わせて共有ウィンドウ１２０１を縮小して共有ウィンドウ領域１２０２内に表示することになる。一般に縮小表示では、元の画像から画素を間引いて縮小画像を生成して表示しているので、表示画像は元の画像から情報が欠損していることになる。

そこで本実施形態では係る点に鑑み、表示部３０５上に共有ウィンドウ領域１２０２と同サイズの領域を設け、この領域をプロジェクションデバイス１０１上に表示した場合に得られる領域のサイズを、共有ウィンドウの最大拡大サイズとする。即ち、これ以上の拡大は禁止する。より詳しくは、共有ウィンドウ領域１２０２のサイズをＳ、（プロジェクションデバイス１０１の画面サイズ／表示部３０５の画面サイズ）をｒとすると、最大拡大サイズＶは、Ｖ＝Ｓ×ｒとなる。図７（ｄ）、（ｅ）の場合、Ｖ＝（６００，４００）×２＝（１２００、８００）となる。

従って、本実施形態では、ステップＳ９０１では更に、この最大拡大サイズを示す枠１２０３をも表示する。もちろん、枠６０４と枠１２０３のうちより大きい方のみを表示するようにしても良い。そしてこの最大拡大サイズよりも大きく共有ウィンドウを拡大することを禁止する。

以上の説明により、本実施形態によれば、ウインドウサイズ変更処理において、端末装置１１０側の共有ウィンドウのサイズを共有ウィンドウ領域のサイズ以上に拡大出来ないように制限する。これにより、端末装置１１０上で必要以上に共有ウインドウが拡大されることを防ぎ、端末装置１１０側の視認性の低下又は操作の妨げになることを防ぐことが出来る。なお、以上に説明した各実施形態の一部若しくは全部は適宜組み合わせて用いても良い。

Claims (11)

1. 情報処理装置と、当該情報処理装置とデータ通信が可能な１以上の端末装置と、で構成されている情報処理システムであって、
   前記情報処理装置は、
   前記端末装置から送信されたウィンドウ画面の画面情報を受信する受信手段と、
   前記画面情報に基づくウィンドウ画面を表示する第１の表示手段と、
   前記ウィンドウ画面に対するサイズ変更操作を検知する検知手段と、
   前記サイズ変更操作によって最終的に決定したウィンドウサイズを前記端末装置に送信する第１の送信手段と
   を備え、
   前記端末装置は、
   ウィンドウ画面を表示する第２の表示手段と、
   前記第２の表示手段が表示しているウィンドウ画面のうち共有選択されたウィンドウ画面の画面情報を前記情報処理装置に送信する第２の送信手段と、
   前記第１の送信手段が送信した前記ウィンドウサイズを受信すると、当該ウィンドウサイズに応じて前記共有選択されたウィンドウ画面を変倍する変倍手段と
   を備えることを特徴とする情報処理システム。
2. 前記受信手段は、それぞれの端末装置から画面情報を受信し、
   前記第１の表示手段は、前記受信手段が受信したそれぞれの画面情報に基づくウィンドウ画面を一覧表示し、
   前記第１の送信手段は、サイズ変更操作がなされたウィンドウ画面を送信した端末装置に対して、サイズ変更操作によって最終的に決定したウィンドウサイズを送信する
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記第２の送信手段は更に、前記第２の表示手段の表示画面のサイズを示すサイズ情報を前記情報処理装置に送信し、
   前記情報処理装置は更に、前記第１の表示手段が表示する画面上に前記サイズ情報が示すサイズを示す枠を表示し、前記サイズ変更操作を、当該枠の中でのみ許可する手段を備えることを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記第１の送信手段は、前記サイズ変更操作の最中のウィンドウサイズを前記端末装置に送信し、
   前記変倍手段は、前記第１の送信手段が送信したウィンドウサイズに応じて前記共有選択されたウィンドウ画面を変倍する
   ことを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
5. 端末装置側で表示されているウィンドウ画面を当該端末装置から受信して表示画面上に表示する情報処理装置であって、
   前記表示画面上に表示されているウィンドウ画面に対するサイズ変更操作を検知する手段と、
   前記サイズ変更操作によって最終的に決定したウィンドウサイズを、前記端末装置側で表示されているウィンドウ画面に対する変倍指示として前記端末装置に送信する手段と
   を備えることを特徴とする情報処理装置。
6. 請求項５に記載の情報処理装置とデータ通信が可能な端末装置であって、
   ウィンドウ画面を表示する表示手段と
   前記表示手段が表示しているウィンドウ画面のうち共有選択されたウィンドウ画面の画面情報を前記情報処理装置に送信する手段と、
   前記第１の送信手段が送信した前記ウィンドウサイズを受信すると、当該ウィンドウサイズに応じて前記共有選択されたウィンドウ画面を変倍する手段と
   を備えることを特徴とする端末装置。
7. 情報処理装置と、当該情報処理装置とデータ通信が可能な１以上の端末装置と、で構成されている情報処理システムの制御方法であって、
   前記情報処理装置の制御方法は、
   前記端末装置から送信されたウィンドウ画面の画面情報を受信する受信工程と、
   前記画面情報に基づくウィンドウ画面を表示する第１の表示工程と、
   前記ウィンドウ画面に対するサイズ変更操作を検知する検知工程と、
   前記サイズ変更操作によって最終的に決定したウィンドウサイズを前記端末装置に送信する第１の送信工程と
   を備え、
   前記端末装置の制御方法は、
   ウィンドウ画面を表示する第２の表示工程と、
   前記第２の表示工程で表示しているウィンドウ画面のうち共有選択されたウィンドウ画面の画面情報を前記情報処理装置に送信する第２の送信工程と、
   前記第１の送信工程で送信した前記ウィンドウサイズを受信すると、当該ウィンドウサイズに応じて前記共有選択されたウィンドウ画面を変倍する変倍工程と
   を備えることを特徴とする情報処理システムの制御方法。
8. 端末装置側で表示されているウィンドウ画面を当該端末装置から受信して表示画面上に表示する情報処理装置の制御方法であって、
   前記表示画面上に表示されているウィンドウ画面に対するサイズ変更操作を検知する工程と、
   前記サイズ変更操作によって最終的に決定したウィンドウサイズを、前記端末装置側で表示されているウィンドウ画面に対する変倍指示として前記端末装置に送信する工程と
   を備えることを特徴とする情報処理装置の制御方法。
9. 請求項５に記載の情報処理装置とデータ通信が可能な端末装置の制御方法であって、
   ウィンドウ画面を表示する表示工程と、
   前記表示工程で表示しているウィンドウ画面のうち共有選択されたウィンドウ画面の画面情報を前記情報処理装置に送信する工程と、
   前記第１の送信工程で送信した前記ウィンドウサイズを受信すると、当該ウィンドウサイズに応じて前記共有選択されたウィンドウ画面を変倍する工程と
   を備えることを特徴とする端末装置の制御方法。
10. コンピュータを、請求項５に記載の情報処理装置が有する各手段として機能させるためのコンピュータプログラム。
11. コンピュータを、請求項６に記載の端末装置が有する各手段として機能させるためのコンピュータプログラム。

Images