JP2007265236A - 画面送信装置および画面表示方法 - Google Patents

Abstract

【課題】新たなウィンドウを起動したときにユーザによるウィンドウ配置の負担を軽減する。
【解決手段】本発明の一態様としての画面送信装置は、ユーザによる複数の画面表示装置の利用状況を示す利用状況情報を各前記画面表示装置から受信する第１の受信手段と、前記画面表示装置からウィンドウの起動要求メッセージを受信する第２の受信手段と、各前記画面表示装置の利用状況に基づいて、前記複数の画面表示装置のうち前記ウィンドウを表示させる画面表示装置を決定する決定手段と、前記ウィンドウの画面データを生成する画面データ生成手段と、決定した前記画面表示装置に前記ウィンドウの画面データを送信する送信手段と、を備える。
【選択図】図３

Description

本発明は、画面送信装置および画面表示方法に関し、特にPC（Personal Computer：パーソナルコンピュータ）などのコンピューター画面を複数のディスプレイで連係して表示するマルチディスプレイシステムにおけるウィンドウ表示位置制御技術に関する。

従来、PCなどのコンピューター画面を複数のディスプレイを利用して表示するシステムとして、Windows（登録商標）で標準サポートされているマルチモニタ機能がある。マルチモニタ用のディスプレイカードを利用したり、ディスプレイカードを複数枚同時にPCに挿すことでOS（Operating System）が複数のディスプレイを認識すると、複数のディスプレイで１つの大きなデスクトップとして画面が表示される。ユーザは、1つのディスプレイのみで作業している場合と比較して複数のディスプレイを利用するとより広い作業スペースが使える。例えば、同時に複数のドキュメントを見たい場合にも、ドキュメントウィンドウが重なることなく、あるいは重ならないようにウィンドウを並べるためにウィンドウを小さくすることなく同時に表示することができる。

複数のディスプレイで連係して表示するシステムとしては特開2003-61140公報がある。特開2003-61140公報では、ユーザからの表示指示を受けると、指示のあった表示内容が一度に全画面に表示可能か否かを判断する。表示できない場合には、周囲の機器を検索し、発見できた場合には複数機器で連係して1つの画面を表示する。

また特開2004-318207公報では、周囲にある複数の機器が持つ画面作成要素および画面表示要素に関する情報を自動で収集し、ユーザによる指定、あるいは予め設定された優先順位により自動で画面作成要素と画面表示要素を組み合わせた処理構成を形成する。

Windowsのマルチモニタ機能は、PC本体とディスプレイとの組み合わせがデスクトップなど比較的固定的な使い方が前提になるのに対し、上述した2件の特許の方法を用いれば、携帯機器を利用し必要になったその場でのマルチディスプレイ環境の形成が容易となる。
特開2003-61140公報 特開2004-318207公報

上述のように、特開2003-61140公報や特開2004-318207公報では、携帯機器を利用するなど機器構成が頻繁に変わる場合にも容易にマルチディスプレイ環境を利用できる。ところで、マルチディスプレイ環境において新たなディスプレイを起動する場合に、いずれのディスプレイで起動するかは、ユーザの使い勝手に大きく影響する。例えば従来のWindowsのマルチモニタ環境においては、全く新しいウィンドウは、プライマリモニタに起動される。表示したいディスプレイがプライマリモニタでない場合には、ウィンドウ起動後にプライマリモニタから所望のディスプレイまでウィンドウをマウス操作等により移動させる必要がある。ウィンドウの起動の2回目は、前回の終了時の位置に起動されるものの、その時その時で目まぐるしく変わる機器構成において、前回と同じ位置であることが望む位置であることはむしろ稀であると思われる。

特開2003-61140公報においては、１つの大きな画面を複数の機器で分担して表示することは可能になるが、新たなウィンドウを起動するときの位置については述べられていない。また、特開2004-318207公報においては、機器構成の決定を簡略化したり自動化したりはしているが、機器構成決定後にどの機器に新たなウィンドウを表示するかの制御は行っていない。よって、いずれにせよ新たなウィンドウを起動したときに所望のディスプレイに表示させるためには所望のディスプレイまでウィンドウを移動させるといった面倒な操作が必要であるという問題があった。

本発明は、新たなウィンドウを起動したときにユーザによるウィンドウ配置の負担を軽減できるようにした画面送信装置および画面表示方法を提供する。

本発明の一態様としての画面送信装置は、ユーザによる複数の画面表示装置の利用状況を示す利用状況情報を各前記画面表示装置から受信する第１の受信手段と、前記画面表示装置からウィンドウの起動要求メッセージを受信する第２の受信手段と、各前記画面表示装置の利用状況に基づいて、前記複数の画面表示装置のうち前記ウィンドウを表示させる画面表示装置を決定する決定手段と、前記ウィンドウの画面データを生成する画面データ生成手段と、決定した前記画面表示装置に前記ウィンドウの画面データを送信する送信手段と、を備える。

本発明の一態様としての画面表示方法は、ユーザによる複数の画面表示装置の利用状況を示す利用状況情報を各前記画面表示装置から受信し、前記画面表示装置からウィンドウの起動要求メッセージを受信し、各前記画面表示装置の利用状況に基づいて、前記複数の画面表示装置のうち前記ウィンドウを表示させる画面表示装置を決定し、前記ウィンドウの画面データを生成し、決定した前記画面表示装置に前記ウィンドウの画面データを送信する、ことを特徴とする。

本発明により、新たなウィンドウを起動したときにユーザによるウィンドウ配置の負担を軽減できるようになる。

本実施の形態は、手持ち可能な複数のディスプレイを同時に利用するマルチディスプレイ環境において、ユーザが次々に手に持つディスプレイを切換えながら利用している状況でも、ユーザの注目しているディスプレイを検出し、最も注目度の高いディスプレイに表示されるように、新たに起動するウィンドウの位置を自動制御することで、ユーザによるウィンドウ配置の負担を軽減しようとするものである。以下本実施の形態について詳細に説明する。

（第１の実施形態）[手持ち情報による表示先決定]
図１は、本実施形態におけるマルチディスプレイシステムの一例を示す図である。複数の画面表示装置１〜３が無線のアクセスポイント４を介して、有線ネットワーク５に接続された画面送信装置１１と接続されている。画面送信装置と画面表示装置間の接続形態は特に限定するものではない。例えば無線の種類は無線LAN(Local Area Network)のアドホックモードやBluetooth（登録商標）、赤外線など、有線ネットワークを介さず無線のみで直接接続しても良い。また、画面表示装置と画面送信装置が地理的に近接ではなく、遠隔に離れていても良い。図中の各画面表示装置１〜３には異なるアプリケーションの画面（画面表示装置１にはテキストエディタ、画面表示装置２にはグラフアプリケーション、画面表示装置３には画像表示アプリケーション）が表示されている状況が示される。

画面送信装置１１は、画面表示装置１〜３に対する画面データを生成、送信する。画面表示装置１〜３は、受信した画面データを表示する。ユーザは、複数の画面表示装置１〜３を使いながら作業を進める。

図２は、本実施形態における画面表示装置１のブロック構成の一例を示す図である。画面表示装置２〜３も、画面表示装置１と同一の構成を有するものとする。図にはディスプレイ２１、画面データ受信部２２、通信制御部２３、入力デバイス２４、ユーザ入力解析部２５、感圧デバイス２６、手持ち検出部２７が示されている。

ディスプレイ２１は、画面データ受信部２２で構成された画面を表示する。

通信制御部２３は、ネットワークとのデータの送受信を行う。通信制御部２３は、データ送受信に先立ち通信相手となる画面送信装置との間にコネクションを設定しておく必要がある。通信プロトコルとしてはTCP/IPを利用送信するのが一般的であるが、これに限るものでないことはいうまでもない。また、通信相手となる画面送信装置を指定する必要があるが、指定方法も特に限定するものではなく、例えばTCP/IPを利用するのであればIPアドレスをユーザが指定しても良いし、DNS(Domain Name Server)を利用できる環境であればホスト名を指定し、DNSでホスト名をIPアドレスに変換してから通信路を形成しても良い。送信するデータとしてはユーザ入力解析部２５より渡されるユーザ操作イベントと手持ち検出部２７より渡される手持ち情報とがあり、通信制御部２３はこれらユーザ操作イベントと手持ち情報とを指定された画面送信装置に対して送信する。受信するデータとしては画面送信装置から送信された画面データがある。通信制御部２３は、画面データを受信した場合には、受信した画面データを画面データ受信部２２を渡す。

入力デバイス２４は、ユーザ入力を行うためのデバイスであり、ユーザが行ったデバイス操作に応じた信号をユーザ入力解析部２５へ送る。デバイスの種類としては特に限定するものではなく、マウスやタッチパネル、ペン入力、キーボードあるいはこれらの組み合わせなど何でも良い。

ユーザ入力解析部２５は、入力デバイス２４から送られる入力信号を、ディスプレイ２１に表示されているコンピューター画面に対するユーザ入力イベントに変換して、通信制御部２３に渡す。入力イベントとしては、ポインタの移動、マウスの右/左ボタンのUp/Down、キーのUp/Downなどが考えられる。変換されたイベントは画面送信装置に送信するために通信制御部２３へ渡される。

感圧デバイス２６は、いわゆる圧力センサーである。圧力センサーの配置位置としては、例えば図４の２７Ａ、２７Ｂで示す領域（ディスプレイの周囲部分）に配置する方法が考えられる。ユーザが自装置を手で持つと圧力センサーが反応し、ON信号が手持ち検出部２７へ伝えられる。逆に手で持っていなければ信号はOFFとなる。図４の２７Ａ、２７Ｂに示した領域に感圧デバイスを配置しておき、２７Ａで示す右側の領域に配置した感圧デバイスからの信号と、２７Ｂに示す左側の領域に配置した感圧デバイスからの信号とを区別して検出できるようにしておけば、ユーザがどちら側を持っているかあるいは両手で持っているかの情報も検出できる。あるいはディスプレイの周囲の全領域に圧力センサーを配置するようにすれば、ユーザがどの部分を持っても検出が可能となる。あるいは持ち方を細かく検出したい場合には、細かな感圧デバイスを多数配置し、感圧デバイス毎の検出結果を利用するようにしても良い。

手持ち検出部２７は、感圧デバイス２６からの信号を受け現在ユーザが自装置を手で持っているか否かを判断する。少なくともディスプレイ２１に画面が表示されている間は、常に感圧デバイス２６からの信号を監視しておき、手持ちの検出結果に変化があった場合には、検出結果を通信制御部２３を介して画面送信装置に送る。あるいは検出結果を保持しておき、画面送信装置から要求があったときに、保持している情報を送信するようにしても良い。

本実施の形態では、手持ちであることを検出するためのセンサーとして圧力センサーを用いたが、特にこれに限定するものではない。例えば、温度センサーにより自装置を手で持ったときの手の温度と持っていないときの温度との違いから手持ちであることを検出したり、加速度センサーにより自装置が机の上などにおかれて静止している状態と手に持って動いている状態とを見分けることで手持ちであることを検出しても良い。カメラを各画面表示装置に装備しておき、例えばカメラで撮像した画像にユーザが映っていることから手持ちであることを判断するようにしておいても良い。あるいはこれらの組み合わせを利用しても良い。

画面データ受信部２２は、通信制御部２３から渡された画面データを処理する。受信した画面データが圧縮されていれば伸張し、画面データ受信部２２内の画面全体を保持するフレームバッファ（図示せず）の適切な位置に画面データを上書きする。フレームバッファに保存されている画面データは、ディスプレイ２１に送られ表示される。

図３は、本実施形態における画面送信装置１１のブロック構成の一例を示す図である。図には、画面データ生成部３１、送信画面データ取得部３２、画面データ送信部３３、通信制御部３４、ユーザ操作イベント処理部３５、ユーザ注目度決定部３６、表示装置管理部３７が示されている。

画面データ生成部３１は、いわゆるコンピューター画面を生成する。通常は、表示する最新の画面を蓄えておくために画面の解像度に応じたサイズのフレームバッファを用意する。複数のディスプレイ向けに画面を生成する場合には、各ディスプレイ用のフレームバッファを用意し、各ディスプレイ向けの画面を生成する。画面の生成自体はアプリケーションやOS、ディスプレイドライバ等の協調により行われ、生成された画像はフレームバッファに書き込まれる。画面データ生成部３１は、表示装置管理部３７より新たな画面表示装置の接続を通知されるとその画面表示装置用のフレームバッファを用意する。すなわちフレームバッファは接続している画面表示装置各々に用意される。自機器のディスプレイ（図示せず）に表示する場合には書き込まれたフレームバッファの内容は、ディスプレイに送られる。ユーザ操作イベント受信部３５よりユーザ操作イベントを受けると、イベント種別に応じた画面を生成する。例えば、イベントがポインタ移動イベントの場合には、ポインタを移動先に描画し直す。また、ユーザ注目度決定部３６から現在利用している複数のディスプレイのうちユーザがどのディスプレイに最も注目しているかの情報を得る。新たに起動するウィンドウの画面生成を開始するときは、そのウィンドウの描画位置を最もユーザ注目度の高いディスプレイの画面に描画する。

送信画面データ取得部３２は、表示更新される画面の位置や描画データを取得する。取得の方法としては、画面データ生成部３１から表示更新するために生成した更新情報を全て受け取り、そのまま利用しても良い。あるいは、定期的に画面データ生成部３１から最新の画面を取得し、前回取得した画面と比較することで、更新のあった部分を抽出してもよい。その他、システムで利用される画面更新等の描画系のイベントをフックすることにより、どの部分が更新されたかを監視し、得られた更新部分の描画データのみを画面データ生成部３１におけるフレームバッファより取得する方法も考えられる。取得した画面データは、画面データ送信部３３へ渡される。

画面データ送信部３３は、送信画面データ取得部３２より渡された更新画面データを通信制御部３４を介して画面表示装置に送信する。画面データ送信部３３は、画面の更新位置と描画データをひとまとまりのデータとして送信する。また、描画データは無圧縮の場合にはデータサイズが大きくなるため圧縮した後に送信しても良い。

通信制御部３４は、ネットワークへデータを送信したりネットワークからデータを受信する。データは通信相手となる画面表示装置との間で過不足なく送受信される。通信に先立ち、通信制御部３４は、画面表示装置から通信路の生成要求を受け、通信路が確立する。通信制御部３４は、画面データ送信部３３より渡されたデータを通信路確立済みの画面表示装置へ送信する。受信データ種別としては画面表示装置からのユーザ操作イベントと手持ち情報があり、それぞれユーザ操作イベント処理部３５とユーザ注目度決定部３６へ渡す。

表示装置管理部３７は、接続中の画面表示装置の情報を管理する。表示装置管理部３７は、画面表示装置とのコネクションが作成されたことを通信制御部３４より通知され、そのコネクションで受信されたユーザ情報を渡されると、ユーザ認証を行う。表示装置管理部３７は、認証に成功すると表示装置リストに新たに接続した画面表示装置を追加登録するとともに画面データ生成部３１に新たな画面表示装置の追加を通知する。

ユーザ操作イベント処理部３５は、画面表示装置から送られてきたユーザ操作イベントデータから、ポインタの移動やボタンのUp/Downといったイベントの種別や各イベントに応じた補助データ(カーソル移動イベントの移動先座標など)を抽出し、画面データ生成部３１へ渡す。

ユーザ注目度決定部３６は、利用している複数の画面送信装置のうちユーザが最も注目しているディスプレイを決定する。注目度の決定方法としては、画面送信装置より受信した手持ち情報に基づき、最も新しく手持ちとなったものを最も注目度が高いとする方法が考えられる。ユーザ注目度決定部３６は例えば決定手段に相当する。

新たに起動するウィンドウの表示位置の制御を完全な自動制御ではなく、半自動制御としても良い。例えば、新規ウィンドウ起動時のメニューや、既に表示済みのウィンドウのメニューに「手持ちディスプレイへ」といったメニューを追加することとし、ユーザが本メニューを選択した場合には、確実に手持ちのディスプレイにウィンドウを表示するようにしても良い。

本実施形態の画面表示装置と画面送信装置を用いた場合の動作シーケンスの一例を述べる。まず、画面表示装置と画面送信装置の接続完了までのシーケンスを述べる。

図５は、画面表示装置から画面送信装置への接続完了までの処理を表すフローチャートである。まず、ユーザが画面表示装置の電源をONにすると画面送信装置への接続のためのダイアログを画面表示装置のディスプレイに表示する（Ｓ２１）。図６にダイアログの表示例を示している。本ダイアログは、画面送信装置への接続前に表示する必要があるため、画面表示装置内で作成可能にしておくことが望ましい。ダイアログでは、接続先となる画面送信装置のアドレスとユーザ名とパスワードを入力できるようにしておく。入力する接続先アドレスとしては、IPアドレスあるいはホスト名が考えられるが特に限定するものではない。次にユーザが接続ボタン４１を押すと、画面表示装置は、ダイアログへ入力された接続先とのコネクションの作成を行う（Ｓ２２）。コネクションはTCP/IPを用いるのが一般的であるが、これに限定するものではない。TCP/IPを用いる場合、特定のポート番号を用いることにより意図した画面転送用のコネクションであることが接続を受け付けた画面送信装置にも分かる。コネクションの作成に成功すると、次にユーザの認証を画面送信装置に要求するため、画面表示装置は、作成したコネクションでユーザ名とパスワードの情報（ユーザ認証要求情報）を送信する（Ｓ２３）。画面表示装置は、画面送信装置におけるユーザ認証の成功の結果として送信される、ディスプレイ情報の送信要求を受信すると、自装置のディスプレイ情報を画面送信装置へ送る（Ｓ２４）。画面表示装置は、その結果、画面送信装置から送られる初期画面を表示し（Ｓ２５）、これにより初期接続シーケンスが終了する。

図７は、画面送信装置による画面表示装置からの接続受付処理を表すフローチャートである。まず、画面送信装置は、画面表示装置からの要求により画面表示装置とのデータ送受信用のコネクションを作成する（Ｓ３１）。画面送信装置は、作成したコネクションによりユーザ認証要求情報を受信すると、受信した情報に含まれるユーザ名とパスワードからユーザの認証を行う（Ｓ３２）。画面送信装置は、認証に成功すると接続元の画面表示装置を表示装置リストに追加する（Ｓ３３）。図９、図１０に画面送信装置で保持する表示装置リストの例を示す。図９は、画面送信装置が2台の画面表示装置と接続状態にあり、アドレスが”xxx.xxx.xxx.xxx”の表示装置にはID”1”を割り当て、アドレスが”yyy.yyy.yyy.yyy”の表示装置にはID”2”が割り当てられている。新たに画面表示装置との接続がなされた場合、未使用のIDを割り当ててから該画面表示装置を登録する。図１０は、アドレス”zzz.zzz.zzz.zzz”の表示装置にID”3”を割り当てて登録した状態を示している。次に、画面送信装置は、新たに接続した画面表示装置の属性を得るためにディスプレイ情報の送信要求を送信し、画面表示装置からディスプレイ情報を受信する（Ｓ３４）。画面送信装置は、ディスプレイ情報を受信するとそこに含まれる画面の解像度や色数に応じたフレームバッファを準備し（Ｓ３５）、準備が完了したことを示す初期画面をフレームバッファに書き込み、初期画面を画面表示装置へ送信する（Ｓ３６）。図８に初期画面の一例を示す。

図１１に、画面送信装置と画面表示装置との間で接続開始から初期画面の表示が完了するまでにやりとりされるメッセージの一例を示す。コネクション作成フェーズ（Ｓ４１）の後、画面表示装置にてユーザが入力したユーザ名とパスワード情報を含むUser-Informationメッセージが画面表示装置から画面送信装置に送信される（Ｓ４２）。画面送信装置では、受信したUser-Informationメッセージに含まれるユーザ名とパスワードの情報からユーザ認証を行う。画面送信装置は、ユーザ認証に成功すると画面表示装置を表示装置リストに登録し、ディスプレイ属性を得るために、Display-Information-Requestメッセージを画面表示装置に送信する（Ｓ４３）。画面表示装置は、Display-Information-Requestメッセージを受信すると自装置のディスプレイの情報を含むDisplay-Informationメッセージを送信する（Ｓ４４）。Display-Informationに含まれる情報としては、解像度や色数が考えられるがこれに限定するものではない。Display-Informationメッセージを受信した画面送信装置は、受信したメッセージに含まれる解像度や色数に適合したフレームバッファを用意し、初期画面を作成し、作成した初期画面をInitial-Imageメッセージとして画面表示装置に送る（Ｓ４５）。

図１２は、画面表示装置における手持ち情報の検出処理のフローを示すフローチャートである。本処理フローは定期的に繰り返すようにしてもよいし、あるいは感圧デバイスからの信号の変化を示す割り込みが発生するようにしておき、割り込み発生時に行うようにしても良い。まず、感圧デバイスの状態をチェックする（Ｓ５１）。感圧デバイスの配置方法としては、例えば図４の２７Ａ、２７Ｂで示す領域に配置する方法が考えられるが、特に限定するものではない。感圧デバイスは、デバイスに圧力がかかっている場合には信号がONに、圧力がかかっていない場合には信号がOFFになるようにしておく。図４のような配置の場合、２７Ａに示す右側領域と２７Ｂに示す左側領域とのそれぞれにおける感圧デバイスからの信号をチェックする。具体的には圧力がかかっている状態か否かを調べるために信号のON/OFFをチェックする。次に、チェックした信号の状態を手持ち情報へ変換する（Ｓ５２）。例えば、左右両側から検出された信号が共にOFFの場合には「手持ちなし」、右側から検出された信号のみがONの場合には「右手持ち」、左側から検出された信号のみがONの場合には「左手持ち」、左右両側から検出された信号が共にONの場合には「両手持ち」へ変換する。変換結果の手持ち情報は、前回チェック時の手持ち情報と比較され（Ｓ５３）、変化がある場合には（Ｓ５３のＹＥＳ）画面表示装置は画面送信装置に新たな手持ち情報を送信し（Ｓ５４）、無い場合には（Ｓ５３のＮＯ）処理を終了する。

図１３は、画面表示装置から新たなウィンドウの起動要求があった時に画面送信装置により行われる処理のフローを示すフローチャートである。画面送信装置は、いずれかの画面表示装置にてユーザがファイルを開くなど新たなウィンドウの起動要求があることを認識すると（Ｓ１１）、現在最もユーザ注目度の高いディスプレイ(画面表示装置)を選択する（Ｓ１２）。新たに起動するウィンドウの位置を、選択したディスプレイに設定し、新たに起動するウィンドウを含む画面を生成する（Ｓ１３）。そして、生成した画面をディスプレイに送信する（Ｓ１４）。

図１４に、画面表示装置1、画面表示装置２、画面表示装置３、が上記接続シーケンス（図１１参照）にて画面送信装置に既に接続済みの状態から、画面送信装置３に新たなアプリケーション画面が表示されるまでのメッセージシーケンスを示す。本シーケンスの開始状態として、ユーザは画面表示装置１を手持ちしているものとする。このときの画面送信装置における表示装置リストの状態を図１５に示す。ここで、ユーザが手持ちの画面表示装置を画面表示装置１から画面表示装置３へ切り替えたとする。画面表示装置１と画面表示装置３において図１２で述べた処理フローにより手持ち情報の変化が検出され、新たな手持ち情報を含むStatus-Informationメッセージが画面表示装置１と画面表示装置３から画面送信装置へ送られる（Ｓ６１、Ｓ６２）。すなわち手持ちを示す利用状況情報が画面表示装置３から画面送信装置へ送られる（画面送信装置は画面表示装置１よりも後に画面表示装置３から手持ちを示す利用状況情報を受信する）。画面送信装置では、Status-Informationメッセージを受信すると、これに含まれる手持ち情報により表示装置リストを更新する。上記2つのStatus-Informationメッセージが受信された後の表示装置リストを図１６に示す。次にユーザが新たなアプリケーションの起動のために画面表示装置２からアプリ起動メニュー表示（イベント）要求をしたとする。アプリ起動メニューの表示要求方法としては例えば、画面表示装置にアプリ起動メニューボタンを用意しておく方法が考えられる。図１７にアプリ起動メニューボタンをつけた画面表示装置の例を示す。画面表示装置２における本ボタン４２が押されると画面表示装置２から画面送信装置へMenu-Requestメッセージが送信される（Ｓ６３）。Menu-Requestメッセージを受信した画面送信装置は、アプリ起動メニュー画面をMenu-Imageメッセージに含めて画面表示装置２へ送信する（Ｓ６４）。画面表示装置２がMenu-Imageメッセージを受信して、アプリ起動メニューを表示した例が上記図１７に示される。ユーザは、表示されたメニューからペンなどの入力デバイスを用いてメニューの選択をする。選択したメニューの情報(例えばメニュー画面中の位置)を含むMenu-Select-Informatio
nメッセージが画面表示装置2から画面送信装置へ送信される（Ｓ６５）。Menu-Select-Informationメッセージを受けた画面送信装置は、メッセージに含まれる情報からいずれのアプリケーションを起動するかを把握する。そして、図１３に示す処理によりいずれの画面表示装置にてこれから起動するアプリケーションを表示するかを決定する。注目度として手持ちか否かを利用する場合、画面表示装置３が選択され、画面表示装置３用のフレームバッファに新たなアプリケーションを起動した画面が書き込まれ、その画面を含むApplication-Imageメッセージが画面送信装置から画面表示装置３へ送信される（Ｓ６６）。アプリケーション画面が表示された例を図１８に示す。

具体的な利用シーンの一例を示す。例えば、画面表示装置Aにチェックしたいドキュメントのリストが表示されているとする。ここで、ユーザは画面表示装置Bを手に持ってから、画面表示装置Aにてチェックしたいドキュメントを開く。すると、ドキュメントを開く時にどこで開くかなどの選択は一切なしに、手に持っている画面表示装置Bにて、そのドキュメントが開かれる。さらに、今開いたドキュメント（第一ドキュメント）はそのままにしておき、別の第二ドキュメントを見たい場合には、画面表示装置Bをいったん置き別の画面表示装置Cを手に持ってから、画面表示装置Aにて第二ドキュメントを開く。すると、第二ドキュメントは自動的に画面表示装置Cに表示される。第一ドキュメントも見比べながらの第二ドキュメントのチェックも容易にできる。

（第２の実施形態）[アクセス頻度による表示先決定]
第２の実施形態として、アプリケーション起動画面の表示先を決めるユーザ注目度の決定方法として、ユーザによるアクセスを利用する方法を述べる。画面送信装置と画面表示装置の構成としては第１の実施形態と同じであるので、各ブロックで処理の異なる所についてのみ説明する。画面送信装置のユーザ操作イベント処理部３５は、ユーザイベントを受信すると、第１の実施形態で述べた処理に加えどの画面表示装置からユーザイベントを受信したかをユーザイベント受信情報として表示装置管理部３７へ通知する。表示装置管理部３７では、ユーザイベント受信情報を受け取ると、表示装置リストの送信元画面表示装置のエントリに、最新のユーザアクセスがあった旨を書き込む。図１９に最新のユーザアクセス情報を保存した表示装置リストの例を示す。図１９では、ID”3”の画面表示装置に対し一番最近にユーザアクセスがあったことが示されている。よって新たなアプリケーション画面を表示する場合には、ユーザ注目度決定部３６は、画面表示装置３を表示先として選択する。

また、別のユーザ注目度決定方法としてユーザのアクセスの履歴に基づき決定する方法も考えられる。ユーザ操作イベント処理部３５がどの画面表示装置からユーザイベントを受信したかを表示装置管理部３７へ通知することは同じであるが、通知された表示装置管理部３７では、一番最近にユーザアクセスのあった画面表示装置の情報を保存しておくのではなく、各画面表示装置で一定期間にアクセスのあった回数を計数しておく。すなわち、画面表示装置からユーザイベントが送られてくる毎に回数を＋１する。ユーザ注目度決定部３６は、新たなアプリケーションの表示先画面表示装置を決定する場合には、最もアクセス回数の多い装置を選択する。図２０に最新のユーザアクセス情報を保存した表示装置リストの例を示す。図２０では、ID”1”の画面表示装置へのアクセス回数が最も多いことが示されているので、ユーザ注目度決定部３６は、画面表示装置１を選択する。

また、別のユーザ注目度決定方法として各画面表示装置の画面更新頻度（画面生成頻度）に基づき決定する方法も考えられる。画面データ生成部３１は、ある画面表示装置用の更新画面を生成すると、その旨を表示装置管理部３７へ通知する。通知された表示装置管理部３７では、通知がある毎に各画面表示装置の画面更新回数を＋１する。ユーザ注目度決定部３６は、新たなアプリケーションの表示先画面表示装置を決定する場合には、最も画面更新回数の多い装置を選択する。図２１に最新の更新頻度情報を保存した表示装置リストの例を示す。図２１では、ID”2”の画面表示装置の画面更新回数が最も多いことが示されているので、ユーザ注目度決定部３６は、画面表示装置２を選択する。

手持ち情報と本実施形態で述べた方法とを併用する方法も考えられる。例えば、手持ちのディスプレイが存在している場合にはユーザ注目度決定部は手持ちのディスプレイを最も注目度の高いディスプレイとして新たなアプリケーションの起動先に選択するが、手持ちのディスプレイがない場合には、上述の方法にて注目度の高さを判断するようにしてもよい。

（第３の実施形態）[書き込み禁止属性の併用]
第３の実施形態として、アプリケーション起動画面の表示先を決める方法として、画面表示装置が書き込み禁止であることを示す書き込み禁止属性を用いる方法について述べる。画面送信装置と画面表示装置の構成としては第１の実施形態と同じであるので、各ブロックで処理の異なる所についてのみ説明する。

画面表示装置に自装置への書き込み禁止をユーザが要求するための書き込み禁止ボタンを装備した例を図２２に示す。図２２では、アプリメニュー起動ボタン４４を押してアプリ起動メニューが表示された状態が示されている。ここで、書き込み禁止ボタン４３を押すと、画面表示装置は、自装置への書込みは禁止である旨をユーザ操作イベントとして画面送信装置へ送る。

画面送信装置のユーザ操作イベント処理部３５にて書き込み禁止ボタンが押されたことを示すユーザ操作イベントが受信されると、ユーザ操作イベント処理部３５はこの旨を表示装置管理部３７へ通知する。表示装置管理部３７は、表示装置リストの送信元画面表示装置のエントリに、書き込み禁止である旨を書き込む。図２３に書き込み禁止情報を保存した表示装置リストの例を示す。この例では、画面表示装置３が、ユーザにより手で持たれており、かつ書き込み禁止ボタンが押されていることが示される。この後、新たなアプリケーションの起動を要求したとすると、第１の実施形態では手持ちであることからユーザ注目度決定部３６は画面表示装置３を表示先として選択していたが、本例では画面表示装置３は書き込み禁止に設定されているため、ユーザ注目度決定部３６は、画面表示装置１または画面表示装置２を選択する。

これにより、ユーザは手で持っている画面表示装置にアプリケーション画面を表示したい場合には、書き込み禁止ボタンを押さずにアプリケーションを起動すればよい。また、すでに閲覧中の資料を表示しているなど新たなアプリケーション画面を手持ちでない別の画面表示装置に表示したい場合には、アプリケーション起動時に手持ちの画面表示装置のボタンを押しておくことで、新たなアプリケーション画面を別の画面表示装置へ表示させることができる。

本発明の第１の実施形態におけるマルチディスプレイシステムの一例を示す図。 本発明の第１の実施形態における画面表示装置のブロック構成の一例を示す図。 本発明の第１の実施形態における画面送信装置のブロック構成の一例を示す図。 本発明の第１の実施形態における感圧センサーの配置場所を示す図。 本発明の第１の実施形態における画面表示装置の接続処理を示すフローチャート。 本発明の第１の実施形態における入力ダイアログの表示例を示す図。 本発明の第１の実施形態における画面送信装置の接続受付処理を示すフローチャート。 本発明の第１の実施形態における初期画面の一例を示す図。 本発明の第１の実施形態における表示装置リストの一例を示す図。 本発明の第１の実施形態における表示装置リストの別の一例を示す図。 本発明の第１の実施形態における接続時のメッセージのやり取りの一例を示す図。 本発明の第１の実施形態における手持ち検出処理を示すフローチャート。 本発明の第１の実施形態における新たなウィンドウ起動時の処理を示すフローチャート。 本発明の第１の実施形態におけるアプリケーション起動時のメッセージのやり取りの一例を示す図。 本発明の第１の実施形態における表示装置リストの一例を示す図。 本発明の第１の実施形態における表示装置リストの別の一例を示す図。 本発明の第１の実施形態におけるメニューリスト画面の一例を示す図。 本発明の第１の実施形態におけるアプリケーション表示の例を示す図。 本発明の第２の実施形態における表示装置リストの一例を示す図。 本発明の第２の実施形態における表示装置リストの一例を示す図。 本発明の第３の実施形態における表示装置リストの一例を示す図。 本発明の第３の実施形態における書き込み禁止ボタンを持つ画面表示装置を示す図。 本発明の第３の実施形態における表示装置リストの例を示す図。

符号の説明

１〜３：画面表示装置
４：アクセスポイント
５：ネットワーク
１１：画面送信装置
２１：ディスプレイ
２２：画面データ受信部
２３：通信制御部
２４：入力デバイス
２５：ユーザ入力解析部
２６：感圧デバイス
２７：手持ち検出部
３１：画面データ生成部
３２：送信画面データ取得部
３３：画面データ送信部
３４：通信制御部
３５：ユーザ操作イベント処理部
３６：ユーザ注目度決定部
３７：表示装置管理部

Claims (6)

1. ユーザによる複数の画面表示装置の利用状況を示す利用状況情報を各前記画面表示装置から受信する第１の受信手段と、
   前記画面表示装置からウィンドウの起動要求メッセージを受信する第２の受信手段と、
   各前記画面表示装置の利用状況に基づいて、前記複数の画面表示装置のうち前記ウィンドウを表示させる画面表示装置を決定する決定手段と、
   前記ウィンドウの画面データを生成する画面データ生成手段と、
   決定した前記画面表示装置に前記ウィンドウの画面データを送信する送信手段と、
   を備えた画面送信装置。
2. 前記第1の受信手段は、前記第1の画面表示装置が送信する第1の利用状況情報と、前記第1の画面表示装置とは別の第2の画面表示装置が送信する第２の利用状況情報と、前記第1の画面表示装置あるいは前記第2の画面表示装置からイベントの内容を示すイベント情報を含む第3の利用状況情報を受信し、
   前記画面データ生成手段は、前記イベントの内容に応じた画面データを生成し、
   前記決定手段は、前記第1の利用状況情報と前記第2の利用状況情報とのうち、後に受信したほうの利用状況情報を送信した画面表示装置に前記ウィンドウを表示させるよう決定することを特徴とする請求項１に記載の画面送信装置。
3. 前記利用情報を示す情報は、前記画面表示装置に対しユーザにより入力された操作イベントの内容を表す情報を含み、
   前記画面データ生成手段は、前記操作イベントの内容に応じた画面データを生成し、
   前記送信手段は、生成された画面データを前記画面表示装置に送信し、
   前記決定手段は、前記操作イベントの内容を表す情報の受信回数がある期間において最も多かった画面表示装置に前記ウィンドウを起動することを決定することを特徴とする請求項１に記載の画面送信装置。
4. 前記利用情報を示す情報は、前記画面表示装置に対しユーザにより入力された操作イベントの内容を表す情報を含み、
   前記画面データ生成手段は、前記操作イベントの内容に応じた画面データを生成し、
   前記送信手段は、生成された画面データを前記画面表示装置に送信し、
   前記決定手段は、ある期間において前記画面データ生成手段による前記画面データの生成回数が最も多かった画面表示装置に前記ウィンドウを起動することを決定することを特徴とする請求項１に記載の画面送信装置。
5. 前記利用情報を示す情報は、追加のウィンドウを前記画面表示装置に表示可能か否かを示す情報を含み、
   前記決定手段は、前記ウィンドウを起動する画面表示装置として、追加のウィンドウを表示することが許容された画面表示装置を選択することを特徴とする請求項１に記載の画面送信装置。
6. ユーザによる複数の画面表示装置の利用状況を示す利用状況情報を各前記画面表示装置から受信し、
   前記画面表示装置からウィンドウの起動要求メッセージを受信し、
   各前記画面表示装置の利用状況に基づいて、前記複数の画面表示装置のうち前記ウィンドウを表示させる画面表示装置を決定し、
   前記ウィンドウの画面データを生成し、
   決定した前記画面表示装置に前記ウィンドウの画面データを送信する、
   画面表示方法。

Images