JP2021039673A - 表示制御方法、表示制御プログラムおよび情報処理装置 - Google Patents

Abstract

【課題】デバイス間の表示画面を簡単な操作で連携できること。【解決手段】端末１２０の画面を大きなタッチパネル上に表示させて複数のユーザで画面共有する場合、情報処理装置は、ユーザがタッチパネル上に表示枠１１２を描画した後、一定時間Ｔ内にシェーク操作された端末１２０の画面を表示枠１１２部分に表示させる連携処理を行う。ここで、ユーザがタッチパネル上に表示枠１１２を描画した後、一定時間Ｔ内に複数の端末１２０ａ，１２０ｂがシェーク操作された場合、表示枠１１２に対する端末１２０の関連付けを特定できない。この場合、情報処理装置は、表示枠１１２部分に再度のシェーク操作を促すガイド１１３のメッセージを表示させる。この後、一つの端末１２０ａのみシェーク操作されることで、表示枠１１２に関連付ける端末１２０ａを特定でき、端末１２０ａの画面を表示枠１１２に表示させる。【選択図】図５

Description

本発明は、複数のデバイスの画面を連携させる表示制御方法、表示制御プログラムおよび情報処理装置に関する。

会議室などの部屋の壁やテーブル等に投影等で表示するディスプレイを配置し、会議に参加する複数のユーザの携帯端末の表示とディスプレイの表示とを連携させるコラボレーションのシステムが提案されている。これら複数のユーザの会議参加をデジタル的にサポートする技術として、空間ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）がある。

空間ＵＩ技術では、例えば、部屋側に設置されたプロジェクタや、タッチパネル、カメラなどのデバイスを相互に連結して、部屋を丸ごとユーザインタフェース（ＵＩ）にする技術が提案されている。例えば、スマートフォン等の携帯端末の表示画面はサイズが小さいため、大きなディスプレイ上で携帯端末の画面を表示させることで、他のユーザと表示画面を共有することができる。空間ＵＩを用いて複数のユーザの携帯端末を空間ＵＩのディスプレイとの間で連携させ、双方の表示画面を同期表示させることで、空間ＵＩのディスプレイの画面から携帯端末の操作やデータ利用を行うことができる。例えば、他のユーザが共有したデータを自分の携帯端末に取り込むことができる。

空間ＵＩを用いることで、例えば、ユーザが、テーブル上にカードを表示するカードアプリケーション（カードアプリ）を用いてアイデアをテーブル上のカードに書き込む。そして、ユーザがカードをフリック（移動）操作することで他のユーザと、カードに書き込まれたオブジェクトを共有することができる。また、テーブル上にデジタル模造紙を表示する模造紙アプリを用い、デジタル模造紙の表示領域内に、あるユーザのオブジェクト（カード）を取り込んで、複数のユーザがカードの情報を共有したりデータ整理したりすることができる。また、デジタル模造紙の使用目的に応じて、あるユーザのデジタル模造紙にはデジタルカードを取り込まないときもある。このため、デジタル模造紙の表示画面上には、デジタルカードの取り込みのモードを切り替えるボタンが設けられ、ユーザが手動で取り込みのモードを切り替えるようになっている。

デバイス間で表示画面を連携させる技術として、指定されたウィンドウに所定時間内に端末のシェーク操作等で対応付けられた端末のコンテンツデータを表示する技術がある。また、複数デバイスからの入力情報を、受付時間が最先のもの、所定の識別情報が付与されているもの、タイムシェアリング処理、によって選択する技術がある。また、複数の端末の操作を選択して共有画面に表示する場合に、操作確率が最も高い候補操作の入力を促す表示を対象の端末装置に入力する技術がある（例えば、下記特許文献１〜３参照。）。

特開２０１６−１８６７３４号公報 特開２０１０−１６５２２０号公報 特開２０１５−６４７１５号公報

しかしながら、従来技術では、デバイス間で表示画面を連携させる操作が煩雑であるとともに、デバイス間で連携が特定できない場合が生じた。例えば、上記モード切り替えは、ユーザが手動で切り替える必要があるため、操作が煩雑となる。

また、特許文献１の技術のように、従来のデバイス間の表示画面の連携処理では、ユーザがディスプレイ画面上に携帯端末の画面を表示させる枠を描かせる。この後、一定時間内にシェーク操作された携帯端末を枠に関連付け、枠に携帯端末の表示画面を表示させる連携処理を行う。このような連携処理では、一定時間内に複数の携帯端末がシェーク操作した場合、連携する携帯端末を特定できなくなる。

一つの側面では、本発明は、複数のデバイス間の表示画面を簡単な操作で連携できることを目的とする。

本発明の一側面によれば、表示制御方法は、表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する表示制御方法において、前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、一定時間内に複数の前記端末から前記操作対象オブジェクトを出力する特定操作を検出した場合、再度の前記特定操作を促すガイドを通知する、処理をコンピュータが実行することを要件とする。

本発明の一態様によれば、デバイス間の表示画面を簡単な操作で連携できるという効果を奏する。

図１は、実施の形態にかかる情報処理装置によるデバイス間の表示画面の連携処理を説明する図である。 図２は、実施の形態にかかる情報処理装置が利用する空間ＵＩのシステム例を示す図である。 図３は、実施の形態にかかる情報処理装置を含む空間ＵＩのシステム構成例を示す図である。 図４は、実施の形態にかかる情報処理装置のハードウェア構成例を示す図である。 図５は、一つの表示枠に対する端末の紐付けの処理例を説明する図である。 図６は、複数の表示枠に対する複数の端末の紐付けの処理例を説明する図である。 図７は、一つの表示枠に対する端末の紐付けに紐付確率を用いた処理例を説明する図である。 図８は、複数の表示枠に対する複数の端末の紐付けに紐付確率を用いた処理例を説明する図である。 図９は、実施の形態にかかる情報処理装置による複数の表示枠と複数の端末の紐付確率を説明する図表である。 図１０Ａは、実施の形態にかかる情報処理装置が扱うデータ例を示す図表である。（その１） 図１０Ｂは、実施の形態にかかる情報処理装置が扱うデータ例を示す図表である。（その２） 図１０Ｃは、実施の形態にかかる情報処理装置が扱うデータ例を示す図表である。（その３） 図１０Ｄは、実施の形態にかかる情報処理装置が扱うデータ例を示す図表である。（その４） 図１０Ｅは、実施の形態にかかる情報処理装置が扱うデータ例を示す図表である。（その５） 図１０Ｆは、実施の形態にかかる情報処理装置が扱うデータ例を示す図表である。（その６） 図１１は、端末の処理例を示すフローチャートである。 図１２は、空間ＵＩユニット装置による表示枠の検出処理例を示すフローチャートである。 図１３Ａは、実施の形態にかかる情報処理装置が行う紐付け候補の作成処理例を示すフローチャートである。（その１） 図１３Ｂは、実施の形態にかかる情報処理装置が行う紐付け候補の作成処理例を示すフローチャートである。（その２） 図１４Ａは、実施の形態にかかる情報処理装置が行う紐付け決定の作成処理例を示すフローチャートである。 図１４Ｂは、実施の形態にかかる情報処理装置が紐付け決定時に参照する紐付確率の例を示す図表である。 図１５は、実施の形態にかかる情報処理装置が行うガイドのメッセージ表示処理例を示すフローチャートである。 図１６は、空間ＵＩユニット装置の処理例を示すフローチャートである。 図１７は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その１） 図１８は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その２） 図１９は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その３） 図２０は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その４） 図２１は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その５） 図２２は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その６） 図２３は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その７） 図２４は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その８） 図２５は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その９） 図２６は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その１０） 図２７は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その１１） 図２８は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。（その１２） 図２９は、従来技術による表示枠と端末との連携の問題を説明する図である。

（実施の形態）
以下に図面を参照して、開示の表示制御方法、表示制御プログラムおよび情報処理装置の実施の形態を詳細に説明する。

図１は、実施の形態にかかる情報処理装置によるデバイス間の表示画面の連携処理を説明する図である。実施の形態の情報処理装置は、ユーザの協働作業等で空間ＵＩのディスプレイに端末の画面を表示させる際、ユーザが端末の画面をディスプレイに表示する画面共有の要求（例えば、端末のシェーク操作等）の特定の操作を受ける。これにより、ディスプレイの表示枠に表示する操作対象オブジェクトとして端末が出力する画面を特定する。

また、情報処理装置は、一定時間内に複数の端末のシェーク操作があった場合、操作対象オブジェクトに関連付ける端末を特定できないため、ディスプレイ上で再度、端末のシェークを促すガイドを表示させる。これにより、操作対象オブジェクトに関連付ける端末が特定（紐付け）できない状態のままとなることを防ぐ。そして、複数のユーザの端末のうち特定した端末の小さな画面を大型のディスプレイに表示でき、ディスプレイに表示された端末の画像を複数のユーザで各種共有の操作を行うことができるようになる。

図１の構成例に示すように、デバイスの表示画面の連携を制御する情報処理装置１００には、ディスプレイ１１０と、端末１２０とが接続される。ディスプレイ１１０は、例えば、教室や会議室等の部屋のテーブルや壁等に設置され、端末１２０を携帯する複数のユーザが会議等での業務時に共有する表示画面１１１を表示する。実施の形態のディスプレイ１１０は、タッチパネルであり、ディスプレイ１１０の表示画面上でのタッチ操作を検出し、情報処理装置１００に出力する。

複数のユーザは、それぞれスマートフォン等の端末１２０（１２０ａ，１２０ｂ）を携帯保持し、ネットワークＮＷ、例えば、無線ＬＡＮ等のローカルネットワークを介して端末１２０の画面を情報処理装置１００に出力可能である。情報処理装置１００は、ユーザによる所定の操作により、端末１２０の画面（図示の例では、端末１（１２０ａ）に表示されている画面１（１２１）をディスプレイ１１０の表示画面１１１に表示させる連携処理を制御する。

表示画面１１１は、例えば疑似的なデジタル模造紙の表示を行う模造紙アプリケーション（模造紙アプリ）である。空間ＵＩのシステム（例えば情報処理装置１００）が模造紙アプリをプログラム実行し、会議室のテーブル上等に設けたタッチパネルがデジタル模造紙の表示画面１１１を表示する。

端末１（１２０ａ）の画面１（１２１）をディスプレイ１１０の表示画面１１１に表示することで、ディスプレイ１１０上の表示画面１１１を介して複数のユーザが端末１（１２０ａ）に表示されている画面１（１２１）を見ることができる。また、端末１（１２０ａ）のデータ利用等の操作を行える（画面の共有と称す）。

情報処理装置１００は、端末１２０による画面共有の特定の操作を受けて画面の共有にかかる制御を行う。実施の形態では、画面共有の特定の操作は、ユーザにより端末１２０をシェーク（振る）した場合である。端末１２０は、加速度センサ等を内蔵し、シェーク操作を検出する。また、端末１２０の表示アプリケーションは、シェーク操作時に情報処理装置１００に対して、端末１２０上で表示している画面（操作対象オブジェクト）をディスプレイ１１０上に表示させるための画面共有の要求を出力する。ここで、端末１２０は、画面共有の特定の操作として、上記シェーク操作に限らず、端末１２０を特定の状態、例えば、端末１２０の背面を上にしてテーブル等に置いた場合や、予め割り当て設定した特定のキー操作時に、画面共有の要求を出力してもよい。

また、情報処理装置１００は、ディスプレイ１１０から端末１２０の画面共有のエリア（表示枠）の指定の情報が入力される。画面共有を行おうとするユーザがディスプレイ１１０の表示画面１１１上で所定の表示枠１１２をタッチペン等で描画した場合、情報処理装置１００は、略四角形状に閉じられた部分を表示枠１１２として検出する。そして、情報処理装置１００は、表示画面１１１の全体エリアのうち、この表示枠１１２のエリアを画面の共有のエリアとして設定する。

なお、表示枠１１２の枠形成は、ユーザがタッチペンで描画して形成するに限らず、ユーザがマウスやキーボード等で枠形成してもよい。さらには、情報処理装置１００（あるいは空間ＵＩユニット装置３０１）が予め各種大きさの表示枠１１２の枠情報を保持しておき、ユーザが所望する大きさの枠情報を選択することとしてもよい。

表示枠１１２は、例えば、疑似的なデジタルカードに相当し、情報処理装置１００は、デジタル模造紙の表示画面１１１の表示枠１１２部分に、所定のユーザ（端末１２０）の画面をカードとして表示する。これにより、会議等で複数のユーザが机に着席している状態で、各ユーザが画面の共有を行っている表示画面１１１（デジタル模造紙）の表示枠１１２部分に、あるユーザの端末１２０の画面を取り込み表示させることができる。この状態で、表示枠１１２に表示されているあるユーザの端末１２０の画面についても画面の共有を行うことができる。

表示枠１１２は、例えばデジタルカードの表示を行うカードアプリケーション（カードアプリ）である。空間ＵＩのシステム（例えば情報処理装置１００）がカードアプリをプログラム実行し、空間ＵＩのシステムのカメラが会議室のテーブル上等でのタッチペンの軌跡を検出し、タッチパネルが検出した軌跡に相当する表示枠１１２を表示画面１１１内に表示する。

ここで、ユーザによる画面の共有の操作時の情報処理装置１００の制御例を説明する。例えば、図１に示す端末１（１２０ａ）のユーザが端末１（１２０ａ）上で表示している画面１（１２１）と同じ表示内容の画面をディスプレイ１１０の表示画面１１１上（表示枠１１２部分）に表示する場合を説明する。

この場合、はじめに、ユーザは、ディスプレイ１１０の表示画面１１１上でタッチペン等により任意の大きさの表示枠１１２を描画する。ディスプレイ１１０は、表示画面１１１上でタッチペンのタッチ位置を検出し、表示枠１１２に相当する閉じた線分を連続検出し、情報処理装置１００に出力する。これにより、情報処理装置１００は、表示画面１１１上での表示枠１１２の位置を時期ｔ０に設定する。時期ｔ０は、例えば、閉じた線分として表示枠１１２が描画された時刻である。

そして、情報処理装置１００は、表示枠１１２部分の画面の共有を行う端末１２０からの画面共有の要求の入力を一定時間（タイマー時間）Ｔの間待つ。一定時間Ｔは、表示枠１１２が描画された時期ｔ０を開始タイミングとして計測される。

そして、表示枠１１２を描画したユーザが画面共有のために、携帯する端末１（１２０ａ）をシェーク操作したとする。これにより、端末１（１２０ａ）は、シェーク操作に基づき、画面共有の要求を情報処理装置１００に出力する。

情報処理装置１００は、一定時間Ｔ内の時期ｔ１で端末１（１２０ａ）がシェーク操作されたことにより、端末１（１２０ａ）からの画面共有の要求を許可（ＯＫ）する。この後、情報処理装置１００は、端末１（１２０ａ）から出力される画面１（１２１）の表示データをディスプレイ１１０の表示画面１１１内の表示枠１１２部分に表示する。

情報処理装置１００は、一定時間Ｔ内において、複数の画面共有の要求がない場合、すなわち、一つの端末１（１２０ａ）からのみ画面共有の要求があった場合、一定時間Ｔの経過時（時期ｔ３）に端末１（１２０ａ）からの画面共有の要求を許可（ＯＫ）する。この際、表示枠１１２に画面を表示する端末が端末１（１２０ａ）と紐付け、端末１（１２０ａ）から出力される表示データをディスプレイ１１０の表示枠１１２部分に表示させる。

次に、情報処理装置１００が行う一定時間Ｔ内に複数の画面共有の要求があった場合の制御について説明する。上記同様に、一定時間Ｔ内の時期ｔ１で端末１（１２０ａ）がシェーク操作され、端末１（１２０ａ）が画面共有の要求を出力したとする。そして、この一定時間Ｔ内の時期ｔ２で端末２（１２０ｂ）がシェーク操作され、端末２（１２０ｂ）が画面共有の要求を出力したとする。

情報処理装置１００は、一定時間Ｔ内に複数の端末１，２（１２０ａ，１２０ｂ）から画面共有の要求を受けると、表示枠１１２に画面を表示する端末１２０が端末１（１２０ａ）であるか端末２（１２０ｂ）であるかを特定できない（ＮＧ）と判断する。そして、情報処理装置１００は、表示枠１１２に画面を表示する端末１２０を特定するための案内（ガイド）１１３をディスプレイ１１０の表示画面１１１上の所定位置（例えば、表示枠１１２上）に表示させる。ガイド１１３は、例えば、「再度振って下さい」とユーザに通知する。

本来、端末１（１２０ａ）のユーザが画面共有するために、ディスプレイ１１０上で表示枠１１２を描画し、その後、端末１（１２０ａ）をシェーク操作したとする。しかし、一定時間Ｔ内で他の端末２（１２０ｂ）のユーザが端末２（１２０ｂ）をシェーク操作した場合、上記のように表示枠１１２の表示する端末１２０を特定できなくなる。この状態は、端末２（１２０ｂ）のユーザが、画面共有の意思がないものの、一定時間Ｔ内で端末２（１２０ｂ）をシェーク操作してしまった場合等に生じる。例えば、端末２（１２０ｂ）のユーザが会議室内で移動した際に端末２（１２０ｂ）がこの移動による振動をシェーク操作と判断した場合等がある。

この場合、情報処理装置１００は、ディスプレイ１１０の表示枠１１２部分にガイド１１３を案内表示する。そして、ガイド１１３の表示を開始タイミングとした一定時間Ｔ内に一つの端末１（１２０ａ）のみシェーク操作されたとする。この場合、情報処理装置１００は、一定時間Ｔ経過時に、端末１（１２０ａ）からの画面共有の要求を許可（ＯＫ）し、ディスプレイ１１０の表示画面１１１の表示枠１１２部分に端末１（１２０ａ）の表示データを表示させる。

なお、ガイド１１３の案内後の一定時間Ｔ内に端末１，２（１２０ａ，１２０ｂ）から画面共有の要求を受けた場合には、再度、表示画面１１１上でガイド１１３を表示させることを繰り返す。

このように、情報処理装置１００は、複数のユーザによる共有の表示画面１１１上に表示させる操作対象オブジェクト（端末１（１２０ａ）の画面１）を一定時間Ｔを用いて特定する。そして、情報処理装置１００は、一定時間Ｔ内で本来の画面共有を要求した端末１（１２０ａ）のみがシェーク操作されたときには、この端末１（１２０ａ）の画面１（１２１）を表示枠１１２に紐付け、表示枠１１２に画面１（１２１）を表示する。

一方、情報処理装置１００は、一定時間Ｔ内で端末１（１２０ａ）以外の他の端末２（１２０ｂ）もシェーク操作され、画面共有の要求が複数入力された場合、表示枠１１２に対する操作対象オブジェクトに対する紐付けが特定できないと判断する。この場合、情報処理装置１００は、表示枠１１２に対する操作対象オブジェクトの紐付けを行わず、誤った操作対象オブジェクトを紐付けすることを防ぐ。そして、情報処理装置１００は、ディスプレイ１１０の表示画面１１１にガイド１１３を表示し、ユーザに対し再度のシェーク操作を通知する。一定時間Ｔ内で一つの端末１２０（端末１（１２０ａ）のみのシェーク操作がされることで、端末１（１２０ａ）の画面１（１２１）を表示枠１１２に紐付け、表示枠１１２に画面１（１２１）を表示する。

上記の処理では、表示画面１１１上に一つの表示枠１１２を描画した場合の例を説明した。これに限らず、情報処理装置１００は、表示画面１１１上に複数の表示枠１１２を描画した場合においても、上記同様の処理により各表示枠１１２に画面を表示する端末１２０の操作対象オブジェクトを紐付けることができる。また、情報処理装置１００は、表示枠１１２を描画した後、ユーザが端末１２０をシェーク操作するまでの所要時間別の確率を紐付確率モデルとして事前に設定保持しておく。そして、表示枠１１２の描画後、実際に端末１２０がシェーク操作された時期に基づいて、表示枠１１２に対する操作対象オブジェクトの紐付確率を算出し、紐付けを行うこともできる。これらの処理の詳細は後述する。

上記処理により、複数のユーザが協働作業等でディスプレイ１１０の表示画面１１１上にユーザが描画した表示枠１１２部分にあるユーザの端末１２０の画面（操作対象オブジェクト）を表示させることができる。これにより、端末１２０の小さな画面を大きなディスプレイ１１０上に表示でき、複数のユーザが上記画面の共有を行うことができる。

この際、情報処理装置１００は、端末１２０をシェーク操作した際の画面共有の要求により、端末１２０の操作対象オブジェクトを表示枠１１２に紐付けて表示させる。また、ユーザが表示枠を描画した後、複数の端末１２０からのシェーク操作があった場合には、表示枠１１２に紐付ける端末１２０を特定できないため、ガイド１１３を表示して、ユーザに対し再度のシェーク操作を通知する。これにより、複数の端末のシェーク操作により、表示枠に対する操作対象オブジェクトの紐付けが特定できなくなることを防ぎ、表示枠１１２に対し所望するユーザの端末１２０の画面（操作対象オブジェクト）を適切に紐付け、表示できるようになる。

図２は、実施の形態にかかる情報処理装置が利用する空間ＵＩのシステム例を示す図である。上記の情報処理装置１００は、空間ＵＩのシステムの各装置に接続され、空間ＵＩのシステムの各装置を介して上述した表示枠に対する操作対象オブジェクトの紐付けの制御を行う。

図２を用いて空間ＵＩのシステムとして用いる各装置例を説明する。会議室等の部屋のテーブル（机）ＴＢが設置され、このテーブルＴＢ上にタッチパネル１１１ａを配置し、上記の表示画面１１１を表示する。タッチパネル１１１ａは、会議に参加したユーザＵが操作するタッチペン２０１を操作して上記の表示枠１１２の描画を検出する。

情報処理装置１００は、タッチパネル１１１ａに対し表示画面１１１および表示枠１１２の表示データを出力する。また、情報処理装置１００は、タッチペン２０１から表示枠１１２の描画時の座標位置が入力され、この座標位置に対応する表示枠１１２の表示データをタッチパネル１１１ａに表示出力する。

また、表示画面１１１は、プロジェクタによる投影表示でもよく、この場合、プロジェクタで投影表示された表示画面１１１上での表示枠１１２の描画の座標位置は、テーブルＴＢを撮影するカメラの撮影画像であってもよい。この場合、空間ＵＩのシステムの装置、あるいは情報処理装置１００は、カメラの撮影画像を画像処理して表示枠１１２の形成状態を検出できる。

表示画面１１１は、複数のユーザが画面の共有を行うための表示体であり、テーブルＴＢに限らず、壁にタッチパネル１１１ｂを設置してもよいし、プロジェクタを用いて投影表示させてもよい。また、表示画面１１１は、テーブルＴＢと壁にそれぞれ設置したタッチパネル１１１ａ，１１１ｂであってもよい。

図３は、実施の形態にかかる情報処理装置を含む空間ＵＩのシステム構成例を示す図である。図３において、上述した情報処理装置１００は、空間ＵＩのシステムの各装置にネットワークＮＷを介して接続される。

ネットワークＮＷには、端末１２０および空間ＵＩユニット装置（ＰＣ）３０１が接続され、情報処理装置１００は、これら端末１２０および空間ＵＩユニット装置３０１との間でデータを入出力する。空間ＵＩユニット装置３０１は、例えば、会議室等、所定の空間（部屋等のエリア）毎に設けられ、図３の例では、複数の部屋に対応して複数ｎの空間ＵＩユニット装置３０１ａ〜３０１ｎが設けられる。

一つの空間ＵＩユニット装置３０１には、タッチ検出デバイス（上記タッチペン２０１）、表示デバイス（上記ディスプレイ１１０、タッチパネル１１１）が接続される。空間ＵＩユニット装置３０１は、枠検出部３１１、枠送信部３１２、空間ＵＩ部３１３を含む。

空間ＵＩ部３１３は、汎用の空間ＵＩ技術、例えば、ディスプレイ１１０に対する表示データの送信、およびタッチペン２０１が検出したタッチ操作時の座標位置のデータ受信、にかかるアプリケーションをプログラム実行する。そして、空間ＵＩ部３１３は、これらのデータを、ネットワークＮＷを介して情報処理装置１００との間で送受信する。加えて、実施の形態では、空間ＵＩ部３１３は、表示枠１１２に紐付けられた端末１２０との間でのデータの送受信を行う。例えば、空間ＵＩ部３１３は、情報処理装置１００の連携ペアテーブル３５２から表示枠１１２に紐付けられた端末１２０を特定し、特定した端末１２０の画面を表示枠１１２に表示する制御を行う。

枠検出部３１１と枠送信部３１２は、空間ＵＩ技術のアプリケーションの一つとして上述した画面の共有にかかるアプリケーションをプログラム実行する。枠検出部３１１は、タッチペン２０１のタッチ操作時で検出した座標位置の軌跡に基づき、一つの閉じた枠（表示枠１１２）の形成状態を判断する。

例えば、枠検出部３１１は、ディスプレイ１１０上でのタッチペン２０１のタッチポイントを検出し、既に追跡中の軌跡の延長線上にある場合、その軌跡の続きと見なして軌跡を延長する。また、どの軌跡の延長でもない、新しいタッチポイントは、新規軌跡としてメモリ上に記憶しておく。一方、追跡している軌跡は続きがない場合、タッチアップ（タッチ操作終了）と見なして、軌跡をメモリから消す。

そして、枠検出部３１１は、表示枠１１２の形成を判断した場合、枠検出部３１１は、表示枠１１２全体の座標位置を検出し、枠送信部３１２を介して表示枠１１２の枠情報を情報処理装置１００に出力する。例えば、表示枠１１２全体の連続した線分の座標位置、あるいは対角線上の異なる２点の座標位置を情報処理装置１００に出力する。

これにより、情報処理装置１００は、連続した線分の座標位置により図１に示したような手書き状の表示枠１１２の画像データを生成することができる。また、情報処理装置１００は、異なる２点の座標位置の入力に基づいて、四角形状の表示枠１１２の画像データを生成することもできる。

一つの空間ＵＩユニット装置３０１が管理する一つの部屋等のエリアには、複数ｎのユーザが会議等で集合し、複数の端末１２０（１２０ａ〜１２０ｎ）が位置する。端末１２０は、例えば、スマートフォン等の通信機能および各種アプリケーションが実装され、アプリケーションの一つとして上述した画面の共有にかかるアプリケーションが実装されている。

この端末１２０は、加速度センサ３２１、シェーク検出部３２２、シェーク送信部３２３を含む。シェーク検出部３２２とシェーク送信部３２３は、画面の共有にかかるアプリケーションに相当しプログラム実行される。そして、ユーザが端末１２０をシェーク操作すると、加速度センサ３２１がこのシェーク操作に対応した加速度を検出する。

シェーク検出部３２２は、検出した加速度に基づき、端末１２０がシェーク操作されたか否かを判断する。シェーク操作は、例えば、ユーザが端末１２０を縦横に数回振る動作である。シェーク検出部３２２は、シェーク操作による加速度の振幅（端末１２０の動きの値）が一定値以上の場合、端末１２０がシェーク操作されたと判断し、上記の画面共有の要求をシェーク送信部３２３からネットワークＮＷを情報処理装置１００に出力（送信）する。

情報処理装置１００は、制御部３３０、シェーク受信部３４１、枠受信部３４２、ガイド表示送信部３４３、ガイド表示受信部３４４、紐付け候補テーブル３５１、連携ペアテーブル３５２、ガイド窓管理テーブル３５３、を含む。

制御部３３０は、情報処理装置１００全体を制御し、紐付け候補作成部３３１、紐付け決定部３３２、ガイドメッセージ表示部３３３、を含む。これら紐付け候補作成部３３１、紐付け決定部３３２、ガイドメッセージ表示部３３３は、それぞれの機能を有するアプリケーションからなる。

紐付け候補作成部３３１は、表示枠１１２に表示する操作対象オブジェクトを送信するデバイス（端末１２０）の候補を判断し、紐付け候補テーブル３５１に紐付けの候補の情報を格納する。紐付け候補作成部３３１は、この候補判断の際、空間ＵＩユニット装置３０１から送信される枠情報と、端末１２０のシェーク操作時の画面共有の要求を用いる。そして、紐付け候補作成部３３１は、複数の表示枠１１２と、複数の端末１２０をそれぞれペアリングして、紐付けの確率（紐付確率）をそれぞれ算出し、紐付け候補テーブル３５１に格納する。

例えば、紐付け候補作成部３３１は、新しい表示枠１１２に対して、所定期間のタイマー起動でカウントを開始し、タイムアウトまでの期間に、シェーク操作された端末１２０がある場合、端末１２０の紐付確率を紐付け候補テーブル３５１に格納する。

また、紐付け候補作成部３３１は、既に表示中の表示枠１１２のタイムアウトが生じた場合、紐付け候補テーブル３５１から該当の表示枠１１２を削除する。一方、既に表示中の表示枠１１２がタイムアウトになっていない場合、シェーク操作された端末１２０との紐付確率を算出して紐付け候補テーブル３５１に格納する。

紐付け決定部３３２は、紐付け候補テーブル３５１から紐付けの候補を読み出し、表示枠１１２に表示する操作対象オブジェクトを送信するデバイス（端末１２０）の紐付けを決定する。紐付け決定部３３２は、決定した端末１２０と、表示枠１１２とを紐付けた連携ペアの情報を連携ペアテーブル３５２に格納する。

例えば、紐付け決定部３３２は、紐付け候補テーブル３５１から、紐付確率の最大値と２番目の最大値を読み出し、この紐付確率に基づいて表示枠１１２に対する端末１２０の紐付けを決定し、決定結果を連携ペアテーブル３５２に書き込む。また、紐付け決定部３３２は、紐付けを決定できない場合、ガイド１１３のメッセージをガイド表示送信部３４３に書き込む。

ガイドメッセージ表示部３３３は、ディスプレイ１１０に対するガイド１１３の通知（表示）を制御する。上述したように、ガイド１１３は、複数の端末１２０がシェーク操作された場合に、表示枠１１２に表示する操作対象オブジェクトを特定できない場合に、空間ＵＩユニット装置３０１を介してディスプレイ１１０にガイド１１３を表示する。ガイドメッセージ表示部３３３は、ディスプレイ１１０上に表示するガイド１１３の表示の情報をガイド窓管理テーブル３５３に格納する。

例えば、ガイドメッセージ表示部３３３は、ガイド表示送信部３４３からガイド１１３のメッセージを読み込み、例えば、「表示」の指示であれば、空間ＵＩユニット装置３０１を介してディスプレイ１１０上に所定のガイド１１３のメッセージを表示する。また、ガイドメッセージ表示部３３３は、ガイド表示送信部３４３からガイド１１３のメッセージが「消去」の指示であれば、ディスプレイ１１０上に表示されているガイド１１３のメッセージを消去する制御を行う。

空間ＵＩユニット装置３０１の枠送信部３１２、端末１２０のシェーク送信部３２３、情報処理装置１００のシェーク受信部３４１、枠受信部３４２、ガイド表示送信部３４３、ガイド表示受信部３４４は、イベント送受信のメッセージキュー（ＭＱ）である。

そして、端末１２０のシェーク送信部３２３と、情報処理装置１００のシェーク受信部３４１は、端末１２０のシェーク検出部３２２と、情報処理装置１００の紐付け候補作成部３３１との間のメッセージの送受信を行う。また、空間ＵＩユニット装置３０１の枠送信部３１２と、情報処理装置１００の枠受信部３４２は、空間ＵＩユニット装置３０１の枠検出部３１１と、情報処理装置１００の紐付け候補作成部３３１との間のメッセージの送受信を行う。また、情報処理装置１００のガイド表示送信部３４３と、ガイド表示受信部３４４は、紐付け候補作成部３３１と、紐付け決定部３３２と、ガイドメッセージ表示部３３３との間のメッセージの送受信を行う。

図４は、実施の形態にかかる情報処理装置のハードウェア構成例を示す図である。情報処理装置１００は、例えば、図４に示すハードウェアからなる汎用のＰＣやサーバで構成することができる。

情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１、メモリ４０２、ネットワークインタフェース（ＩＦ）４０３、記録媒体ＩＦ４０４、記録媒体４０５、等を含む。４００は各部を接続するバスである。

ＣＰＵ４０１は、情報処理装置１００の全体の制御を司る制御部として機能する演算処理装置である。メモリ４０２は、不揮発性メモリおよび揮発性メモリを含む。不揮発性メモリは、例えば、ＣＰＵ４０１のプログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。揮発性メモリは、例えば、ＣＰＵ４０１のワークエリアとして使用されるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。

ネットワークＩＦ４０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークＮＷに対する通信インタフェースである。情報処理装置１００は、ネットワークＩＦ４０３を介してネットワークＮＷに通信接続し、端末１２０および空間ＵＩユニット装置３０１と通信する。

記録媒体ＩＦ４０４は、ＣＰＵ４０１が処理した情報を記録媒体４０５との間で読み書きするためのインタフェースである。記録媒体４０５は、メモリ４０２を補助する記録装置であり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュドライブ等を用いることができる。

メモリ４０２または記録媒体４０５に記録されたプログラムをＣＰＵ４０１が実行することにより、情報処理装置１００の制御部３３０の各機能（紐付け候補作成部３３１、紐付け決定部３３２、ガイドメッセージ表示部３３３）を実現することができる。また、メモリ４０２や記録媒体４０５は、情報処理装置１００が扱う情報を記録保持する。例えば、メモリ４０２や記録媒体４０５は、上記の各テーブル（紐付け候補テーブル３５１、連携ペアテーブル３５２、ガイド窓管理テーブル３５３等）の情報を保持する。また、シェーク受信部３４１、枠受信部３４２、ガイド表示送信部３４３、ガイド表示受信部３４４のキューのデータを保持する。

また、上述した端末１２０、および空間ＵＩユニット装置３０１についても、図４に示した汎用のハードウェアで構成することができる。

（表示枠に端末の画面を表示させる処理例）
次に、表示枠１１２に表示させる画面の端末１２０の紐付けを特定する情報処理装置１００の各処理例を説明する。

（処理例１：一つの表示枠に一つの端末を特定する処理例）
図５は、一つの表示枠に対する端末の紐付けの処理例を説明する図である。図５（ａ）は、一つの表示枠１１２の描画後、複数の端末１２０ａ，１２０ｂのユーザによるシェーク操作があった場合を示す。例えば、画面共有を要求するユーザが端末１２０ａのユーザであるとし、この端末１２０ａのユーザがディスプレイ１１０上でタッチペンを操作し、表示枠１１２を描画したとする（時期ｔ０）。

これにより、情報処理装置１００は、時期ｔ０から一定時間Ｔの間、画面共有の要求の入力を待つ。この一定時間Ｔの間、端末１２０ａのユーザが端末１（１２０ａ）をシェーク操作したとする（時期ｔ１）。ここで、この一定時間Ｔの間、端末２（１２０ｂ）のユーザも端末２（１２０ｂ）をシェーク操作したとする（時期ｔ２）。端末２（１２０ｂ）のユーザは、画面共有の要求ではなく、席の移動などにより不本意に端末２（１２０ｂ）をシェーク操作相当で振動させたとする。

このように、情報処理装置１００は、一定時間Ｔ内に複数の端末１，２（１２０ａ，１２０ｂ）からシェーク操作（画面共有の要求）を受けたとする。この場合、情報処理装置１００は、表示枠１１２に画面を表示する端末１２０が端末１（１２０ａ）であるか端末２（１２０ｂ）であるかを特定できない（ＮＧ）と判断する。

この場合、図５（ｂ）に示すように、情報処理装置１００は、画面の共有の要求を行った端末１２０ａにユーザに対し、再度のシェーク操作を通知するガイド１１３をディスプレイ１１０の表示画面１１１上の所定位置（例えば、表示枠１１２上）に表示させる。

そして、情報処理装置１００は、ガイド１１３の表示の開始時期（ｔ４）から一定時間Ｔの間、再度の画面共有の要求の入力を待つ。この一定時間Ｔの間に、本来の画面の共有のユーザのみ、端末１（１２０ａ）をシェーク操作したとする（時期ｔ５）。これにより、情報処理装置１００は、一定時間Ｔ経過時（時期ｔ６）に、端末１（１２０ａ）からの画面共有の要求を許可（ＯＫ）する。

この後、図５（ｃ）に示すように、情報処理装置１００は、ディスプレイ１１０の表示画面１１１の表示枠１１２部分に端末１（１２０ａ）の表示データを表示させる。これにより、端末１（１２０ａ）の画面を複数のユーザで共有させることができる。

なお、情報処理装置１００は、ガイド１１３の案内後の一定時間Ｔ内に再度複数の端末１２０から画面共有の要求を受けた場合には、再度、表示画面１１１上でガイド１１３を表示させることを繰り返す。

（処理例２：複数の表示枠それぞれに一つの端末を特定する処理例）
図６は、複数の表示枠に対する複数の端末の紐付けの処理例を説明する図である。図６（ａ）は、二つの表示枠１１２の描画後、複数の端末１２０のユーザによるシェーク操作があった場合を示す。例えば、端末１（１２０ａ）のユーザがディスプレイ１１０上でタッチペンを操作し、表示枠１（１１２ａ）を描画したとする（時期ｔ１０）。また、端末２（１２０ｂ）のユーザがディスプレイ１１０上でタッチペンを操作し、表示枠２（１１２ｂ）を描画したとする（時期ｔ２０）。このように、一つのディスプレイ１１０上で複数のユーザがほぼ同じ時期に端末１，２（１２０ａ，１２０ｂ）の画面の共有にかかる操作を行うことも考えられる。

このような場合において、情報処理装置１００は、表示枠１（１１２ａ）については、時期ｔ１０から一定時間Ｔの間、画面共有の要求の入力を待つ。同時に、表示枠２（１１２ｂ）についても、時期ｔ２０から一定時間Ｔの間、画面共有の要求の入力を待つ。ここで、表示枠１，２（１１２ａ，１１２ｂ）それぞれで計測する一定時間（タイマー時間）Ｔは、時間的な重なりが生じる。

そして、一定時間Ｔの間、端末１２０ａのユーザが端末１（１２０ａ）をシェーク操作したとする（時期ｔ２）。また、一定時間Ｔの間、端末２（１２０ｂ）のユーザも端末２（１２０ｂ）をシェーク操作したとする（時期ｔ３）。

このように、情報処理装置１００は、一定時間Ｔ内に複数の端末１，２（１２０ａ，１２０ｂ）からシェーク操作（画面共有の要求）を受けたとする。この場合、情報処理装置１００は、表示枠１（１１２ａ）に画面を表示する端末１２０が端末１（１２０ａ）であるか端末２（１２０ｂ）であるかを特定できない（ＮＧ）と判断する。同様に、表示枠２（１１２ｂ）に画面を表示する端末１２０が端末１（１２０ａ）であるか端末２（１２０ｂ）であるかを特定できない（ＮＧ）と判断する。

この場合、図６（ｂ）に示すように、情報処理装置１００は、いずれか一方の表示枠１１２、例えば表示枠１（１１２ａ）に対し、再度のシェーク操作を通知するガイド１１３ａを表示させる。また、他方の表示枠１１２、例えば表示枠２（１１２ｂ）には、画面共有の要求の受付の待機状態を通知するガイド１１３ｂを表示させる。待機用のガイド１１３ｂは、例えば「暫くお待ち下さい」と表示する。

これにより、情報処理装置１００は、はじめに、表示枠１（１１２ａ）に画面共有させる端末１２０を特定させた後に、表示枠２（１１２ｂ）に画面共有させる端末１２０を特定させる制御を行うことができる。

そして、情報処理装置１００は、表示枠１（１１２ａ）のガイド１１３ａの表示の開始時期（ｔ４）から一定時間Ｔの間、再度の画面共有の要求の入力を待つ。この一定時間Ｔの間に、端末１（１２０ａ）がシェーク操作された場合（時期ｔ５）、情報処理装置１００は、一定時間Ｔ経過時（時期ｔ６）、端末１（１２０ａ）からの画面共有の要求を許可（ＯＫ）する。

この後、図６（ｃ）に示すように、情報処理装置１００は、ディスプレイ１１０の表示画面１１１の表示枠１１２部分に端末１（１２０ａ）の表示データを表示させる。これにより、端末１（１２０ａ）の画面を複数のユーザで共有させることができる。

この後、情報処理装置１００は、表示枠２（１１２ｂ）に画面を表示させる端末１２０を特定する制御を行う。まず、情報処理装置１００は、表示枠２（１１２ｂ）のガイド１１３ｂ上で再度のシェーク操作を通知した後、表示枠２（１１２ｂ）のガイド１１３ｂの表示の開始時期（ｔ４に相当）から一定時間Ｔの間、再度の画面共有の要求の入力を待つ。この一定時間Ｔの間に、端末２（１２０ｂ）がシェーク操作された場合（時期ｔ５に相当）、情報処理装置１００は、一定時間Ｔ経過時（時期ｔ６に相当）、端末１（１２０ａ）からの画面共有の要求を許可（ＯＫ）する。これにより、ディスプレイ１１０の表示画面１１１の表示枠２（１１２ｂ）部分に端末２（１２０ｂ）の表示データを表示させ、端末１（１２０ａ）の画面を複数のユーザで共有させることができる。

（処理例３：紐付確率を用いて表示枠に端末を特定する処理例）
以下の例では、予め表示枠１１２に対する端末１２０毎の紐付確率を情報処理装置１００に保持しておく。そして、情報処理装置１００は、実際に表示枠１１２が描画された際、紐付確率を算出して表示枠１１２に表示する端末１２０の紐付けを特定する。

ユーザが表示枠１１２を一つだけ描画開始した時期から、ユーザが実際に端末１２０をシェーク操作するまでの所要時間別の確率を、例えば正規分布でモデリングし、情報処理装置１００に紐付確率モデルとして保持しておく。そして、情報処理装置１００は、この紐付確率モデルを用い、ユーザが実際に表示枠１１２を描画後、シェーク操作した時点での紐付確率を算出し、表示枠１１２に紐付ける端末１２０を紐付確率に基づき特定する。

そして、情報処理装置１００は、表示枠１１２が描画された後に、ほぼ同時に（例えば、一定時間Ｔ程度の所定期間内で）複数の端末１２０からのシェーク操作を検知したとする。この場合には、最も高い確率のものであり、かつ、次に高い（２番目に高い）確率との差が一定閾値以上の場合、最も高い紐付確率を持つ端末１２０を表示枠１１２に紐付けるペアとして特定する。２番目に高い紐付確率との差が一定閾値以下、つまり、判別しにくい場合、情報処理装置１００は、上記同様にガイド１１３を表示し、再度のシェーク操作をユーザに通知する。

図７は、一つの表示枠に対する端末の紐付けに紐付確率を用いた処理例を説明する図である。図７（ａ）は、一つの表示枠１１２の描画後、複数の端末１２０ａ，１２０ｂのユーザによるシェーク操作があった場合を示す。例えば、画面共有を要求するユーザが端末１２０ａのユーザであるとし、この端末１２０ａのユーザがディスプレイ１１０上でタッチペンを操作し、表示枠１１２を描画したとする（時期ｔ０）。

これにより、情報処理装置１００は、予め保持した紐付確率を参照する。図示の紐付確率の分布は横軸が時刻、縦軸が確率である。紐付確率は、時期ｔ０を開始時期として、ユーザが実際に端末１２０をシェーク操作するまでの時期（時刻）別の確率の分布特性を有する。ユーザが実際にシェーク操作（画面共有を要求）した時期に基づいて、表示枠１１２に紐付ける端末１２０を特定する。

紐付確率は、確率が最も高いピークが時期ｔ１１であるとする。例えば、この時期ｔ１１で端末１２０ａのユーザが端末１（１２０ａ）をシェーク操作したとする。この場合、情報処理装置１００は、検出した時期ｔ１１でのシェーク操作時の確率から所定値ｈだけ下がった確率（例えば３０％減少）した時期ｔ１２までの間（後判定期間Ｔｆ）に、他の端末２（１２０ｂ）からのシェーク操作を検出しなかったとする。例えば、端末２（１２０ｂ）は、時期ｔ１２後の時期ｔ２１でシェーク操作されたとする。

この場合、時期ｔ１２において、表示枠１１２に画面を表示する端末１（１２０ａ）を特定できる。このように、紐付確率を用いることで、時期（時期ｔ１２）に端末１（１２０ａ）を特定でき（ＯＫ）、短時間に画面の共有を行えるようになる。参考までに、上記タイマー時間（一定時間）Ｔを記載してあるが、上記紐付確率を用いた処理によれば、一定時間Ｔの満了（図５の時期ｔ６相当）を待たずに、より早い時期（時期ｔ１２）で表示枠１１２に紐付ける端末１（１２０ａ）を特定できることになる。

一方、他の端末２（１２０ｂ）が時期ｔ１２よりも以前の時期にシェーク操作されたとする。この場合、情報処理装置１００は、表示枠１１２に画面を表示する端末１２０が端末１（１２０ａ）であるか端末２（１２０ｂ）であるかを特定できない（ＮＧ）と判断する。

この場合、図７（ｂ）に示すように、情報処理装置１００は、再度のシェーク操作を通知するガイド１１３をディスプレイ１１０の表示画面１１１（表示枠１１２）に表示させる。

そして、情報処理装置１００は、ガイド１１３の表示の開始時期ｔ４から再度、紐付確率を参照し、再度のシェーク操作（画面共有の要求）の入力を待つ。ここで、再度端末１（１２０ａ）が時期ｔ５でシェーク操作されたとする。このシェーク操作（時期ｔ５）を中心とした前判定期間Ｔｐおよび後判定期間Ｔｆ範囲内に他の端末１２０（端末１２０ｂ）のシェーク操作がなかったとする。加えて、確率のピーク値（時期ｔ６）を中心とした前判定期間Ｔｐおよび後判定期間Ｔｆ範囲内に他の端末１２０（端末１２０ｂ）のシェーク操作がなかったとする。この場合、情報処理装置１００は、時期ｔ６から後判定期間Ｔｆ経過時で表示枠１１２に紐付ける端末１（１２０ａ）を特定できることになる。

この後、図７（ｃ）に示すように、情報処理装置１００は、ディスプレイ１１０の表示画面１１１の表示枠１１２部分に端末１（１２０ａ）の表示データを表示させる。これにより、端末１（１２０ａ）の画面を複数のユーザで共有させることができる。

上記の処理例では、端末１（１２０ａ）のシェーク操作時（時期ｔ１１）の後に、端末２（１２０ｂ）のシェーク操作（時期ｔ２１）が行われた場合の処理例を示した。これに限らず、端末１（１２０ａ）のシェーク操作時（時期ｔ１１）の前の時期に、端末２（１２０ｂ）のシェーク操作が行われた場合であっても、同様に処理できる。

例えば、端末１（１２０ａ）のシェーク操作時（時期ｔ１１）を基準として以前の時刻範囲のうち、所定値下がる確率（例えば３０％減少）に相当する前判定期間Ｔｐ内で端末２（１２０ｂ）のシェーク操作が行われたとする。この場合、情報処理装置１００は、表示枠１１２に紐付ける端末１２０を特定できず、再度のシェーク操作を通知するガイド１１３をディスプレイ１１０の表示画面１１１（表示枠１１２）に表示させる。一方、前判定期間Ｔｐよりもさらに以前の時期の端末２（１２０ｂ）の操作であれば、表示枠１１２に対する端末１（１２０ａ）の紐付けを特定できることになる。

（処理例４：紐付確率を用いて複数の表示枠それぞれに一つの端末を特定する処理例）
図８は、複数の表示枠に対する複数の端末の紐付けに紐付確率を用いた処理例を説明する図である。図８（ａ）は、二つの表示枠１１２の描画後、複数の端末１２０のユーザによるシェーク操作があった場合を示す。例えば、端末１（１２０ａ）のユーザがディスプレイ１１０上でタッチペンを操作し、表示枠１（１１２ａ）を描画したとする（時期ｔ１０）。また、端末２（１２０ｂ）のユーザがディスプレイ１１０上でタッチペンを操作し、表示枠２（１１２ｂ）を描画したとする（時期ｔ２０）。

これにより、情報処理装置１００は、予め保持した紐付確率を参照し、各ユーザが実際にシェーク操作（画面共有を要求）した時期に基づいて紐付確率を算出し、表示枠１１２に紐付ける端末１２０を特定する。

ここで、表示枠１（１１２ａ）については、端末１（１２０ａ）がシェーク操作された時期ｔ２での確率のほうが、端末２（１２０ｂ）がシェーク操作された時期ｔ３での確率よりも高い。加えて、端末１（１２０ａ）の後判定期間Ｔｆ内で端末２（１２０ｂ）がシェーク操作されている（時期ｔ３）。この場合、情報処理装置１００は、表示枠１（１１２ａ）に紐付ける端末１２０を特定できない（ＮＧ）と判断する。

また、表示枠２（１１２ｂ）については、端末２（１２０ｂ）がシェーク操作された時期ｔ３での確率のほうが、端末１（１２０ａ）がシェーク操作された時期ｔ３での確率よりも高い。加えて、端末２（１２０ｂ）の前判定期間Ｔｐ内で端末１（１２０ａ）がシェーク操作されている（時期ｔ２）。この場合、情報処理装置１００は、表示枠２（１１２ｂ）に紐付ける端末１２０を特定できない（ＮＧ）と判断する。

この場合、図８（ｂ）に示すように、情報処理装置１００は、いずれか一方の表示枠１１２、例えば表示枠１（１１２ａ）に対し、再度のシェーク操作を通知するガイド１１３ａを表示させる。また、他方の表示枠２（１１２ｂ）には、画面共有の要求の受付の待機状態を通知するガイド１１３ｂを表示させる。

これにより、情報処理装置１００は、はじめに、表示枠１（１１２ａ）に画面共有させる端末１２０を特定させた後に、表示枠２（１１２ｂ）に画面共有させる端末１２０を特定させる制御を行うことができる。

そして、情報処理装置１００は、表示枠１（１１２ａ）のガイド１１３ａの表示の開始時期（ｔ４）から再度の画面共有の要求の入力を待つ。そして、時期ｔ６までの間の後判定期間Ｔｆ内で端末１（１２０ａ）のみがシェーク操作された場合（時期ｔ５）、情報処理装置１００は、端末１（１２０ａ）の画面共有の要求を許可（ＯＫ）する。

この後、図８（ｃ）に示すように、情報処理装置１００は、ディスプレイ１１０の表示画面１１１の表示枠１（１１２ａ）部分に端末１（１２０ａ）の表示データを表示させる。これにより、端末１（１２０ａ）の画面を複数のユーザで共有させることができる。

この後、情報処理装置１００は、表示枠２（１１２ｂ）に画面を表示させる端末１２０を特定する制御を行う。まず、情報処理装置１００は、表示枠２（１１２ｂ）のガイド１１３ｂ上で再度のシェーク操作を通知した後、表示枠２（１１２ｂ）のガイド１１３ｂの表示の開始時期（ｔ４に相当）から再度の画面共有の要求の入力を待つ。そして、端末２（１２０ｂ）がシェーク操作されたとする（時期ｔ５に相当）。

このシェーク操作（時期ｔ５に相当）を中心とした前判定期間Ｔｐおよび後判定期間Ｔｆ範囲内に他の端末１２０（端末１２０ｂ）のシェーク操作がなかったとする。加えて、確率のピーク値（時期ｔ６に相当）を中心とした前判定期間Ｔｐおよび後判定期間Ｔｆ範囲内に他の端末１２０（端末１２０ｂ）のシェーク操作がなかったとする。この場合、情報処理装置１００は、時期ｔ６から後判定期間Ｔｆ経過時（時期ｔ６）で表示枠２（１１２ｂ）に紐付ける端末２（１２０ｂ）を特定できることになる。

上記処理２の実装例を以下に説明する。上記のように、互いに近い時間間隔の一定時間内に複数の表示枠１（１１２ａ）、表示枠２（１１２ｂ）を描画し、かつ複数の端末１（１２０ａ）、端末２（１２０ｂ）をシェーク操作した場合を例に説明する。

図９は、実施の形態にかかる情報処理装置による複数の表示枠と複数の端末の紐付確率を説明する図表である。縦軸は複数の表示枠１１２、横軸は複数の端末１２０である。情報処理装置１００は、処理例２の処理に基づいて、各表示枠１１２と、各端末１２０とを紐付ける紐付確率ｐをそれぞれ求める。例えば、１番高い確率と２番目に高い確率との差が一定閾値以上の場合、１番高い確率のペアの表示枠１１２と端末１２０とを対応付けることにする。

また、１番高い確率と２番目に高い確率との差が一定閾値以下、つまり、判別しにくい場合、１番高い確率の表示枠１（１１２ａ）に、例えばガイド１１３ａで「再度振って下さい」と表示する。また、他の表示枠２（１１２ｂ）に、例えばガイド１１３ｂで「暫くお待ち下さい」とメッセージを表示する。情報処理装置１００は、ガイド１１３のメッセージを表示した後に、上述の対応付け処理を続ける。

例えば、図９に示すように、１番、２番に大きい確率をそれぞれｐ（１，Ａ）、ｐ（２，Ｂ）とする（｜ｐ（１，Ａ）−ｐ（２，Ｂ）｜＜閾値）。この場合、表示枠１（１１２ａ）にガイド１１３ａで「再度振って下さい」と表示し、表示枠２（１１２ｂ）にガイド１１３ｂで「暫くお待ち下さい」と表示する。

図１０Ａ〜図１０Ｆは、実施の形態にかかる情報処理装置が扱うデータ例を示す図表である。図１０Ａには、情報処理装置１００のシェーク受信部３４１、および端末１２０のシェーク送信部３２３のメッセージキュー（ＭＱ）のデータ例を示す。シェーク受信部３４１、およびシェーク送信部３２３のメッセージキューのデータは、メッセージ格納順の番号と、メッセージ送信元の端末１２０の端末識別子（ＩＤ）、例えばＩＭＥＩと、メッセージの送信時刻と、を含む。ＩＭＥＩは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｅｑｕｉｐｍｅｎｔ Ｉｄｅｎｔｉｔｙである。

図１０Ｂには、情報処理装置１００の枠受信部３４２、および空間ＵＩユニット装置３０１の枠送信部３１２のメッセージキュー（ＭＱ）のデータ例を示す。枠受信部３４２、および枠送信部３１２のメッセージキューのデータは、メッセージ格納順の番号と、表示枠１１２の識別子（ＩＤ）と、表示枠１１２の描画の時刻と、表示枠１１２を表示する位置（座標ｘ，ｙ）とを含む。

図１０Ｃには、情報処理装置１００のガイド表示送信部３４３、ガイド表示受信部３４４のメッセージキュー（ＭＱ）のデータ例を示す。ガイド表示送信部３４３、およびガイド表示受信部３４４のメッセージキューのデータは、メッセージ格納順の番号と、ガイド１１３のメッセージのコマンド（例えばガイド１１３の「表示」あるいは「削除」）と、を含む。また、ガイド１１３の表示対象の表示枠１１２の識別子（ＩＤ）と、コマンド送信の時刻と、ガイド１１３を表示する位置（座標ｘ，ｙ）と、を含む。

図１０Ｄ〜図１０Ｆには、情報処理装置１００の各テーブルのデータ例を示す。情報処理装置１００は、上記各受信部のメッセージキュー（ＭＱ）が送受信するデータを取り込み以下の各テーブルを生成する。

図１０Ｄには、情報処理装置１００の紐付け候補テーブル３５１のデータ例を示す。紐付け候補テーブル３５１は、表示枠１１２に紐付ける端末１２０毎の候補ペア番号と、表示枠１１２の枠インデックス（図１０Ｂの番号）、端末１２０の端末インデックス（図１０Ａの番号）を含む。また、表示枠１１２の枠ＩＤ（図１０Ｂの枠ＩＤ）、端末１２０の端末ＩＤ（図１０Ａの端末ＩＤ）と、表示枠１１２の位置（図１０Ｂの位置）と、を含む。

また、紐付け候補テーブル３５１は、上記処理例１．の場合、タイマー時間Ｔ（タイマー時刻）を含む。また、上記処理例２．の場合、紐付確率ｐ（ｉ，ｊ）を含む。

図１０Ｅには、情報処理装置１００の連携ペアテーブル３５２のデータ例を示す。連携ペアテーブル３５２は、表示枠１１２に連携する端末１２０のペア毎のペア番号と、端末１２０の端末ＩＤと、表示枠１１２の位置（座標ｘ，ｙ）と、を含む。

図１０Ｆには、情報処理装置１００のガイド窓管理テーブル３５３のデータ例を示す。ガイド窓管理テーブル３５３は、ガイド１１３毎の窓番号と、ガイド１１３の表示対象の表示枠１１２の枠ＩＤと、ガイド１１３の位置（座標ｘ，ｙ）と、ガイド１１３に表示するメッセージ（表示文）と、を含む。

（システムの処理例）
次に、表示枠１１２と端末１２０との紐付けについて、端末１２０、空間ＵＩユニット装置３０１、および情報処理装置１００の各処理例を説明する。

図１１は、端末の処理例を示すフローチャートである。この図１１には、主にユーザが端末１２０をシェーク操作した際の処理を記載してある。端末１２０の制御部（ＣＰＵ）は、加速度センサ３２１のセンサデータを取得し（ステップＳ１１０１）、振幅を算出する（ステップＳ１１０２）。そして、制御部は、振幅が一定値以上であるかを判断する（ステップＳ１１０３）。

振幅が一定値以上であれば（ステップＳ１１０３：Ｙｅｓ）、制御部は、シェーク送信部（ＭＱ）３２３にシェーク操作時の各情報（図１０Ａ参照、上記画面共有の要求）を書き込み（ステップＳ１１０４）、ステップＳ１１０１の処理に戻る。一方、振幅が一定値未満であれば（ステップＳ１１０３：Ｎｏ）、ステップＳ１１０１の処理に戻る。

図１２は、空間ＵＩユニット装置による表示枠の検出処理例を示すフローチャートである。この図１２には、空間ＵＩユニット装置３０１の枠検出部３１１による表示枠１１２の枠検出処理を記載してある。空間ＵＩユニット装置３０１の制御部（ＣＰＵ）は、ディスプレイ１１０上でユーザがタッチペン２０１等を操作したタッチ位置の座標を算出する（ステップＳ１２０１）。この際、ディスプレイ１１０上でタッチペン２０１はディスプレイ１１０上で一つのタッチで連続した線分（軌跡）を描画する。対応してタッチ座標算出毎のタッチポイント数をＮとする。

次に、制御部は、タッチポイントの番号ｉ＝０（初期値）に設定し（ステップＳ１２０２）、タッチポイントｉの座標を検出する（ステップＳ１２０３）。そして、制御部は、検出したタッチポイントｉの座標が追跡中軌跡の延長線上にあるか判断する（ステップＳ１２０４）。タッチポイントｉの座標が追跡中軌跡の延長線上にあれば（ステップＳ１２０４：Ｙｅｓ）、ステップＳ１２０５の処理に移行し、タッチポイントｉの座標が追跡中軌跡の延長線上になければ（ステップＳ１２０４：Ｎｏ）、ステップＳ１２０６の処理に移行する。

ステップＳ１２０５では、制御部は、軌跡情報を更新し（ステップＳ１２０５）、ステップＳ１２０６の処理に移行する。一方、ステップＳ１２０６では、制御部は、軌跡情報に新しい軌跡を追加し、新たなＩＤを付与し（ステップＳ１２０６）、ステップＳ１２０７の処理に移行する。ステップＳ１２０７では、制御部は、タッチポイントの番号ｉを一つインクリメント（ｉ＝ｉ＋１）する（ステップＳ１２０７）。

次に、制御部は、タッチポイントの番号ｉ＞Ｎであるか判断する（ステップＳ１２０８）。タッチポイントの番号ｉ＞Ｎであれば（ステップＳ１２０８：Ｙｅｓ）、ステップＳ１２０９の処理に移行し、タッチポイントの番号ｉ≦Ｎであれば（ステップＳ１２０８：Ｎｏ）、ステップＳ１２０３の処理に戻る。

ステップＳ１２０９では、制御部は、タッチ軌跡に未更新の軌跡があるか判断する（ステップＳ１２０９）。タッチ軌跡に未更新の軌跡がなければ（ステップＳ１２０９：Ｎｏ）、タッチ終了と判断してステップＳ１２１０の処理に移行する。タッチ軌跡に未更新の軌跡があれば（ステップＳ１２０９：Ｙｅｓ）、ステップＳ１２０３の処理に戻る。

ステップＳ１２１０では、制御部は、全てのタッチ終了軌跡に対して枠判定を行う（ステップＳ１２１０）。この枠判定では、制御部は、例えば、タッチ終了した軌跡が略四角形状等で閉じていれば枠と判定し（ステップＳ１２１１：Ｙｅｓ）、ステップＳ１２１２の処理に移行する。一方、タッチ終了した軌跡が略四角形状等で閉じておらず、線形状のままであれば枠ではないと判定し（ステップＳ１２１１：Ｎｏ）、ステップＳ１２０３の処理に戻る。

ステップＳ１２１２では、制御部は、枠と判定されたタッチ終了軌跡を表示枠１１２と判断し、この表示枠１１２に関する情報（図１０Ｂ参照）を枠送信部（ＭＱ）３１２に書き込み（ステップＳ１２１２）、以上の処理を終了する。

図１３Ａ，図１３Ｂは、実施の形態にかかる情報処理装置が行う紐付け候補の作成処理例を示すフローチャートである。情報処理装置１００の制御部３３０（紐付け候補作成部３３１）が行う処理例を示す。制御部は、空間ＵＩユニット装置３０１から表示枠１１２に関する情報を受信し、端末１２０からシェーク操作（画面共有の要求）に関する情報を受信し、表示枠１１２に紐付けする端末１２０の候補の情報を作成し、紐付け候補テーブル３５１に格納する。この処理例では、上記紐付確率を用いた処理例２を示す。

はじめに、制御部は、枠受信部３４２から空間ＵＩユニット装置３０１が送信した表示枠１１２に関するメッセージを読み込む（ステップＳ１３０１）。この際、制御部は、枠数をＮとする。

次に、制御部は、受信したメッセージを紐付け待機枠リストに追加する（ステップＳ１３０２）。ここで、制御部は、既に待機中の個数をＳ個、インデックスを０〜Ｓとし、新規枠のインデックスをＳ＋１〜Ｓ＋Ｎに設定する。

次に、制御部は、シェーク受信部３４１から端末１２０が送信したシェーク操作（画面共有の要求）に関するメッセージを読み込む（ステップＳ１３０３）、ここで、制御部は、端末１２０の数をＭとする。

次に、制御部は、待機中枠インデックスｉを初期値（ｉ＝０）に初期設定する（ステップＳ１３０４）。そして、制御部は、枠ｉについてタイマー時間Ｔに関する処理を実施する（ステップＳ１３０５）。まず、枠ｉ≦Ｓであるか判断する（ステップＳ１３０６）。枠ｉ≦Ｓであれば（ステップＳ１３０６：Ｙｅｓ）、ステップＳ１３０７の処理に移行し、枠ｉ＞Ｓであれば（ステップＳ１３０６：Ｎｏ）、ステップＳ１３１７の処理に移行する。

ステップＳ１３０７では、制御部は、枠ｉにタイマー（タイマー時間Ｔ）を付与し（ステップＳ１３０７）、タイマー時刻ｔを０に初期化する（ステップＳ１３０８）。次に、端末インデックスｋを初期値（ｋ＝０）に初期設定する（ステップＳ１３０９）。そして、制御部は、端末ｋについて表示枠１１２との紐付けに関する処理を実施する（ステップＳ１３１０）。まず、表示枠１１２に関し受信したメッセージの枠ｉの作成時刻と、端末１２０に関し受信したメッセージのシェーク操作（画面共有の要求）の時刻との時間差を算出する（ステップＳ１３１１）。

次に、制御部は、紐付確率ｐ（ｉ，ｋ，ｔ）を算出し、紐付け候補テーブル３５１に追加する（ステップＳ１３１２）。そして、制御部は、端末インデックスｋをインクリメントし（ステップＳ１３１３）、ｋ＞Ｍであるか判断する（ステップＳ１３１４）。ｋ＞Ｍであれば（ステップＳ１３１４：Ｙｅｓ）、制御部は、ステップＳ１３１５の処理に移行し、ｋ≦Ｍであれば（ステップＳ１３１４：Ｎｏ）、ステップＳ１３１０の処理に戻る。

次に、制御部は、枠インデックスｉをインクリメントする（ステップＳ１３１５）。そして、制御部は、ｉ＞Ｎであるか判断する（ステップＳ１３１６）。ｉ＞Ｎであれば（ステップＳ１３１６：Ｙｅｓ）、制御部は、ステップＳ１３０５の処理に移行し、ｉ≦Ｎであれば（ステップＳ１３１６：Ｎｏ）、ステップＳ１３０１の処理に戻る。

また、ステップＳ１３１７では、制御部は、ｉ≦Ｓ＋Ｎであるか判断する（ステップＳ１３１７）。そして、ｉ≦Ｓ＋Ｎであれば（ステップＳ１３１７：Ｙｅｓ）、制御部は、ステップＳ１３１８の処理に移行し、ｉ＞Ｓ＋Ｎであれば（ステップＳ１３１７：Ｎｏ）、ステップＳ１３１９の処理に移行する。

ステップＳ１３１８では、制御部は、タイマー時刻Ｔをインクリメントする（ステップＳ１３１８）。ステップＳ１３１９では、制御部は、タイマー時間Ｔのタイムアウトか判断する（ステップＳ１３１９）。制御部は、タイムアウトであれば（ステップＳ１３１９：Ｙｅｓ）、ステップＳ１３２０の処理に移行し、タイムアウトでなければ（ステップＳ１３１９：Ｎｏ）、ステップＳ１３０９の処理に戻る。

ステップＳ１３２０では、制御部は、紐付け候補テーブル３５１から枠ｉを削除し（ステップＳ１３２０）、ガイド表示送信部３４３から枠ｉに関するメッセージを削除し（ステップＳ１３２１）、ステップＳ１３１５の処理に戻る。

図１４Ａは、実施の形態にかかる情報処理装置が行う紐付け決定の作成処理例を示すフローチャート、図１４Ｂは、実施の形態にかかる情報処理装置が紐付け決定時に参照する紐付確率の例を示す図表である。この処理例では、情報処理装置１００の制御部３３０（紐付け決定部３３２）は、紐付け候補テーブル３５１の一部として格納されている紐付確率の情報に基づき、表示枠１１２に紐付けする端末１２０を決定し、連携ペアテーブル３５２に格納する。

図１４Ｂに示す紐付確率ｐ（ｉ，ｋ，ｔ）は、縦軸は複数の端末１２０、横軸は複数の表示枠１１２からなるテーブル１４００であり、表示枠１１２の枠インデックスｉ、端末１２０の端末インデックスｋ、タイマー時間Ｔのタイマー時刻ｔの各パラメータを有する。

図１４Ａに示すように、制御部は、はじめに紐付け候補テーブル３５１を読み込む（ステップＳ１４０１）。次に、制御部は、枠インデックスｉ（＝０〜Ｓ＋Ｎ）、端末インデックスｋ（＝０，Ｍ）の全てに対して紐付確率ｐ（ｉ，ｋ，ｔ）の最大値と２番目の最大値を抽出する（ステップＳ１４０２）。

次に、制御部は、紐付確率ｐ（ｉ，ｋ，ｔ）の最大値と２番目の最大値の差ｄを計算し、最大値ペア（表示枠１１２と端末１２０のペア）を＜ｉ１，ｋ１＞とする（ステップＳ１４０３、図１５参照）。

次に、制御部は、差ｄが所定の閾値以上であるか判断する（ステップＳ１４０４）。差ｄが所定の閾値以上であれば（ステップＳ１４０４：Ｙｅｓ）、制御部は、ステップＳ１４０５の処理に移行し、差ｄが所定の閾値未満であれば（ステップＳ１４０４：Ｎｏ）、ステップＳ１４０７の処理に移行する。

ステップＳ１４０５では、制御部は、枠ｉ１の番号の表示枠１１２に対し、中央位置座標にガイド１１３として「再度振って下さい」とのメッセージをガイド表示送信部３４３に追加する（ステップＳ１４０５）。そして、制御部は、枠ｉ１以外の枠の番号の表示枠１１２に対し、中央位置座標にガイド１１３として「暫くお待ち下さい」とのメッセージをガイド表示送信部３４３に追加し（ステップＳ１４０６）、ステップＳ１４０１の処理に戻る。

ステップＳ１４０７では、制御部は、紐付け候補テーブル３５１の＜ｉ１，ｋ１＞のペアを削除し（ステップＳ１４０７）、この紐付けを決定したペア＜ｉ１，ｋ１＞を連携ペアテーブル３５２に追加し（ステップＳ１４０８）、ステップＳ１４０３の処理に戻る。

図１５は、実施の形態にかかる情報処理装置が行うガイドのメッセージ表示処理例を示すフローチャートである。情報処理装置１００の制御部３３０（ガイドメッセージ表示部３３３）が行う処理例について説明する。

はじめに、制御部は、ガイド表示受信部３４４からガイド１１３の表示にかかる情報（図１０Ｃ参照）を読み込み（ステップＳ１５０１）、メッセージを表示する要求（コマンドが「表示」）であるか判断する（ステップＳ１５０２）。メッセージを表示する要求（コマンドが「表示」）であれば（ステップＳ１５０２：Ｙｅｓ）、制御部は、ステップＳ１５０３の処理に移行する。一方、メッセージを表示する要求でなければ（コマンドが「削除」、ステップＳ１５０２：Ｎｏ）、制御部は、ステップＳ１５０６の処理に移行する。

ステップＳ１５０３では、制御部は、ガイド窓管理テーブル３５３を参照し、既にガイド１１３のメッセージを表示中であるか判断する（ステップＳ１５０３）。既にガイド１１３のメッセージを表示中であれば（ステップＳ１５０３：Ｙｅｓ）、ステップＳ１５０１の処理に戻る。一方、既にガイド１１３のメッセージを未だ表示していなければ（ステップＳ１５０３：Ｎｏ）、ガイド１１３のメッセージをガイド窓管理テーブル３５３へ登録する（ステップＳ１５０４）。

次に、制御部は、表示枠１１２の中央位置にガイド１１３のメッセージを表示し（ステップＳ１５０５）、ステップＳ１５０１の処理に戻る。

また、ステップＳ１５０６では、制御部は、ガイド１１３のメッセージを削除する要求（コマンドが「削除」）であるか判断する（ステップＳ１５０６）。メッセージを削除する要求であれば（ステップＳ１５０６：Ｙｅｓ）、制御部は、ステップＳ１５０７の処理に移行する。一方、メッセージを削除する要求でなければ（ステップＳ１５０６：Ｎｏ）、制御部は、ステップＳ１５０１の処理に戻る。

ステップＳ１５０７では、制御部は、ガイド窓管理テーブル３５３を参照し、該当するガイド１１３のメッセージをガイド窓管理テーブル３５３から削除する（ステップＳ１５０７）。そして、制御部は、削除対象の表示枠１１２の枠上に表示しているガイド１１３のメッセージを削除（非表示に）し（ステップＳ１５０８）、ステップＳ１５０１の処理に戻る。

図１６は、空間ＵＩユニット装置の処理例を示すフローチャートである。この図１６には、空間ＵＩユニット装置３０１の空間ＵＩ部３１３による、主に、ディスプレイ１１０への表示処理例を記載してある。

はじめに、空間ＵＩ部３１３は、表示枠１１２の枠位置（座標）と、端末１２０の端末ＩＤを読み込む（ステップＳ１６０１）。次に、空間ＵＩ部３１３は、表示枠１１２の枠位置（座標）上にアプリ窓を表示する（ステップＳ１６０２）。アプリ窓は、ディスプレイ１１０上の表示枠１１２に操作対象オブジェクト（端末１２０の画面）を表示するための窓である。

次に、空間ＵＩ部３１３は、アプリ連携先の端末１２０の端末ＩＤを初期化し（ステップＳ１６０３）、アプリのメインプロセスを実行し（ステップＳ１６０４）、以上の処理を終了する。アプリのメインプロセス実施により、ディスプレイ１１０上の表示枠１１２に操作対象オブジェクト（端末１２０の画面）が表示され、端末１２０の画面を複数のユーザで画面共有できるようになる。

（複数の表示枠に対する複数の端末の紐付けの具体例）
図１７〜図２８は、実施の形態にかかる情報処理装置による複数の表示枠に対する複数の端末の紐付けの具体例を説明する図である。図９で説明した処理例２（実装例）を状態遷移を用いてより具体的に説明する。

以下、複数の表示枠１１２の描画のイベントを検知し、また、複数の端末１２０のシェーク操作のイベントを検知した場合、情報処理装置１００が複数のうちどの表示枠１１２をどの端末１２０と紐付けするかの処理を具体的に説明する。以下の例では、図１７に示すように、表示枠１１２が枠１〜枠３までの３つとし、端末１２０が端末Ａ、端末Ｂの二つであるとする。

また、各図には、（ａ）グラフ１「枠イベントの検出時刻およびシェークイベント待ちタイマー」、（ｂ）グラフ２「端末１２０のシェークイベントの検出時刻」、（ｃ）グラフ３「表示枠とシェーク操作された端末１２０との紐付確率」の３つのグラフを示す。これら（ａ）〜（ｃ）の３つのグラフは共通する一つの時間軸上に配置されている。また、（ａ）に示すように、端末１２０のシェークイベント待ちタイマーのタイマー長（ｔｉｍｅｒ）はＴとする。

はじめに、図１８に示すように、時刻ｔ１で表示枠１１２の枠１が描画されたイベントを検知したとする。この場合、情報処理装置１００は、図１８（ａ）に示すように、時刻ｔ１で枠１に対するｔｉｍｅｒ１を起動させる。この際、図１８（ｃ）に示すように、紐付確率は、時刻ｔ１からｔｉｍｅｒ１終了予定時刻までの時間内で所定の曲線（例えば正規分布）を有する。

次に、図１９に示すように、時刻ｔ２で表示枠１１２の枠２が描画されたイベントを検知したとする。この場合、情報処理装置１００は、図１９（ａ）に示すように、時刻ｔ２で枠２に対するｔｉｍｅｒ２を起動させる。この際、図１９（ｃ）に示すように、紐付確率は、時刻ｔ２からｔｉｍｅｒ２終了予定時刻までの時間内で枠１と同様の所定の曲線を有する。

次に、図２０に示すように、時刻ｔ３に端末Ａのシェークイベントを検出したとする。この場合、情報処理装置１００は、図２０（ｃ）に示す紐付確率のグラフから、枠１と端末Ａとの紐付確率ｐ（１，Ａ）と、枠２と端末Ａとの紐付確率ｐ（２，Ａ）と、をそれぞれ求め、図２１に示す紐付確率の図表２１００を作成する。当初は、図２１（ａ）に示す図表２１００として、縦軸に表示枠１１２（枠１，２）、横軸は端末１２０（端末Ａ）とした図表を作成する。

ここで、ｐ（１，Ａ）−ｐ（１，Ｂ）＞Ｈ（Ｈは閾値）としたとき、情報処理装置１００は、枠１を端末Ａと紐付けることになる。この場合、図２１（ｂ）に示すように、端末Ａと枠２の情報は削除する。

次に、図２２に示すように、時刻ｔ４に枠３が描画されたイベントを検知したとする。この場合、情報処理装置１００は、図２２（ａ）に示すように、時刻ｔ３で枠３に対するｔｉｍｅｒ３を起動させる。この際、図２２（ｃ）に示すように、紐付確率は、時刻ｔ３からｔｉｍｅｒ３終了予定時刻までの時間内で所定の曲線（例えば正規分布）を有する。

次に、図２３に示すように、時刻ｔ５に端末Ｂのシェークイベントを検出したとする。この場合、情報処理装置１００は、図２３（ｃ）に示す組付け確率のグラフから、枠２と端末Ｂとの紐付確率ｐ（２，Ｂ）と、枠３と端末Ｂとの紐付確率ｐ（３，Ｂ）と、をそれぞれ求め、図２４に示す組付け確率の図表２４００を作成する。

ここで、図２３（ｃ）に示すように、時刻ｔ５における端末Ｂについて枠２と枠３との組付け確率は近い値であったとする。すなわち、ｐ（２，Ｂ）−ｐ（３，Ｂ）＜Ｈ（Ｈは閾値）である場合、端末Ｂについて、枠２、あるいは枠３との紐付けが曖昧（紐付けを特定できない）状態である。

この場合、図２５（ｂ）に示すように、情報処理装置１００は、枠２の表示位置にガイド１１３として「再度振って下さい」とのメッセージを表示する。また、枠３の表示位置にガイド１１３として「暫くお待ち下さい」とのメッセージを表示する。

そして、図２５（ａ）に示すように、情報処理装置１００は、枠２にガイド１１３で「再度振って下さい」と表示した直後、元のタイマーｔｉｍｅｒ２を取り消し、新しいタイマーｔｉｍｅｒ４を起動させる。

この後、図２６に示すように、時刻ｔ６で端末Ｂのシェークイベントを検出したとする。この場合、情報処理装置１００は、図２６（ｃ）に示す紐付確率のグラフから、枠２と端末Ｂとの紐付確率ｐ（２，Ｂ）と、枠３と端末Ｂとの紐付確率ｐ（３，Ｂ）と、をそれぞれ求め、図２７（ａ）に示す組付け確率の図表２７００を作成する。

ここで、図２６（ｃ）に示すように、ｐ（２，Ｂ）−ｐ（２，Ａ）＞Ｈ（Ｈは閾値）となったとする。これにより、情報処理装置１００は、枠２を端末Ｂと紐付ける。この場合、図２７（ｂ）に示すように、端末Ｂと枠３の情報は削除する。

この後、図２８に示すように、ｔｉｍｅｒ３が終了するまでに新たなシェークイベントが検知されなかったとする。この場合、情報処理装置１００は、枠３を自動的に消滅（表示削除）させる。

（従来技術の問題点）
図２９は、従来技術による表示枠と端末との連携の問題を説明する図である。従来技術では、ユーザが空間ＵＩ画面（ディスプレイ）上で端末の連携位置を指定した後に、所定時間内に複数のシェークイベントを検出した場合、連携すべき端末を特定できない問題があった。

例えば、図２９（ａ）に示す例のように、１．二つのディスプレイ１，２上で、ほぼ同時に枠１，２を描画したとする。そして、２．複数の端末Ａ，Ｂがほぼ同時にシェーク操作したとする。この場合、３．枠１に対して端末Ａ，Ｂのいずれを紐付けするか特定できなくなる。また、枠２についても端末Ａ，Ｂのいずれを紐付けするかを特定できない。

また、図２９（ｂ）に示す例のように、１．一つのディスプレイ１上で枠を描画したとする。この後、２．端末Ａのシェーク操作時、端末Ａ以外の他の端末Ｂのシェーク操作を検出した場合、３．枠１に端末Ａ，Ｂのいずれを紐付けするかを特定できなくなる。例えば、端末Ｂは、ユーザが意識したシェーク操作を行ったものではないが、ユーザの歩行により、端末Ｂがシェーク操作であると検出する場合がある。

これに対し、実施の形態によれば、複数のユーザが協働作業等でディスプレイ１１０の表示画面１１１上にユーザが描画した表示枠１１２に、ユーザの端末１２０の画面（操作対象オブジェクト）を表示させることができる。これにより、端末１２０の小さな画面を大きなディスプレイ１１０上に表示でき、複数のユーザが上記画面の共有を行うことができる。

この際、情報処理装置１００は、端末１２０をシェーク操作した際の画面共有の要求により、端末１２０の操作対象オブジェクトを表示枠１１２に紐付けて表示させる。また、ユーザが表示枠を描画した後、複数の端末１２０からのシェーク操作があった場合には、表示枠１１２に紐付ける端末１２０を特定できないため、ガイド１１３を表示して、ユーザに対し再度のシェーク操作を通知する。これにより、複数の端末のシェーク操作により、表示枠に対する操作対象オブジェクトの紐付けが特定できなくなることを防ぎ、表示枠１１２に対し所望するユーザの端末１２０の画面（操作対象オブジェクト）を適切に紐付け、表示できるようになる。

以上説明した実施の形態によれば、表示制御装置は、表示部に表示する操作対象オブジェクトと、操作対象オブジェクトを出力する端末との関連付けを行う。そして、操作対象オブジェクトを表示部に表示させる所定の表示操作を検出した後、一定時間（タイマー時間）内に複数の端末から操作対象オブジェクトを出力する特定操作を検出した場合、再度の特定操作を促すガイドを通知する。

例えば、操作対象オブジェクトは、端末の表示画面であり、表示操作は、ユーザによる表示部上で表示画面を表示させる領域を指定する表示枠の描画操作であり、特定操作は、ユーザによる端末を振るシェーク操作である。情報処理装置は、一つの表示枠の描画後の一定時間内に、一つの端末のシェーク操作を検出した場合、当該端末が出力する表示画面を表示枠に表示させる関連付けを行う。

これにより、ユーザは、表示部上で表示枠を描画した後、端末をシェーク操作するだけで、端末の表示画面を表示部に表示させることができ、複数のユーザが表示部を介して端末の画面を共有できるようになる。また、表示部上で表示枠を描画した後の一定時間内で複数の端末がシェーク操作された場合、表示枠と端末との関連を特定できない状態が生じた場合には、再度のシェーク操作を促すガイドを通知することで、表示枠と端末との関連を特定できるようになる。

また、表示枠が複数描画された後の一定時間内に複数の端末のシェーク操作を検出した場合、複数の表示枠のうち選択した一つの表示枠に、再度、シェーク操作を促すガイドを表示する。そして、この一つの表示枠に表示させる端末の表示画面の関連付けを行い、他の表示枠には、関連付けの特定が待ち状態のガイドを表示してもよい。これにより、複数のユーザがほぼ同じ時刻に表示部上にそれぞれ端末の画面を表示させる操作を行った場合であっても、一つの表示枠毎に関連付ける端末を順次特定でき、各ユーザの操作が煩雑となることを防ぐことができるようになる。

また、表示制御装置は、操作対象オブジェクトを表示部に表示させる所定の表示操作を検出した後、予め保持してある時間経過別の確率のモデルを参照する。そして、端末から実際に操作対象オブジェクトを出力する特定操作を検出した時期の確率に基づき、当該確率が最も高い端末と操作対象オブジェクトとを関連付ける処理を行う。これにより、一定時間（タイマー時間）の経過を待たずに、表示部と操作対象オブジェクト（端末の画面）との関連付けを行えるようになる。

また、所定の表示操作を検出した後、複数の表示操作を検知した場合、最も高い確率のものであり、かつ、次に高い確率との差が一定閾値以上の場合、最も高い確率の端末を操作対象オブジェクトに関連付けることとしてもよい。これにより、確率を用いた表示部と操作対象オブジェクトとの関連付けの処理をより精度よく行えるようになる。

これらのことから、実施の形態によれば、複数のユーザの協働作業時等に、大きなディスプレイにあるユーザの端末の小さな画面を拡大して表示させる操作を簡単に行えるようになる。この際、ユーザは、モード切替などの煩雑な操作を行う必要がなく、簡単な操作で端末の画面を複数のユーザで共有できるようになる。

なお、本発明の実施の形態で説明した表示制御方法は、予め用意されたプログラムをサーバ等のプロセッサに実行させることにより実現することができる。本表示制御方法は、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、インターネット等のネットワークを介して配布してもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する表示制御方法において、
前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
一定時間内に複数の前記端末から前記操作対象オブジェクトを出力する特定操作を検出した場合、再度の前記特定操作を促すガイドを通知する、
処理をコンピュータが実行することを特徴とする表示制御方法。

（付記２）前記操作対象オブジェクトは、前記端末の表示画面であり、
前記表示操作は、ユーザによる前記表示部上で前記表示画面を表示させる領域を指定する表示枠の描画操作であり、
前記特定操作は、ユーザによる前記端末を振るシェーク操作である、
ことを特徴とする付記１に記載の表示制御方法。

（付記３）一つの前記表示枠の描画後の前記一定時間内に、一つの前記端末の前記シェーク操作を検出した場合、当該端末が出力する前記表示画面を前記表示枠に表示させる関連付けを行う、
ことを特徴とする付記２に記載の表示制御方法。

（付記４）前記表示枠が複数描画された後の前記一定時間内に複数の前記端末の前記シェーク操作を検出した場合、
複数の前記表示枠のうち選択した一つの前記表示枠に、再度、前記シェーク操作を促すガイドを表示し、当該一つの前記表示枠に表示させる前記端末の前記表示画面の関連付けを行い、
他の前記表示枠には、関連付けの特定が待ち状態のガイドを表示する、
ことを特徴とする付記３に記載の表示制御方法。

（付記５）表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する表示制御方法において、
前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
予め保持してある時間経過別の確率のモデルを参照し、前記端末から実際に前記操作対象オブジェクトを出力する特定操作を検出した時期の確率に基づき、当該確率が最も高い前記端末と前記操作対象オブジェクトとを関連付ける、
処理をコンピュータが実行することを特徴とする表示制御方法。

（付記６）前記所定の表示操作を検出した後、複数の前記表示操作を検知した場合、最も高い確率のものであり、かつ、次に高い確率との差が一定閾値以上の場合、最も高い確率の前記端末を前記操作対象オブジェクトに関連付ける、
ことを特徴とする付記５に記載の表示制御方法。

（付記７）表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する表示制御プログラムにおいて、
前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
一定時間内に複数の前記端末から前記操作対象オブジェクトを出力する特定操作を検出した場合、再度の前記特定操作を促すガイドを通知する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。

（付記８）表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する表示制御プログラムにおいて、
前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
予め保持してある時間経過別の確率のモデルを参照し、前記端末から実際に前記操作対象オブジェクトを出力する特定操作を検出した時期の確率に基づき、当該確率が最も高い前記端末と前記操作対象オブジェクトとを関連付ける、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。

（付記９）表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する情報処理装置において、
前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
一定時間内に複数の前記端末から前記操作対象オブジェクトを出力する特定操作を検出した場合、再度の前記特定操作を促すガイドを通知する制御部、
を備えたことを特徴とする情報処理装置。

（付記１０）表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する情報処理装置において、
前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
予め保持してある時間経過別の確率のモデルを参照し、前記端末から実際に前記操作対象オブジェクトを出力する特定操作を検出した時期の確率に基づき、当該確率が最も高い前記端末と前記操作対象オブジェクトとを関連付ける制御部、
を備えたことを特徴とする情報処理装置。

（付記１１）前記端末と前記表示部とにネットワークを介して接続され、
前記表示部は、タッチパネルであり、
前記操作対象オブジェクトは、前記端末の表示画面であり、
前記表示操作は、ユーザによる前記タッチパネル上で前記表示画面を表示させる領域を指定する表示枠の描画操作であり、
前記特定操作は、ユーザによる前記端末を振るシェーク操作である、
ことを特徴とする付記１０に記載の情報処理装置。

１００ 情報処理装置
１１０ ディスプレイ
１１１ 表示画面
１１１ａ，１１１ｂ タッチパネル
１１２（１１２ａ，１１２ｂ） 表示枠
１１３（１１３ａ，１１３ｂ） ガイド
１２０（１２０ａ，１２０ｂ） 端末
２０１ タッチペン
３０１ 空間ＵＩユニット装置
３１１ 枠検出部
３２１ 加速度センサ
３２２ シェーク検出部
３３０ 制御部
３３１ 紐付け候補作成部
３３２ 紐付け決定部
３３３ ガイドメッセージ表示部
３４３ ガイド表示送信部
３５１ 紐付け候補テーブル
３５２ 連携ペアテーブル
３５３ ガイド窓管理テーブル
４０１ ＣＰＵ
４０２ メモリ
４０３ ネットワークＩＦ
４０５ 記録媒体
ＮＷ ネットワーク
Ｔ タイマー時間（一定時間）
Ｕ ユーザ

Claims (10)

1. 表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する表示制御方法において、
   前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
   一定時間内に複数の前記端末から前記操作対象オブジェクトを出力する特定操作を検出した場合、再度の前記特定操作を促すガイドを通知する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
2. 前記操作対象オブジェクトは、前記端末の表示画面であり、
   前記表示操作は、ユーザによる前記表示部上で前記表示画面を表示させる領域を指定する表示枠の描画操作であり、
   前記特定操作は、ユーザによる前記端末を振るシェーク操作である、
   ことを特徴とする請求項１に記載の表示制御方法。
3. 一つの前記表示枠の描画後の前記一定時間内に、一つの前記端末の前記シェーク操作を検出した場合、当該端末が出力する前記表示画面を前記表示枠に表示させる関連付けを行う、
   ことを特徴とする請求項２に記載の表示制御方法。
4. 前記表示枠が複数描画された後の前記一定時間内に複数の前記端末の前記シェーク操作を検出した場合、
   複数の前記表示枠のうち選択した一つの前記表示枠に、再度、前記シェーク操作を促すガイドを表示し、当該一つの前記表示枠に表示させる前記端末の前記表示画面の関連付けを行い、
   他の前記表示枠には、関連付けの特定が待ち状態のガイドを表示する、
   ことを特徴とする請求項３に記載の表示制御方法。
5. 表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する表示制御方法において、
   前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
   予め保持してある時間経過別の確率のモデルを参照し、前記端末から実際に前記操作対象オブジェクトを出力する特定操作を検出した時期の確率に基づき、当該確率が最も高い前記端末と前記操作対象オブジェクトとを関連付ける、
   処理をコンピュータが実行することを特徴とする表示制御方法。
6. 前記所定の表示操作を検出した後、複数の前記表示操作を検知した場合、最も高い確率のものであり、かつ、次に高い確率との差が一定閾値以上の場合、最も高い確率の前記端末を前記操作対象オブジェクトに関連付ける、
   ことを特徴とする請求項５に記載の表示制御方法。
7. 表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する表示制御プログラムにおいて、
   前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
   一定時間内に複数の前記端末から前記操作対象オブジェクトを出力する特定操作を検出した場合、再度の前記特定操作を促すガイドを通知する、
   処理をコンピュータに実行させることを特徴とする表示制御プログラム。
8. 表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する表示制御プログラムにおいて、
   前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
   予め保持してある時間経過別の確率のモデルを参照し、前記端末から実際に前記操作対象オブジェクトを出力する特定操作を検出した時期の確率に基づき、当該確率が最も高い前記端末と前記操作対象オブジェクトとを関連付ける、
   処理をコンピュータに実行させることを特徴とする表示制御プログラム。
9. 表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する情報処理装置において、
   前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
   一定時間内に複数の前記端末から前記操作対象オブジェクトを出力する特定操作を検出した場合、再度の前記特定操作を促すガイドを通知する制御部、
   を備えたことを特徴とする情報処理装置。
10. 表示部に表示する操作対象オブジェクトと、前記操作対象オブジェクトを出力する端末との関連付けを特定する情報処理装置において、
    前記操作対象オブジェクトを前記表示部に表示させる所定の表示操作を検出した後、
    予め保持してある時間経過別の確率のモデルを参照し、前記端末から実際に前記操作対象オブジェクトを出力する特定操作を検出した時期の確率に基づき、当該確率が最も高い前記端末と前記操作対象オブジェクトとを関連付ける制御部、
    を備えたことを特徴とする情報処理装置。

Images