JP2015102875A - 表示システム及び表示制御装置 - Google Patents

Abstract

【課題】インタラクティブなやりとりの結果を、インタラクティブな関係性が分かるように表示できる表示システム及び表示制御装置を提供する。【解決手段】実施形態の表示システムは、操作入力受付部と、認識部と、実行部と、表示制御部と、を備える。操作入力受付部は、操作入力を受け付けるとともに画像を表示する。認識部は、前記操作入力受付部に配置された１以上の情報処理端末を認識する。実行部は、前記操作入力受付部に対して行われた操作入力に基づくコマンドを実行する。表示制御部は、前記コマンドの実行結果を前記１以上の情報処理端末の少なくともいずれかと関連させて前記操作入力受付部に表示させる。【選択図】図３

Description

本発明の実施形態は、表示システム及び表示制御装置に関する。

従来から、タッチパネルディスプレイを有するテーブル上に複数の機器を配置し、機器間でのデータ転送の転送経過をテーブル上に表示する技術が知られている。

特開２０１１−２３８２４３号公報

上述したような従来技術では、機器が記憶しているデータを当該機器と関連づけてテーブル上に表示しているに過ぎない。このため、上述したような従来技術では、機器とテーブルとの間でのインタラクティブなやりとりの結果を、インタラクティブな関係性が分かるように表示できてない。

本発明が解決しようとする課題は、インタラクティブなやりとりの結果を、インタラクティブな関係性が分かるように表示できる表示システム及び表示制御装置を提供することである。

実施形態の表示システムは、操作入力受付部と、認識部と、実行部と、表示制御部と、を備える。操作入力受付部は、操作入力を受け付けるとともに画像を表示する。認識部は、前記操作入力受付部に配置された１以上の情報処理端末を認識する。実行部は、前記操作入力受付部に対して行われた操作入力に基づくコマンドを実行する。表示制御部は、前記コマンドの実行結果を前記１以上の情報処理端末の少なくともいずれかと関連させて前記操作入力受付部に表示させる。

第１実施形態の表示システムの例を示す模式図。 第１実施形態の表示システムの利用シーンの例を示す図。 第１実施形態のＰＣの例を示す構成図。 第１実施形態の手法の説明図。 第１実施形態の手法の説明図。 第１実施形態の手法の説明図。 第１実施形態の手法の説明図。 第１実施形態の処理例を示すフローチャート図。 第１実施形態の変形例の手法の説明図。 第１実施形態の変形例の手法の説明図。 第２実施形態の表示システムの例を示す模式図。 第２実施形態のＰＣの例を示す構成図。 第２実施形態の手法の説明図。 第２実施形態の処理例を示すフローチャート図。 第２実施形態の変形例の手法の説明図。 第２実施形態の変形例の手法の説明図。 第２実施形態の変形例の手法の説明図。 第２実施形態の変形例の手法の説明図。 第２実施形態の変形例の手法の説明図。 変形例の手法の説明図。 各実施形態及び変形例のＰＣのハードウェア構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の表示システム１の一例を示す模式図である。図１に示すように、表示システム１は、操作入力受付装置２（操作入力受付部の一例）と、情報処理端末３と、ＰＣ（Personal Computer）４と、プロジェクタ５（表示制御部の一例）と、撮像装置６とを、備える。

操作入力受付装置２は、操作入力を受け付けるものであり、例えば、タッチパネルを有するテーブルにより実現できる。つまり、操作入力受付装置２は、スタイラスペンや指などによるタッチ入力を受け付ける。なお、操作入力受付装置２は、更に画像を表示するものであってもよく、この場合、タッチパネルディスプレイを有するテーブルにより実現できる。

情報処理端末３は、操作入力を受け付けるとともに画像を表示するものであり、例えば、タッチパネルディスプレイを有するタブレット端末やスマートフォンにより実現できる。

ＰＣ４は、操作入力受付装置２を制御する。プロジェクタ５は、操作入力受付装置２に画像（映像）を投影する。撮像装置６は、操作入力受付装置２を撮像する。

第１実施形態の表示システム１では、ユーザが操作入力受付装置２の上に情報処理端末３を配置すると、ＰＣ４が配置された情報処理端末３を認識し、情報処理端末３が記憶する文書情報を取得する。プロジェクタ５は、ＰＣ４により生成された検索ボックスを含む投影画像を操作入力受付装置２に投影し、ユーザは、当該検索ボックス上にキーワードを入力することで、ＰＣ４は、取得した文書情報の中から入力されたキーワードに基づく文書情報を検索し、検索した文書情報（文書情報の画像）を含む投影画像を生成する。プロジェクタ５は、ＰＣ４により生成された投影画像を、投影画像に含まれる文書情報が情報処理端末３と関連するように投影する。

第１実施形態の表示システム１は、図２に示すように、複数人のユーザが、操作入力受付装置２を囲み、各自が所持する情報処理端末３を操作入力受付装置２に配置して（図２では、図示省略）、会議などを行うようなシーンでの利用を想定しているが、これに限定されるものではない。

図３は、第１実施形態のＰＣ４の一例を示す構成図である。図３に示すように、ＰＣ４は、認識部１１と、文書情報取得部１３と、記憶部１５と、実行部１７と、送信部１９とを、備える。

認識部１１、文書情報取得部１３、実行部１７、及び送信部１９は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。記憶部１５は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。

認識部１１は、操作入力受付装置２に１以上の情報処理端末３が配置されると、当該１以上の情報処理端末３を認識する。具体的には、認識部１１は、１以上の情報処理端末３それぞれの識別情報及び位置情報を取得することで、当該１以上の情報処理端末３を認識する。認識部１１は、例えば、図示せぬ近距離無線通信などを用いて、１以上の情報処理端末３それぞれの識別情報及び位置情報を取得すればよい。但し、識別情報及び位置情報の取得手法は、これに限定されるものではない。識別情報は、情報処理端末３を識別できればよく、例えば、ＭＡＣアドレスなどが挙げられる。位置情報は、例えば、操作入力受付装置２の操作面での座標情報などが挙げられる。

例えば、図４に示すように、操作入力受付装置２に情報処理端末３Ａ、３Ｂが配置されると、認識部１１は、情報処理端末３Ａ、３Ｂそれぞれの識別情報及び位置情報を取得することで、情報処理端末３Ａ、３Ｂを認識する。

文書情報取得部１３は、１以上の情報処理端末３毎に、当該情報処理端末３に記憶されている文書情報を取得し、記憶部１５に記憶する。具体的には、文書情報取得部１３は、認識部１１により１以上の情報処理端末３が認識されると、１以上の情報処理端末３毎に、当該情報処理端末３に記憶されている文書情報を取得し、当該情報処理端末３の識別情報と対応付けて、記憶部１５に記憶する。認識部１１は、例えば、図示せぬ無線ＬＡＮ（Local Area Network）や有線ＬＡＮを用いて情報処理端末３と通信し、文書情報を取得すればよい。但し、文書情報の取得手法は、これに限定されるものではない。

例えば、図４で説明したように、認識部１１により情報処理端末３Ａ、３Ｂが認識された場合、文書情報取得部１３は、情報処理端末３Ａ、３Ｂそれぞれから文書情報を取得する。そして文書情報取得部１３は、情報処理端末３Ａから取得した文書情報には、情報処理端末３Ａの識別情報を対応付けて記憶部１５に記憶し、情報処理端末３Ｂから取得した文書情報には、情報処理端末３Ｂの識別情報を対応付けて記憶部１５に記憶する。

実行部１７は、操作入力受付装置２に対して行われた操作入力に基づくコマンドを実行する。第１実施形態では、実行部１７は、記憶部１５から、操作入力受付装置２に対して入力されたキーワードに基づく文書情報を検索する。

例えば、図５に示すように、プロジェクタ５により操作入力受付装置２に検索ＢＯＸ２０が投影されると、ユーザは、タッチペンで検索ＢＯＸ２０にキーワード（検索クエリ）を入力するので、実行部１７は、操作入力受付装置２からキーワードを取得して文字認識し、記憶部１５から文字認識したキーワードに基づく文書情報を検索する。

なお、プロジェクタ５が投影する検索ＢＯＸ２０を含む投影画像はＰＣ４が生成するため、ＰＣ４は、検索ＢＯＸ２０の位置を分かっている。このため、ＰＣ４は、操作入力受付装置２から検索ＢＯＸ２０の位置で入力された手書きデータをキーワードと判断すればよい。また、撮像装置６により撮像される操作入力受付装置２の撮像画像を用いて、手書きデータが検索ＢＯＸ２０に入力されたキーワードか否かを判断してもよい。

ここで、プロジェクタ５について説明する。プロジェクタ５は、実行部１７のコマンドの実行結果を１以上の情報処理端末３の少なくともいずれかと関連させて操作入力受付装置２に表示させる。具体的には、プロジェクタ５は、実行部１７により検索された文書情報を、文書情報取得部１３により当該文書情報が取得された情報処理端末３と関連させて操作入力受付装置２に表示させる。なおプロジェクタ５は、検索された文書情報を、操作入力受付装置２の操作面を基準とした大きさで操作入力受付装置２に表示させる。ユーザが検索結果について操作入力受付装置２を用いて表示する場合には次のような場合が考えられる。例えば、検索より大きく表示したい場合や、情報処理端末３の表示する領域を拡大するために利用したい場合などである。従って、上述のように情報処理端末３の周辺に位置付けて表示させることによって、ユーザの利便性が向上する場合がある。

また、所定の領域より小さな表示画面を有する情報端末３のユーザは検索結果を拡大して表示したい場合が考えられる。このため、所定の大きさ（表示領域の面積など）を設定し、情報端末３の表示画面が所定の大きさより小さい場合には、表示する領域を情報端末３の表示画面より大きくするようにしてもよい。これはユーザによって個別に設定してもよいし、所定の倍率で拡大してもよい。また、提示する情報量などの指標を利用して表示する領域を変更してもよい。表示画面の大きさは認識部１１よりも小さな表示画面を有する情報処理端末３を認識したりしてもよい。

なお、後述するが、検索結果を操作入力受付装置２に表示する場合は、これらのリストを情報処理端末３の表示面を基準に表示させるようにしてもよい。

例えば、プロジェクタ５は、図６に示すように、実行部１７により検索された文書情報のうち情報処理端末３Ａから取得した文書情報については、情報処理端末３Ａから飛び出るようなアニメーションを行うように、操作入力受付装置２に投影し、実行部１７により検索された文書情報のうち情報処理端末３Ｂから取得した文書情報については、情報処理端末３Ｂから飛び出るようなアニメーションを行うように、操作入力受付装置２に投影する。

なお、プロジェクタ５が投影するこのような投影画像はＰＣ４が生成するが、実行部１７により検索された文書情報には、当該文書情報の取得先の情報処理端末３の識別情報が対応付けられているため、ＰＣ４は、文書情報が取得された情報処理端末３を判別できる。また、ＰＣ４は、情報処理端末３の位置情報から情報処理端末３の位置を判別できる。このため、ＰＣ４は、上述のような投影画像を生成できる。また、操作入力受付装置２の操作面の大きさについては、ＰＣ４が操作入力受付装置２から予め取得しておけばよい。

送信部１９は、操作入力受付装置２に表示された文書情報を１以上の情報処理端末３の少なくともいずれかに送る送り操作が操作入力受付装置２に対して行われたことに基づいて、当該文書情報を当該情報処理端末３に送信する。

送り操作は、例えば、スワイプ操作やドラッグ＆ドロップ操作などが挙げられる。操作入力受付装置２は、指やタッチペンでの座標入力が文書情報の矩形に内包されるかを判定し、内包される場合は、当該文書情報を送り操作の対象とする。操作入力受付装置２は、送り操作の対象となった文書情報を、入力された座標値が動いたｘ・ｙ方向の移動量分移動させる。そして、移動後の文書情報の位置が情報処理端末３付近の位置に重なれば、送信部１９は、当該文書情報を当該情報処理端末３に送信する。

例えば、図７に示すように、操作入力受付装置２に表示された文書情報が情報処理端末３Ａに送り操作されると、送信部１９は、当該文書情報を当該情報処理端末３Ａに送信する。これにより、情報処理端末３Ａは、操作入力受付装置２で共有された文書を記憶できる。

なお、送り操作は、撮像装置６により撮像される操作入力受付装置２の撮像画像を用いて、実現してもよい。この場合、例えば、自然な手振りによるハンドジェスチャユーザインタフェース，池他，東芝レビューＶｏｌ．６７ Ｎｏ．６（２０１２）．に開示された手法などを用いればよい。

図８は、第１実施形態の表示システム１で行われる処理の手順の流れの一例を示すフローチャート図である。

まず、認識部１１は、操作入力受付装置２に１以上の情報処理端末３が配置されると、当該１以上の情報処理端末３を認識する（ステップＳ１０１）。

続いて、文書情報取得部１３は、１以上の情報処理端末３毎に、当該情報処理端末３に記憶されている文書情報を取得し、記憶部１５に記憶する（ステップＳ１０３）。

続いて、実行部１７は、記憶部１５から、操作入力受付装置２に対して入力されたキーワードに基づく文書情報を検索する（ステップＳ１０５）。

続いて、プロジェクタ５は、実行部１７により検索された文書情報を、文書情報取得部１３により当該文書情報が取得された情報処理端末３と関連させて操作入力受付装置２に表示させる（ステップＳ１０７）。

以上のように第１実施形態によれば、操作入力受付装置２及びＰＣ４で行われた検索結果を情報処理端末３に関連付けて表示するため、インタラクティブなやりとりの結果を、インタラクティブな関係性が分かるように表示できる。

（第１実施形態の変形例１）
第１実施形態において、文書情報の検索に制限を設けてもよい。

例えば、実行部１７は、記憶部１５に記憶され、１以上の情報処理端末３のうちの所定条件を満たす情報処理端末３から取得された文書情報の中から、キーワードに基づく文書情報を検索するようにしてもよい。

所定条件を満たす情報処理端末３は、図９に示すように、情報処理端末３Ａ〜３Ｃのうち、操作入力受付装置２上において軌跡３０で囲まれた情報処理端末３Ａ、３Ｂとしたり、図１０に示すように、情報処理端末３Ａ〜３Ｃのうち、検索ＢＯＸ２０の方向を向いている情報処理端末３Ａ、３Ｂなどとすればよい。

図９に示す例の場合、ＰＣ４は、操作入力受付装置２から入力された軌跡３０の位置情報などを取得することで、軌跡３０で囲まれた情報処理端末３Ａ、３Ｂを判別できる。図１０に示す例の場合、ＰＣ４は、情報処理端末３Ａ〜３Ｃの位置情報からそれぞれの長手方向を算出し、長手方向が、検索ＢＯＸ２０と交わるか否かで判別できる。なお、撮像装置６により撮像される操作入力受付装置２の撮像画像を用いて、検索ＢＯＸ２０の方向を向いている情報処理端末３を判別してもよいし、情報処理端末３Ａ〜３Ｃに複数のＩＣタグを設け、ＩＣタグの位置情報から検索ＢＯＸ２０の方向を向いている情報処理端末３を判別してもよい。

（第２実施形態）
第２実施形態では、情報処理端末で検索を行う例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図１１は、第２実施形態の表示システム１０１の一例を示す模式図である。図１１に示すように、第２実施形態では、ＰＣ１０４及びプロジェクタ１０５が第１実施形態と相違する。

図１２は、第２実施形態のＰＣ１０４の一例を示す構成図である。図１２に示すように、第２実施形態では、ＰＣ１０４が実行結果取得部１１７を備え、実行部１７及び送信部１９を、備えない点で第１実施形態と相違する。

実行結果取得部１１７は、１以上の情報処理端末３の少なくともいずれかで実行されたコマンドの実行結果を取得する。第２実施形態では、情報処理端末３自身が記憶している文書情報を対象にキーワード検索を行うので、実行結果取得部１１７は、１以上の情報処理端末３の少なくともいずれかで実行された文書情報の検索結果を示す検索結果情報を取得し、当該検索結果情報に基づく文書情報を記憶部１５から取得する。

検索結果情報は、例えば、検索された文書情報を識別する情報であり、例えば、ページ番号などが挙げられる。なお、実行結果取得部１１７は、情報処理端末３から検索結果情報ではなく検索結果そのもの（検索された文書情報）を取得してもよい。

ここで、プロジェクタ１０５について説明する。プロジェクタ１０５は、実行結果取得部１１７により取得されたコマンドの実行結果を１以上の情報処理端末３の少なくともいずれかと関連させて操作入力受付装置２に表示させる。具体的には、プロジェクタ１０５は、実行結果取得部１１７により取得された文書情報を、当該文書情報の検索が実行された情報処理端末３と関連させて操作入力受付装置２に表示させる。なおプロジェクタ１０５は、取得された文書情報を、当該文書情報の検索が実行された情報処理端末３を基準とした大きさで操作入力受付装置２に表示させる。より具体的には情報端末の筐体の大きさを基準に複数分割した表示でもいいし、筐体の領域とほぼ同等領域を表示領域に設定して表示してもよい。

例えば、プロジェクタ１０５は、図１３に示すように、実行結果取得部１１７により取得された文書情報のうち情報処理端末３Ｂから取得した文書情報については、情報処理端末３Ｂの周辺に位置するように、操作入力受付装置２に投影する。この際、プロジェクタ１０５は、情報処理端末３Ｂから取得した文書情報を、情報処理端末３Ｂを基準とした大きさで操作入力受付装置２に表示させるため、第１実施形態よりも文書情報の表示サイズが小さく、他のユーザと共有して使用する操作入力受付装置２の領域を確保できる。なお、情報処理端末３の大きさについては、ＰＣ４が情報処理端末３から予め取得しておけばよい。

またプロジェクタ１０５は、操作入力受付装置２に表示された文書情報を１以上の情報処理端末３のいずれも存在しない領域に送る送り操作が操作入力受付装置２に対して行われたことに基づいて、当該文書情報を操作入力受付装置２の操作面を基準とした大きさで当該領域に表示させる。

例えば、図１３において、情報処理端末３Ｂの周辺に表示された文書情報が、送り操作で情報処理端末３のいずれも存在しない領域に送られれば、プロジェクタ１０５は、当該文書情報を操作入力受付装置２の操作面を基準とした大きさで当該領域に投影する。

図１４は、第２実施形態の表示システム１０１で行われる処理の手順の流れの一例を示すフローチャート図である。

まず、認識部１１は、操作入力受付装置２に１以上の情報処理端末３が配置されると、当該１以上の情報処理端末３を認識する（ステップＳ２０１）。

続いて、文書情報取得部１３は、１以上の情報処理端末３毎に、当該情報処理端末３に記憶されている文書情報を取得し、記憶部１５に記憶する（ステップＳ２０３）。

続いて、実行結果取得部１１７は、１以上の情報処理端末３の少なくともいずれかで実行された文書情報の検索結果を示す検索結果情報を取得し、当該検索結果情報に基づく文書情報を記憶部１５から取得する（ステップＳ２０５）。

続いて、プロジェクタ１０５は、実行結果取得部１１７により取得された文書情報を、当該文書情報の検索が実行された情報処理端末３と関連させて操作入力受付装置２に表示させる（ステップＳ２０７）。

以上のように第２実施形態によれば、情報処理端末３で行われた検索結果を操作入力受付装置２に関連付けて表示するため、インタラクティブなやりとりの結果を、インタラクティブな関係性が分かるように表示できる。

（第２実施形態の変形例１）
第２実施形態において、情報処理端末３で行われるコマンドの実行は、検索ではなく手書きデータの整形であってもよい。

この場合、実行結果取得部１１７は、１以上の情報処理端末３の少なくともいずれかで実行された手書きデータの整形結果を取得し、プロジェクタ１０５は、実行結果取得部１１７により取得された整形結果を、当該整形結果の整形が実行された情報処理端末３と関連させて操作入力受付装置２に表示させる。

例えば、プロジェクタ１０５は、図１５に示すように、実行結果取得部１１７により情報処理端末３Ｂから取得した表の整形結果を、情報処理端末３Ｂの周辺に位置するように、操作入力受付装置２に投影する。この際、プロジェクタ１０５は、情報処理端末３Ｂから取得した表の整形結果を、情報処理端末３Ｂを基準とした大きさで操作入力受付装置２に表示させる。

なお、整形結果は、手書きの図形や表などを整えたものでなく、手書きの図形や表を変形したものであってもよい。例えば、図１６に示すように、整形結果は、手書きの表をグラフに整形したものであってもよい。

ここでは、情報処理端末３側で整形を行うことを想定して説明したが、ＰＣ４側で行うようにしてもよい。また、実行結果取得部１１７は、操作入力受付装置２に表示された整形結果に対する修正操作が操作入力受付装置２に対して行われたことに基づいて、整形結果を修正し、プロジェクタ１０５は、修正された整形結果を、当該整形結果の整形が実行された情報処理端末３と関連させて操作入力受付装置２に表示させてもよい。

またプロジェクタ１０５は、操作入力受付装置２に表示された整形結果を１以上の情報処理端末３のいずれも存在しない領域に送る送り操作が操作入力受付装置２に対して行われたことに基づいて、当該整形結果を操作入力受付装置２の操作面を基準とした大きさで当該領域に表示させる。

例えば、図１７や図１８において、情報処理端末３Ｂの周辺に表示された整形結果が、送り操作で情報処理端末３のいずれも存在しない領域に送られれば、プロジェクタ１０５は、当該整形結果を操作入力受付装置２の操作面を基準とした大きさで当該領域に投影する。

（第２実施形態の変形例２）
第２実施形態において、プロジェクタ１０５は、コマンドの実行結果と関連させた情報処理端末３が操作入力受付装置２から持ち上げられた場合、当該情報処理端末３を操作入力受付装置２に投影させた領域にコマンドの実行結果を表示させるようにしてもよい。

例えば、図１９に示すように、情報処理端末３が操作入力受付装置２から持ち上げられた場合、当該情報処理端末３を操作入力受付装置２に投影させた領域１３０に、検索された文書情報を投影してもよい。

この場合、情報処理端末３が操作入力受付装置２から持ち上げられたか否かは、撮像装置６により撮像される操作入力受付装置２の撮像画像における情報処理端末３の大きさの変化から判断できる。情報処理端末３を操作入力受付装置２に投影させた領域の基点は、撮像装置６を用いてもよい。

このようにすれば、情報処理端末３を配置していた領域近辺に検索された文書情報が表示されるため、他のユーザと共有して使用する操作入力受付装置２の領域をより広く確保できる。

なお、変形例２の手法は、手書きデータの整形結果の表示にも適用できる。

（全実施形態の変形例１）
上記各実施形態では、操作入力受付装置２がテーブルである例について説明したが、図２０に示す表示システム２０１のように、操作入力受付装置２０２は、電子黒板やタッチパネルディスプレイを有するホワイトボードなどとしてもよい。

（全実施形態の変形例２）
上記各実施形態では、プロジェクタを用いて操作入力受付装置２に画像を投影したが、操作入力受付装置２が画像を表示するようにしてもよい。この場合、プロジェクタは不要であり、ＰＣが操作入力受付装置２に対する表示制御も行えばよい。

（ハードウェア構成）
図２１は、上記各実施形態及び各変形例のＰＣのハードウェア構成の一例を示す図である。上記各実施形態及び各変形例のＰＣは、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの記憶装置９０２と、ＨＤＤなどの外部記憶装置９０３と、ディスプレイなどの表示装置９０４と、キーボードやマウスなどの入力装置９０５と、通信インタフェースなどの通信装置９０６と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

上記各実施形態及び各変形例のＰＣで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記各実施形態及び各変形例のＰＣで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態及び各変形例のＰＣで実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態及び各変形例のＰＣで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記各実施形態及び各変形例のＰＣで実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

なお、本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記各実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上のように、上記各実施形態及び各変形例によれば、インタラクティブなやりとりの結果を、インタラクティブな関係性が分かるように表示できる。

１、１０１、２０１ 表示システム
２、２０２ 操作表示装置
３、３Ａ、３Ｂ、３Ｃ 情報処理端末
４、１０４ ＰＣ
５、１０５ プロジェクタ
６ 撮像装置
１１ 認識部
１３ 文書情報取得部
１５ 記憶部
１７ 実行部
１９ 送信部
１１７ 実行結果取得部

Claims (18)

1. 操作入力を受け付ける操作入力受付部と、
   前記操作入力受付部に配置された１以上の情報処理端末を認識する認識部と、
   前記操作入力受付部に対して行われた操作入力に基づくコマンドを実行する実行部と、
   前記コマンドの実行結果を前記１以上の情報処理端末の少なくともいずれかと関連させて前記操作入力受付部に表示させる表示制御部と、
   を備える表示システム。
2. 前記１以上の情報処理端末毎に、当該情報処理端末に記憶されている文書情報を取得し、記憶部に記憶する文書情報取得部を更に備え、
   前記実行部は、前記記憶部から、前記操作入力受付部に対して入力されたキーワードに基づく文書情報を検索し、
   前記表示制御部は、検索された文書情報を、当該文書情報が取得された情報処理端末と関連させて前記操作入力受付部に表示させる請求項１に記載の表示システム。
3. 前記表示制御部は、検索された前記文書情報を、前記操作入力受付部の操作面を基準とした大きさで前記操作入力受付部に表示させる請求項２に記載の表示システム。
4. 前記実行部は、前記記憶部に記憶され、前記１以上の情報処理端末のうちの所定条件を満たす情報処理端末から取得された文書情報の中から、前記キーワードに基づく文書情報を検索する請求項２又は３に記載の表示システム。
5. 前記操作入力受付部に表示された前記文書情報を前記１以上の情報処理端末の少なくともいずれかに送る送り操作が前記操作入力受付部に対して行われたことに基づいて、当該文書情報を当該情報処理端末に送信する送信部を更に備える請求項２〜４のいずれか１つに記載の表示システム。
6. 前記１以上の情報処理端末は、操作入力を受け付けるとともに画像を表示する操作表示部を備える請求項１〜５のいずれか１つに記載の表示システム。
7. 操作入力を受け付けるとともに画像を表示する操作入力受付部と、
   前記操作入力受付部に配置された１以上の情報処理端末を認識する認識部と、
   前記１以上の情報処理端末の少なくともいずれかで実行されたコマンドの実行結果を取得する実行結果取得部と、
   前記コマンドの実行結果を前記１以上の情報処理端末の少なくともいずれかと関連させて前記操作入力受付部に表示させる表示制御部と、
   を備える表示システム。
8. 前記１以上の情報処理端末毎に、当該情報処理端末に記憶されている文書情報を取得し、記憶部に記憶する文書情報取得部を更に備え、
   前記実行結果取得部は、前記１以上の情報処理端末の少なくともいずれかで実行された文書情報の検索結果を示す検索結果情報を取得し、当該検索結果情報に基づく文書情報を前記記憶部から取得し、
   前記表示制御部は、取得された文書情報を、当該文書情報の検索が実行された情報処理端末と関連させて前記操作入力受付部に表示させる請求項７に記載の表示システム。
9. 前記表示制御部は、取得された前記文書情報を、当該文書情報の検索が実行された情報処理端末を基準とした大きさで前記操作入力受付部に表示させる請求項８に記載の表示システム。
10. 前記表示制御部は、前記操作入力受付部に表示された前記文書情報を前記１以上の情報処理端末のいずれも存在しない領域に送る送り操作が前記操作入力受付部に対して行われたことに基づいて、当該文書情報を前記操作入力受付部の操作面を基準とした大きさで当該領域に表示させる請求項９に記載の表示システム。
11. 前記実行結果取得部は、前記１以上の情報処理端末の少なくともいずれかで実行された手書きデータの整形結果を取得し、
    前記表示制御部は、取得された整形結果を、当該整形結果の整形が実行された情報処理端末と関連させて前記操作入力受付部に表示させる請求項７に記載の表示システム。
12. 前記表示制御部は、取得された前記整形結果を、当該整形結果の整形が実行された前記情報処理端末を基準とした大きさで前記操作入力受付部に表示させる請求項１１に記載の表示システム。
13. 前記表示制御部は、前記操作入力受付部に表示された前記整形結果を前記１以上の情報処理端末のいずれも存在しない領域に送る送り操作が前記操作入力受付部に対して行われたことに基づいて、当該整形結果を前記操作入力受付部の操作面を基準とした大きさで当該領域に表示させる請求項１２に記載の表示システム。
14. 前記実行結果取得部は、前記操作入力受付部に表示された前記整形結果に対する修正操作が前記操作入力受付部に対して行われたことに基づいて、前記整形結果を修正し、
    前記表示制御部は、修正された前記整形結果を、当該整形結果の整形が実行された前記情報処理端末と関連させて前記操作入力受付部に表示させる請求項１１〜１３のいずれか１つに記載の表示システム。
15. 前記１以上の情報処理端末は、操作入力を受け付けるとともに画像を表示する操作表示部を備える請求項７〜１４のいずれか１つに記載の表示システム。
16. 前記表示制御部は、前記コマンドの実行結果と関連させた前記情報処理端末が前記操作入力受付部から持ち上げられた場合、当該情報処理端末を前記操作入力受付部に投影させた領域に前記コマンドの実行結果を表示させる請求項７〜１５のいずれか１つに記載の表示システム。
17. 操作入力を受け付けるとともに画像を表示する操作入力受付部に配置された１以上の情報処理端末を認識する認識部と、
    前記操作入力受付部に対して行われた操作入力に基づくコマンドを実行する実行部と、
    前記コマンドの実行結果を前記１以上の情報処理端末の少なくともいずれかと関連させて前記操作入力受付部に表示させる表示制御部と、
    を備える表示制御装置。
18. 操作入力を受け付けるとともに画像を表示する操作入力受付部に配置された１以上の情報処理端末を認識する認識部と、
    前記１以上の情報処理端末の少なくともいずれかで実行されたコマンドの実行結果を取得する実行結果取得部と、
    前記コマンドの実行結果を前記１以上の情報処理端末の少なくともいずれかと関連させて前記操作入力受付部に表示させる表示制御部と、
    を備える表示制御装置。

Images