JP2018109831A - 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム - Google Patents

Abstract

【課題】ユーザからの操作を受け付け可能な投影面を備える投影装置と携帯端末とで、投影画像を容易に共有可能な仕組みを提供すること。
【解決手段】投影データを投影する投影装置と携帯端末と通信可能な情報処理装置であって、情報処理装置は投影面上に所定領域を管理し、管理している所定領域に配置される携帯端末を検知する。所定領域に配置される、検知した携帯端末の接続先を特定し、接続先を特定した携帯端末とデータを送受信して通信する。そして管理している所定領域で検出した携帯端末から画像を受信することを特徴とする情報処理装置。
【選択図】図１０

Description

本発明は、ユーザからの操作を受け付け可能な投影面を備える投影装置と携帯端末とで、投影画像を容易に共有可能な情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラムに関する。

従来、情報処理装置で作成した資料をプロジェクタで壁面やスクリーンに投影し、投影画像を見ながら商品説明やプレゼンテーション等を行うことが一般的に行われている。

また、例えば銀行の商品説明業務では、銀行の説明員であるテラーが顧客に対して保険商品や金融商品の説明を行う。この説明では、商品説明のための画面をプロジェクタで机上に投影し、紙の資料やパンフレット等の代わりに投影された画面を用いて商品説明が行われる。最近ではスマートフォンやタブレット端末等の携帯端末がビジネス利用として普及しているため、こういった資料投影の際に、携帯端末に保存されている資料や携帯端末で見れるアプリの画面を投影したいことがある。

そこで、特許文献１の技術では、タブレット等の情報処理装置とプロジェクタとを無線通信で接続し、タブレットから受信した画像を投影する際の手順を簡易にして、タブレットから受信した画像をリアルタイムにプロジェクタで投影する仕組みが開示されている。

特開２０１６−３９５５７号

一方で、上述した銀行の商品説明業務では、紙の資料やパンフレット等の代わりに投影された画面を用いるため、説明で用いた投影資料（投影画面）を顧客の携帯端末に送りたい場合もある。その場合、情報処理装置から携帯端末へ画像を送る必要があるが、現在投影している画像を送りたい場合は一旦投影を中止して情報処理装置側で一度送信したい画像のファイルを指定し、送信先の携帯端末のアドレスを入力し送信するといった送信の手間が生じる。そうした課題を解決する投影画像を簡易に携帯端末に送る仕組みは特許文献１には開示されていない。

さらに、上述した銀行の商品説明業務では、商品説明のための画面をプロジェクタで机上に投影し投影された画面に対するユーザからのタッチ操作を受け付ける。そのタッチ操作に応じて画面の表示を切り替えたり、アノテーション等を画面に付したりする操作が可能な仕組みを用いることがある。そういった投影面上で編集された画像を、携帯端末に送って共有したいといった課題も特許文献１では想定していない。

本発明は、ユーザからの操作を受け付け可能な投影面を備える投影装置と携帯端末とで、投影画像を容易に共有可能な仕組みを提供することを目的とする。

本発明の情報処理装置は、投影データを投影する投影装置と携帯端末と通信可能な情報処理装置であって、投影面上に所定領域を管理する領域管理手段と、前記領域管理手段で管理する所定領域に配置される携帯端末を検知する検知手段と、前記検知手段で検知した前記携帯端末の接続先を特定する接続先特定手段と、前記接続先特定手段で接続先を特定した前記携帯端末とデータを送受信して通信する通信手段とを備え、前記通信手段は、前記領域管理手段で管理している所定領域で検出した携帯端末から画像を受信することを特徴とする。

本発明によれば、ユーザからの操作を受け付け可能な投影面を備える投影装置と携帯端末とで、投影画像を容易に共有可能な仕組みを提供することを目的とする。

本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。 投影撮像装置１０２の外観構造及び内部構造の概要の一例を示す図である。 投影撮像装置１０２を用いて投影した投影画像を用いて、説明を行う場合の一例を示す図である。 情報処理装置１０１及び投影撮像装置１０２のハードウェア構成の一例を示す図である。 携帯端末１０３のハードウェア構成の一例を示す図である。 情報処理装置１０１及び携帯端末１０３の機能構成の一例を示す図である。 メニュー画面において操作を受け付ける処理のフローチャートの一例を示す図である。 書類閲覧処理のフローチャートを示す図である。 準備画面９００の一例を示す図である。 投影画面１０００で携帯端末１０３の文書データを投影している様子を示す図である。 編集処理のフローチャートを示す図である。 編集処理で文書データを編集している様子を示す図である。 データ移行処理のフローチャートを示す図である。 データ移行処理を実行した様子を示す図である。 端末領域が複数設定された場合の一例を示す図である。 端末領域が複数設定され、携帯端末を複数配置した様子の一例を示す図である。 各種データテーブルの一例を示す図である。

以下、図面を参照しながら、本発明の実施形態の一例について説明する。

図１は、本発明の実施形態（第１の実施形態）における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、情報処理装置１０１と投影撮像装置１０２と携帯端末１０３（送信先端末）とを含む。情報処理装置１０１は、投影撮像装置１０２と通信可能に接続されており、更にディスプレイ４１０と入力デバイス４０９とも通信可能に接続されている。図１では、これらの装置は有線で接続されているが、無線であってもよい。また、情報処理装置１０１と携帯端末１０３とは、同じネットワークに接続しており、当該ネットワークを介して相互に通信可能となっている。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は、オペレーティングシステムを搭載する汎用的な装置である。情報処理装置１０１は、情報処理装置１０１に接続された各種デバイスに対して各種動作を実行するよう指示を行う。

投影撮像装置１０２は、デジタルカメラと赤外線センサとプロジェクタとを備える装置である。情報処理装置１０１からの指示に応じてプロジェクタで投影をし、投影された机上等の投影面をデジタルカメラで撮像し、また投影面上でユーザの手の動きや物体の位置を認識する。

投影撮像装置１０２の外部構造及び内部構造の概要の一例について、図２を用いて説明する。

図２は、投影撮像装置１０２の正面図と右側面図である。内部構造の隠れ線は破線で表現している。投影撮像装置１０２は、デジタルカメラ４２１（撮像装置）と赤外線センサ４２２（センサ装置）とプロジェクタ４２３（投影装置）とを格納する収納部２０３を備えている。収納部２０３は底面２０１と左側面２０２ａと右側面２０２ｂとで左右から挟みこんで固定している。

また、上面２０４が左側面２０２ａと右側面２０２ｂとの上部に設置され、上面２０４の下側にはプロジェクタ４２３から照射される光を反射するための反射鏡２０７を備える。すなわち、プロジェクタ４２３は第１の開口部２０５を通してこの反射鏡２０７に向けて投影できるよう、設置されている。デジタルカメラ４２１も同様に、反射鏡２０７で反射した投影面を撮像するため、デジタルカメラ４２１は第２の開口部２０６を通して反射鏡２０７に向けて設置されている。

また赤外線センサ４２２は、例えば赤外線を用いた深度センサである。これはプロジェクタ４２３が投影した投影面上におけるユーザの手や紙文書（以下、書類という。）等の位置や動きを特定するために、赤外線センサ４２２からこれらの物体までの距離を算出する。赤外線センサ４２２は、近赤外線のドットパターンを現実空間に投影し、このドットの形や間隔を取得することで物体までの距離を算出する。または、赤外線光を投影し、赤外線センサ４２２が備えるカメラによって反射した赤外線光を読み取り、赤外線光が往復した時間を算出することで距離を算出する方式であってもよい。現実空間における物体の位置や動きを取得することができれば、赤外線センサ４２２の距離の算出方式はどのような方式であってもよいし、赤外線センサ４２２以外のセンサを用いてもよい。また、赤外線センサ４２２もデジタルカメラ４２１と同様に、第２の開口部２０６を通して反射鏡２０７に向けて設置されている。この反射鏡２０７に向けて赤外線を照射する。

投影撮像装置１０２は以上のように大きく３つの装置を内包しており、これらがそれぞれ情報処理装置１０１と通信可能に接続されている。本実施形態においては、情報処理装置１０１と投影撮像装置１０２とが異なる筐体であるが、同一の筐体であってもよい。すなわち、投影撮像装置１０２に更に情報処理装置１０１を内包してもよい。

図１に説明を戻す。携帯端末１０３は、スマートフォンやタブレット端末といった、タッチパネルを備える携帯端末である。携帯端末１０３は、タッチパネルに対するタッチ操作の軌跡を取得することができる。本実施形態において携帯端末１０３は、あらかじめ情報処理装置１０１と無線接続によって通信可能に接続されている。尚、携帯端末１０３と情報処理装置１０１との接続は有線接続であってもよい。

次に図３を用いて、本実施形態における投影撮像装置１０２とユーザとの位置関係について説明する。投影撮像装置１０２は、机上３０３に設置される。本実施形態では机を挟んで二人のユーザがいる。銀行窓口で説明を行うテラー３０１と、説明を受ける顧客３０２である。

テラー３０１は、入力デバイス４０９を操作して情報処理装置１０１に画面の表示指示を行うと、情報処理装置１０１からプロジェクタ４２３に対して当該画面の投影指示が送信される。プロジェクタ４２３はこれを受けると反射鏡２０７に向かって左右を反転させた画面を投影する。これは、反射鏡２０７で反射することにより、投影面３０４に投影される像が左右反転してしまうからである。こうすると、投影面３０４に指示した画面が投影される。画面を左右に反転させる処理は、情報処理装置１０１が行ってもよいし、プロジェクタ４２３が行ってもよい。また投影面３０４は、投影される光が見やすいよう模様のない白い面であることが望ましい。

プロジェクタ４２３から照射された光が反射鏡２０７で図３の破線の矢印で示すような方向に反射されると、その光が投影面３０４に投影される。この光によって表現される画面を見て、テラー３０１が顧客３０２に説明を行う。本実施形態では、このようにテラー３０１と顧客３０２とが机を挟んで位置しており、それぞれが投影された画面を見ながら操作していく形態を前提として説明を行う。

図４は、情報処理装置１０１及び投影撮像装置１０２のハードウェア構成の一例を示す図である。

ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ４０２あるいは外部メモリ４１１（記憶手段）には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳという。）や、情報処理装置１０１の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、汎用入出力コントローラ４０５は、キーボードやマウス等の入力デバイス４０９、更には投影撮像装置１０２のデジタルカメラ４２１や赤外線センサ４２２との入出力を制御する。これらは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス規格により接続される。

ビデオコントローラ４０６は、ディスプレイ４１０や投影撮像装置１０２のプロジェクタ４２３等の表示装置や投影装置への表示を制御する。ディスプレイ４１０は例えばＣＲＴや液晶ディスプレイである。更にビデオコントローラ４０６は、ディスプレイ４１０と投影撮像装置１０２のプロジェクタ４２３とそれぞれに対して同じ画面または異なる画面を表示及び投影指示する。これらは、いわゆるミラーリングやマルチモニタが可能である。

メモリコントローラ４０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクへのアクセスを制御する。また、メモリコントローラ４０７は、フレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスも制御する。

通信Ｉ／Ｆコントローラ４０８は、ネットワークを介して、外部機器と接続及び通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１０上での表示や投影撮像装置１０２のプロジェクタ４２３での投影を可能としている。また、ＣＰＵ４０１は、ディスプレイ４１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。更にＣＰＵ４０１は、投影面３０４に投影された画面をユーザの手でタッチすることによっても、ユーザ指示を可能とする。すなわち、赤外線センサ４２２で検知した現実空間におけるユーザの手の座標位置に応じて、画面のボタン等が押下されたのか否かを検知し、ＣＰＵ４０１に動作を実行させる。

本発明の情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。

図５は、携帯端末１０３のハードウェア構成の一例を示す図である。

ＣＰＵ５０１は、システムバス５０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ５０２あるいはフラッシュメモリ５１４には、ＣＰＵ５０１の制御プログラムであるＢＩＯＳやＯＳや、携帯端末１０３が実行する機能を実現するために必要な、後述する各種プログラム等が記憶されている。ＲＡＭ５０３は、ＣＰＵ５０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ５０１は、処理の実行に際して必要なプログラム等をＲＡＭ５０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、入力コントローラ５０５は、タッチパネル５１０、マイク５１１、カメラ５１２からの入力を制御する。タッチパネル５１０からはユーザのタッチ操作に関する入力を制御し、マイク５１１からは音声の入力を制御し、更にカメラ５１２からは撮影された静止画や動画の入力を制御する。出力コントローラ５０６は、タッチパネル５１０、スピーカ５１３への出力を制御する。

タッチパネル５１０は、ユーザからのタッチ操作を検知すると共に、前述した出力コントローラ５０６から送られた映像を表示する。タッチパネル５１０は、表示器と位置入力装置とが一体となった部品である。複数の箇所に対するタッチ操作（以下、マルチタッチという。）も検知可能である。

メモリコントローラ５０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するフラッシュメモリ５１４へのアクセスを制御する。本実施形態においては、フラッシュメモリとして説明を行うが、ハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の記憶媒体であってもよい。

通信Ｉ／Ｆコントローラ５０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

センサコントローラ５０８は、携帯端末１０３が備えるセンサ５１５からの入力を制御する。携帯端末１０３のセンサ５１５には様々なセンサが存在し、例えば方位センサ、加速度センサ等である。

尚、ＣＰＵ５０１は、例えばＲＡＭ５０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、タッチパネル５１０上での表示を可能としている。

本発明の携帯端末１０３が後述する各種処理を実行するために用いられる各種プログラム等はフラッシュメモリ５１４に記録されており、必要に応じてＲＡＭ５０３にロードされることによりＣＰＵ５０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルはフラッシュメモリ５１４に格納されている。

次に、情報処理装置１０１及び携帯端末１０３の機能構成の一例について図６を用いて説明する。尚、図６の情報処理装置１０１及び携帯端末１０３の機能構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は機能部として、記憶部６０１と、表示制御部６０２と、投影制御部６０３と、撮像制御部６０４と、センサ制御部６０５と、座標変換部６０６と、操作検知部６０７と、通信制御部６０８と、画像合成部６０９とを備える。

記憶部６０１は、後述する各種テーブルの情報や各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。

表示制御部６０２は、情報処理装置１０１と通信可能に接続されたディスプレイ４１０の表示を制御するための機能部である。表示制御部６０２から画面等の表示指示がなされると、ビデオコントローラ４０６を介してディスプレイ４１０に表示指示が送信される。そして、ディスプレイ４１０はこの指示を受信すると、指示に従って画面等を表示する。

投影制御部６０３は、情報処理装置１０１と通信可能に接続されたプロジェクタ４２３の投影を制御するための機能部である。投影制御部６０３から画面等の投影指示がなされると、表示制御部６０２と同様にビデオコントローラ４０６を介してプロジェクタ４２３に投影指示が送信される。そして、プロジェクタ４２３はこの指示を受信すると、指示に従って画面等を現実空間に投影する。本実施形態では、文書を示す文書データを投影する場合を一例に説明を行うが、投影するデータ（投影データ）は文書データに限らず、画像データであってもよいし、テキストデータであってもよい。またはこれらを組み合わせた画面であってもよい。

撮像制御部６０４は、情報処理装置１０１と通信可能に接続されたデジタルカメラ４２１の撮像を制御するための機能部である。撮像制御部６０４から投影面３０４の撮像指示が出されると、汎用入出力コントローラ４０５を介してデジタルカメラ４２１に撮像指示がなされる。デジタルカメラ４２１はこの指示を受信すると、撮像を行い、撮像により生成された画像データを情報処理装置１０１に送信する。撮像制御部６０４は、これを受け取り、画像データを左右反転させた上で記憶部６０１が外部メモリ４１１等に記憶する。前述した通り、デジタルカメラ４２１は反射鏡２０７に写った像を撮像するため左右が反転している。これを補正するために、記憶部６０１で画像データを記憶する前に、撮像制御部６０４がこの画像データを左右反転する。

センサ制御部６０５は、情報処理装置１０１と通信可能に接続された赤外線センサ４２２から送信される、投影面３０４における現実空間の情報（物体の有無や位置等）を受信し、現実空間の状態を検知するための機能部である。赤外線センサ４２２が検出した現実空間の情報は、赤外線センサ４２２から情報処理装置１０１に対して逐一送信される。センサ制御部６０５はこれを受信し、必要に応じて後述する座標変換部６０６に渡す。

座標変換部６０６は、センサ制御部６０５が受信した現実空間の情報に含まれる、投影面３０４にある物体の位置を示す座標値を変換するための機能部である。座標変換部６０６は、この座標値を投影面３０４に投影された画面における座標値に変換する。すなわち、赤外線センサ４２２で検知した座標値が、情報処理装置１０１が管理する画面のどの座標値に該当するのかを、この座標変換部６０６を用いて特定する。尚、座標変換の方法は従来技術を用いるため詳細な説明は省略する。

操作検知部６０７は、ユーザからの操作を検知するための機能部である（検知手段）。情報処理装置１０１に接続された入力デバイス４０９を通じて送信されるユーザからの指示を検知したり、投影面３０４に投影された画面でユーザが行った指示を検知したりする。後者の指示の検知は、投影面３０４において検知した物体の座標値を座標変換部６０６で変換することにより画面上のどのボタンが押下されたのかを検知したり、書類が置かれることにより書類の取込が指示されたのかを検知したりする。

通信制御部６０８は、情報処理装置１０１と携帯端末１０３との通信を制御するための機能部である（通信手段）。通信制御部６０８は、情報処理装置１０１と携帯端末１０３との情報の送受信を制御する。

画像合成部６０９は、文書データまたは画面のレイヤーと、入力アイテムを表示させるレイヤーを合成する機能部である。操作検知部６０７でユーザからの操作を検知して、投影制御部６０３の機能により投影される文書データまたは画面に対する操作により入力されるアイテム（テキスト、スタンプ、アノテーション、画像、手書き入力等）を入力アイテムのレイヤー上に表示させる。そしてこの入力アイテムのレイヤーと文書データまたは画面のレイヤーとを合成する。これにより、もとの画像に変更を加えないので、編集中に投影面で編集した部分だけ削除することが可能となる。

携帯端末１０３は機能部として、記憶部６１１と、表示制御部６１２と、通信制御部６１３とを備える。

記憶部６１１は、後述する各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。また、記憶部６１１は、後述する通信制御部６１３で受信した情報を記憶する機能も有する。

表示制御部６１２は、携帯端末１０３のタッチパネル５１０の表示を制御するための機能部である。表示制御部６１２から画面等の表示指示がなされると、出力コントローラ５０６を介してタッチパネル５１０に表示指示が送信される。そして、タッチパネル５１０はこの指示を受信すると、指示に従って画面等を表示する。

通信制御部６１３は、携帯端末１０３と情報処理装置１０１との通信を制御するための機能部である。通信制御部６１３は、携帯端末１０３と情報処理装置１０１との情報の送受信を制御する。

次に、不図示のメニュー画面において操作を受け付ける処理の流れについて、図７に示すフローチャートを用いて説明する。

まず、ステップＳ７０１では、情報処理装置１０１のＣＰＵ４０１は、テラー３０１からの指示に応じて外部メモリ４１１等に記憶された投影アプリケーションを起動する。投影アプリケーションは、後述するステップＳ７０２乃至ステップＳ７０７の各処理を実行するためのアプリケーションである。投影アプリケーションを動作させることにより、投影面３０４に各種画面をプロジェクタ４２３が投影できるようになる。

ステップＳ７０２では、情報処理装置１０１のＣＰＵ４０１は、表示制御部６０２の機能により、不図示のメニュー画面をディスプレイ４１０に表示する。メニュー画面には、書類閲覧ボタンと終了ボタンとを備える。書類閲覧ボタンは、文書データに対して閲覧・編集を行うためのボタンである。終了ボタンは、投影アプリケーションを終了するためのボタンである。

ステップＳ７０３では、情報処理装置１０１のＣＰＵ４０１は、操作検知部６０７の機能により、書類閲覧ボタンの押下を検知したか否かを判定する。すなわち、入力デバイス４０９を介してディスプレイ４１０上で書類閲覧ボタンの押下を受け付けたか否かを判定する。書類閲覧ボタンの押下を検知したと判定した場合には、ステップＳ７０４に処理を進める。書類閲覧ボタンの押下を検知していない、または書類閲覧ボタン以外のボタンの押下を検知したと判定した場合には、ステップＳ７０６に処理を進める。

ステップＳ７０４では、情報処理装置１０１のＣＰＵ４０１は、書類閲覧処理を実行する。書類閲覧処理の詳細は、後述する図８に示す。書類閲覧処理が終了したら、ステップＳ７０５に処理を進める。

ステップＳ７０５では、情報処理装置１０１のＣＰＵ４０１は、データ移行処理を実行する。データ移行処理の詳細は、後述する図１３に示す。データ移行処理が終了したら、ステップＳ７０６に処理を進める。

ステップＳ７０６では、情報処理装置１０１のＣＰＵ４０１は、操作検知部６０７の機能により、不図示の終了ボタンの押下を検知したか否かを判定する。すなわち、入力デバイス４０９を介してディスプレイ４１０上で終了ボタンの押下を受け付けたか否かを判定する。終了ボタンの押下を検知したと判定した場合には、ステップＳ７０７に処理を進める。終了ボタンの押下を検知していないと判定した場合には、ステップＳ７０３に処理を戻す。

ステップＳ７０７では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ７０１で起動した投影アプリケーションを終了する。

次に、書類閲覧処理の流れについて、図８に示すフローチャートを用いて説明する。尚、図８の破線で表現された矢印は、情報処理装置１０１と携帯端末１０３との間のデータの送受信を示す。

ステップＳ８０１では、情報処理装置１０１のＣＰＵ４０１は、投影制御部６０３の機能により、図９に示すような準備画面９００をプロジェクタ４２３に投影させて、投影面３０４に表示する。このとき、ミラーリング機能を用いて、ディスプレイ４１０にも同じ画面が表示されてもよいし、マルチモニタ機能を用いて、ディスプレイ４１０には画面を操作するためのマニュアルや説明すべきポイントを表示させてもよい。以下、プロジェクタ４２３から投影面３０４に画面を投影する場合についても同様である。準備画面９００は、端末領域９０１と編集ボタン９０２を含む。端末領域９０１は、投影面３０４に任意に設定され、情報処理装置１０１で管理されている領域である。編集ボタン９０２は押下を検知することにより、投影面３０４に投影する文書データの編集を受け付ける。

図１７の端末領域管理テーブル１７３０は、投影面３０４上に設定される、端末を配置するための端末領域９０１（所定領域）を管理するテーブルの一例であり、情報処理装置１０１の外部メモリ４１１に記憶されている（領域管理手段）。端末領域管理テーブル１７３０は、文書ＩＤ１７３１と、所定管理領域位置１７３２を備える。文書ＩＤ１７３１は、文書データごとに一意に割り振られる識別情報を示す。所定管理領域位置１７３２は、領域の左上座標と右下座標とを示す。

ステップＳ８０２では、情報処理装置１０１のＣＰＵ４０１は、センサ制御部６０５の機能により、準備画面９００が投影された投影面３０４で携帯端末１０３を検知したか否かを判定する。より具体的には、情報処理装置１０１に接続された赤外線センサ４２２から取得した情報と、図１７に示す携帯端末管理テーブル１７２０のサイズ１７２２とを用いて、投影面３０４にある携帯端末１０３を検知する。サイズ１７２２には、携帯端末１０３の高さと幅と厚さとが格納されており、これらの情報と赤外線センサ４２２から取得した情報とを比較することで、携帯端末１０３を検知することができる。検知したと判定した場合はステップＳ８０３に処理を進める。そうでない場合はステップＳ８１６に処理を進める。

図１７の携帯端末管理テーブル１７２０は、携帯端末１０３を管理するテーブルの一例であり、情報処理装置１０１の外部メモリ４１１に記憶されている。携帯端末管理テーブル１７２０は、端末ＩＤ１７２１と、サイズ１７２２と、携帯端末位置１７２３とを含む。端末ＩＤ１７２１は、携帯端末１０３ごとに一意に割り振られる識別情報を示す。サイズ１７２２は、携帯端末１０３の高さと幅と厚さとを示す。携帯端末位置１７２３は、投影面３０４に投影される画面における携帯端末１０３の左上座標と右下座標とを示す。尚、携帯端末１０３の中心座標と、中心座標からの上下左右の幅とを格納してもよい。

ステップＳ８０３では、情報処理装置１０１のＣＰＵ４０１は、座標変換部６０６の機能により、ステップＳ８０２で検知した携帯端末１０３の位置を座標に変換し、携帯端末１０３が端末領域９０１内にあるか否かを判定する。端末領域９０１内にあると判定した場合はステップＳ８０４に処理を進める。そうでない場合はステップＳ８１６に処理を進める。

ステップＳ８０４では、情報処理装置１０１のＣＰＵ４０１は、記憶部６０１の機能により記憶されている携帯端末１０３の接続先情報を特定する（接続先特定手段）。接続先情報は、携帯端末１０３にインストールされているアプリケーション等を用いてあらかじめ情報処理装置１０１と通信し、接続先情報を取得しておく。

図１７の接続先管理テーブル１７４０は、携帯端末１０３の接続先を管理するテーブルの一例であり、情報処理装置１０１の外部メモリ４１１に記憶されている。接続先管理テーブル１７４０は、端末ＩＤ１７４１と、サイズ１７４２と、接続先情報１７４３と、携帯端末位置１７４４とを含む。端末ＩＤ１７４１は、携帯端末１０３ごとに一意に割り振られる識別情報を示す。サイズ１７４２は、携帯端末１０３の高さと幅と厚さとを示す。接続先情報１７４３は、携帯端末１０３ごとの接続先情報を示す。携帯端末位置１７４４は、投影面３０４に投影される画面における携帯端末１０３の左上座標と右下座標とを示す。

ステップＳ８０５では、情報処理装置１０１のＣＰＵ４０１は、通信制御部６０８の機能により、携帯端末１０３に文書データ取得要求を送信する。

ステップＳ８０６では、携帯端末１０３のＣＰＵ５０１は、記憶部６１１の機能により記憶されている文書データを表示するためのアプリケーションを起動する。

ステップＳ８０７では、携帯端末１０３のＣＰＵ５０１は、表示制御部６１２の機能により任意の文書データをタッチパネル５１０に表示する。

ステップＳ８０８では、携帯端末１０３のＣＰＵ５０１は、通信制御部６１３の機能により情報処理装置１０１から送信された文書データ取得要求を受信する。

ステップＳ８０９では、携帯端末１０３のＣＰＵ５０１は、表示制御部６１２の機能により現在表示している表示データを特定する。

ステップＳ８１０では、携帯端末１０３のＣＰＵ５０１は、ステップＳ８０９で特定した表示データを通信制御部６１３の機能により情報処理装置１０１に送信する。

ステップＳ８１１では、情報処理装置１０１のＣＰＵ４０１は、通信制御部６０８の機能により、携帯端末１０３から、携帯端末１０３のタッチパネル５１０に表示されていた文書データを受信する。

図１０は、投影画面１０００であり、図９の準備画面９００の端末領域９０１で携帯端末１０３を検知し、携帯端末１０３のタッチパネル５１０に表示されている文書データを投影面３０４に投影している様子の一例を示す図である。ステップＳ８１１で文書データを受信すると、図１０のように投影面３０４に文書データ１００１を投影する。投影画面１０００は編集ボタン９０２のほかに完了ボタン１００２を含む。完了ボタン１００２は押下を検知すると、文書データ１００１の編集処理を完了する。

ステップＳ８１２では、情報処理装置１０１のＣＰＵ４０１は、操作検知部６０７の機能により準備画面９００の編集ボタン９０２の押下を検知したか否かを判定する。編集ボタン９０２の押下を検知したと判定した場合はステップＳ８１３に処理を進める。編集ボタン９０２の押下を検知したと判定しなかった場合はステップＳ８１４に処理を進める。

ステップＳ８１３では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ８１２で編集ボタン９０２の押下を検知したと判定した場合に編集処理を実行する。編集処理の詳細については図１１のフローチャートを用いて後述する。

ステップＳ８１４では、情報処理装置１０１のＣＰＵ４０１は、投影制御部６０３の機能により投影している文書データ１００１の内容に変更があるか否かを判定する。より具体的には、ステップＳ８１３で編集処理が実行されたか否かを判定してもよいし、文書データ１００１のデータ容量の差分を見て変更ありと判定してもよい。変更ありと判定した場合はステップＳ８１５に処理を進める。そうでない場合はステップＳ８１６に処理を進める。

ステップＳ８１５では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ８１４で文書データ１００１の内容に変更ありと判定した場合に、変更済みの文書データ１００１を記憶部６０１の機能により保存して記憶する。

図１７の文書データ管理テーブル１７００は、記憶部６０１の機能により記憶する文書データを管理するテーブルの一例であり、情報処理装置１０１の外部メモリ４１１に記憶されている。文書データ管理テーブル１７００は、文書ＩＤ１７０１と、文書データ保存場所１７０２とを含む。文書ＩＤ１７０１は、文書データごとに一意に割り振られる識別情報を示す。文書データ保存場所１７０２は、文書データが保存されているファイルパスを示す。

ステップＳ８１６では、情報処理装置１０１のＣＰＵ４０１は、操作検知部６０７の機能により、完了ボタン１００２の押下を検知したか否かを判定する。押下を検知したと判定した場合は書類閲覧処理の一連の流れを終了する。押下を検知したと判定しなかった場合はステップＳ８０２に処理を戻す。

以上で、書類閲覧処理の一連の流れの説明を終了する。

次に、図１１のフローチャートを用いて編集処理の一連の流れを説明する。

ステップＳ１１０１では、情報処理装置１０１のＣＰＵ４０１は、操作検知部６０７の機能により、不図示の編集選択を受け付ける。編集選択とは、どの編集の処理を行うかの選択である。本実施形態では、不図示の選択画面等でテキスト、アイテム、手書き入力の編集の種類の選択を受け付けるが、これに限らず他の編集処理を行ってもよい。

ステップＳ１１０２では、情報処理装置１０１のＣＰＵ４０１は、入力デバイス４０９等からテキストの入力を受け付けたか否かを判定する。テキストの入力を受け付けたと判定した場合はステップＳ１１０３に処理を進める。そうでない場合はステップＳ１１０４に処理を進める。

ステップＳ１１０３では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１１０２で入力を受け付けたと判定した場合に表示制御部６０２の機能によりテキストを文書データ１００１上に表示させる。尚、入力を受け付けたものを表示させる際には文書データ１００１のレイヤーとは別のレイヤーに表示させ、文書データ１００１重畳した形で投影するとよい。以下、ステップＳ１０４からステップＳ１１１０の処理についても同様である。

ステップＳ１１０４では、情報処理装置１０１のＣＰＵ４０１は、アイテムの挿入指示を受け付けたか否かを判定する。ここでいうアイテムとは、スタンプやイラスト、画像、アノテーション等の表示アイテムのことを指す。表示アイテムはこれに限らず投影できるものであれば何のアイテムであってもよい。アイテムの挿入指示を受け付けた判定した場合はステップＳ１１０５に処理を進める。そうでない場合はステップＳ１１０７に処理を進める。

ステップＳ１１０５では、情報処理装置１０１のＣＰＵ４０１は、操作検知部６０７の機能により、記憶部６０１で記憶している表示アイテムのうち、どのアイテムを表示するかの選択を受け付ける。

ステップＳ１１０６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１０５で選択を受け付けたアイテムを表示させる。

ステップＳ１１０７では、情報処理装置１０１のＣＰＵ４０１は、操作検知部６０７の機能により、手書き入力を受け付けたか否かを判定する。手書き入力を受け付けたと判定した場合はステップＳ１１０８に処理を進める。そうでない場合はステップＳ１１１０に処理を進める。

ステップＳ１１０８では、情報処理装置１０１のＣＰＵ４０１は、作検知部６０７の機能により、入力を受け付けた手書き入力の軌跡を表示可能な情報として生成する。より具体的には、操作検知部６０７でユーザからの操作を受け付けた軌跡を座標変換部６０６で座標値に変換して記憶する。

ステップＳ１１０９では、情報処理装置１０１のＣＰＵ４０１は、表示制御部６０２の機能によりステップＳ１１０８で生成した手書き入力の軌跡を表示する。

ステップＳ１１１０では、情報処理装置１０１のＣＰＵ４０１は、操作検知部６０７の機能により、完了ボタン１００２の押下を検知したか否かを判定する。完了ボタン１００２の押下を検知したと判定した場合は編集処理を終了する。そうでない場合はステップＳ１１０２に処理を進める。

図１２は、投影画面１０００に投影している文書データ１００１に対して編集処理で編集を行う様子の一例である。テキスト１２０１は、入力デバイス４０９のキーボード入力当で入力を受け付けたテキストである。スタンプ１２０２と、丸囲み１２０３は、表示アイテムの入力を受け付けて表示させるアイテムである。手書きライン１２０４は、ユーザの投影面３０４をタッチ操作やスライド操作等で移動するユーザの手の軌跡を表示させている様子を示す。尚、編集処理のフローチャートと図１２で「表示」しているアイテムは、ここでは投影と同様の意味である。

次に、図１３のフローチャートを用いてデータ移行処理の一連の流れを説明する。

ステップＳ１３０１では、情報処理装置１０１のＣＰＵ４０１は、センサ制御部６０５の機能により、携帯端末１０３を検知しなくなったか否かを判定する。携帯端末１０３を検知しなくなったと判定した場合はステップＳ１３０３に処理を進める。そうでない場合、つまり携帯端末１０３を検知したままであると判定した場合はステップＳ１３０２に処理を進める。

ステップＳ１３０２では、情報処理装置１０１のＣＰＵ４０１は、センサ制御部６０５の機能により携帯端末１０３が端末領域９０１内にあるか否かを判定する。より具体的には、端末領域９０１の座標値と携帯端末１０３の位置を取得して比較し、端末領域９０１の座標が示す領域内に携帯端末１０３があるか否かを判定する。携帯端末１０３が領域内にあると判定した場合は領域内から携帯端末１０３が移動したと判定するまでステップＳ１３０２の処理を繰り返す。携帯端末１０３が端末領域９０１内に無いと判定した場合はステップＳ１３０３に処理を進める。

ステップＳ１３０３では、情報処理装置１０１のＣＰＵ４０１は、現在投影している文書データを特定する。

ステップＳ１３０４では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１３０３で特定した文書データの内容に変更があるか否かを判定する。より具体的には、編集処理が実行されたか否かを判定してもよいし、特定した文書データのデータ容量の差分を見て変更ありと判定してもよい。変更ありと判定した場合はステップＳ１３０５に処理を進める。そうでない場合はステップＳ１３０６に処理を進める。

ステップＳ１３０５では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１３０４で特定した文書データの内容に変更ありと判定した場合に、レイヤーを合成する。より具体的には、編集処理で編集して追加した表示アイテム等を表示させるレイヤーと、文書データのレイヤーとを画像合成部６０９の機能により合成して保存し、記憶部６０１で記憶する。

ステップＳ１３０６では、情報処理装置１０１のＣＰＵ４０１は、ステップＳ１３０５で保存した編集処理済みの文書データを、通信制御部６０８の機能により送信する。

ステップＳ１３０７では、携帯端末１０３のＣＰＵ５０１は、通信制御部６１３の機能により文書データを受信する。

ステップＳ１３０８では、携帯端末１０３のＣＰＵ５０１は、記憶部６１１の機能によりステップＳ１３０７で受信した文書データを保存し、記憶する。

ステップＳ１３０９では、携帯端末１０３のＣＰＵ５０１は、ステップＳ１３０７で受信した文書データを表示制御部６１２の機能によりタッチパネル５１０に表示する。これにより、情報処理装置から送信された文書データが携帯端末１０３で受信できたことをユーザに通知できるとともに、携帯端末１０３上での文書データの表示状態を確認できる。

以上で、データ移行処理の一連の流れの説明を終了する。

図１４は、投影画面１０００で編集した文書データ１４０１を、携帯端末１０３に送信した様子の一例を示す。端末領域９０１から携帯端末１０３が移動したことを検知すると、情報処理装置１０１は現在投影している編集済みの文書データ１４０１を携帯端末１４０２に送信する。これにより、例えばテラー３０１が顧客に投影資料を用いて商品説明をした際に、タッチ操作でアイテムを入力するして強調した部分の痕跡を残した画像を生成して容易に顧客の携帯端末１０３に送信可能となる。

図１５は、投影画面１０００に端末領域を複数設けた様子の一例を示す図である。このように、端末領域９０１をデータ受信領域、端末領域１５０１をデータ送信領域として端末領域を複数設定してもよい。

図１６は、端末領域９０１に携帯端末１０３−１が置かれ、端末領域１５０１に携帯端末１０３−２が置かれている様子の一例を示す。端末領域９０１をデータ受信領域として当該領域で検知した携帯端末１０３−１の表示画像を受信（取得）し、投影面３０４で編集した後、端末領域１５０１をデータ送信領域として当該領域で検知した携帯端末１０３−２に編集済みのデータを送信してもよい。

以上説明したように、本発明によれば、ユーザからの操作を受け付け可能な投影面を備える投影装置と携帯端末とで、投影画像を容易に共有可能な仕組みを提供することのできる効果を奏する。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現（実行可能と）するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 情報処理装置
１０２ 投影撮像装置
１０３ 携帯端末
４０１ ＣＰＵ
４０２ ＲＡＭ
４０３ ＲＯＭ
４０４ システムバス
４０５ 汎用入出力コントローラ
４０６ ビデオコントローラ
４０７ メモリコントローラ
４０８ 通信Ｉ／Ｆコントローラ
４０９ 入力デバイス
４１０ ディスプレイ
４１１ 外部メモリ
４２１ デジタルカメラ
４２２ ジェスチャセンサ
４２３ プロジェクタ

Claims (10)

1. 投影データを投影する投影装置と携帯端末と通信可能な情報処理装置であって、
   投影面上に所定領域を管理する領域管理手段と、
   前記領域管理手段で管理する所定領域に配置される携帯端末を検知する検知手段と、
   前記検知手段で検知した前記携帯端末の接続先を特定する接続先特定手段と、
   前記接続先特定手段で接続先を特定した前記携帯端末とデータを送受信して通信する通信手段と
   を備え、
   前記通信手段は、前記領域管理手段で管理している所定領域で検出した携帯端末から投影データを受信することを特徴とする情報処理装置。
2. 前記検知手段は、前記携帯端末が所定領域に配置されているか否かを検知し、前記所定領域から移動した前記携帯端末に投影データを送信することを特徴とする請求項１に記載の情報処理装置。
3. 前記情報処理装置は、前記通信手段で受信した前記投影データを前記投影面上に投影するよう制御する投影制御手段をさらに備えることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記情報処理装置は、前記投影制御手段で前記投影面上に投影した投影データに対する操作を取得する取得手段と、
   前記取得手段で取得した操作に応じて前記投影データを編集する編集手段と、
   をさらに備えることを特徴とする請求項３に記載の情報処理装置。
5. 前記通信手段は、前記編集手段で編集した投影データを前記所定領域から移動した前記携帯端末に送信することを特徴とする請求項４に記載の情報処理装置。
6. 投影データを投影する投影装置と携帯端末と通信可能な情報処理装置の制御方法であって、
   投影面上に所定領域を管理する領域管理ステップと、
   前記領域管理ステップで管理する所定領域に配置される携帯端末を検知する検知ステップと、
   前記検知ステップで検知した前記携帯端末の接続先を特定する接続先特定ステップと、
   前記接続先特定ステップで接続先を特定した前記携帯端末とデータを送受信して通信する通信ステップと
   を備え、
   前記通信ステップは、前記領域管理ステップで管理している所定領域で検出した携帯端末から投影データを受信することを特徴とする情報処理装置の制御方法。
7. 投影データを投影する投影装置と携帯端末と通信可能な情報処理装置として機能させるプログラムであって、
   前記情報処理装置を、
   投影面上に所定領域を管理する領域管理手段と、
   前記領域管理手段で管理する所定領域に配置される携帯端末を検知する検知手段と、
   前記検知手段で検知した前記携帯端末の接続先を特定する接続先特定手段と、
   前記接続先特定手段で接続先を特定した前記携帯端末とデータを送受信して通信する通信手段
   として機能させ、
   前記通信手段は、前記領域管理手段で管理している所定領域で検出した携帯端末から投影データを受信するよう機能させるプログラム。
8. 投影データを投影する投影装置と携帯端末と、前記投影装置と前記携帯端末と通信可能な情報処理装置とを含む情報処理システムであって、
   投影面上に所定領域を管理する領域管理手段と、
   前記領域管理手段で管理する所定領域に配置される携帯端末を検知する検知手段と、
   前記検知手段で検知した前記携帯端末の接続先を特定する接続先特定手段と、
   前記接続先特定手段で接続先を特定した前記携帯端末とデータを送受信して通信する通信手段と
   を備え、
   前記通信手段は、前記領域管理手段で管理している所定領域で検出した携帯端末から投影データを受信することを特徴とする情報処理システム。
9. 投影データを投影する投影装置と携帯端末と、前記投影装置と前記携帯端末と通信可能な情報処理装置とを含む情報処理システムの制御方法であって、
   投影面上に所定領域を管理する領域管理ステップと、
   前記領域管理ステップで管理する所定領域に配置される携帯端末を検知する検知ステップと、
   前記検知ステップで検知した前記携帯端末の接続先を特定する接続先特定ステップと、
   前記接続先特定ステップで接続先を特定した前記携帯端末とデータを送受信して通信する通信ステップと
   を備え、
   前記通信ステップは、前記領域管理ステップで管理している所定領域で検出した携帯端末から投影データを受信することを特徴とする情報処理システムの制御方法。
10. 投影データを投影する投影装置と携帯端末と、前記投影装置と前記携帯端末と通信可能な情報処理装置とを含む情報処理システムとして機能させるプログラムであって、
    前記情報処理システムを、
    投影面上に所定領域を管理する領域管理手段と、
    前記領域管理手段で管理する所定領域に配置される携帯端末を検知する検知手段と、
    前記検知手段で検知した前記携帯端末の接続先を特定する接続先特定手段と、
    前記接続先特定手段で接続先を特定した前記携帯端末とデータを送受信して通信する通信手段
    として機能させ、
    前記通信手段は、前記領域管理手段で管理している所定領域で検出した携帯端末から投影データを受信するよう機能させるプログラム。
    
    
    

Images