JP2016051468A - 情報処理装置、その制御方法、及びプログラム - Google Patents

情報処理装置、その制御方法、及びプログラム Download PDF

Info

Publication number
JP2016051468A
JP2016051468A JP2015130737A JP2015130737A JP2016051468A JP 2016051468 A JP2016051468 A JP 2016051468A JP 2015130737 A JP2015130737 A JP 2015130737A JP 2015130737 A JP2015130737 A JP 2015130737A JP 2016051468 A JP2016051468 A JP 2016051468A
Authority
JP
Japan
Prior art keywords
projection data
information processing
processing apparatus
projection
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015130737A
Other languages
English (en)
Other versions
JP6187547B2 (ja
Inventor
直道 岡田
Naomichi Okada
直道 岡田
昌也 富岡
Masaya Tomioka
昌也 富岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Original Assignee
Canon Marketing Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc filed Critical Canon Marketing Japan Inc
Priority to JP2015130737A priority Critical patent/JP6187547B2/ja
Publication of JP2016051468A publication Critical patent/JP2016051468A/ja
Application granted granted Critical
Publication of JP6187547B2 publication Critical patent/JP6187547B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】フリック操作を受け付けた投影データを、フリック操作の方向に応じた携帯端末に対して送信可能な仕組みを提供する。【解決手段】情報処理装置からプロジェクタに対して指示することで投影面に画面を投影し、投影された画面上に配置された携帯端末103−1の画面における位置を特定する。そして、画面上でユーザからのフリック操作を受け付けて、フリック操作された方向1901を特定する。特定した方向1901に携帯端末103−1が存在するか否かを判定し、携帯端末103−1が存在する場合には、携帯端末103−1に文書データを送信する。【選択図】図19

Description

本発明は、フリック操作を受け付けた投影データを、フリック操作の方向に応じた携帯端末に対して送信可能な情報処理装置、その制御方法、及びプログラムに関する。
従来、ファイルの送受信を行う仕組みが存在する。装置間でファイルの送受信を行う場合には、送信元の装置が送信先の装置と送信するファイルとを指定することで、指定された装置の接続先情報(例えば、IPアドレスやメールアドレス等。)を用いて指定されたファイルを送信する。
これらの指定は、装置に接続されたマウスやキーボードといったデバイスを通じて行われるのだが、ユーザにとっては送信までの手順が多く、煩わしいものであった。そこで、下記の特許文献1では、スマートフォンやタブレット端末などの携帯端末からファイルの送信先の装置に対する現実空間における方向を特定し、携帯端末上で当該方向に対してフリック操作がなされると、携帯端末から当該方向にある装置に対してファイルを送信する仕組みが開示されている。
特開2013−164761号
ところで、例えば銀行の商品説明業務では、銀行の説明員であるテラーが顧客に対して保険商品や金融商品の説明を行う。この説明では、商品説明のための画面をプロジェクタで机上に投影し、投影された画面に対するユーザからのタッチ操作に応じて、画面の表示を切り替える仕組みを用いることがある。
この仕組みを用いた商品説明の際に、顧客の携帯端末に商品のチラシや申込書といったファイルを送信したいことがある。これを解決するために、従来のように、投影された画面上で顧客の携帯端末を示す接続先情報やファイルの選択を受け付けることで、顧客の携帯端末にファイルを送信する仕組みが考えられる。
しかしながら、ユーザのタッチ操作を検知するセンサの性能が低く、細かな動作を検知できなかったり、画面を投影するプロジェクタの解像度が低く、細かな文字を投影できなかったりするため、複雑な操作を行うことができない問題がある。そこで、上記特許文献1の仕組みを適用する方法が考えられるが、銀行にいるすべての顧客の携帯端末が送信先の候補として表示されてしまい、誤送信につながる可能性がある。
本発明の目的は、フリック操作を受け付けた投影データを、フリック操作の方向に応じた携帯端末に対して送信可能な仕組みを提供することである。
上記の目的を達成するために本発明の情報処理装置は、投影データを投影する投影装置と携帯端末と通信可能な情報処理装置であって、前記投影装置で投影された複数の投影データのうち、前記携帯端末に送信する投影データに対するフリック操作を受け付けるフリック操作受付手段と、前記投影装置で投影データが投影される面に配置された前記携帯端末の位置と、前記フリック操作受付手段で受け付けたフリック操作の方向とに応じて特定される前記携帯端末に対して、前記フリック操作受付手段でフリック操作を受け付けた投影データを送信する投影データ送信手段とを備えることを特徴とする。
本発明によれば、フリック操作を受け付けた投影データを、フリック操作の方向に応じた携帯端末に対して送信可能な効果を奏する。
本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。 投影撮像装置102の外観構造及び内部構造の概要の一例を示す図である。 投影撮像装置102を用いて投影した投影画像を用いて、商品説明を行う場合の一例を示す図である。 情報処理装置101及び投影撮像装置102のハードウェア構成の一例を示す図である。 携帯端末103のハードウェア構成の一例を示す図である。 情報処理装置101の機能構成の一例を示す図である。 メニュー画面800において操作を受け付ける処理のフローチャートの一例を示す図である。 メニュー画面800の画面構成の一例を示す図である。 商品説明処理のフローチャートの一例を示す図である。 商品説明画面1000の画面構成の一例を示す図である。 文書データ管理テーブル1100のテーブル構成の一例を示す図である。 文書送信処理のフローチャートの一例を示す図である。 図12に続き、文書送信処理のフローチャートの一例を示す図である。 携帯端末検知画面1400の画面構成の一例を示す図である。 接続先選択画面1500の画面構成の一例を示す図である。 接続先管理テーブル1600のテーブル構成の一例を示す図である。 携帯端末検知画面1400が投影された投影面に携帯端末103が配置されている様子の一例を示す図である。 文書送信画面1800の画面構成の一例、及び文書送信画面1800が投影された投影面に携帯端末103が配置されている様子の一例を示す図である。 文書送信画面1800で携帯端末103に文書データを送信する様子の一例を示す図である。 文書送信画面1800で携帯端末103に複数の文書データを送信する様子の一例を示す図である。 第2の実施形態における、図12に続き、文書送信処理のフローチャートの一例を示す図である。 第2の実施形態における、文書送信画面1800で携帯端末103に文書データを送信する様子の一例を示す図である。 第3の実施形態における、図12に続き、文書送信処理のフローチャートの一例を示す図である。 第3の実施形態における、文書送信画面1800で携帯端末103に文書データの送信指示を行う様子の一例を示す図である。
以下、図面を参照しながら、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、情報処理装置101と投影撮像装置102と携帯端末103(送信先端末)とを含む。情報処理装置101は、投影撮像装置102と通信可能に接続されており、更にディスプレイ410と入力デバイス409とも通信可能に接続されている。図1では、これらの装置は有線で接続されているが、無線であってもよい。また、情報処理装置101と携帯端末103とは、同じネットワークに接続しており、当該ネットワークを介して相互に通信可能となっている。尚、図1のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。
情報処理装置101は、オペレーティングシステムを搭載する汎用的な装置である。情報処理装置101は、情報処理装置101に接続された各種デバイスに対して各種動作を実行するよう指示を行う。
投影撮像装置102は、デジタルカメラと赤外線センサとプロジェクタとを備える装置である。情報処理装置101からの指示に応じてプロジェクタで投影をし、投影された机上等の投影面をデジタルカメラで撮像し、また投影面上でユーザの手の動きや物体の位置を認識する。
投影撮像装置102の外部構造及び内部構造の概要の一例について、図2を用いて説明する。
図2は、投影撮像装置102の正面図と右側面図である。内部構造の隠れ線は破線で表現している。投影撮像装置102は、デジタルカメラ421(撮像装置)と赤外線センサ422とプロジェクタ423(投影装置)とを格納する収納部203を備え、収納部203は底面201と左側面202aと右側面202bとで左右から挟みこんで固定している。
また、上面204が左側面202aと右側面202bとの上部に設置され、上面204の下側にはプロジェクタ423から照射される光を反射するための反射鏡207を備える。すなわち、プロジェクタ423は第1の開口部205を通してこの反射鏡207に向けて投影できるよう、設置されている。デジタルカメラ421も同様に、反射鏡207で反射した投影面を撮像するため、デジタルカメラ421は第2の開口部206を通して反射鏡207に向けて設置されている。
また赤外線センサ422(センサ装置)は、例えば赤外線を用いた深度センサである。これはプロジェクタ423が投影した投影面上におけるユーザの手や紙文書(以下、書類という。)等の位置や動きを特定するために、赤外線センサ422からこれらの物体までの距離を算出する。赤外線センサ422は、近赤外線のドットパターンを現実空間に投影し、このドットの形や間隔を取得することで物体までの距離を算出する。または、赤外線光を投影し、赤外線センサ422が備えるカメラによって反射した赤外線光を読み取り、赤外線光が往復した時間を算出することで距離を算出する方式であってもよい。現実空間における物体の位置や動きを取得することができれば、赤外線センサ422の距離の算出方式はどのような方式であってもよいし、赤外線センサ422以外のセンサを用いてもよい。また、赤外線センサ422もデジタルカメラ421と同様に、第2の開口部206を通して反射鏡207に向けて設置されている。この反射鏡207に向けて赤外線を照射する。
投影撮像装置102は以上のように大きく3つの装置を内包しており、これらがそれぞれ情報処理装置101と通信可能に接続されている。本実施形態においては、情報処理装置101と投影撮像装置102とが異なる筐体であるが、同一の筐体であってもよい。すなわち、投影撮像装置102に更に情報処理装置101を内包してもよい。
図1に説明を戻す。携帯端末103は、スマートフォンやタブレット端末といった携帯端末である。本実施形態では、携帯端末103−1と携帯端末103−2とが存在するものとして説明を行う。尚、携帯端末103は、情報処理装置101と通信可能な装置であれば何でもよく、携帯端末に限らない。
次に図3を用いて、本実施形態における投影撮像装置102とユーザとの位置関係について説明する。投影撮像装置102は、机上303に設置される。本実施形態では机を挟んで二人のユーザがいる。銀行窓口で商品説明を行うテラー301と、商品説明を受ける顧客302である。
テラー301は、入力デバイス409を操作して情報処理装置101に画面の表示指示を行うと、情報処理装置101からプロジェクタ423に対して当該画面の投影指示が送信される。プロジェクタ423はこれを受けると反射鏡207に向かって左右を反転させた画面を投影する。これは、反射鏡207で反射することにより、投影面304に投影される像が左右反転してしまうからである。こうすると、投影面304に指示した画面が投影される。画面を左右に反転させる処理は、情報処理装置101が行ってもよいし、プロジェクタ423が行ってもよい。また投影面304は、投影される光が見やすいよう模様のない白い面であることが望ましい。
プロジェクタ423から照射された光が反射鏡207で図3の破線の矢印で示すような方向に反射されると、その光が投影面304に投影される。この光によって表現される画面を見て、テラー301が顧客302に商品説明を行う。本実施形態では、このようにテラー301と顧客302とが机を挟んで位置しており、それぞれが投影された画面を見ながら操作していく形態を前提として説明を行う。
図4は、情報処理装置101及び投影撮像装置102のハードウェア構成の一例を示す図である。
CPU401は、システムバス404に接続される各デバイスやコントローラを統括的に制御する。
また、ROM402あるいは外部メモリ411(記憶手段)には、CPU401の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステムプログラム(以下、OSという。)や、情報処理装置101の実行する機能を実現するために必要な各種プログラム等が記憶されている。RAM403は、CPU401の主メモリ、ワークエリア等として機能する。
CPU401は、処理の実行に際して必要なプログラム等をRAM403にロードして、プログラムを実行することで各種動作を実現するものである。
また、汎用入出力コントローラ405は、キーボードやマウス等の入力デバイス409、更には投影撮像装置102のデジタルカメラ421や赤外線センサ422との入出力を制御する。これらは、USB(Universal Serial Bus)等のバス規格により接続される。
ビデオコントローラ406は、ディスプレイ410や投影撮像装置102のプロジェクタ423等の表示装置や投影装置への表示を制御する。ディスプレイ410は例えばCRTや液晶ディスプレイである。更にビデオコントローラ406は、ディスプレイ410と投影撮像装置102のプロジェクタ423とそれぞれに対して同じ画面または異なる画面を表示及び投影指示する。これらは、いわゆるミラーリングやマルチモニタが可能である。
メモリコントローラ407は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ411へのアクセスを制御する。
通信I/Fコントローラ408は、ネットワークを介して、外部機器と接続及び通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。
尚、CPU401は、例えばRAM403内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ410上での表示や投影撮像装置102のプロジェクタ423での投影を可能としている。また、CPU401は、ディスプレイ410上の不図示のマウスカーソル等でのユーザ指示を可能とする。更にCPU401は、投影面304に投影された画面をユーザの手でタッチすることによっても、ユーザ指示を可能とする。すなわち、赤外線センサ422で検知した現実空間におけるユーザの手の座標位置に応じて、画面のボタン等が押下されたのか否かを検知し、CPU401に動作を実行させる。
本発明の情報処理装置101が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ411に記録されており、必要に応じてRAM403にロードされることによりCPU401によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ411に格納されている。
図5は、携帯端末103のハードウェア構成の一例を示す図である。
CPU501は、システムバス504に接続される各デバイスやコントローラを統括的に制御する。
また、ROM502あるいはフラッシュメモリ514には、CPU501の制御プログラムであるBIOSやOSや、携帯端末103が実行する機能を実現するために必要な、後述する各種プログラム等が記憶されている。RAM503は、CPU501の主メモリ、ワークエリア等として機能する。
CPU501は、処理の実行に際して必要なプログラム等をRAM503にロードして、プログラムを実行することで各種動作を実現するものである。
また、入力コントローラ505は、タッチパネル510、マイク511、カメラ512からの入力を制御する。タッチパネル510からはユーザのタッチ操作に関する入力を制御し、マイク511からは音声の入力を制御し、更にカメラ512からは撮影された静止画や動画の入力を制御する。出力コントローラ506は、タッチパネル510、スピーカ513への出力を制御する。
タッチパネル510は、ユーザからのタッチ操作を検知すると共に、前述した出力コントローラ506から送られた映像を表示する。タッチパネル510は、表示器と位置入力装置とが一体となった部品である。複数の箇所に対するタッチ操作(以下、マルチタッチという。)も検知可能である。
メモリコントローラ507は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するフラッシュメモリ514へのアクセスを制御する。本実施形態においては、フラッシュメモリとして説明を行うが、ハードディスクやフレキシブルディスク或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の記憶媒体であってもよい。
通信I/Fコントローラ509は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。
センサコントローラ508は、携帯端末103が備えるセンサ515からの入力を制御する。携帯端末103のセンサ515には様々なセンサが存在し、例えば方位センサ、加速度センサ等である。
尚、CPU501は、例えばRAM503内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、タッチパネル510上での表示を可能としている。
本発明の携帯端末103が後述する各種処理を実行するために用いられる各種プログラム等はフラッシュメモリ514に記録されており、必要に応じてRAM503にロードされることによりCPU501によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルはフラッシュメモリ514に格納されている。
次に、情報処理装置101及び携帯端末103の機能構成の一例について図6を用いて説明する。尚、図6の情報処理装置101及び携帯端末103の機能構成は一例であり、用途や目的に応じて様々な構成例がある。
情報処理装置101は機能部として、記憶部601と、表示制御部602と、投影制御部603と、撮像制御部604と、センサ制御部605と、座標変換部606と、操作検知部607と、通信制御部608と、ベクトル解析部609とを備える。
記憶部601は、後述する各種テーブルの情報や各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。
表示制御部602は、情報処理装置101と通信可能に接続されたディスプレイ410の表示を制御するための機能部である。表示制御部602から画面等の表示指示がなされると、ビデオコントローラ406を介してディスプレイ410に表示指示が送信される。そして、ディスプレイ410はこの指示を受信すると、指示に従って画面等を表示する。
投影制御部603は、情報処理装置101と通信可能に接続されたプロジェクタ423の投影を制御するための機能部である。投影制御部603から画面等の投影指示がなされると、表示制御部602と同様にビデオコントローラ406を介してプロジェクタ423に投影指示が送信される。そして、プロジェクタ423はこの指示を受信すると、指示に従って画面等を現実空間に投影する。
撮像制御部604は、情報処理装置101と通信可能に接続されたデジタルカメラ421の撮像を制御するための機能部である。撮像制御部604から投影面304の撮像指示が出されると、汎用入出力コントローラ405を介してデジタルカメラ421に撮像指示がなされる。デジタルカメラ421はこの指示を受信すると、撮像を行い、撮像により生成された画像データを情報処理装置101に送信する。撮像制御部604は、これを受け取り、画像データを左右反転させた上で記憶部601が外部メモリ411等に記憶する。前述した通り、デジタルカメラ421は反射鏡207に写った像を撮像するため左右が反転している。これを補正するために、記憶部601で画像データを記憶する前に、撮像制御部604がこの画像データを左右反転する。
センサ制御部605は、情報処理装置101と通信可能に接続された赤外線センサ422から送信される、投影面304における現実空間の情報(物体の有無や位置等)を受信するための機能部である。赤外線センサ422が検出した現実空間の情報は、赤外線センサ422から情報処理装置101に対して逐一送信される。センサ制御部605はこれを受信し、後述する座標変換部606に渡す。
座標変換部606は、センサ制御部605が受信した現実空間の情報に含まれる、投影面304にある物体の位置を示す座標値を変換するための機能部である。座標変換部606は、この座標値を投影面304に投影された画面における座標値に変換する。すなわち、赤外線センサ422で検知した座標値が、情報処理装置101が管理する画面のどの座標値に該当するのかを、この座標変換部606を用いて特定する。尚、座標変換の方法は従来技術を用いるため詳細な説明は省略する。
操作検知部607は、ユーザからの操作を検知するための機能部である。情報処理装置101に接続された入力デバイス409を通じて送信されるユーザからの指示を検知したり、投影面304に投影された画面でユーザが行った指示を検知したりする。後者の指示の検知は、投影面304において検知した物体の座標値を座標変換部606で変換することにより画面上のどのボタンが押下されたのかを検知したり、書類が置かれることにより書類の取込が指示されたのかを検知したりする。
通信制御部608は、情報処理装置101と携帯端末103との通信を制御するための機能部である。通信制御部608は、情報処理装置101と携帯端末103との情報の送受信を制御する。また、通信制御部608は、情報処理装置101が属するネットワークに接続された携帯端末103のIPアドレス等(以下、接続先情報という。)を取得することが可能である。
ベクトル解析部609は、操作検知部607で検知したユーザから指示された方向を特定するための機能部である。画面が投影された投影面304上でユーザがフリック操作(またはスライド操作、スワイプ操作も含む)を行った場合に、ベクトル解析部609はこのフリック操作の軌跡を用いてフリック操作されたベクトルを特定する。ベクトル解析部609は、特定したベクトルをユーザから指示された方向として特定する。尚、フリック操作は本来タッチパネルにおける操作方法のことを指すが、本実施形態ではこれを投影面304における操作として用いる。また、あくまでフリック操作はユーザから指示された方向が特定できればよいため、投影面304に触れる必要はない。投影面304に触れていてもよいし、投影面304上で同様のジェスチャを行ってもよい。すなわち、投影面304に触れないフリック操作も、本実施形態におけるフリック操作の範疇に含む。更に、本実施形態においてフリック操作とは、ユーザの指を任意の方向に向かって素早く移動させる操作や、素早く移動させて弾くような操作をいう。また本実施形態ではフリック操作を一例に説明を行うが、スライド操作やスワイプ操作であってもよい。これらの操作は、ユーザの指を任意の方向に向かって投影面304を軽くなぞる操作をいう。また、スライド操作やスワイプ操作は、軽くなぞる操作を行った後に投影面304から離す操作も含む。
携帯端末103は機能部として、記憶部611と、表示制御部612と、通信制御部613と、文書保存アプリ制御部614とを備える。
記憶部611は、後述する各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。また、記憶部611は、後述する通信制御部613で受信した情報を記憶する機能も有する。
表示制御部612は、携帯端末103のタッチパネル510の表示を制御するための機能部である。表示制御部612から画面等の表示指示がなされると、出力コントローラ506を介してタッチパネル510に表示指示が送信される。そして、タッチパネル510はこの指示を受信すると、指示に従って画面等を表示する。
通信制御部613は、携帯端末103と情報処理装置101との通信を制御するための機能部である。通信制御部613は、携帯端末103と情報処理装置101との情報の送受信を制御する。また、通信制御部608は、携帯端末103が属するネットワークに接続された情報処理装置101の接続先情報を取得することが可能である。
文書保存アプリ制御部614は、携帯端末103にインストールされた文書保存アプリの動作を制御するための機能部である。本実施形態において、文書保存アプリは情報処理装置101と通信することにより受信した情報を保存するためのアプリケーションである。文書保存アプリを動作させることにより、携帯端末103は情報処理装置101の接続先情報を取得して情報処理装置101と携帯端末103との通信を確立し、情報処理装置101から文書データ等の情報(ファイル)が送信された場合に、これを受信する。
次に、メニュー画面800において操作を受け付ける処理の流れについて、図7に示すフローチャートを用いて説明する。
まず、ステップS701では、情報処理装置101のCPU401は、テラー301からの指示に応じて外部メモリ411等に記憶された投影アプリケーションを起動する。投影アプリケーションは、後述するステップS702乃至ステップS706の各処理を実行するためのアプリケーションである。投影アプリケーションを動作させることにより、投影面304に商品説明のための各種画面をプロジェクタ423が投影できるようになる。
ステップS702では、情報処理装置101のCPU401は、図8に示すようなメニュー画面800をディスプレイ410に表示する。メニュー画面800は、商品説明ボタン801と終了ボタン802とを備えている。商品説明ボタン801は、顧客302に対する商品説明を開始するためのボタンである。終了ボタン802は、投影アプリケーションを終了するためのボタンである。
ステップS703では、情報処理装置101のCPU401は、商品説明ボタン801の押下を検知したか否かを判定する。すなわち、入力デバイス409を介してディスプレイ410上で商品説明ボタン801の押下を受け付けたか否かを判定する。商品説明ボタン801の押下を検知したと判定した場合には、ステップS704に処理を進める。商品説明ボタン801の押下を検知していない、または商品説明ボタン801以外のボタンの押下を検知したと判定した場合には、ステップS705に処理を進める。
ステップS704では、情報処理装置101のCPU401は、商品説明処理を実行する。商品説明処理の詳細は、後述する図9に示す。商品説明処理が終了したら、ステップS703に処理を戻す。
ステップS705では、情報処理装置101のCPU401は、終了ボタン802の押下を検知したか否かを判定する。すなわち、入力デバイス409を介してディスプレイ410上で終了ボタン802の押下を受け付けたか否かを判定する。終了ボタン802の押下を検知したと判定した場合には、ステップS706に処理を進める。終了ボタン802の押下を検知していないと判定した場合には、ステップS703に処理を戻す。
ステップS706では、情報処理装置101のCPU401は、ステップS701で起動した投影アプリケーションを終了する。
次に、商品説明処理の流れについて、図9に示すフローチャートを用いて説明する。
ステップS901では、情報処理装置101のCPU401は、図10に示すような商品説明画面1000をプロジェクタ423に投影させて、投影面304に表示する。このとき、ミラーリング機能を用いて、ディスプレイ410にも同じ画面が表示されてもよいし、マルチモニタ機能を用いて、ディスプレイ410には画面を操作するためのマニュアルや説明すべきポイントを表示させてもよい。以下、プロジェクタ423から投影面304に画面を投影する場合についても同様である。
商品説明画面1000は、テラー領域1001と顧客領域1002とを備える。テラー領域1001は、テラー301が情報の閲覧や操作を行う領域であり、顧客領域1002は顧客302が情報の閲覧や操作を行う領域である。それぞれ領域に表示する情報は、当該領域に対応するユーザの方向に向けて配置されている。テラー領域1001には、サムネイル画像領域1003と、文書送信ボタン1004と、メニューボタン1005とが配置されている。サムネイル画像領域1003は、顧客領域1002に表示する文書データのサムネイル画像を表示する領域である。情報処理装置101は、図11に示す文書データ管理テーブル1100のサムネイル画像保存場所1103が示す保存場所からサムネイル画像を取得し、表示位置1104が示す位置にこれを表示する。サムネイル画像領域1003でサムネイル画像の選択を検知すると、選択されたサムネイル画像に対応する文書データを取得し、これを顧客領域1002の文書データ領域1006に表示する。文書送信ボタン1004は、サムネイル画像領域1003に表示されているサムネイル画像に対応する文書データを、顧客の携帯端末103に送信するためのボタンである。メニューボタン1005は、商品説明画面1000の投影を終了し、ディスプレイ410にメニュー画面800を表示させるためのボタンである。
図11の文書データ管理テーブル1100は、投影面304に表示する文書データを管理するためのデータテーブルである。文書データ管理テーブル1100は、文書ID1101と、文書データ保存場所1102と、サムネイル画像保存場所1103と、表示位置1104とを備える。文書ID1101は、文書データごとに割り振られる一意な識別情報を示す。文書データ保存場所1102は、文書データの保存場所を示す。サムネイル画像保存場所1103は、文書データに対応するサムネイル画像の保存場所を示す。表示位置1104は、サムネイル画像を表示する座標を示す。尚、本実施形態では文書データを一例に説明を行うが、文書データに限らず、テキストデータや画像データや動画データといった文書データ以外のデータであってもよい。
ステップS902では、情報処理装置101のCPU401は、サムネイル画像領域1003に表示されたサムネイル画像に対する選択を、センサ制御部605の機能により検知したか否かを判定する。すなわち、投影面304に投影された商品説明画面1000において、サムネイル画像に対するタッチ操作を検知したか否かを判定する。サムネイル画像に対する選択を検知したと判定した場合には、ステップS903に処理を進める。サムネイル画像に対する選択を検知していないと判定した場合には、ステップS905に処理を進める。
ステップS903では、情報処理装置101のCPU401は、選択されたサムネイル画像に対応する文書データを、文書データ管理テーブル1100を用いて取得する。より具体的には、情報処理装置101は選択されたサムネイル画像に対応するレコードを文書データ管理テーブル1100で特定し、当該レコードの文書データ保存場所1102が示す保存場所に保存されている文書データを取得する。
ステップS904では、情報処理装置101のCPU401は、ステップS903で取得した文書データを顧客領域1002の文書データ領域1006に表示し、これが表示された商品説明画面1000を投影面304に投影する。これにより、顧客302は文書データを閲覧することができるようになる。ステップS904の処理が終わったら、ステップS902に処理を戻す。
ステップS905では、情報処理装置101のCPU401は、商品説明画面1000が備える文書送信ボタン1004の押下を、センサ制御部605の機能により検知したか否かを判定する。すなわち、投影面304に投影された商品説明画面1000において、文書送信ボタン1004に対するタッチ操作を検知したか否かを判定する。文書送信ボタン1004に対する押下を検知したと判定した場合には、ステップS906に処理を進める。文書送信ボタン1004に対する押下を検知していないと判定した場合には、ステップS907に処理を進める。
ステップS906では、情報処理装置101のCPU401は、文書送信処理を実行する。文書送信処理の詳細は、後述する図12及び図13に示す。文書送信処理が終了したら、ステップS902に処理を戻す。
ステップS907では、情報処理装置101のCPU401は、商品説明画面1000が備えるメニューボタン1105の押下を、センサ制御部605の機能により検知したか否かを判定する。すなわち、投影面304に投影された商品説明画面1000において、メニューボタン1105に対するタッチ操作を検知したか否かを判定する。メニューボタン1105に対する押下を検知したと判定した場合には、ステップS906に処理を進める。メニューボタン1105に対する押下を検知していないと判定した場合には、ステップS902に処理を戻す。
ステップS908では、情報処理装置101のCPU401は、投影している商品説明画面1000の投影を終了するようプロジェクタ423に指示し、ディスプレイ410にメニュー画面800を表示する。そして、商品説明処理を終了する。
次に、文書送信処理の流れについて、図12及び図13に示すフローチャートを用いて説明する。まず、図12では情報処理装置101が投影面304に配置された携帯端末103の位置や接続先を認識する処理について説明し、図13では携帯端末103に文書データを送信する処理について説明を行う。
ステップS1201では、情報処理装置101のCPU401は、図14に示すような携帯端末検知画面1400をプロジェクタ423に投影させて、投影面304に表示する。携帯端末検知画面1400は、商品説明画面1000と同様にテラー領域1001と顧客領域1002を備えている。また、テラー領域1001には追加ボタン1401と完了ボタン1402が配置されている。追加ボタン1401は、携帯端末103を認識した後に、更に別の携帯端末103を認識させるためのボタンである。完了ボタン1402は、携帯端末103の認識を完了させるためのボタンである。
ステップS1202では、情報処理装置101のCPU401は、携帯端末103からの接続要求があるまで(ステップS1206で接続要求を受信するまで)、一旦待機をする。
ステップS1203では、携帯端末103のCPU501は、ユーザからの指示に応じて、携帯端末103にインストールされている文書保存アプリを起動する。文書保存アプリを起動すると、情報処理装置101が接続しているネットワーク(ローカルネットワークが望ましい)と同じネットワークに接続される。そして、文書保存アプリ制御部614及び通信制御部613の機能により、携帯端末103が接続したネットワークに接続している各種装置を検出し、検出した各種装置の接続先情報を取得する。ここでいう各種装置とは、情報処理装置101や携帯端末103等、当該ネットワークに接続している装置のことである。
ステップS1204では、携帯端末103のCPU501は、ステップS1203で取得した接続先情報を用いて図15に示すような接続先情報選択画面1500をタッチパネル510に表示し、携帯端末103と接続すべき情報処理装置101の接続先情報に対する選択を受け付ける。接続先情報選択画面1500は、接続先情報領域1501を備えている。この接続先情報領域1501では、ステップS1203で取得した接続先情報が一覧表示される。
例えば顧客302は、顧客302の携帯端末103で文書保存アプリを起動し、目の前の投影面304に画面の投影指示を行っている情報処理装置101の接続先情報を、接続先情報領域1501から選択することになる。このとき、接続先情報が表示されるだけでは、顧客302の携帯端末103と接続したい情報処理装置101の接続先情報がどれかわからないため、図14の携帯端末検知画面1400に示すように、顧客領域1002に当該接続先情報を表示する。情報処理装置101は、自身の接続先情報を取得して携帯端末検知画面1400に含めることで、これが可能となる。顧客302は投影面304に表示された接続先情報を参考に、携帯端末103で接続先情報を選択する。
ステップS1205では、携帯端末103のCPU501は、ステップS1204で選択を受け付けた接続先情報が示す情報処理装置101に対して、接続要求を送信する。
ステップS1206では、情報処理装置101のCPU401は、ステップS1205で携帯端末103から送信された接続要求を受信する。
ステップS1207では、情報処理装置101のCPU401は、ステップS1206で受信した携帯端末103からの接続要求に基づいて、図16に示す接続先管理テーブル1600に携帯端末103の接続先情報を保存する。情報処理装置101は携帯端末103から接続要求を受信すると、接続元の携帯端末103の接続先情報が取得できるので、これを接続先管理テーブル1600に保存する。こうすることで、情報処理装置101は文書データの送信先として携帯端末103の接続先情報を管理できる。
図16の接続先管理テーブル1600は、情報処理装置101から文書データを送信する携帯端末103の情報を管理するデータテーブルである。接続先管理テーブル1600は、端末ID1601と、接続先情報1602と、配置位置1603(位置情報)とを備える。端末ID1601は、接続先の装置に対して一意に割り振られた識別情報を示す。接続先情報1602は、接続先の装置の接続先情報を示す。配置位置1603は、接続先の装置が投影された画面のどの位置に配置されているのかを示す。すなわち、配置位置1603は当該画面の座標系に基づく。尚、本実施形態ではいずれの画面の大きさも同じである。
ステップS1208では、情報処理装置101のCPU401は、画面を投影している投影面304において、携帯端末103をセンサ制御部605の機能により検知したか否かを判定する。すなわち、図17に示すように、携帯端末103−1が情報処理装置101に接続要求を行った後に、携帯端末検知画面1400の顧客領域1002に携帯端末103−1が配置されたか否かを検知する。情報処理装置101は、図17に示すように、顧客302の携帯端末103を顧客領域1002に配置するよう指示する文章を表示してもよい。携帯端末103を検知したと判定した場合には、ステップS1209に処理を進める。携帯端末103を検知していないと判定した場合には、携帯端末103を検知するまでステップS1208を繰り返す。
ステップS1209では、情報処理装置101のCPU401は、携帯端末103を検知した現実空間上の位置に基づいて、投影面304に投影された画面上の位置を特定し、これをステップS1207で保存した接続先情報と対応付けて保存する(登録手段)。センサ制御部605の機能により取得する携帯端末103の位置は、現実空間上の位置である。情報処理装置101はこの位置に基づいて、投影面304に投影している画面の座標系における位置を特定し、接続先情報と対応付けて保存する。特定した画面上の位置は、接続先管理テーブル1600の配置位置1603に格納する。
本実施形態においては、携帯端末103の接続先情報とこの携帯端末103の配置位置とを情報処理装置101が対応付けて管理するために、情報処理装置101が接続先情報を取得した後に投影面304で携帯端末103を検知した場合、この携帯端末103の配置位置を直前に取得した接続先情報と対応付けて管理している。別の実施形態としては、次のような形態が考えられる。情報処理装置101と通信したい携帯端末103は、携帯端末103の接続先情報を携帯端末103のタッチパネル510に表示し、顧客302が投影面304に携帯端末103を配置する。情報処理装置101は撮像制御部604の機能により投影面304を撮像すると、携帯端末103に表示されている接続先情報を含む画像データを取得できる。この画像データを解析することで接続先情報を取得すると共に、センサ制御部605で検知した位置と対応付けて保存することで、同様の対応付けを行うことができる。携帯端末103の接続先情報と配置位置との対応付けは、これ以外の方法であってもよい。
また、携帯端末103の配置位置は継続して取得するものとする。携帯端末103の配置位置はユーザによって移動(変更)される可能性があるので、投影面304の範囲内であれば、携帯端末103の配置位置を取得し続ける。更に別の実施形態としては、携帯端末103の配置位置がユーザによって移動されたか否かをセンサ制御部605で検知し、これを検知した場合に再度、配置位置を特定する形態も考えられる。こうすると、移動された携帯端末103だけを対象に配置位置を取得することができるので、継続して配置位置を取得し続けるよりも処理負荷を低減できる。
ステップS1210では、情報処理装置101のCPU401は、携帯端末検知画面1400が備える追加ボタン1401の押下を、センサ制御部605の機能により検知したか否かを判定する。すなわち、投影面304に投影された携帯端末検知画面1400において、追加ボタン1401に対するタッチ操作を検知したか否かを判定する。追加ボタン1401に対する押下を検知したと判定した場合には、ステップS1201に処理を戻す。つまり、新たな携帯端末103の接続先情報と配置位置とを取得するべく(例えば、携帯端末103−2の接続先情報と配置位置とを取得するべく)、ステップS1201から処理を再開する。情報処理装置101は、携帯端末103の数だけ繰り返しステップS1201乃至ステップS1209を実行することで、携帯端末103ごとに接続先情報と配置位置とを取得することができる。追加ボタン1401に対する押下を検知していないと判定した場合には、ステップS1211に処理を進める。
ステップS1211では、情報処理装置101のCPU401は、携帯端末検知画面1400が備える完了ボタン1402の押下を、センサ制御部605の機能により検知したか否かを判定する。すなわち、投影面304に投影された携帯端末検知画面1400において、完了ボタン1402に対するタッチ操作を検知したか否かを判定する。完了ボタン1402に対する押下を検知したと判定した場合には、図13のステップS1212に処理を進める。完了ボタン1402に対する押下を検知していないと判定した場合には、ステップS1210に処理を戻す。
図13に説明を移す。ステップS1212では、情報処理装置101のCPU401は、図18に示すような文書送信画面1800をプロジェクタ423に投影させて、投影面304に表示する。図18は、携帯端末103−1と携帯端末103−2とが配置された投影面304に文書送信画面1800を投影した様子を示す図である。つまり、文書送信画面1800は、図18に示す携帯端末103−1と携帯端末103−2とを除いた情報からなる画面である。文書送信画面1800は、商品説明画面1000と同様にテラー領域1001と顧客領域1002を備えている。またテラー領域1001は、商品説明画面1000と同様にサムネイル画像領域1003を備えている。サムネイル画像領域1003の生成方法は前述した通りである。更にテラー領域1001は送信終了ボタン1801を備えている。送信終了ボタン1801は、携帯端末103に対する文書データの送信を終了し、商品説明画面1000に戻るためのボタンである。
ステップS1213では、情報処理装置101のCPU401は、携帯端末103に送信する文書データを示すサムネイル画像の選択を受け付ける。すなわち、投影面304に投影された文書送信画面1800のサムネイル画像領域1003の中から、携帯端末103に送信したい文書データのサムネイル画像のタッチ操作を受け付ける。選択を受け付けるサムネイル画像は複数であってもよい。
ステップS1214では、情報処理装置101のCPU401は、ステップS1213で選択されたサムネイル画像に対するフリック操作(サムネイル画像に対応する文書データの送信指示)を、センサ制御部605の機能により検知したか否かを判定する。すなわち、ステップS1214でサムネイル画像がタッチされたまま、フリック操作がなされたか否かを判定する(フリック操作受付手段)。つまり、フリック操作の始点は選択されたサムネイル画像の表示位置である。ここで、ステップS1213で複数のサムネイル画像に対する選択を受け付けて、ステップS1214でサムネイル画像に対するフリック操作を受け付けることは、複数のサムネイル画像に対するフリック操作を受け付けることと同義である。フリック操作を検知したと判定した場合には、ステップS1215に処理を進める。フリック操作を検知していないと判定した場合には、フリック操作を検知するまでステップS1214を繰り返す。
ステップS1215では、情報処理装置101のCPU401は、ステップS1214で検知したフリック操作の方向を特定する。センサ制御部605の機能により現実空間でフリック操作を行った指の軌跡が取得できるので、この取得した軌跡を用いて、投影面304に投影している画面におけるベクトルの方向を特定する。つまり、画面上で選択したサムネイル画像からなされたフリック操作が、画面上のどこに向かってなされたのかを特定する。
ステップS1216では、情報処理装置101のCPU401は、ステップS1215で特定されたフリック操作の方向に携帯端末103が存在するか否かを判定する。より具体的には、携帯端末103が配置された画面上の位置をステップS1209で保存しているので、配置位置1603が示す画面上の座標の範囲に携帯端末103が配置されていることがわかる。そして、ステップS1215で画面におけるフリック操作の方向が特定されているので、そのベクトルの方向と配置位置1603が示す範囲とが重なる箇所が少なくとも一部あるか否かを判定する。これらが重なるのであれば、フリック操作された方向に携帯端末103が存在すると判定する。フリック操作の方向に携帯端末103が存在すると判定した場合には、ステップS1217に処理を進める。フリック操作の方向に携帯端末103が存在していないと判定した場合には、ステップS1214に処理を戻す。すなわち、ユーザはフリック操作をやり直す。
ステップS1217では、情報処理装置101のCPU401は、フリック操作された方向にある携帯端末103の接続先情報を接続先管理テーブル1600から取得する。より具体的には、画面におけるフリック操作のベクトルの方向と重なっている箇所があると判定された配置位置1603のレコードを接続先管理テーブル1600で特定し、このレコードが備える接続先情報1602を取得する。
ステップS1218では、情報処理装置101のCPU401は、ステップS1213で選択されたサムネイル画像に対応する文書データを、文書データ管理テーブル1100を用いて取得する。より具体的には、選択された位置と表示位置1104とを用いて、選択されたサムネイル画像に対応するレコードを文書データ管理テーブル1100から特定する。そして、このレコードが備える文書データ保存場所1102が示す場所から文書データを取得する。
ステップS1219では、情報処理装置101のCPU401は、ステップS1217で取得した接続先情報が示す携帯端末103に対して、ステップS1218で取得した文書データを送信する(投影データ送信手段)。
ステップS1220では、携帯端末103のCPU501は、情報処理装置101から送信された文書データを受信し、ステップS1221では、受信した文書データをフラッシュメモリ514に保存する。本実施形態では受信した文書データを保存しているが、受信した文書データを表示してもよい。すなわち、フリック操作されたサムネイル画像に対応する文書データを、フリック操作された方向にある携帯端末103に表示する実施形態であってもよい。この場合には、受信した文書データを携帯端末103のタッチパネル510に表示する。
ステップS1222では、携帯端末103のCPU501は、ステップS1220及びステップS1221の実行結果を、文書データを送信してきた情報処理装置101に送信する。そして、ステップS1223では、情報処理装置101のCPU401は、携帯端末103から送信された実行結果を受信する。
ステップS1224では、情報処理装置101のCPU401は、文書送信画面1800が備える送信終了ボタン1801の押下を、センサ制御部605の機能により検知したか否かを判定する。すなわち、投影面304に投影された文書送信画面1800において、送信終了ボタン1801に対するタッチ操作を検知したか否かを判定する。送信終了ボタン1801に対する押下を検知したと判定した場合には、ステップS1225に処理を進める。送信終了ボタン1801に対する押下を検知していないと判定した場合には、ステップS1212に処理を戻す。
ステップS1225では、情報処理装置101のCPU401は、文書送信画面1800の投影を終了させ、ステップS901と同様に商品説明画面1000をプロジェクタ423に投影させて、投影面304に表示する。以上により文書送信処理を終了する。
図19は、文書送信画面1800で携帯端末103−1に文書データを送信する様子の一例を示す図である。前述したように、まずユーザであるテラー301は、投影面304に投影された文書送信画面1800に含まれるサムネイル画像領域1003で、顧客302の携帯端末103−1に送信したい文書データを示すサムネイル画像を選択する。そして、テラー301はこれを選択したまま携帯端末103−1が配置された方向1901に向かってフリック操作を行う。すると、情報処理装置101はフリック操作された方向を特定し、特定した方向に携帯端末103が存在するか否かを判定する。携帯端末103が存在すると判定されると、その携帯端末103の接続先情報と選択されたサムネイル画像に対応する文書データとを取得し、接続先情報を用いて文書データを送信する。図19の場合には、携帯端末103−1に文書データが送信される。本実施形態では、文書データ(投影データ)を示すサムネイル画像を文書送信画面1800に表示し、これに対するフリック操作を受け付ける仕組みとして説明を行ったが、文書データを縮小表示してサムネイル画像の代わりにしてもよい。すなわち、文書データに対するフリック操作を受け付けて、フリック操作の方向に応じて特定される携帯端末に対して、フリック操作を受け付けた文書データを送信する形態であってもよい。
また、図20は文書送信画面1800で携帯端末103に複数の文書データを送信する様子の一例を示す図である。図19に示す例では、1つのサムネイル画像を選択し、選択した1つのサムネイル画像に対応する1つの文書データを携帯端末103に送信していたが、複数のサムネイル画像を選択する形態であってもよい。ステップS1213で複数のサムネイル画像に対する選択を受け付けた後、最後に選択されたサムネイル画像に対してフリック操作がなされると、選択された複数のサムネイル画像に対応する複数の文書データが携帯端末103に送信される。図20は、携帯端末103−2に向かってフリック操作がなされたので、携帯端末103−2に複数の文書データが送信されている。
次に、第2の実施形態について説明を行う。第2の実施形態では、フリック操作に応じて特定される、文書データの送信先の携帯端末が配置されている位置に向かって、フリック操作を受け付けたサムネイル画像を移動させる。そして、文書データの送信が完了し、更にサムネイル画像が携帯端末の位置に到着したら、サムネイル画像をフェードアウトさせる。こうすることで、携帯端末に文書データが送信できたのか否かをユーザが容易に把握することが可能となる。以下、この説明を行う。
第2の実施形態は、第1の実施形態の図13に示すフローチャートの変形例である。よって、システム構成、ハードウェア構成、機能構成、図13以外の各種フローチャート、データテーブル、画面例については第1の実施形態で説明した通りであるため説明を省略する。
第2の実施形態における文書送信処理の流れについて、図21に示すフローチャートを用いて説明する。図21に示すフローチャートは、図12に示すフローチャートの続きであり、図13に示すフローチャートの変形例である。
図21に示すステップS1212乃至ステップS1219は、図13に示すステップS1212乃至ステップS1219と同様であるので、説明を省略する。ステップS1219では、携帯端末103に文書データを送信すると、ステップS2101に処理を進める。
ステップS2101では、情報処理装置101のCPU401は、ステップS1214でフリック操作を受け付けたサムネイル画像を、ステップS1216で特定された携帯端末103の配置位置1603に向かって移動させる(移動手段)。移動させるサムネイル画像は、フリック操作を受け付けたサムネイル画像そのものであってもよいし、フリック操作を受け付けたサムネイル画像のコピーであってもよい。
図22は、ステップS2101が実行されることによりサムネイル画像が移動する様子を示す図である。文書送信画面1800のサムネイル画像領域1003においてサムネイル画像がフリックされると、フリックされた位置からサムネイル画像が2201に示すように移動し始める。移動速度はあらかじめ定められた所定の速度とする。そのため、文書データの送信が完了する前に携帯端末103の配置位置1603に到着する可能性があるが、その場合には再度フリックを受け付けたサムネイル画像の位置に戻して、アニメーションを再開すればよい。すなわち、文書データの送信が完了する前にサムネイル画像が携帯端末103の配置位置1603に到着したか否かを判定する。到着したと判定した場合には、到着したサムネイル画像を、再度フリックを受け付けたサムネイル画像の位置に戻して、サムネイル画像の移動を再開する。
ステップS2101が実行され、図21のステップS1222により携帯端末103から実行結果を受信したら、図21のステップS1223に処理を進める。図21に示すステップS1220乃至ステップS1223は、図13に示すステップS1220乃至ステップS1223と同様であるので、説明を省略する。
ステップS1223で実行結果を受信すると、ステップS2102では、情報処理装置101のCPU401は、文書データの送信先である携帯端末103の配置位置1603にサムネイル画像が到着したか否かを判定する。サムネイル画像の現在位置と文書データの送信先である携帯端末103の配置位置1603とを比較し、サムネイル画像が配置位置1603に入ったら(触れたら)、到着したと判定する。サムネイル画像が到着したと判定した場合には、ステップS2103に処理を進める。サムネイル画像が到着したと判定しなかった場合、つまりサムネイル画像がまだ到着していない場合には、到着するまでステップS2102を繰り返し実行する。
ステップS2103では、情報処理装置101のCPU401は、到着したサムネイル画像をフェードアウトする。つまりサムネイル画像を非表示にする(表示制御手段)。こうすることで、ユーザに対して文書データの送信が完了したことを認識させることができる。図22に示す2202は、サムネイル画像がフェードアウトしている様子を示している。このように徐々に透過して非表示にしてもよいし、到着次第、透過させずにすぐに非表示にしてしまってもよい。
このように第2の実施形態を適用することで、携帯端末に対して容易に文書データ(投影データ)を送信でき、更にその送信が完了したか否かをユーザに認識させることができる。
また、第1の実施形態と第2の実施形態で説明した通り、フリック操作によって送信する投影データとその送信先の携帯端末を特定した。別の実施形態としては、情報処理装置に携帯端末の接続先情報を記憶しておき、投影面に配置された当該携帯端末に対して、投影面に現在投影されている投影データを送信する形態も考えられる。すなわち、投影データ上に携帯端末をかざされたことをトリガーとし、現在投影している投影データを当該携帯端末に送信する形態である。または、第3の実施形態として、携帯端末を投影面に配置し、投影面に表示されたボタン等のUIを介して投影データの送信指示(操作指示)を受け付けると、現在投影されている投影データを配置された携帯端末に送信する形態であってもよい。この場合にも、あらかじめ情報処理装置が携帯端末の接続先情報を保持しており、この接続先情報を用いて現在投影している投影データを携帯端末に送信する。
こうした第3の実施形態について以下、説明を行う。第3の実施形態についても第2の実施形態と同様に、第1の実施形態の図13に示すフローチャートの変形例である。よって、システム構成、ハードウェア構成、機能構成、図13以外の各種フローチャート、データテーブル、画面例については第1の実施形態で説明した通りであるため説明を省略する。
第3の実施形態における文書送信処理の流れについて、図23に示すフローチャートを用いて説明する。図23に示すフローチャートは、図12に示すフローチャートの続きであり、図13に示すフローチャートの変形例である。
図23に示すステップS1212乃至ステップS1213は、図13に示すステップS1212乃至ステップS1213と同様であるので、説明を省略する。ステップS1213では、携帯端末103に送信する文書データのサムネイル画像に対する選択を受け付けて、ステップS2301に処理を進める。
ステップS2301では、情報処理装置101のCPU401は、ステップS1208で検知した、投影面304上にある携帯端末103に対するタッチ操作(選択操作)を、センサ制御部605の機能により検知したか否かを判定する。より具体的には、携帯端末103の配置位置1603とタッチ操作された位置とを比較し、タッチ操作された位置が配置位置1603のいずれかに含まれれば、投影面304上にある携帯端末103に対するタッチ操作を検知したと判定する。投影面304上にある携帯端末103に対するタッチ操作を検知したと判定した場合には、ステップS2302に処理を進める。そうでない場合には、タッチ操作を検知するまで繰り返しステップS2301の処理を実行する。
ステップS2302では、情報処理装置101のCPU401は、ステップS2301でタッチ操作(選択操作)がなされた携帯端末103の接続先情報1602を接続先管理テーブル1600から取得する。より具体的には、タッチ操作がなされた位置を含む配置位置1603を有するレコードを接続先管理テーブル1600から特定し、特定したレコードの接続先情報1602を取得する。
ステップS2303では、情報処理装置101のCPU401は、ステップS1213で選択されたサムネイル画像に対応する文書データを、文書データ管理テーブル1100を用いて取得する。より具体的には、選択された位置と表示位置1104とを用いて、選択されたサムネイル画像に対応するレコードを文書データ管理テーブル1100から特定する。そして、このレコードが備える文書データ保存場所1102が示す場所から文書データを取得する。
ステップS2304では、情報処理装置101のCPU401は、ステップS2302で取得した接続先情報が示す携帯端末103に対して、ステップS2303で取得した文書データを送信する。
ステップS2304の後の処理である、図23に示すステップS1220乃至ステップS1225は、図13に示すステップS1220乃至ステップS1225と同様であるので、説明を省略する。
図24は、第3の実施形態における、文書送信画面1800で携帯端末103に文書データの送信指示を行う様子の一例を示す図である。まず、ステップS1213において第1の実施形態と同様に、携帯端末103に対して送信したい文書データに対応するサムネイル画像をタッチ操作により選択する。複数の文書データを送信する場合には、複数の文書データに対応する複数のサムネイル画像をそれぞれ選択する。その後、文書データを送信したい携帯端末103をタッチ操作により更に選択する。図24では携帯端末103−1を文書データの送信先として選択している。図24に示すように、選択された携帯端末103に選択されたことが識別可能な表示(投影)を行ってもよい。このように、投影面304に配置されている携帯端末103を選択することで、文書データの送信先を決定する。そして、選択された携帯端末103の接続先情報を取得し、これを用いて選択された文書データを選択された携帯端末103に対して送信する。すなわち、投影面に配置された携帯端末103に対して、投影面に投影されている投影データの送信が投影面においてユーザにより操作指示された場合に、携帯端末103の接続先情報を用いて投影データを送信する。このように、投影面に配置された携帯端末に対して投影データを容易に送信することが可能となる。
以上説明したように、本実施形態によれば、フリック操作を受け付けた投影データを、フリック操作の方向に応じた携帯端末に対して送信可能な効果を奏する。
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するため(実行可能とするため)のコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
101 情報処理装置
102 投影撮像装置
103 携帯端末
401 CPU
402 RAM
403 ROM
404 システムバス
405 汎用入出力コントローラ
406 ビデオコントローラ
407 メモリコントローラ
408 通信I/Fコントローラ
409 入力デバイス
410 ディスプレイ
411 外部メモリ
421 デジタルカメラ
422 ジェスチャセンサ
423 プロジェクタ

Claims (11)

  1. 投影データを投影する投影装置と携帯端末と通信可能な情報処理装置であって、
    前記投影装置で投影された複数の投影データのうち、前記携帯端末に送信する投影データに対するフリック操作を受け付けるフリック操作受付手段と、
    前記投影装置で投影データが投影される面に配置された前記携帯端末の位置と、前記フリック操作受付手段で受け付けたフリック操作の方向とに応じて特定される前記携帯端末に対して、前記フリック操作受付手段でフリック操作を受け付けた投影データを送信する投影データ送信手段と
    を備えることを特徴とする情報処理装置。
  2. 前記フリック操作受付手段は、ユーザから選択された複数の投影データに対するフリック操作を受け付け、
    前記投影データ送信手段は、前記投影装置で投影データが投影される面に配置された前記携帯端末の位置と、前記フリック操作受付手段で受け付けたフリック操作の方向とに応じて特定される前記携帯端末に対して、前記フリック操作受付手段でフリック操作を受け付けた複数の投影データを送信することを特徴とする請求項1に記載の情報処理装置。
  3. 前記情報処理装置は、
    前記携帯端末の接続先情報と、当該携帯端末の前記面における位置情報とを記憶する記憶手段を更に備え、
    前記投影データ送信手段は、前記記憶手段に記憶される前記携帯端末の位置情報と、前記フリック操作受付手段で受け付けたフリック操作の方向とに応じて特定される前記携帯端末に対して、前記フリック操作受付手段でフリック操作を受け付けた投影データを当該携帯端末の前記接続先情報を用いて送信することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記情報処理装置は、
    携帯端末からの接続要求を受け付けた後に前記面に配置された携帯端末の位置情報と、当該接続要求に基づく接続先情報とを対応付けて前記記憶手段に登録する登録手段
    を更に備えることを特徴とする請求項3に記載の情報処理装置。
  5. 前記情報処理装置は、
    前記投影データ送信手段で送信される投影データを、前記フリック操作受付手段でフリック操作を受け付けた位置から前記携帯端末が配置された位置に向かって移動させる移動手段
    を更に備えることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記情報処理装置は、
    前記投影データ送信手段で送信された投影データの送信が完了し、前記移動手段で移動する投影データが前記携帯端末の位置まで移動した場合に、当該投影データを非表示にする表示制御手段
    を更に備えることを特徴とする請求項5に記載の情報処理装置。
  7. 投影データを投影する投影装置と携帯端末と通信可能な情報処理装置の制御方法であって、
    前記情報処理装置のフリック操作受付手段が、前記投影装置で投影された複数の投影データのうち、前記携帯端末に送信する投影データに対するフリック操作を受け付けるフリック操作受付ステップと、
    前記情報処理装置の投影データ送信手段が、前記投影装置で投影データが投影される面に配置された前記携帯端末の位置と、前記フリック操作受付ステップで受け付けたフリック操作の方向とに応じて特定される前記携帯端末に対して、前記フリック操作受付ステップでフリック操作を受け付けた投影データを送信する投影データ送信ステップと
    を備えることを特徴とする情報処理装置の制御方法。
  8. 投影データを投影する投影装置と携帯端末と通信可能な情報処理装置の制御方法を実行可能なプログラムであって、
    前記情報処理装置を、
    前記投影装置で投影された複数の投影データのうち、前記携帯端末に送信する投影データに対するフリック操作を受け付けるフリック操作受付手段と、
    前記投影装置で投影データが投影される面に配置された前記携帯端末の位置と、前記フリック操作受付手段で受け付けたフリック操作の方向とに応じて特定される前記携帯端末に対して、前記フリック操作受付手段でフリック操作を受け付けた投影データを送信する投影データ送信手段
    として機能させることを特徴とするプログラム。
  9. 投影データを投影する投影装置と携帯端末と通信可能な情報処理装置であって、
    前記投影装置で投影データが投影される面に配置される前記携帯端末の接続先情報を記憶する記憶手段と、
    前記投影装置で投影データが投影される面に配置された前記携帯端末に対して、当該面に投影されている投影データの送信が当該面においてユーザにより操作指示された場合に、前記記憶手段に記憶される当該携帯端末の接続先情報を用いて当該投影データを送信する投影データ送信手段と
    を備えることを特徴とする情報処理装置。
  10. 投影データを投影する投影装置と携帯端末と通信可能であり、前記投影装置で投影データが投影される面に配置される前記携帯端末の接続先情報を記憶する記憶手段を備える情報処理装置の制御方法であって、
    前記情報処理装置の投影データ送信手段が、前記投影装置で投影データが投影される面に配置された前記携帯端末に対して、当該面に投影されている投影データの送信が当該面においてユーザにより操作指示された場合に、前記記憶手段に記憶される当該携帯端末の接続先情報を用いて当該投影データを送信する投影データ送信ステップ
    を備えることを特徴とする情報処理装置の制御方法。
  11. 投影データを投影する投影装置と携帯端末と通信可能であり、前記投影装置で投影データが投影される面に配置される前記携帯端末の接続先情報を記憶する記憶手段を備える情報処理装置の制御方法を実行可能なプログラムであって、
    前記情報処理装置を、
    前記投影装置で投影データが投影される面に配置された前記携帯端末に対して、当該面に投影されている投影データの送信が当該面においてユーザにより操作指示された場合に、前記記憶手段に記憶される当該携帯端末の接続先情報を用いて当該投影データを送信する投影データ送信手段
    として機能させることを特徴とするプログラム。
JP2015130737A 2014-08-29 2015-06-30 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム Active JP6187547B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015130737A JP6187547B2 (ja) 2014-08-29 2015-06-30 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014176063 2014-08-29
JP2014176063 2014-08-29
JP2015130737A JP6187547B2 (ja) 2014-08-29 2015-06-30 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016051468A true JP2016051468A (ja) 2016-04-11
JP6187547B2 JP6187547B2 (ja) 2017-08-30

Family

ID=55658880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015130737A Active JP6187547B2 (ja) 2014-08-29 2015-06-30 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6187547B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018138885A1 (ja) * 2017-01-27 2018-08-02 富士通株式会社 情報処理方法、情報処理プログラム及び情報処理装置
JP2019090943A (ja) * 2017-11-15 2019-06-13 富士ゼロックス株式会社 情報処理装置およびプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136504A (ja) * 1999-11-08 2001-05-18 Sony Corp 情報入出力システム及び情報入出力方法
JP2004054879A (ja) * 2002-05-27 2004-02-19 Sony Corp 表示装置および表示方法
JP2007272904A (ja) * 2006-03-30 2007-10-18 Lg Electronics Inc 画面表示項目を選択する端末機及び方法
JP2010154344A (ja) * 2008-12-25 2010-07-08 Kyocera Corp 情報処理装置、通信装置、無線通信システム、および、データ送信方法
JP2011221542A (ja) * 2011-05-30 2011-11-04 Olympus Imaging Corp デジタルプラットフォーム装置
JP2011248767A (ja) * 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
JP2013003742A (ja) * 2011-06-14 2013-01-07 Sharp Corp データ送信操作機器、および、データ送信制御方法
WO2013111239A1 (ja) * 2012-01-26 2013-08-01 パナソニック株式会社 携帯端末、テレビ放送受信装置及び機器連携方法
JP2014504396A (ja) * 2010-11-19 2014-02-20 ティヴォ インク コンテンツを送信または表示するフリック
JP2014089611A (ja) * 2012-10-30 2014-05-15 Konica Minolta Inc 画像取り込み装置、画像取り込み方法及び画像取り込みプログラム
JP2014153782A (ja) * 2013-02-05 2014-08-25 Toshiba Corp 表示処理装置、及び表示処理方法
JP2014206894A (ja) * 2013-04-15 2014-10-30 日本電気株式会社 表示システム、表示方法、表示装置、プログラム及び記録媒体

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136504A (ja) * 1999-11-08 2001-05-18 Sony Corp 情報入出力システム及び情報入出力方法
JP2004054879A (ja) * 2002-05-27 2004-02-19 Sony Corp 表示装置および表示方法
JP2007272904A (ja) * 2006-03-30 2007-10-18 Lg Electronics Inc 画面表示項目を選択する端末機及び方法
JP2010154344A (ja) * 2008-12-25 2010-07-08 Kyocera Corp 情報処理装置、通信装置、無線通信システム、および、データ送信方法
JP2011248767A (ja) * 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
JP2014504396A (ja) * 2010-11-19 2014-02-20 ティヴォ インク コンテンツを送信または表示するフリック
JP2011221542A (ja) * 2011-05-30 2011-11-04 Olympus Imaging Corp デジタルプラットフォーム装置
JP2013003742A (ja) * 2011-06-14 2013-01-07 Sharp Corp データ送信操作機器、および、データ送信制御方法
WO2013111239A1 (ja) * 2012-01-26 2013-08-01 パナソニック株式会社 携帯端末、テレビ放送受信装置及び機器連携方法
JP2014089611A (ja) * 2012-10-30 2014-05-15 Konica Minolta Inc 画像取り込み装置、画像取り込み方法及び画像取り込みプログラム
JP2014153782A (ja) * 2013-02-05 2014-08-25 Toshiba Corp 表示処理装置、及び表示処理方法
JP2014206894A (ja) * 2013-04-15 2014-10-30 日本電気株式会社 表示システム、表示方法、表示装置、プログラム及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
河原田長臣: ""[#MWC2012]ビーム!プロジェクター付きスマホ「SAMSUNG Galaxy Beam」デビ", [ONLINE], JPN6017014404, 29 February 2012 (2012-02-29), ISSN: 0003544805 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018138885A1 (ja) * 2017-01-27 2018-08-02 富士通株式会社 情報処理方法、情報処理プログラム及び情報処理装置
JP2019090943A (ja) * 2017-11-15 2019-06-13 富士ゼロックス株式会社 情報処理装置およびプログラム

Also Published As

Publication number Publication date
JP6187547B2 (ja) 2017-08-30

Similar Documents

Publication Publication Date Title
JP6007497B2 (ja) 画像投影装置ならびに画像投影制御装置およびプログラム
US10528124B2 (en) Information processing apparatus, information processing method, and computer-readable recording medium
KR102001218B1 (ko) 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US10268277B2 (en) Gesture based manipulation of three-dimensional images
CN103929603A (zh) 图像投影设备、图像投影系统及控制方法
US20170212906A1 (en) Interacting with user interfacr elements representing files
JP6187547B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
CN109101173B (zh) 屏幕布局控制方法、装置、设备及计算机可读存储介质
CN113762048A (zh) 一种产品安装引导方法、装置、电子设备和存储介质
JP5999236B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US10304120B2 (en) Merchandise sales service device based on dynamic scene change, merchandise sales system based on dynamic scene change, method for selling merchandise based on dynamic scene change and non-transitory computer readable storage medium having computer program recorded thereon
JP2009015720A (ja) 認識装置および認識方法
CN111386543A (zh) 使用增强现实进行安全交易
JP6070795B2 (ja) 情報処理装置、その制御方法、及びプログラム
KR102288431B1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
JP2017059125A (ja) 情報処理装置、その制御方法、及びプログラム
JP6634820B2 (ja) 情報処理装置、その制御方法、及びプログラム
JP2018072914A (ja) 情報処理装置、情報処理システム、その制御方法、及びプログラム
JP2018109831A (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
JP7331578B2 (ja) 表示装置、画像表示方法、プログラム
JP6705988B2 (ja) 情報処理システム、その制御方法、及びプログラム
JP2017073124A (ja) 情報処理装置、その制御方法、及びプログラム
WO2023028569A1 (en) Product comparison and upgrade in a virtual environment
JP6597136B2 (ja) 情報処理装置、その制御方法、及びプログラム
JP2018190439A (ja) 情報処理装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160802

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170717

R150 Certificate of patent or registration of utility model

Ref document number: 6187547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250