JP2016219017A - 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの指等の操作指示物による操作が実行できない場合には、実行可能な操作指示物の数を通知するようにすることで、ユーザが予期していない処理が行われないようにすることを目的とする。
【解決手段】ユーザの操作指示物による指示を認識する認識手段と通信可能な情報処理装置であって、指示における前記操作指示物の数に対応づけて処理内容を記憶し、認識手段により認識される操作指示物の数を特定する。記憶された処理内容に基づいて、特定された操作指示物の数に対応する処理内容が実行可能か否かを判定し、実行可能でないと判定された場合には、実行可能な処理内容として記憶手段に記憶された操作指示物の数を通知することを特徴とする。
【選択図】図１６

Description

ユーザの指等の操作指示物による操作が実行できない場合であっても、ユーザが予期していない処理が行われないようにすることの可能な情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラムに関する。

銀行にてローン等の契約を行う場合、行員（以下、「テラー」という）は商品説明や契約書作成に必要な事項の説明を顧客に対して行うことが義務付けられている。このような業務を、半ば電子的に行うシステムが提案されている（特許文献１）。

また、タブレット端末等の電子端末を使用して、例えばローンの契約にかかる手続に関する操作を容易にしたり、書類の記入を簡素化したりするものもある。また、プロジェクタによって操作画面を机上に投影し、その操作画面に対する手指等によるタッチ操作をカメラで検出することにより操作を行うことのできる技術が存在する（特許文献２）。

特開２００９−１２２７９６号公報 特開２０１４−２０３１７６号公報

特許文献２で示されるような情報処理システムでは、机上に投影される操作画面に対するタッチ操作を、カメラを利用することで検出している。特許文献２の仕組みや、タブレット端末などのタッチ操作により操作を受け付ける端末に対するタッチ操作は、一点のタッチによるシングルタッチだけではなく、二点以上のタッチによるマルチタッチ操作がある。マルチタッチ操作の一例には、タッチした二点間の距離を変化させる操作であるピンチアウト／ピンチイン操作がある。

上述したマルチタッチ操作は、ユーザの動作が同じ動作であっても指の本数によって情報処理システムで実行する処理を切り替えることができる。例えば、１本指によって表示面をタッチしそのまま所定方向に滑らせる動作は、対象の画像を移動する処理とし、ユーザが親指・人差し指・中指・薬指を含めた４本指で表示面をタッチし、タッチしたまま所定方向に指を滑らせる動作をすることで、投影をさせている説明資料を、プリンタに対して印刷させる処理を行うという例である。このようにして指の本数と情報処理システムで実行する処理とを対応付けて記憶することで複数種類のマルチタッチ操作を可能にする。

ユーザはこの対応付けられたマルチタッチ操作を記憶することで、適切に指を使用し使い勝手の良い操作感を得ることができる。

しかしながら、銀行の説明業務においては、顧客に説明する説明資料など、投影（表示されている画面によっては、実行されるべきではない操作があり、該当する説明資料においては操作を禁止することがある。例えば、機密性の高い説明資料であれば印刷を禁止し、例えばテラーが印刷をするためのマルチタッチ操作を行ったとしても印刷を実行しない、などである。

そこで情報処理システムの管理者は、マルチタッチ操作を受け付ける処理の内容を制限する。例えば４本の指のマルチタッチ操作の処理内容が制限されているような場合には、仮に４本の指でマルチタッチ操作をテラーが行ったとしても、当該操作を受け付けることは出来ない。このときに３本の指の操作の処理が実行できるような場合には、４本の指の操作であっても操作情報処理システムは３本の指による操作としてタッチ操作を受け付けることができる。

しかしながら、このような別の指の操作として扱ってしまうと、マルチタッチ操作により実行させたい処理と、実際に実行される処理が異なるため、ユーザにとって予期せぬ処理が実行されてしまったりして、ユーザの希望の処理が実現できないことになる。

そこで本発明の目的は、ユーザの指等の操作指示物による操作が実行できない場合であっても、ユーザが予期していない処理が行われないようにする仕組みを提供することである。

本発明の情報処理装置は、ユーザの操作指示物による指示を認識する認識手段と通信可能な情報処理装置であって、前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段と、前記認識手段により認識される前記操作指示物の数を特定する特定手段と、前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段と、前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を通知する通知手段とを備えることを特徴とする。

本発明によれば、ユーザの指等の操作指示物による操作が実行できない場合には、実行可能な操作指示物の数を通知するようにすることで、ユーザが予期していない処理が行われないようにすることができる。

第１の実施形態における対面システムの外観構成図である。 第１の実施形態における情報処理装置１００と投影撮像装置１１０のハードウェア構成を説明する図である。 第１の実施形態における対面システムの利用形態を示す図である。 第１の実施形態における対面システムの基本処理手順を示すフローチャートである。 シートＤＢのデータ構造を示す図である。 図４に示す環境設定処理の詳細な処理の流れを説明するフローチャートである。 環境設定画面７００の画面例を示す図である。 ジェスチャ設定画面８００の画面例を示す図である。 ジェスチャ制限設定画面９００の画面例を示す図である。 ジェスチャテーブル１０００の一例を示すデータテーブルである。 フォームテーブル１１００の一例を示すデータテーブルである。 図４に示す表示制御処理の詳細な処理の流れを説明するフローチャートである。 商品説明フォームにおいて指１本によるスワイプ動作による処理の例を示す投影面である。 商品説明フォームにおいて指２本によるスワイプ動作による処理の例を示す投影面である。 書類読取フォームにおいて指２本によるスワイプ動作による処理の例を示す投影面である。 シミュレーションフォームにおいて指４本によるスワイプ動作による処理の例を示す投影面である。 第２の実施形態における表示制御処理の詳細な処理の流れを説明するフローチャートである。 第２の実施形態における商品説明フォームにおいて指２本によるスワイプ動作による処理の例を示す投影面である。 第２の実施形態におけるシミュレーションフォームにおいて指４本によるスワイプ動作による処理の例を示す投影面である。 フォームテーブル２０００の一例を示すデータテーブルである。

以下、本発明の第１の実施形態について図面を用いて詳細に説明する。なお、本実施形態における対面システムは、銀行で利用される例を説明する。また、以下の説明では銀行側の者（行員）をテラーとし、顧客と区別して説明する。なお、銀行を例としたのは、業務を具現化することで理解を容易にするためであって、生命保険会社等、対面にて商品の売買や契約を行う類であれば利用可能であり、これに限定されない。あくまで例であることに注意されたい。なお、対面ではなく、ユーザがひとりであってもよい。

図１は、実施形態における対面システムの外観構成図であり、図２はシステムを構成する装置のハードウェア構成図である。本システムは、システム全体の制御を司る情報処理装置１００を有する。そして、この情報処理装置１００には、投影撮像装置１１０をはじめ、ユーザ（後述するテラー）との間のユーザインターフェースとして機能するディスプレイ１２０、入力デバイス（キーボードやマウス等）１３０が接続されている。また、図示していないが、業務に係る基幹ネットワークとも接続される。投影する投影データなどは基幹ネットワークなどに記憶されていてもよい。

情報処理装置１００は、通常のＰＣ（パーソナルコンピュータ）等と同じハードウェア構成の情報処理装置である。プログラムに従って処理を行うＣＰＵ１０１、ブートプログラムやＢＩＯＳ等を記憶するＲＯＭ１０２、ＣＰＵ１０１が実行するＯＳやアプリケーションを格納するため、並びにＣＰＵ１０１がワークエリアとして利用するＲＡＭ１０３を有する。また、情報処理装置１００は、投影撮像装置１１０と通信するためのＩ/Ｆ部１０５、ＣＰＵ１０１の指示に従って描画処理やビデオ信号の出力処理等を行うビデオコントローラ１０６を有する。更に、情報処理装置１００はハードディスク（ＨＤＤ）に代表される外部記憶装置１０８（記憶手段に相当する）に対する読み書きを行うストレージコントローラ１０７、基幹ネットワーク（特にネットワークプリンタ）と通信するためのネットワークＩ/Ｆ１０４を有する。外部記憶装置１０８には、オペレーティングシステム（ＯＳ）１０８ａ、対面システムとして機能させるためのアプリケーションプログラム１０８ｂをはじめ、詳細は後述するシートＤＢ１０８ｃ、環境情報１０８ｄ、ジェスチャテーブル（ジェスチャＴＬ）１０８ｅが格納されている。

投影撮像装置１１０（認識装置）は、その筐体内に、情報処理装置１００と通信するためのＩ/Ｆ部１１８、投影部１１５、撮像部１１６、距離測定部１１７（認識手段に相当する）を収容している。投影撮像装置１１０には、投影部１１５から出射した投影光を通過させるための開口部１１１が設けられている。更に、撮像部１１６並びに距離測定部１１７に共有され、外部からの光（赤外線を含む）を入射するための開口部１１２も設けられている。

投影部１１５は、情報処理装置１００から要求された映像を表す投影光を開口部１１２を介して天板１１３に向け、且つ、若干斜め方向に出射する。天板１１３の下面側にはミラーが設けられており、投影部１１５からの投影光を反射する。この結果、図１における投影撮像装置１１０の設置位置より手前側の領域（実際にはテーブルの上面）が投影スクリーンとして、その映像を表示することになる。なお、出射する方向を斜めにするのではなく、天板１１３を傾けても構わない。

また、撮像部１１６並びに距離測定部１１７は、天板１１３のミラーを介して、投影部１１５によるテーブル上の投影領域よりも広い範囲を撮像範囲、又は、測距範囲として設定されている。撮像部１１６は通常のデジタルカメラに代表される撮像装置と同じ構成であり、テーブルの撮影範囲内の映像を光学的に読み取るものである。距離測定部１１７は、奥行き（距離）を検出するものであり、予め設定された２次元パターンを示す赤外線を照射する照射部と、その対象物から２次元空間での反射赤外線を検出するセンサで構成される。そして、撮像部１１６で得らえた映像データと、距離測定部１１７より検出された距離データの時間軸に対する変化に基づき、情報処理装置１００のＣＰＵ１０１による処理によって、ユーザの手の動きや指（操作指示物に相当する）でテーブルをたたく操作（ジェスチャ。指示に相当する）の検出処理が実現する。なお、映像と、赤外線によるパターン照射／検出によってユーザのジェスチャ検出を行う技術は公知（たとえば、米国マイクロソフト社のＫＩＮＥＣＴ（商標））であるので、ここでの詳細は省略する。ただし、ユーザのジェスチャ検出できれば良く、その構成、原理は特に問わない。なお、投影撮像装置１１０の筐体内に十分なスペースがあれば、情報処理装置１００を構成する回路を投影撮像装置１１０に内蔵させることで、これらを一体化しても構わない。

上記構成において、本装置の電源がＯＮになると、ＣＰＵ１０１はＲＯＭ１０２に格納されたブートプログラムを実行し、外部記憶装置１０８に格納されたＯＳ１０８ａをＲＡＭ１０３にロードし実行する。そして、そのＯＳの制御下にて、外部記憶装置１０８から対面システムのアプリケーションプログラム１０８ｂをＲＡＭ１０３にロードして、実行させる。この結果、本システムが銀行業務の対面システムとして機能することになる。

図４は本システムの利用形態を示している。本実施形態における対面システムは、図示のように、テラー（行員）４０１と顧客４０２がテーブル４００を間に挟み、それぞれが椅子に座って対面する形態を想定している。また、テーブル４００には、ディスプレイ１２０、入力デバイス１３０がテラー４０１の操作しやすい位置に配置されている。また、投影撮像装置１１０は、その天板１１３によって斜め方向から投影光がテーブル４００に向けて照射することになるので、テラー４０１と顧客４０２が向かい合った際に、邪魔にならない位置に載置することが可能である。この結果、テーブル４００の、テラー４０１と顧客４０２との間には十分なスペースを確保され、撮像部１１６及び距離測定部１１７の検出範囲４１０、投影部１１５による投影範囲４１１が確保される。なお、検出範囲４１０、投影範囲４１１が示す矩形は、テーブル４００上にそれぞれの範囲が規定されていることを示すためであって、その境界線が表示されることを意図するものではない。また、情報処理装置１００は、たとえばテラー側のテーブル４００の下に配置するものとする。

以上、実施形態における対面システムの構成とその利用形態を説明した。次に、対面システムの処理内容を、特にＣＰＵ１０１の処理手順として説明する。

本システムが稼働すると、図３に示すようにテラー４０１と顧客４０２との間のテーブル４００上（の投影範囲４１１）に、投影撮像装置１１０から各種の文書シート（以下、単にシートという）が投影表示される。そして、テラー４０１はその都度解説や説明を行い、顧客４０２はその投影内容とテラー４０１の説明を理解したことの意思を示していって、手続きを進めていく。投影撮像装置１１０がテラー４０１から見て右側に設置するのか、左側に設置するのかを事前に設定することができる。投影撮像装置１１０がテーブル４００上に投影することになるシートは、テラー側、顧客側の向きがあり、その向きと座席についているテラー４０１、顧客４０２の位置関係の整合性を取るために設定する。設定が完了すると、ＣＰＵ１０１は、その設定内容を外部記憶装置１０８の環境情報１０８ｄとして保存する。なお、投影撮像装置１１０の配置位置を変更しない限り、この設定を変える必要はない。

かかる手続きをＣＰＵ１０１の処理で示せば、以下の通りである。ＣＰＵ１０１は、外部記憶装置１０８から投影すべきシートの選択と選択したシート（詳細は後述）を投影部１１５に表示させる処理、並びに、テラー４０１及び顧客４０２の操作をジェスチャとして、撮像部１１６及び距離測定部１１７によって認識していく。そして、次に表示すべきシートの選択…と処理を繰り返し、最終シートの表示で、テラー４０１と顧客４０２が合意したことを示すジェスチャを検出した際に、その処理を終える。

以下、更に詳しく説明する。図４は対面システムのアプリケーションプログラム１０８ｂを実行した際のＣＰＵ１０１の処理手順を示すフローチャートである。

本アプリケーションが実行されると、まず、ステップＳ１０１にて、ＣＰＵ１０１はメニュー画面をディスプレイ１２０に表示し、テラー４０１に項目の１つを選択させる。表示する項目は、「住宅ローンの借り入れ手続き」、「口座開設の手続き」…と、およそ銀行にて対面手続きするものが含まれる。ただし、項目の１つには「環境設定」が含まれるものとする。

ステップＳ１０２にて、ＣＰＵ１０１は、テラー４０１による入力デバイス１３０の操作による項目選択を待つ。選択がなされると、ステップＳ１０３にて、ＣＰＵ１０１はその選択した項目が「環境設定」であるか否かを判定する。環境設定であると判定した場合、処理はステップＳ１０４に進み環境設定処理を行う。環境設定でないと判定した場合、処理はステップＳ１０５に進む。この環境設定処理は、情報処理装置１００がテラー４０１及び顧客４０２が投影面上で行う操作をジェスチャとして、撮像部１１６及び距離測定部１１７によって得られる情報をもとに認識していくにあたり、ジェスチャと実行する処理とを対応付けて設定するための処理である。本発明の実施形態では、情報処理装置１００で認識できるジェスチャが事前に登録されており、ユーザが当該ジェスチャごとに処理内容を設定することで容易に環境設定ができるようにしている。環境設定処理の詳細は図６を用いて詳細に説明する。

図６は、環境設定処理の詳細な処理を説明するフローチャートである。

ステップＳ６０１では、情報処理装置１００のＣＰＵ１０１が、図７に示す環境設定画面７００をディスプレイ１２０に表示する。環境設定画面７００は、ジェスチャ設定メニュー７０１とジェスチャ制限設定メニュー７０２とが配置される画面であり、設定を行いたいメニューの選択をユーザから受け付けることが可能な画面である。ジェスチャ設定メニュー７０１の選択を受け付けると、ジェスチャの実行する処理とを対応付けて設定するための画面を起動する。ジェスチャ制限設定メニュー７０２の選択を受け付けると、フォーム（画像情報）ごとに有効とするジェスチャの設定を行うための画面を表示する。

ステップＳ６０２では、情報処理装置１００のＣＰＵ１０１が、図７に示す環境設定画面７００のジェスチャ設定メニュー７０１とジェスチャ制限設定メニュー７０２のいずれのメニューの選択を受け付けたかを判定する。ジェスチャ設定メニュー７０１の選択を受け付けたと判定した場合は、処理をステップＳ６０３に進め、ジェスチャ制限設定メニュー７０２の選択を受け付けたと判定した場合は処理をステップＳ６０９に進める。

ステップＳ６０３では、情報処理装置１００のＣＰＵ１０１が、図８に示すジェスチャ設定画面８００をディスプレイ１２０に表示する。ジェスチャ設定画面８００は、ユーザが行う手のジェスチャを指の本数毎に処理内容を設定することが可能な画面である。具体的には、投影面を触れる動作であるタップ動作を１本の指で行う場合にはＧＵＩの選択を実行し、２本の指で行う場合にはＧＵＩの色を変化するなどがある。このように同一のジェスチャであっても指の本数に応じて情報処理装置１００で実行する処理を切り替えるよう設定するための画面である。なお、図８に示すジェスチャ設定画面８００は一例であって、これに限定されない。

ジェスチャ設定画面８００にはタップ動作タブ８０１やスワイプ動作タブ８０２といったタブが設定されている。このタブは、ジェスチャの動作を示すタブであり、タブを切り替えることで、ジェスチャごとに指の本数に応じた処理を設定することができる。タブの選択をユーザから受け付けた後、実行処理選択欄８０３の選択をすることで、指の本数ごとに処理を設定することができる。具体的には、実行処理選択欄８０３の選択を受け付けると、外部記憶装置１０８に記憶される処理がプルダウン表示され、ユーザが設定したい処理を選択することができる。

ステップＳ６０４では、情報処理装置１００のＣＰＵ１０１が、ジェスチャ設定画面８００のタブの選択を受け付ける。本実施形態では、タップ動作タブ８０１とスワイプ動作タブ８０２が選択可能であるが、これに限定されない。ジェスチャ設定画面８００のタブの選択を受け付けた後、処理をステップＳ６０５に進める。

ステップＳ６０５では、情報処理装置１００のＣＰＵ１０１が、ジェスチャ設定画面８００の実行処理選択欄８０３の選択を受け付ける。上述したように、実行処理選択欄８０３の選択を受け付けると、外部記憶装置１０８に記憶される処理がプルダウン表示され、ユーザが設定したい処理を選択することができる。選択された処理が、ジェスチャの本数と対応付けて記憶される（ジェスチャＴＬ１０８ｅ）。例えば、図１０に示すジェスチャテーブル１０００である。ジェスチャテーブル１０００には指の本数１００１と処理１００２が対応付けて記憶されている。ジェスチャテーブル１０００は、ジェスチャの内容ごとに（タップ動作やスワイプ動作など）設定されるテーブルである。指の本数１００１は認識したジェスチャの指の本数を示す。処理１００２は、ジェスチャの指の本数を認識することで、実行される処理のＩＤを示すものである。ＩＤに基づいて、外部記憶装置に記憶されている処理を起動する。図１０のジェスチャテーブル１０００はスワイプ動作に関するジェスチャテーブルとして説明を行う。

ステップＳ６０６では、情報処理装置１００のＣＰＵ１０１が、別のタブの選択を受け付けたか否かを判定する。具体的には、タップ動作タブ８０１を選択している状態で、スワイプ動作タブ８０２の選択を受け付けたか否かを判定するなどである。別のタブの選択を受け付けたと判定した場合は処理をステップＳ６０５の戻し、そうでないと判定した場合はステップＳ６０７に進める。

ステップＳ６０７では、情報処理装置１００のＣＰＵ１０１がジェスチャ設定画面８００の保存ボタン８０４の押下を受け付けたか否かを判定する。保存ボタン８０４の押下を受け付けたと判定した場合は処理をステップＳ６０８に進め、そうでないと判定した場合は処理をステップＳ６０５に戻す。

ステップＳ６０８では、情報処理装置１００のＣＰＵ１０１が、ステップＳ６０４で選択を受け付けたタブに対応するジェスチャテーブル１０００に保存する。本発明の実施形態では、スワイプ動作に対するジェスチャテーブル１０００を例として説明をするが、タップ動作など複数のジェスチャそれぞれにジェスチャテーブル１０００が対応付けて記憶されている。このような構成とすることで、タップ動作とスワイプ動作で同じ本数の指であったとしても処理の内容を変えることを可能とする。ジェスチャテーブル１０００に保存したのち処理を終了する。

図１０に示すジェスチャテーブル１０００には、指の本数を示す指の本数１００１と情報処理装置１００で実行する処理である処理１００２とが対応付けて記憶されている。処理１００２は説明上分かりやすいように処理の内容を記載しているが、外部記憶装置１０８に記憶されるそれぞれの処理を実行するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を実行するためのプログラムが格納されている。このようにすることで、投影データを印刷するＡＰＩを実行させることで情報処理装置１００に接続されるプリンタに投影データを印刷させることを可能とする。例えば図１０の例であれば、４本の指で投影面をスワイプする動作を行うと、投影面に投影されている投影データを印刷するべくプリントデータに変換の上プリンタに対してプリントデータと印刷指示を行う。

ステップＳ６０９では、情報処理装置１００のＣＰＵ１０１が、図９に示すジェスチャ制限設定画面９００をディスプレイ１２０に表示する。ジェスチャ制限設定画面９００はフォーム選択欄９０１と有効ジェスチャ選択欄９０２と保存ボタン９０３が配置されている画面である。ジェスチャ制限設定画面９００において、まずユーザからフォーム選択欄９０１の選択を受け付け、対象のフォームを決定する。フォームを決定すると、ジェスチャ制限設定画面９００には、ジェスチャテーブル１０００に基づいて、（ステップＳ６０４乃至ステップＳ６０８の処理により）すでに設定されているジェスチャのリストが表示される。ユーザはこのジェスチャのリストを見て、有効とするジェスチャを選択する。本発明の実施形態では、有効とする指の本数の最大値をユーザに選択させる。このようにすることで、容易に有効とするジェスチャを設定することを可能とする。指の本数ごとに有効か否かを設定するようにしてもよい。

本発明の実施形態では、投影データ内のフォームごとに設定することでフォームに応じて操作を制限することを可能としているため、ユーザはそれぞれのフォームに応じた適切な操作制限を設定することを可能とする効果がある。

ステップＳ６１０では、情報処理装置１００のＣＰＵ１０１が、フォーム選択欄９０１の選択を受け付ける。例えば図９に示すようにシミュレーションフォーム欄の選択を受け付ける。

ステップＳ６１１では、情報処理装置１００のＣＰＵ１０１が、ジェスチャテーブル１０００を読み込む。

ステップＳ６１２では、情報処理装置１００のＣＰＵ１０１が、ステップＳ６１１で読み込んだジェスチャテーブル１０００を元に作成した画面であるジェスチャリスト９０４をジェスチャ制限設定画面９００に表示する。ジェスチャリスト９０４には、ジェスチャテーブル１０００に格納される指の本数１００１と処理１００２と有効ジェスチャ選択欄９０２とが対応付けて表示される画面である。ユーザから有効ジェスチャ選択欄９０２の選択を受け付けると、選択を受け付けた指の本数１００１までの本数のジェスチャを有効とする。具体的には、フォーム選択欄９０１でシミュレーションフォームの選択を受け付け、指の本数１００１が３本を、有効ジェスチャ選択欄９０２において選択を受け付けた場合、指の本数１００１が１本〜３本までのジェスチャがシミュレーションフォームにおいて有効となる。

ステップＳ６１３では、情報処理装置１００のＣＰＵ１０１が、有効ジェスチャ選択欄９０２の選択を受け付ける。

ステップＳ６１４では、情報処理装置１００のＣＰＵ１０１が、フォーム選択欄９０１の選択を受け付けたか否かを判定する。例えば、商品説明フォームなどの別のフォーム選択欄９０１の選択を受け付けたか否かを判定する。フォーム選択欄９０１の選択を受け付けたと判定した場合は処理をステップＳ６１１に戻し、そうでない場合は処理をステップＳ６１５に進める。

ステップＳ６１５では、情報処理装置１００のＣＰＵ１０１が、保存ボタン９０３の押下を受け付けたか否かを判定する。保存ボタン９０３の押下を受け付けたと判定した場合は処理をステップＳ６１６に進め、そうでない場合は処理をステップＳ６１３に戻す。

ステップＳ６１６では、情報処理装置１００のＣＰＵ１０１が、選択を受け付けた有効ジェスチャ選択欄９０２をフォームテーブル１１００に格納する。図１１に示すフォームテーブル１１００はフォームを示すフォーム１１０１とジェスチャが有効な指の最大の本数を示す最大数１１０２（最大値）とが対応付けて記憶されている。ステップＳ６１３で選択された有効ジェスチャ選択欄９０２に対応する指の本数１００１を特定し、指の本数１００１を最大数１１０２に格納する。この処理をフォームごとに行う。これによりフォームごとにジェスチャを有効とする指の最大本数を格納することができる。
なお、本実施形態では、フォームごとにジェスチャを有効とする指の最大本数を管理するようにしていた。図１１のフォームテーブル１１００に示す通り、投影データ内のフォームごとに最大本数を設定することが簡便にフォームごとの操作可能な指の本数を指定することができるという効果がある。一方、図２０に示すフォームテーブル２０００に示すように最大本数ではなく、フォームごとに操作可能な指の本数を設定するようにしてもよい。フォームテーブル２０００にはフォーム２００１と操作可能な指の数２００２とが対応付けて記憶されている。操作可能な指の数２００２は、操作可能な指の数をカンマ区切りで規定するものであり、「１、３」であれば、１本と３本の指による操作（ジェスチャ）が許容されることを意味している。すなわち、図２０のフォームテーブル２０００の例であれば、商品説明のフォーム２００１では、操作可能な指の数２００２が１〜５本の指の数による操作が許容されている一方、書類読取のフォーム２００１の場合には１本と３本のみが操作可能な指の数２００２として設定されている。そのため、書類読取のフォーム２００１においては、２本指によるジェスチャはできないこととなる。このようにすることで、フォームごとにより細やかな操作可能な指の数を設定することを可能とする効果がある。

以上で図６に示す環境設定処理の説明を終了する。
図４の説明に戻る。

ステップＳ１０３の判定の結果、環境設定でない場合（ステップＳ１０３でＮＯ）、つまり、テラー４０１は、顧客４０２の相談目的から、入力デバイス１３０を操作して該当するメニュー項目を選択することになる。情報処理装置１００のＣＰＵ１０１が、この選択がなされたことを検出すると、ステップＳ１０５にて、ＣＰＵ１０１は、外部記憶装置１０８のシートＤＢ１０８ｃを参照して、選択した手続きのＧＵＩ構成情報を読み込む。そして、ステップＳ１０６にて、情報処理装置１００のＣＰＵ１０１が、読み込んだＧＵＩ構成情報に基づいて、シート画像をテーブル４００に投影し、その投影されたシート画像に対する操作（ジェスチャ）とに基づいて、そのシート画像の表示制御処理を実行する。また、この表示制御処理に伴って、テラー４０１と顧客４０２の双方のジェスチャの認識処理とを行い、テラー４０１と顧客４０２との間のやりとりを支援しながら、手続の支援処理を実行する。尚、このジェスチャに伴うシート画像の表示制御においては、ＣＰＵ１０１は、例えば、ジェスチャＴＬ１０８ｅに登録されている内容に基づいて行う。このジェスチャＴＬ１０８ｅの詳細については後述する。

ここで、シートＤＢ１０８ｃの構成について、図５を用いて説明する。

シートＤＢ１０８ｃは、図５に示すように、ステップＳ１０１にて表示するメニュー項目を単位として管理されている。そして、各項目には、それぞれにおける手続きの推移と利用するシート画像を記述したＧＵＩ構成情報が格納されている。本実施形態では、この内、「住宅ローンの申請」項目３００を例にして説明するので、それに含まれるＧＵＩ構成情報３０１について説明する。このＧＵＩ構成情報３０１は、住宅ローンの借り入れ申請に係る手続きと、その際に利用するシート画像の表示形式を記述するＧＵＩシート情報３０２を特定する情報が記述されている。

テラー４０１と顧客４０２との間の手続きとしては、例えば、（１）顧客登録、（２）商品説明、（３）ローンのシミュレーション、（４）書類読取、（５）今後の手続きの説明の、５段階がある。そして、図５のＧＵＩシート情報３０２では、（１）〜（５）の各手続において投影するシート（ＧＵＩ）の表示形態を記述するフォーム情報（「顧客登録フォーム」、「商品説明フォーム」、．．．）が管理される。また、フォーム情報には、テラー側、顧客側の方向に関する記述も含まれており、且つ、複数のフォームも入れ子式で記述可能としている。

尚、図５では、「住宅ローンの申請」項目３００に対して管理する情報の具体例を示しているが、必要な各種項目（例えば、「口座開設」項目３５０）毎に、必要な情報が適宜、シートＤＢ１０８ｃ上で管理されていることは言うまでもない。

本実施形態では、図３に示すような対面システムにおいて、操作画面に対する複数の指によるマルチタッチ操作による操作を実行可能とする。フォームごとに操作可能なマルチタッチ操作の指の本数が設定されている。ユーザのマルチタッチ操作の指の本数が、フォームに設定された操作可能なマルチタッチ操作の指の本数を超える場合には、フォームに設定された最大の指の本数のマルチタッチ操作を実行する。尚、ユーザのマルチタッチ操作の指の本数が、フォームに設定された操作可能なマルチタッチ操作の指の本数を超える場合には、何も実行しないようにしてもよい。

より具体的にはフォームに２本の指までのマルチタッチ操作が設定されている場合に、５本の指でジェスチャを行ったとしても、２本の指のマルチタッチ操作として受け付け、２本の指のマルチタッチ操作の処理を実行する。

ステップＳ１０６では、情報処理装置１００のＣＰＵ１０１が、上述したように、テラー４０１と顧客４０２の双方のジェスチャ操作の認識処理とを行いながら投影データを制御する処理である表示制御処理を実行する。表示制御処理の詳細な処理の流れを図１２のフローチャートを用いて説明する。

図１２は、表示制御処理の詳細な処理の流れを説明するフローチャートである。

ステップＳ１２０１では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１０５で読み込んだＧＵＩ構成情報３０１に基づいて投影撮像装置に対して投影指示を行う。例えば図１３のように投影データ５００を投影する。

ステップＳ１２０２では、情報処理装置１００のＣＰＵ１０１が、距離測定部１１７から情報（認識情報）を取得する。ここでいう情報とは、距離測定部１１７が照射する赤外線を投影面上の対象物が反射する赤外線を検出することによって得られる情報であり、投影面上の対象物の変化を示す情報を取得する。対象物とは例えばユーザの手である。

ステップＳ１２０３では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０２で取得した情報をもとに、ジェスチャイベントを検知したか否かを判定する。より具体的には、所定期間ごとに投影面上の対象物に動きがあったか否かを判定する。より具体的には投影面上にユーザの手が入ってきたり、対象物が投影面上にタッチされたりするなどの物体の動きを検知したか否かを判定する。ジェスチャイベントを検知したと判定した場合は処理をステップＳ１２０４に進め、そうでない場合は処理をステップＳ１２０２に戻す。

ステップＳ１２０４では、情報処理装置１００のＣＰＵ１０１が、外部記憶装置１０８に記憶されるジェスチャＴＬ１０８ｅに基づいて、ステップＳ１２０３で検知したジェスチャイベントから、ジェスチャの内容を特定する。より具体的には、ステップＳ１２０３で検知したジェスチャイベントがタップ動作なのかスワイプ動作なのかを特定する。尚、特定するジェスチャの内容はこれに限定されず、さまざまなジェスチャがある。

ステップＳ１２０５では、情報処理装置１００のＣＰＵ１０１が、外部記憶装置１０８に記憶されるジェスチャテーブル１０００とフォームテーブル１１００とを取得する。ジェスチャテーブル１０００はステップＳ１２０４で特定したジェスチャの内容に対応するジェスチャテーブル１０００を取得する。

ステップＳ１２０６では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０２で取得した情報をもとに、指の本数を特定する（特定手段に相当する）。より具体的には、指の幅をあらかじめ設定しておき、所定の幅を持つ突起部の数をカウントすることにより、指の本数を特定する。所定の幅を持つ突起部を指として認識するのは、指の幅は人によってさほど差が出ないためである。指の本数の特定方法はこれに限定されず、撮像部１１６で撮影する画像による画像認識（従来技術を用いる）によっても構わない。

ステップＳ１２０７では、情報処理装置１００のＣＰＵ１０１が、投影部１１５で投影中のフォームを特定する（画像情報特定手段に相当する）。上述したようにＣＰＵ１０１は、外部記憶装置１０８から投影すべきシートの選択と選択したシートを投影部１１５に表示させる処理、並びに、テラー４０１及び顧客４０２のジェスチャを受け付け、撮像部１１６及び距離測定部１１７によって受け付けたジェスチャを認識していく。そして、次に表示すべきシートの選択…と処理を繰り返し、最終シートの表示で、テラー４０１と顧客４０２が合意したことを示すジェスチャを検出した際に、その処理を終えるものである。そのため、投影部１１５で投影中のシートの表示形態を記述しているフォーム情報を特定することで、投影中のフォームを特定する。なお、この投影中のフォームの特定は必須の構成ではなく、必要に応じて省略しても構わないものとする。

ステップＳ１２０８では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０７で特定したフォームに対応する、最大数１１０２を特定する。フォームテーブル１１００はフォーム１１０１と最大数１１０２が対応付けて記憶されるテーブルであるので、フォーム１１０１に対応する最大数１１０２を特定することができる。

ステップＳ１２０９では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０６で特定した投影面上の手の指の本数と、ステップＳ１２０８で特定した最大数１１０２を比較する（判定手段に相当する）。最大数１１０２よりステップＳ１１０６で特定した指の本数が多いと判定した場合は処理をステップＳ１２１５に進め、そうでないと判定した場合はステップＳ１２１０に進める。

ステップＳ１２１０では、情報処理装置１００のＣＰＵ１０１が、ジェスチャテーブル１０００を参照し、ステップＳ１２０６で特定した指の本数に対応する処理を特定する。例えばステップＳ１２０６で特定した指の本数が１本であった場合、図１０に示すジェスチャテーブル１０００では、処理１００２をＧＵＩ移動として特定する。尚、本実施形態では、ジェスチャテーブル１０００を一つ、例として説明しているが、フォームテーブル１１００ごとにそれぞれ異なるジェスチャテーブル１０００を用意し、フォームごとに異なるジェスチャを実行可能にするようにしても構わない。

ステップＳ１２１１では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０２で取得した投影面上（操作画面上）の情報に基づいて指の位置を特定する。指の認識手法については上述した通りとする。指の位置は投影面上のＸＹ座標として特定する。

ステップＳ１２１２では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２１１で特定した指のＸＹ座標を中心とする円を、当該ＸＹ座標に対して投影する。

ステップＳ１２１３では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２１０で特定した処理を実行する。

例えば図１３に示す図で説明する。図１３で投影している投影データ５００のフォームが商品説明フォームであるとして説明する。図１１のフォームテーブル１１００に記憶される、商品説明フォームに対応する最大数１１０２は５であるため、５本までの指によるジェスチャが有効となっている。そのため、図１３に示すように１本指によるスワイプ動作である、ＧＵＩ移動を可能とする。その際、指の位置に対して円１３０１を投影する。このようにすることで、ユーザはユーザが行ったジェスチャが情報処理装置１００に正しく認識されていることを理解することができる。

更に図１４に示す図を用いて説明する。図１４は図１３と前提条件を同じである。図１４は商品説明フォームにおいて２本指によるスワイプ動作を行った場合の投影のイメージを示している。２本の指のそれぞれの位置に対して、円を表示させている。投影データ５００は、２本指によるスワイプ動作に対応するＧＵＩ拡大・縮小の処理が実行されている。

ステップＳ１２１４では、情報処理装置１００のＣＰＵ１０１が、ユーザから投影の終了指示を受け付けたか否かを判定する。終了指示を受け付けたと判定した場合は処理を終了させ、そうでない場合は、処理をステップＳ１２０２に戻す。

ステップＳ１２１５では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２１１と同様、投影面上の指の位置座標（ＸＹ座標）を特定する。

ステップＳ１２１６では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０８で特定した最大数１１０２の数の円を投影する（通知手段に相当する）。投影する位置は指の位置がＸ座標が小さい順で決定する。具体的に図を用いて説明する。

図１５に示す図は、書類読取フォームにおいてユーザが投影データを拡大すべく２本指でスワイプ動作を行っていることを示す図である。書類読取フォームに対応する最大数１１０２は、「１」であるため、１本以上のスワイプ動作が実行されない。そのため、最大数１１０２より指の本数の方が多いため、最大数１１０２が示す数の円１５０１（図１５ではひとつ）を、２本の指のうちＸ座標が小さい指の位置に対して表示する。実行される処理は１本の指による処理１００２であるＧＵＩ移動となる。

更に図１６を用いて説明する。図１６はシミュレーションフォームにおいてユーザが投影データを印刷すべく４本指でスワイプ動作を行っている図である。例えばシミュレーションフォームにより表示される情報は顧客の機密情報を含む可能性があるため、印刷を不可としている。図１１を参照すると、シミュレーションフォームに対応する最大数１１０２は「２」であるため、４本指によるスワイプ動作ではなく、２本指によるスワイプ動作をして受け付ける。そのため、２本指によるスワイプ動作に対応する処理１００２であるＧＵＩ拡大・縮小が実行される。投影される円１６０１は、４本の指のうち２本のＸ座標が小さい指の位置に対して表示する。このようにすることで、ユーザに対して、２本までのジェスチャジェスチャ操作のみが実行可能であることをユーザに通知することができる。

ステップＳ１２１７では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０８で特定した最大数１１０２に対応する指の本数１００１の処理１００２を実行する。例えば最大数１１０２が２本であると特定した場合は、対応する処理であるＧＵＩ拡大・縮小を実行する。

以上で図１２に示す表示制御処理の詳細な処理の流れの説明を終了する。

以上で本発明の第１の実施形態の説明を終了し、第２の実施形態の説明に移る。第１の実施形態によれば、ユーザの指等の操作指示物による操作が実行できない場合には、実行可能な操作指示物の数を通知するように実行可能な処理に対応する操作指示物の数を通知することで、ユーザが予期していない処理が行われないようにすることができる。
第１の実施形態では、ユーザが複数の指による操作（ジェスチャ）をしようとした際に、その本数によるジェスチャが、操作をしようとするフォームにおいて許容されていない場合に、そのフォームにおいて許容されている操作可能な指の本数の最大数をユーザに知覚させていた。第２の実施形態では、情報処理装置で認識されている指に対しては認識マークを表示させ、フォームにおいて操作可能な本数の指に対しては操作可能マークを表示させることにより、よりユーザに分かりやすく、フォームにおいて操作可能な指の本数をユーザに通知することのできる仕組みを提供する。また、指の本数に対応する処理がフォームにおいて操作可能となっていない場合に、当該フォームにおいて操作可能と設定されている指の本数とこの本数に対応する操作の内容を表示する仕組みも第２の実施形態で提供する。

以下、図面を参照しながら第２の実施形態の詳細な処理の流れを説明する。第２の実施形態は、第１の実施形態と図１２に対応する図１７を除いて、ハードウェア構成、機能構成、フローチャート、データテーブル等については同様である。第１の実施形態と処理が同様な部分については、説明を省略し、処理が異なる部分についてのみ説明する。

図１７は、第２の実施形態における表示制御処理の詳細な処理の流れを説明するフローチャートである。

ステップＳ１７０１からステップＳ１７０２の処理は、図１２のステップＳ１２０１からステップＳ１２０２までの処理と同様であるため説明を省略する。

ステップＳ１７０３では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０２で取得した情報をもとに、投影面上にタッチ操作を検知したか否かを判定する。タッチ操作を受け付けたと判定した場合には処理をステップＳ１７０４に進め、そうでない場合には処理をステップＳ１７０２に戻す。タッチ操作を検知したか否かの判定方法については公知技術を用いるものとする。

ステップＳ１７０４〜ステップＳ１７０５の処理は、図１２のステップＳ１２０５〜ステップＳ１２０６と処理が同様であるため説明を省略する。なお、本実施形態では、図１１に示すフォームテーブル１１００ではなく図２０に示すフォームテーブル２０００を取得した場合の実施例として説明をする。

ステップＳ１７０６では、情報処理装置１００のＣＰＵ１０１が、図１２のステップＳ１２１１と処理が同様であるため説明を省略する。

ステップＳ１７０７では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７０６で特定された指の位置に対して、指が正しく認識されていることを示す認識マーク１８０２を投影する。図１８で説明する。図１８は投影面にユーザが２本の指をタッチさせているときの図である。ユーザが投影面をタッチしている位置に、認識マーク１８０２が投影されている。このように認識されている指の位置に認識マーク１８０２を投影することによりユーザに対して正しく指が認識されていることを通知することができる。なお、認識マーク１８０２はこれに限定されず、他の形態のマークを投影するようにしても構わない。

ステップＳ１７０８の処理は図１２のステップＳ１２０７と処理が同様であるため説明を省略する。

ステップＳ１７０９では、情報処理装置１００のＣＰＵ１０１が、指の本数に対応する処理が実行可能に記憶されているか否かを判定する（判定手段に相当する）。指の本数に対応する処理が実行可能に記憶されていると判定された場合には処理をステップＳ１７１０に進め、そうでない場合には処理をステップＳ１７１５に進める。より具体的には、フォームテーブル２０００に、ステップＳ１７０８で特定されたフォーム２００１に対応づいている操作可能な指の数２００２に、ステップＳ１７０５で特定した指の本数が含まれている場合に、指の本数に対応する処理が実行可能に記憶されていると判定する。例えば、ステップＳ１７０５で特定された指の本数が３本であり、ステップＳ１７０８で特定されたフォーム２００１がシミュレーションであれば、図２０におけるフォームテーブル２０００では、操作可能な指の数２００２に３が格納されていないため、３本に対応する処理が実行可能に記憶されていないと判定することができる。

ステップＳ１７１０は、図１２のステップＳ１２１０と処理が同様であるため説明を省略する。

ステップＳ１７１１では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７０６で特定された指の位置に操作可能マーク１８０１を投影する。操作可能マーク１８０１はステップＳ１７０６で特定されたフォーム２００１に対応する処理がフォームテーブル２０００で実行可能に記憶されていることをユーザに通知するためのマークである。つまり、図１８に示すようにステップＳ１７０７で投影される認識マーク１８０２の数と、ステップＳ１７１１で投影される操作可能マーク１８０１の数とが一致していることをユーザが確認することで、正しく指が認識されていること、認識された指の数に対応する処理が実行可能（操作可能）であることがユーザが理解できるという効果がある。もし、認識マーク１８０２（第１のマークに相当する）の数と、操作可能マーク１８０１（第２のマークに相当する）の数とが一致していないことがユーザが分かれば、ユーザはジェスチャ操作を取りやめて再度指を認識させるよう、投影面をタッチしなおすといった対策を取ることができる。

ステップＳ１７１２は、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７１０で特定された処理の内容の説明を投影面上に投影する。具体的に図を用いて説明する。例えば図１８に示す図である。図１８のイメージでは、ユーザが２本の指で投影面をタッチしている状態を示している。図１８で投影されているフォーム２００１は、商品説明のフォームである。図２０のフォームテーブル２０００には操作可能な指として２本の指が許容されている。２本の指に対応してジェスチャテーブル１０００で記憶されている処理はＧＵＩ拡大・縮小である。そのため特定された処理である、ＧＵＩ拡大・縮小の処理が実行可能である旨のアノテーション１８０３を投影面上で投影している。本実施形態では、ステップＳ１７０６で特定された指の近傍に拡大縮小を行う旨のアノテーション１８０３を表示することで、ＧＵＩ拡大・縮小の処理が実行可能である旨をユーザに通知しているがこれに限定されない。このように、ユーザに対して操作可能な処理の内容をあらかじめ通知してあげることによって、ユーザが行おうとする処理を認識することができ、より使い勝手のよい操作感をユーザに提供することができる。通知の方法は一例であってこれに限定されない。

ステップＳ１７１３では、情報処理装置１００のＣＰＵ１０１が、所定時間内にスワイプ動作を受け付けたか否かを判定する。所定時間は例えば５秒とする。所定時間内にスワイプ動作を受け付けたと判定した場合には処理をステップＳ１７１４に進め、そうでない場合には処理をステップＳ１７０２に戻す。この所定時間はタッチ操作が継続している間の所定時間であって、仮にタッチ操作が解除された場合にはステップＳ１７０２に処理を戻す。なお、ジェスチャ操作の例としてスワイプ動作を説明しているがこれに限定されるものではない。このようにすることで、正しく指が認識されていること、認識された指の数に対応する処理が実行可能（操作可能）であることをユーザが認識したうえでジェスチャを行うことができ、より操作感のよいインタフェースを提供することができる。尚、本処理は必須の構成ではなく、ステップＳ１７１３の判定を行わずにスワイプ動作を受け付けたか否かを判断してもよい。

ステップＳ１７１４では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７１０で特定された処理を実行する。

ステップＳ１７１５では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７０５で特定された指の本数に近い、操作可能な処理を、ステップＳ１７０４で取得したジェスチャテーブル１０００とフォームテーブル２０００とに基づいて特定する。具体的に説明する。例えば、ステップＳ１７０５で特定された指の本数が３本であれば、３本に最も近い本数は２本又は４本である。特定された指の本数より大きい本数については対象外とし、特定された指の本数より小さい本数について検討する。フォームテーブル２０００で２本がジェスチャが許容されている場合には、２本が特定される。２本が許容されていない場合には、次に近い１本がフォームテーブル２０００で許容されているか否かを判断する。フォームテーブル２０００で１本のジェスチャが許容されている場合には、その１本が特定される。

例えば、ステップＳ１７０５で特定された指の本数が５本であれば、近い指の本数は４本である。４本がフォームテーブル２０００で許容されるジェスチャでない場合には３本が許容されているか否かを判断し、許容されていれば３本として特定する。なお、本実施形態では、特定された指の本数より低い数の本数であり、近しい順に本数を決定していく手法によって本数を決定しているが、特定された指の本数より高い数の本数を、特定された本数に近しい順で本数を決定するようにしてもよい。

ステップＳ１７１６では、情報処理装置１００のＣＰＵ１０１が、操作可能マーク１８０１を表示すべき指の位置を特定する。操作可能マーク１８０１については後述する。ステップＳ１７０６で特定された指の位置のうち、Ｘ座標の小さい順で、ステップＳ１７１５で特定された、操作可能な処理に対応する操作可能な指の本数２００２に対応する数だけ特定する。図１９で具体的に説明する。図１９は、２本までのジェスチャが許容されているフォーム２００１の画面に対して、投影面に４本で接触している状態を模式的に示すものである。４本の指のうち、Ｘ座標が小さい指の位置を２つ（２本までのジェスチャが許容されているフォーム２００１であるため）特定する。

ステップＳ１７１７では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７１６で特定された指の位置の近傍に、ステップＳ１７１５で特定された処理に対応する指の本数の数の操作可能マーク１８０１を投影するように制御する。図１９に示すように、操作可能マーク１８０１が投影される。このように、認識されていることを示すマークと、ジェスチャが可能に許容されていることを示すマークとをそれぞれ投影表示させることにより、ユーザに対して、指が正しく認識されていること、及び、正しく認識されている指のうち、操作しようとするフォーム２００１においては操作しようとする指の本数では操作が許容されていないことを、ユーザに識別させることを可能にするという効果がある。これにより、指が正しく認識されていないのか、フォーム２００１で操作が許容されていないのか否かをユーザが判別しにくいという課題を解決することができる。

なお、認識された指に対してフォーム２００１において操作が許容されていない旨の例えば×印などを投影することにより、認識された指の本数が操作可能に設定されていないことをユーザに通知するように構成しても構わない。認識された指に対してフォーム２００１において操作が許容されていない旨を文章で通知するようにしても構わない。

ステップＳ１７１８では、情報処理装置１００のＣＰＵ１０１が、フォームテーブルに記憶される操作可能な処理の内容の説明を投影する。

具体的に処理を説明する。ステップＳ１７０４で取得したジェスチャテーブル１０００とフォームテーブル２０００とに基づいて、ステップＳ１７０８で特定されたフォーム２００１に対応する操作可能な指の数２００２を特定する。特定された操作可能な指の数２００２に対応する処理の内容を、ジェスチャテーブル１０００に基づいて特定し、当該特定された処理の内容を説明する文章を投影面に投影する。処理の内容を説明する文章は、処理の内容に対応付けて記憶されている。図１９に示すように、図１９で投影されている画面のフォーム２００１はシミュレーションであるから、シミュレーションに対応する操作可能な指の数２００２は「２，５」であるから、「指２本：GUI拡大・縮小 指５本：リセット のみが操作可能な画面です。」という記載１９０１を一覧投影する。これにより、ユーザは当該フォームにおいてどのようなジェスチャ（操作）が許容されているのかを知覚することができる。

ステップＳ１７１９は、ステップＳ１７１３と処理が同様であるため説明を省略する。

ステップＳ１７２０では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７１５で特定された処理を実行する。

ステップＳ１７２１では、情報処理装置１００のＣＰＵ１０１が、ユーザから本情報処理装置の一連の処理を終了する指示を受け付けたか否かを判定する。終了指示を受け付けたと判定された場合には処理を終了させ、そうでない場合には処理をステップＳ１７０２に戻す。

以上、第２の実施形態の説明を終了する。

以上、本発明によれば、ユーザの指等の操作指示物による操作が実行できない場合には、実行可能な操作指示物の数を通知するようにすることで、ユーザが予期していない処理が行われないようにすることを可能とする。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。タブレット端末などの表示面にタッチ操作を行うことのできる端末でも適用可能である。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ネットワークＩ/Ｆ、１０５：Ｉ/Ｆ、１０６：ビデオコントローラ、１０７：ストレージコントローラ、１０８：外部記憶装置、１１０：投影撮像装置、１１５：投影部、１１６：撮像部、１１７：距離測定部

Claims (14)

1. ユーザの操作指示物による指示を認識する認識手段と通信可能な情報処理装置であって、
   前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段と、
   前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
   前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段と、
   前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を通知する通知手段と
   を備えることを特徴とする情報処理装置。
2. 前記認識手段は、前記指示を受け付けることの可能な操作画面上でユーザの指示を認識し、
   前記特定手段は、前記認識手段が前記操作画面上で認識した前記操作指示物の位置を特定し、
   前記通知手段は、前記位置に応じた前記操作画面上の位置に、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を表示させることで通知すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記通知手段は、前記特定手段で特定された前記操作指示物の数を識別可能な第１のマークと、実行可能な処理内容として前記記憶手段に記憶されている操作指示物の数を識別可能な第２のマークとを前記操作画面に表示させることにより、実行可能な処理内容として前記記憶手段に記憶された前記操作指示物の数を通知すること
   を特徴とする請求項２に記載の情報処理装置。
4. 前記通知手段は、
   前記処理内容が前記記憶手段に実行可能に記憶されていない場合には、前記操作指示物ごとに、前記操作指示物の位置に応じた前記操作画面上の位置に前記第１のマークを表示するとともに、前記記憶手段で実行可能に記憶されている処理内容に対応する数の前記第２のマークを表示させることで通知すること
   を特徴とする請求項３に記載の情報処理装置。
5. 前記通知手段は、前記判定手段で実行可能でないと判定された場合には、前記記憶手段に実行可能に記憶されている処理内容に対応する数のうち前記操作指示物の数に最も近い数を通知することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記通知手段は、前記判定手段で実行可能でないと判定された場合には、前記記憶手段に実行可能に記憶されている処理内容に対応する数のうち前記操作指示物の数に最も近い数であって、当該操作指示物の数より少ない数を通知することを特徴とする請求項５に記載の情報処理装置。
7. 前記操作指示物による前記指示がなされた際に操作画面に表示されている画像情報を特定する画像情報特定手段を更に備え、
   前記記憶手段は、前記画像情報ごとに前記指示における操作指示物の数に対応づいた前記処理内容を記憶し、
   前記判定手段は、前記画像情報特定手段で特定された前記画像情報において、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能であるか否かを判定すること
   を特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記通知手段は、前記操作指示物の数に対応する処理内容が前記記憶手段に実行可能に記憶されていない場合には、前記記憶手段で実行可能に記憶されている処理内容と当該処理内容に対応する数とを一覧で通知することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記通知手段は、前記操作指示物の数に対応する処理内容が実行可能と前記判定手段で判定された場合には、当該処理が実行可能であることを通知すること
   を特徴とする請求項1乃至８のいずれか１項に記載の情報処理装置。
10. ユーザの操作指示物による指示を認識する認識手段と通信可能な情報処理装置であり、前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段を備える情報処理装置の制御方法であって、
    前記情報処理装置が、
    前記認識手段により認識される前記操作指示物の数を特定する特定ステップと、
    前記記憶手段に記憶された前記処理内容に基づいて、前記特定ステップで特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定ステップと、
    前記判定ステップで実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を通知する通知ステップと
    を備えることを特徴とする情報処理装置。
11. ユーザの操作指示物による指示を認識する認識手段と通信可能な情報処理装置であり、前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段を備える情報処理装置で実行可能なプログラムであって、
    前記情報処理装置を、
    前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
    前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段と、
    前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を通知する通知手段
    として機能させることを特徴とするプログラム。
12. ユーザの操作指示物による指示を認識する認識手段と通信可能な情報処理装置を含む情報処理システムであって、
    前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段と、
    前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
    前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段と、
    前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を通知する通知手段と
    を備えることを特徴とする情報処理システム。
13. ユーザの操作指示物による指示を認識する認識手段と通信可能な情報処理装置を含む情報処理システムであり、前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段を備える情報処理システムの制御方法であって、
    前記情報処理システムが、
    前記認識手段により認識される前記操作指示物の数を特定する特定ステップと、
    前記記憶手段に記憶された前記処理内容に基づいて、前記特定ステップで特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定ステップと、
    前記判定ステップで実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を通知する通知ステップと
    を備えることを特徴とする情報処理システムの制御方法。
14. ユーザの操作指示物による指示を認識する認識手段と通信可能な情報処理装置を含む情報処理システムであり、前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段を備える情報処理システムで実行可能なプログラムであって、
    前記情報処理システムを、
    前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
    前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段と、
    前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を通知する通知手段
    として機能させることを特徴とするプログラム。

Images