JP6213613B2 - Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof - Google Patents
Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof Download PDFInfo
- Publication number
- JP6213613B2 JP6213613B2 JP2016102900A JP2016102900A JP6213613B2 JP 6213613 B2 JP6213613 B2 JP 6213613B2 JP 2016102900 A JP2016102900 A JP 2016102900A JP 2016102900 A JP2016102900 A JP 2016102900A JP 6213613 B2 JP6213613 B2 JP 6213613B2
- Authority
- JP
- Japan
- Prior art keywords
- operation instructions
- instruction
- executable
- specifying
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
ユーザの指等の操作指示物による操作が実行できない場合であっても、ユーザが予期していない処理が行われないようにすることの可能な情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラムに関する。 An information processing apparatus capable of preventing a process unexpected by a user from being performed even when an operation with an operation instruction such as a user's finger cannot be performed, a control method thereof, a program, and The present invention relates to an information processing system, a control method thereof, and a program.
銀行にてローン等の契約を行う場合、行員（以下、「テラー」という）は商品説明や契約書作成に必要な事項の説明を顧客に対して行うことが義務付けられている。このような業務を、半ば電子的に行うシステムが提案されている（特許文献１）。 When a loan contract is made at a bank, a bank employee (hereinafter referred to as “teller”) is obliged to explain to the customer a product description and an explanation of matters necessary for making a contract. There has been proposed a system that performs such operations semi-electronically (Patent Document 1).
また、タブレット端末等の電子端末を使用して、例えばローンの契約にかかる手続に関する操作を容易にしたり、書類の記入を簡素化したりするものもある。また、プロジェクタによって操作画面を机上に投影し、その操作画面に対する手指等によるタッチ操作をカメラで検出することにより操作を行うことのできる技術が存在する（特許文献２）。 There are also devices that use electronic terminals such as tablet terminals to facilitate operations related to procedures related to loan contracts, for example, and simplify the entry of documents. In addition, there is a technique capable of performing an operation by projecting an operation screen onto a desk by a projector and detecting a touch operation with a finger or the like on the operation screen with a camera (Patent Document 2).
特許文献２で示されるような情報処理システムでは、机上に投影される操作画面に対するタッチ操作を、カメラを利用することで検出している。特許文献２の仕組みや、タブレット端末などのタッチ操作により操作を受け付ける端末に対するタッチ操作は、一点のタッチによるシングルタッチだけではなく、二点以上のタッチによるマルチタッチ操作がある。マルチタッチ操作の一例には、タッチした二点間の距離を変化させる操作であるピンチアウト／ピンチイン操作がある。
In an information processing system as disclosed in
上述したマルチタッチ操作は、ユーザの動作が同じ動作であっても指の本数によって情報処理システムで実行する処理を切り替えることができる。例えば、１本指によって表示面をタッチしそのまま所定方向に滑らせる動作は、対象の画像を移動する処理とし、ユーザが親指・人差し指・中指・薬指を含めた４本指で表示面をタッチし、タッチしたまま所定方向に指を滑らせる動作をすることで、投影をさせている説明資料を、プリンタに対して印刷させる処理を行うという例である。このようにして指の本数と情報処理システムで実行する処理とを対応付けて記憶することで複数種類のマルチタッチ操作を可能にする。 The above-described multi-touch operation can switch processing executed by the information processing system depending on the number of fingers even when the user's operation is the same. For example, the operation of touching the display surface with one finger and sliding it in a predetermined direction is a process of moving the target image, and the user touches the display surface with four fingers including the thumb, index finger, middle finger, and ring finger. This is an example of performing a process of causing the printer to print the explanatory material that is projected by sliding the finger in a predetermined direction while touching. In this way, a plurality of types of multi-touch operations can be performed by storing the number of fingers and the processing executed by the information processing system in association with each other.
ユーザはこの対応付けられたマルチタッチ操作を記憶することで、適切に指を使用し使い勝手の良い操作感を得ることができる。 By storing the associated multi-touch operation, the user can appropriately use the finger and obtain a user-friendly operation feeling.
しかしながら、銀行の説明業務においては、顧客に説明する説明資料など、投影（表示されている画面によっては、実行されるべきではない操作があり、該当する説明資料においては操作を禁止することがある。例えば、機密性の高い説明資料であれば印刷を禁止し、例えばテラーが印刷をするためのマルチタッチ操作を行ったとしても印刷を実行しない、などである。 However, in the explanation work of the bank, there are projections (such as explanation materials to explain to the customer), there are operations that should not be executed depending on the displayed screen, and operations may be prohibited in the corresponding explanation materials For example, printing is prohibited if it is highly confidential explanatory material, and printing is not executed even if a teller performs a multi-touch operation for printing, for example.
そこで情報処理システムの管理者は、マルチタッチ操作を受け付ける処理の内容を制限する。例えば４本の指のマルチタッチ操作の処理内容が制限されているような場合には、仮に４本の指でマルチタッチ操作をテラーが行ったとしても、当該操作を受け付けることは出来ない。このときに３本の指の操作の処理が実行できるような場合には、４本の指の操作であっても操作情報処理システムは３本の指による操作としてタッチ操作を受け付けることができる。 Therefore, the administrator of the information processing system restricts the content of processing that accepts multi-touch operations. For example, when the processing content of a multi-touch operation with four fingers is limited, even if the teller performs a multi-touch operation with four fingers, the operation cannot be accepted. In this case, when the processing of the operation of three fingers can be executed, the operation information processing system can accept a touch operation as an operation with three fingers even when the operation is performed with four fingers.
しかしながら、このような別の指の操作として扱ってしまうと、マルチタッチ操作により実行させたい処理と、実際に実行される処理が異なるため、ユーザにとって予期せぬ処理が実行されてしまったりして、ユーザの希望の処理が実現できないことになる。 However, if it is handled as such another finger operation, the processing that is desired to be executed by the multi-touch operation and the processing that is actually executed are different, so the processing that is unexpected for the user may be executed. Therefore, the processing desired by the user cannot be realized.
そこで本発明の目的は、ユーザの指等の操作指示物による操作が実行できない場合であっても、ユーザが予期していない処理が行われないようにする仕組みを提供することである。 Accordingly, an object of the present invention is to provide a mechanism that prevents a process unexpected by a user from being performed even when an operation with an operation instruction such as a user's finger cannot be performed.
本発明の情報処理装置は、ユーザの操作指示物による指示を認識する認識手段と通信可能な情報処理装置であって、前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段と、前記認識手段により認識される前記操作指示物の数を特定する特定手段と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知する通知手段とを備え、前記認識手段は、前記指示を受け付けることの可能な操作画面上でユーザの指示を認識し、前記特定手段は、前記認識手段が前記操作画面上で認識した前記操作指示物の位置を特定し、前記通知手段は、前記位置に応じた前記操作画面上の位置に、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に表示させることで通知し、前記情報処理装置は、さらに、前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段を備え、前記通知手段は、前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知することを特徴とする。 An information processing apparatus according to the present invention is an information processing apparatus capable of communicating with a recognition unit that recognizes an instruction by a user operation instruction, and a storage unit that stores processing contents in association with the number of operation instructions in the instruction. A means for specifying the number of the operation instructions recognized by the recognition means; and a notification means for notifying the number of the operation instructions stored in the storage means as executable processing contents. Recognizes a user instruction on an operation screen capable of accepting the instruction, the specifying means specifies the position of the operation instruction object recognized by the recognition means on the operation screen, and the notification means is the position on the operation screen corresponding to the position, the stored operation instruction the number in the storage unit to notify be identifiably displayed as processing contents executable The information processing apparatus further determines, based on the processing contents stored in the storage means, whether or not the processing contents corresponding to the number of the operation instructions specified by the specifying means can be executed. And the notification means notifies the number of operation instructions stored in the storage means in an identifiable manner as executable processing contents when it is determined that the determination means cannot execute the processing. .
本発明によれば、ユーザの指等の操作指示物による操作が実行できない場合には、実行可能な操作指示物の数を通知するようにすることで、ユーザが予期していない処理が行われないようにすることができる。 According to the present invention, when an operation with an operation instruction such as a user's finger cannot be executed, the number of operation instructions that can be executed is notified so that processing that is not anticipated by the user is not performed. Can be.
以下、本発明の第１の実施形態について図面を用いて詳細に説明する。なお、本実施形態における対面システムは、銀行で利用される例を説明する。また、以下の説明では銀行側の者（行員）をテラーとし、顧客と区別して説明する。なお、銀行を例としたのは、業務を具現化することで理解を容易にするためであって、生命保険会社等、対面にて商品の売買や契約を行う類であれば利用可能であり、これに限定されない。あくまで例であることに注意されたい。なお、対面ではなく、ユーザがひとりであってもよい。 Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings. In addition, the facing system in this embodiment demonstrates the example utilized in a bank. Further, in the following explanation, a banker (banker) is assumed to be a teller, and is described separately from a customer. Banks are used as examples for the purpose of facilitating understanding by embodying the business, and can be used for life insurance companies, etc. that sell or contract products in person. However, the present invention is not limited to this. Note that this is an example only. Note that there may be only one user instead of face-to-face.
図１は、実施形態における対面システムの外観構成図であり、図２はシステムを構成する装置のハードウェア構成図である。本システムは、システム全体の制御を司る情報処理装置１００を有する。そして、この情報処理装置１００には、投影撮像装置１１０をはじめ、ユーザ（後述するテラー）との間のユーザインターフェースとして機能するディスプレイ１２０、入力デバイス（キーボードやマウス等）１３０が接続されている。また、図示していないが、業務に係る基幹ネットワークとも接続される。投影する投影データなどは基幹ネットワークなどに記憶されていてもよい。
FIG. 1 is an external configuration diagram of a face-to-face system according to the embodiment, and FIG. 2 is a hardware configuration diagram of devices that configure the system. This system includes an
情報処理装置１００は、通常のＰＣ（パーソナルコンピュータ）等と同じハードウェア構成の情報処理装置である。プログラムに従って処理を行うＣＰＵ１０１、ブートプログラムやＢＩＯＳ等を記憶するＲＯＭ１０２、ＣＰＵ１０１が実行するＯＳやアプリケーションを格納するため、並びにＣＰＵ１０１がワークエリアとして利用するＲＡＭ１０３を有する。また、情報処理装置１００は、投影撮像装置１１０と通信するためのＩ/Ｆ部１０５、ＣＰＵ１０１の指示に従って描画処理やビデオ信号の出力処理等を行うビデオコントローラ１０６を有する。更に、情報処理装置１００はハードディスク（ＨＤＤ）に代表される外部記憶装置１０８（記憶手段に相当する）に対する読み書きを行うストレージコントローラ１０７、基幹ネットワーク（特にネットワークプリンタ）と通信するためのネットワークＩ/Ｆ１０４を有する。外部記憶装置１０８には、オペレーティングシステム（ＯＳ）１０８ａ、対面システムとして機能させるためのアプリケーションプログラム１０８ｂをはじめ、詳細は後述するシートＤＢ１０８ｃ、環境情報１０８ｄ、ジェスチャテーブル（ジェスチャＴＬ）１０８ｅが格納されている。
The
投影撮像装置１１０（認識装置）は、その筐体内に、情報処理装置１００と通信するためのＩ/Ｆ部１１８、投影部１１５、撮像部１１６、距離測定部１１７（認識手段に相当する）を収容している。投影撮像装置１１０には、投影部１１５から出射した投影光を通過させるための開口部１１１が設けられている。更に、撮像部１１６並びに距離測定部１１７に共有され、外部からの光（赤外線を含む）を入射するための開口部１１２も設けられている。
The projection imaging apparatus 110 (recognition apparatus) includes an I /
投影部１１５は、情報処理装置１００から要求された映像を表す投影光を開口部１１２を介して天板１１３に向け、且つ、若干斜め方向に出射する。天板１１３の下面側にはミラーが設けられており、投影部１１５からの投影光を反射する。この結果、図１における投影撮像装置１１０の設置位置より手前側の領域（実際にはテーブルの上面）が投影スクリーンとして、その映像を表示することになる。なお、出射する方向を斜めにするのではなく、天板１１３を傾けても構わない。
The
また、撮像部１１６並びに距離測定部１１７は、天板１１３のミラーを介して、投影部１１５によるテーブル上の投影領域よりも広い範囲を撮像範囲、又は、測距範囲として設定されている。撮像部１１６は通常のデジタルカメラに代表される撮像装置と同じ構成であり、テーブルの撮影範囲内の映像を光学的に読み取るものである。距離測定部１１７は、奥行き（距離）を検出するものであり、予め設定された２次元パターンを示す赤外線を照射する照射部と、その対象物から２次元空間での反射赤外線を検出するセンサで構成される。そして、撮像部１１６で得らえた映像データと、距離測定部１１７より検出された距離データの時間軸に対する変化に基づき、情報処理装置１００のＣＰＵ１０１による処理によって、ユーザの手の動きや指（操作指示物に相当する）でテーブルをたたく操作（ジェスチャ。指示に相当する）の検出処理が実現する。なお、映像と、赤外線によるパターン照射／検出によってユーザのジェスチャ検出を行う技術は公知（たとえば、米国マイクロソフト社のＫＩＮＥＣＴ（商標））であるので、ここでの詳細は省略する。ただし、ユーザのジェスチャ検出できれば良く、その構成、原理は特に問わない。なお、投影撮像装置１１０の筐体内に十分なスペースがあれば、情報処理装置１００を構成する回路を投影撮像装置１１０に内蔵させることで、これらを一体化しても構わない。
In addition, the
上記構成において、本装置の電源がＯＮになると、ＣＰＵ１０１はＲＯＭ１０２に格納されたブートプログラムを実行し、外部記憶装置１０８に格納されたＯＳ１０８ａをＲＡＭ１０３にロードし実行する。そして、そのＯＳの制御下にて、外部記憶装置１０８から対面システムのアプリケーションプログラム１０８ｂをＲＡＭ１０３にロードして、実行させる。この結果、本システムが銀行業務の対面システムとして機能することになる。
In the above configuration, when the power of the apparatus is turned on, the
図３は本システムの利用形態を示している。本実施形態における対面システムは、図示のように、テラー（行員）４０１と顧客４０２がテーブル４００を間に挟み、それぞれが椅子に座って対面する形態を想定している。また、テーブル４００には、ディスプレイ１２０、入力デバイス１３０がテラー４０１の操作しやすい位置に配置されている。また、投影撮像装置１１０は、その天板１１３によって斜め方向から投影光がテーブル４００に向けて照射することになるので、テラー４０１と顧客４０２が向かい合った際に、邪魔にならない位置に載置することが可能である。この結果、テーブル４００の、テラー４０１と顧客４０２との間には十分なスペースを確保され、撮像部１１６及び距離測定部１１７の検出範囲４１０、投影部１１５による投影範囲４１１が確保される。なお、検出範囲４１０、投影範囲４１１が示す矩形は、テーブル４００上にそれぞれの範囲が規定されていることを示すためであって、その境界線が表示されることを意図するものではない。また、情報処理装置１００は、たとえばテラー側のテーブル４００の下に配置するものとする。
FIG. 3 shows a usage form of the system. The face-to-face system according to the present embodiment assumes a form in which a
以上、実施形態における対面システムの構成とその利用形態を説明した。次に、対面システムの処理内容を、特にＣＰＵ１０１の処理手順として説明する。
The configuration of the face-to-face system in the embodiment and the usage form thereof have been described above. Next, the processing content of the face-to-face system will be described as a processing procedure of the
本システムが稼働すると、図３に示すようにテラー４０１と顧客４０２との間のテーブル４００上（の投影範囲４１１）に、投影撮像装置１１０から各種の文書シート（以下、単にシートという）が投影表示される。そして、テラー４０１はその都度解説や説明を行い、顧客４０２はその投影内容とテラー４０１の説明を理解したことの意思を示していって、手続きを進めていく。投影撮像装置１１０がテラー４０１から見て右側に設置するのか、左側に設置するのかを事前に設定することができる。投影撮像装置１１０がテーブル４００上に投影することになるシートは、テラー側、顧客側の向きがあり、その向きと座席についているテラー４０１、顧客４０２の位置関係の整合性を取るために設定する。設定が完了すると、ＣＰＵ１０１は、その設定内容を外部記憶装置１０８の環境情報１０８ｄとして保存する。なお、投影撮像装置１１０の配置位置を変更しない限り、この設定を変える必要はない。
When this system is operated, various document sheets (hereinafter simply referred to as sheets) are projected from the
かかる手続きをＣＰＵ１０１の処理で示せば、以下の通りである。ＣＰＵ１０１は、外部記憶装置１０８から投影すべきシートの選択と選択したシート（詳細は後述）を投影部１１５に表示させる処理、並びに、テラー４０１及び顧客４０２の操作をジェスチャとして、撮像部１１６及び距離測定部１１７によって認識していく。そして、次に表示すべきシートの選択…と処理を繰り返し、最終シートの表示で、テラー４０１と顧客４０２が合意したことを示すジェスチャを検出した際に、その処理を終える。
If this procedure is shown by the processing of the
以下、更に詳しく説明する。図４は対面システムのアプリケーションプログラム１０８ｂを実行した際のＣＰＵ１０１の処理手順を示すフローチャートである。
This will be described in more detail below. FIG. 4 is a flowchart showing the processing procedure of the
本アプリケーションが実行されると、まず、ステップＳ１０１にて、ＣＰＵ１０１はメニュー画面をディスプレイ１２０に表示し、テラー４０１に項目の１つを選択させる。表示する項目は、「住宅ローンの借り入れ手続き」、「口座開設の手続き」…と、およそ銀行にて対面手続きするものが含まれる。ただし、項目の１つには「環境設定」が含まれるものとする。
When this application is executed, first, in step S101, the
ステップＳ１０２にて、ＣＰＵ１０１は、テラー４０１による入力デバイス１３０の操作による項目選択を待つ。選択がなされると、ステップＳ１０３にて、ＣＰＵ１０１はその選択した項目が「環境設定」であるか否かを判定する。環境設定であると判定した場合、処理はステップＳ１０４に進み環境設定処理を行う。環境設定でないと判定した場合、処理はステップＳ１０５に進む。この環境設定処理は、情報処理装置１００がテラー４０１及び顧客４０２が投影面上で行う操作をジェスチャとして、撮像部１１６及び距離測定部１１７によって得られる情報をもとに認識していくにあたり、ジェスチャと実行する処理とを対応付けて設定するための処理である。本発明の実施形態では、情報処理装置１００で認識できるジェスチャが事前に登録されており、ユーザが当該ジェスチャごとに処理内容を設定することで容易に環境設定ができるようにしている。環境設定処理の詳細は図６を用いて詳細に説明する。
In step S <b> 102, the
図６は、環境設定処理の詳細な処理を説明するフローチャートである。 FIG. 6 is a flowchart for explaining detailed processing of the environment setting processing.
ステップＳ６０１では、情報処理装置１００のＣＰＵ１０１が、図７に示す環境設定画面７００をディスプレイ１２０に表示する。環境設定画面７００は、ジェスチャ設定メニュー７０１とジェスチャ制限設定メニュー７０２とが配置される画面であり、設定を行いたいメニューの選択をユーザから受け付けることが可能な画面である。ジェスチャ設定メニュー７０１の選択を受け付けると、ジェスチャの実行する処理とを対応付けて設定するための画面を起動する。ジェスチャ制限設定メニュー７０２の選択を受け付けると、フォーム（画像情報）ごとに有効とするジェスチャの設定を行うための画面を表示する。
In step S601, the
ステップＳ６０２では、情報処理装置１００のＣＰＵ１０１が、図７に示す環境設定画面７００のジェスチャ設定メニュー７０１とジェスチャ制限設定メニュー７０２のいずれのメニューの選択を受け付けたかを判定する。ジェスチャ設定メニュー７０１の選択を受け付けたと判定した場合は、処理をステップＳ６０３に進め、ジェスチャ制限設定メニュー７０２の選択を受け付けたと判定した場合は処理をステップＳ６０９に進める。
In step S602, the
ステップＳ６０３では、情報処理装置１００のＣＰＵ１０１が、図８に示すジェスチャ設定画面８００をディスプレイ１２０に表示する。ジェスチャ設定画面８００は、ユーザが行う手のジェスチャを指の本数毎に処理内容を設定することが可能な画面である。具体的には、投影面を触れる動作であるタップ動作を１本の指で行う場合にはＧＵＩの選択を実行し、２本の指で行う場合にはＧＵＩの色を変化するなどがある。このように同一のジェスチャであっても指の本数に応じて情報処理装置１００で実行する処理を切り替えるよう設定するための画面である。なお、図８に示すジェスチャ設定画面８００は一例であって、これに限定されない。
In step S603, the
ジェスチャ設定画面８００にはタップ動作タブ８０１やスワイプ動作タブ８０２といったタブが設定されている。このタブは、ジェスチャの動作を示すタブであり、タブを切り替えることで、ジェスチャごとに指の本数に応じた処理を設定することができる。タブの選択をユーザから受け付けた後、実行処理選択欄８０３の選択をすることで、指の本数ごとに処理を設定することができる。具体的には、実行処理選択欄８０３の選択を受け付けると、外部記憶装置１０８に記憶される処理がプルダウン表示され、ユーザが設定したい処理を選択することができる。
On the gesture setting screen 800, tabs such as a
ステップＳ６０４では、情報処理装置１００のＣＰＵ１０１が、ジェスチャ設定画面８００のタブの選択を受け付ける。本実施形態では、タップ動作タブ８０１とスワイプ動作タブ８０２が選択可能であるが、これに限定されない。ジェスチャ設定画面８００のタブの選択を受け付けた後、処理をステップＳ６０５に進める。
In step S <b> 604, the
ステップＳ６０５では、情報処理装置１００のＣＰＵ１０１が、ジェスチャ設定画面８００の実行処理選択欄８０３の選択を受け付ける。上述したように、実行処理選択欄８０３の選択を受け付けると、外部記憶装置１０８に記憶される処理がプルダウン表示され、ユーザが設定したい処理を選択することができる。選択された処理が、ジェスチャの本数と対応付けて記憶される（ジェスチャＴＬ１０８ｅ）。例えば、図１０に示すジェスチャテーブル１０００である。ジェスチャテーブル１０００には指の本数１００１と処理１００２が対応付けて記憶されている。ジェスチャテーブル１０００は、ジェスチャの内容ごとに（タップ動作やスワイプ動作など）設定されるテーブルである。指の本数１００１は認識したジェスチャの指の本数を示す。処理１００２は、ジェスチャの指の本数を認識することで、実行される処理のＩＤを示すものである。ＩＤに基づいて、外部記憶装置に記憶されている処理を起動する。図１０のジェスチャテーブル１０００はスワイプ動作に関するジェスチャテーブルとして説明を行う。
In step S <b> 605, the
ステップＳ６０６では、情報処理装置１００のＣＰＵ１０１が、別のタブの選択を受け付けたか否かを判定する。具体的には、タップ動作タブ８０１を選択している状態で、スワイプ動作タブ８０２の選択を受け付けたか否かを判定するなどである。別のタブの選択を受け付けたと判定した場合は処理をステップＳ６０５の戻し、そうでないと判定した場合はステップＳ６０７に進める。
In step S606, the
ステップＳ６０７では、情報処理装置１００のＣＰＵ１０１がジェスチャ設定画面８００の保存ボタン８０４の押下を受け付けたか否かを判定する。保存ボタン８０４の押下を受け付けたと判定した場合は処理をステップＳ６０８に進め、そうでないと判定した場合は処理をステップＳ６０５に戻す。
In step S <b> 607, it is determined whether the
ステップＳ６０８では、情報処理装置１００のＣＰＵ１０１が、ステップＳ６０４で選択を受け付けたタブに対応するジェスチャテーブル１０００に保存する。本発明の実施形態では、スワイプ動作に対するジェスチャテーブル１０００を例として説明をするが、タップ動作など複数のジェスチャそれぞれにジェスチャテーブル１０００が対応付けて記憶されている。このような構成とすることで、タップ動作とスワイプ動作で同じ本数の指であったとしても処理の内容を変えることを可能とする。ジェスチャテーブル１０００に保存したのち処理を終了する。
In step S608, the
図１０に示すジェスチャテーブル１０００には、指の本数を示す指の本数１００１と情報処理装置１００で実行する処理である処理１００２とが対応付けて記憶されている。処理１００２は説明上分かりやすいように処理の内容を記載しているが、外部記憶装置１０８に記憶されるそれぞれの処理を実行するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を実行するためのプログラムが格納されている。このようにすることで、投影データを印刷するＡＰＩを実行させることで情報処理装置１００に接続されるプリンタに投影データを印刷させることを可能とする。例えば図１０の例であれば、４本の指で投影面をスワイプする動作を行うと、投影面に投影されている投影データを印刷するべくプリントデータに変換の上プリンタに対してプリントデータと印刷指示を行う。
In the gesture table 1000 illustrated in FIG. 10, the number of
ステップＳ６０９では、情報処理装置１００のＣＰＵ１０１が、図９に示すジェスチャ制限設定画面９００をディスプレイ１２０に表示する。ジェスチャ制限設定画面９００はフォーム選択欄９０１と有効ジェスチャ選択欄９０２と保存ボタン９０３が配置されている画面である。ジェスチャ制限設定画面９００において、まずユーザからフォーム選択欄９０１の選択を受け付け、対象のフォームを決定する。フォームを決定すると、ジェスチャ制限設定画面９００には、ジェスチャテーブル１０００に基づいて、（ステップＳ６０４乃至ステップＳ６０８の処理により）すでに設定されているジェスチャのリストが表示される。ユーザはこのジェスチャのリストを見て、有効とするジェスチャを選択する。本発明の実施形態では、有効とする指の本数の最大値をユーザに選択させる。このようにすることで、容易に有効とするジェスチャを設定することを可能とする。指の本数ごとに有効か否かを設定するようにしてもよい。
In step S609, the
本発明の実施形態では、投影データ内のフォームごとに設定することでフォームに応じて操作を制限することを可能としているため、ユーザはそれぞれのフォームに応じた適切な操作制限を設定することを可能とする効果がある。 In the embodiment of the present invention, since it is possible to restrict the operation according to the form by setting for each form in the projection data, the user can set an appropriate operation restriction according to each form. There is an effect that makes it possible.
ステップＳ６１０では、情報処理装置１００のＣＰＵ１０１が、フォーム選択欄９０１の選択を受け付ける。例えば図９に示すようにシミュレーションフォーム欄の選択を受け付ける。
In step S610, the
ステップＳ６１１では、情報処理装置１００のＣＰＵ１０１が、ジェスチャテーブル１０００を読み込む。
In step S <b> 611, the
ステップＳ６１２では、情報処理装置１００のＣＰＵ１０１が、ステップＳ６１１で読み込んだジェスチャテーブル１０００を元に作成した画面であるジェスチャリスト９０４をジェスチャ制限設定画面９００に表示する。ジェスチャリスト９０４には、ジェスチャテーブル１０００に格納される指の本数１００１と処理１００２と有効ジェスチャ選択欄９０２とが対応付けて表示される画面である。ユーザから有効ジェスチャ選択欄９０２の選択を受け付けると、選択を受け付けた指の本数１００１までの本数のジェスチャを有効とする。具体的には、フォーム選択欄９０１でシミュレーションフォームの選択を受け付け、指の本数１００１が３本を、有効ジェスチャ選択欄９０２において選択を受け付けた場合、指の本数１００１が１本〜３本までのジェスチャがシミュレーションフォームにおいて有効となる。
In step S612, the
ステップＳ６１３では、情報処理装置１００のＣＰＵ１０１が、有効ジェスチャ選択欄９０２の選択を受け付ける。
In step S <b> 613, the
ステップＳ６１４では、情報処理装置１００のＣＰＵ１０１が、フォーム選択欄９０１の選択を受け付けたか否かを判定する。例えば、商品説明フォームなどの別のフォーム選択欄９０１の選択を受け付けたか否かを判定する。フォーム選択欄９０１の選択を受け付けたと判定した場合は処理をステップＳ６１１に戻し、そうでない場合は処理をステップＳ６１５に進める。
In step S614, the
ステップＳ６１５では、情報処理装置１００のＣＰＵ１０１が、保存ボタン９０３の押下を受け付けたか否かを判定する。保存ボタン９０３の押下を受け付けたと判定した場合は処理をステップＳ６１６に進め、そうでない場合は処理をステップＳ６１３に戻す。
In step S615, the
ステップＳ６１６では、情報処理装置１００のＣＰＵ１０１が、選択を受け付けた有効ジェスチャ選択欄９０２をフォームテーブル１１００に格納する。図１１に示すフォームテーブル１１００はフォームを示すフォーム１１０１とジェスチャが有効な指の最大の本数を示す最大数１１０２（最大値）とが対応付けて記憶されている。ステップＳ６１３で選択された有効ジェスチャ選択欄９０２に対応する指の本数１００１を特定し、指の本数１００１を最大数１１０２に格納する。この処理をフォームごとに行う。これによりフォームごとにジェスチャを有効とする指の最大本数を格納することができる。
なお、本実施形態では、フォームごとにジェスチャを有効とする指の最大本数を管理するようにしていた。図１１のフォームテーブル１１００に示す通り、投影データ内のフォームごとに最大本数を設定することが簡便にフォームごとの操作可能な指の本数を指定することができるという効果がある。一方、図２０に示すフォームテーブル２０００に示すように最大本数ではなく、フォームごとに操作可能な指の本数を設定するようにしてもよい。フォームテーブル２０００にはフォーム２００１と操作可能な指の数２００２とが対応付けて記憶されている。操作可能な指の数２００２は、操作可能な指の数をカンマ区切りで規定するものであり、「１、３」であれば、１本と３本の指による操作（ジェスチャ）が許容されることを意味している。すなわち、図２０のフォームテーブル２０００の例であれば、商品説明のフォーム２００１では、操作可能な指の数２００２が１〜５本の指の数による操作が許容されている一方、書類読取のフォーム２００１の場合には１本と３本のみが操作可能な指の数２００２として設定されている。そのため、書類読取のフォーム２００１においては、２本指によるジェスチャはできないこととなる。このようにすることで、フォームごとにより細やかな操作可能な指の数を設定することを可能とする効果がある。
In step S <b> 616, the
In the present embodiment, the maximum number of fingers that enable a gesture is managed for each form. As shown in the form table 1100 of FIG. 11, setting the maximum number for each form in the projection data has an effect that the number of operable fingers for each form can be easily specified. On the other hand, instead of the maximum number as shown in the form table 2000 shown in FIG. 20, the number of fingers that can be operated for each form may be set. The form table 2000 stores a
以上で図６に示す環境設定処理の説明を終了する。
図４の説明に戻る。
This is the end of the description of the environment setting process shown in FIG.
Returning to the description of FIG.
ステップＳ１０３の判定の結果、環境設定でない場合（ステップＳ１０３でＮＯ）、つまり、テラー４０１は、顧客４０２の相談目的から、入力デバイス１３０を操作して該当するメニュー項目を選択することになる。情報処理装置１００のＣＰＵ１０１が、この選択がなされたことを検出すると、ステップＳ１０５にて、ＣＰＵ１０１は、外部記憶装置１０８のシートＤＢ１０８ｃを参照して、選択した手続きのＧＵＩ構成情報を読み込む。そして、ステップＳ１０６にて、情報処理装置１００のＣＰＵ１０１が、読み込んだＧＵＩ構成情報に基づいて、シート画像をテーブル４００に投影し、その投影されたシート画像に対する操作（ジェスチャ）とに基づいて、そのシート画像の表示制御処理を実行する。また、この表示制御処理に伴って、テラー４０１と顧客４０２の双方のジェスチャの認識処理とを行い、テラー４０１と顧客４０２との間のやりとりを支援しながら、手続の支援処理を実行する。尚、このジェスチャに伴うシート画像の表示制御においては、ＣＰＵ１０１は、例えば、ジェスチャＴＬ１０８ｅに登録されている内容に基づいて行う。このジェスチャＴＬ１０８ｅの詳細については後述する。
As a result of the determination in step S103, if the environment is not set (NO in step S103), that is, the
ここで、シートＤＢ１０８ｃの構成について、図５を用いて説明する。
Here, the configuration of the
シートＤＢ１０８ｃは、図５に示すように、ステップＳ１０１にて表示するメニュー項目を単位として管理されている。そして、各項目には、それぞれにおける手続きの推移と利用するシート画像を記述したＧＵＩ構成情報が格納されている。本実施形態では、この内、「住宅ローンの申請」項目３００を例にして説明するので、それに含まれるＧＵＩ構成情報３０１について説明する。このＧＵＩ構成情報３０１は、住宅ローンの借り入れ申請に係る手続きと、その際に利用するシート画像の表示形式を記述するＧＵＩシート情報３０２を特定する情報が記述されている。
As shown in FIG. 5, the
テラー４０１と顧客４０２との間の手続きとしては、例えば、（１）顧客登録、（２）商品説明、（３）ローンのシミュレーション、（４）書類読取、（５）今後の手続きの説明の、５段階がある。そして、図５のＧＵＩシート情報３０２では、（１）〜（５）の各手続において投影するシート（ＧＵＩ）の表示形態を記述するフォーム情報（「顧客登録フォーム」、「商品説明フォーム」、．．．）が管理される。また、フォーム情報には、テラー側、顧客側の方向に関する記述も含まれており、且つ、複数のフォームも入れ子式で記述可能としている。
The procedures between the
尚、図５では、「住宅ローンの申請」項目３００に対して管理する情報の具体例を示しているが、必要な各種項目（例えば、「口座開設」項目３５０）毎に、必要な情報が適宜、シートＤＢ１０８ｃ上で管理されていることは言うまでもない。
FIG. 5 shows a specific example of information managed for the “application for mortgage”
本実施形態では、図３に示すような対面システムにおいて、操作画面に対する複数の指によるマルチタッチ操作による操作を実行可能とする。フォームごとに操作可能なマルチタッチ操作の指の本数が設定されている。ユーザのマルチタッチ操作の指の本数が、フォームに設定された操作可能なマルチタッチ操作の指の本数を超える場合には、フォームに設定された最大の指の本数のマルチタッチ操作を実行する。尚、ユーザのマルチタッチ操作の指の本数が、フォームに設定された操作可能なマルチタッチ操作の指の本数を超える場合には、何も実行しないようにしてもよい。 In the present embodiment, in the face-to-face system as shown in FIG. 3, it is possible to perform an operation by a multi-touch operation with a plurality of fingers on the operation screen. The number of fingers for multi-touch operation that can be operated for each form is set. When the number of fingers of the user's multi-touch operation exceeds the number of fingers of the operable multi-touch operation set on the form, the multi-touch operation with the maximum number of fingers set on the form is executed. Note that nothing may be executed when the number of multi-touch operation fingers of the user exceeds the number of multi-touch operation fingers set in the form.
より具体的にはフォームに２本の指までのマルチタッチ操作が設定されている場合に、５本の指でジェスチャを行ったとしても、２本の指のマルチタッチ操作として受け付け、２本の指のマルチタッチ操作の処理を実行する。 More specifically, when a multi-touch operation up to two fingers is set on the form, even if a gesture is performed with five fingers, it is accepted as a multi-touch operation with two fingers. Perform processing of multi-touch operation of a finger.
ステップＳ１０６では、情報処理装置１００のＣＰＵ１０１が、上述したように、テラー４０１と顧客４０２の双方のジェスチャ操作の認識処理とを行いながら投影データを制御する処理である表示制御処理を実行する。表示制御処理の詳細な処理の流れを図１２のフローチャートを用いて説明する。
In step S106, as described above, the
図１２は、表示制御処理の詳細な処理の流れを説明するフローチャートである。 FIG. 12 is a flowchart for explaining the detailed processing flow of the display control processing.
ステップＳ１２０１では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１０５で読み込んだＧＵＩ構成情報３０１に基づいて投影撮像装置に対して投影指示を行う。例えば図１３のように投影データ５００を投影する。
In step S1201, the
ステップＳ１２０２では、情報処理装置１００のＣＰＵ１０１が、距離測定部１１７から情報（認識情報）を取得する。ここでいう情報とは、距離測定部１１７が照射する赤外線を投影面上の対象物が反射する赤外線を検出することによって得られる情報であり、投影面上の対象物の変化を示す情報を取得する。対象物とは例えばユーザの手である。
In step S <b> 1202, the
ステップＳ１２０３では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０２で取得した情報をもとに、ジェスチャイベントを検知したか否かを判定する。より具体的には、所定期間ごとに投影面上の対象物に動きがあったか否かを判定する。より具体的には投影面上にユーザの手が入ってきたり、対象物が投影面上にタッチされたりするなどの物体の動きを検知したか否かを判定する。ジェスチャイベントを検知したと判定した場合は処理をステップＳ１２０４に進め、そうでない場合は処理をステップＳ１２０２に戻す。
In step S1203, the
ステップＳ１２０４では、情報処理装置１００のＣＰＵ１０１が、外部記憶装置１０８に記憶されるジェスチャＴＬ１０８ｅに基づいて、ステップＳ１２０３で検知したジェスチャイベントから、ジェスチャの内容を特定する。より具体的には、ステップＳ１２０３で検知したジェスチャイベントがタップ動作なのかスワイプ動作なのかを特定する。尚、特定するジェスチャの内容はこれに限定されず、さまざまなジェスチャがある。
In step S1204, the
ステップＳ１２０５では、情報処理装置１００のＣＰＵ１０１が、外部記憶装置１０８に記憶されるジェスチャテーブル１０００とフォームテーブル１１００とを取得する。ジェスチャテーブル１０００はステップＳ１２０４で特定したジェスチャの内容に対応するジェスチャテーブル１０００を取得する。
In step S1205, the
ステップＳ１２０６では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０２で取得した情報をもとに、指の本数を特定する（特定手段に相当する）。より具体的には、指の幅をあらかじめ設定しておき、所定の幅を持つ突起部の数をカウントすることにより、指の本数を特定する。所定の幅を持つ突起部を指として認識するのは、指の幅は人によってさほど差が出ないためである。指の本数の特定方法はこれに限定されず、撮像部１１６で撮影する画像による画像認識（従来技術を用いる）によっても構わない。
In step S1206, the
ステップＳ１２０７では、情報処理装置１００のＣＰＵ１０１が、投影部１１５で投影中のフォームを特定する（画像情報特定手段に相当する）。上述したようにＣＰＵ１０１は、外部記憶装置１０８から投影すべきシートの選択と選択したシートを投影部１１５に表示させる処理、並びに、テラー４０１及び顧客４０２のジェスチャを受け付け、撮像部１１６及び距離測定部１１７によって受け付けたジェスチャを認識していく。そして、次に表示すべきシートの選択…と処理を繰り返し、最終シートの表示で、テラー４０１と顧客４０２が合意したことを示すジェスチャを検出した際に、その処理を終えるものである。そのため、投影部１１５で投影中のシートの表示形態を記述しているフォーム情報を特定することで、投影中のフォームを特定する。なお、この投影中のフォームの特定は必須の構成ではなく、必要に応じて省略しても構わないものとする。
In step S1207, the
ステップＳ１２０８では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０７で特定したフォームに対応する、最大数１１０２を特定する。フォームテーブル１１００はフォーム１１０１と最大数１１０２が対応付けて記憶されるテーブルであるので、フォーム１１０１に対応する最大数１１０２を特定することができる。
In step S1208, the
ステップＳ１２０９では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０６で特定した投影面上の手の指の本数と、ステップＳ１２０８で特定した最大数１１０２を比較する（判定手段に相当する）。最大数１１０２よりステップＳ１１０６で特定した指の本数が多いと判定した場合は処理をステップＳ１２１５に進め、そうでないと判定した場合はステップＳ１２１０に進める。
In step S1209, the
ステップＳ１２１０では、情報処理装置１００のＣＰＵ１０１が、ジェスチャテーブル１０００を参照し、ステップＳ１２０６で特定した指の本数に対応する処理を特定する。例えばステップＳ１２０６で特定した指の本数が１本であった場合、図１０に示すジェスチャテーブル１０００では、処理１００２をＧＵＩ移動として特定する。尚、本実施形態では、ジェスチャテーブル１０００を一つ、例として説明しているが、フォームテーブル１１００ごとにそれぞれ異なるジェスチャテーブル１０００を用意し、フォームごとに異なるジェスチャを実行可能にするようにしても構わない。
In step S1210, the
ステップＳ１２１１では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０２で取得した投影面上（操作画面上）の情報に基づいて指の位置を特定する。指の認識手法については上述した通りとする。指の位置は投影面上のＸＹ座標として特定する。
In step S1211, the
ステップＳ１２１２では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２１１で特定した指のＸＹ座標を中心とする円を、当該ＸＹ座標に対して投影する。
In step S <b> 1212, the
ステップＳ１２１３では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２１０で特定した処理を実行する。
In step S1213, the
例えば図１３に示す図で説明する。図１３で投影している投影データ５００のフォームが商品説明フォームであるとして説明する。図１１のフォームテーブル１１００に記憶される、商品説明フォームに対応する最大数１１０２は５であるため、５本までの指によるジェスチャが有効となっている。そのため、図１３に示すように１本指によるスワイプ動作である、ＧＵＩ移動を可能とする。その際、指の位置に対して円１３０１を投影する。このようにすることで、ユーザはユーザが行ったジェスチャが情報処理装置１００に正しく認識されていることを理解することができる。
This will be described with reference to FIG. Description will be made assuming that the form of the
更に図１４に示す図を用いて説明する。図１４は図１３と前提条件を同じである。図１４は商品説明フォームにおいて２本指によるスワイプ動作を行った場合の投影のイメージを示している。２本の指のそれぞれの位置に対して、円を表示させている。投影データ５００は、２本指によるスワイプ動作に対応するＧＵＩ拡大・縮小の処理が実行されている。
Further description will be made with reference to FIG. FIG. 14 is the same as FIG. FIG. 14 shows an image of projection when a swipe operation with two fingers is performed in the product description form. A circle is displayed for each position of the two fingers. The
ステップＳ１２１４では、情報処理装置１００のＣＰＵ１０１が、ユーザから投影の終了指示を受け付けたか否かを判定する。終了指示を受け付けたと判定した場合は処理を終了させ、そうでない場合は、処理をステップＳ１２０２に戻す。
In step S1214, the
ステップＳ１２１５では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２１１と同様、投影面上の指の位置座標（ＸＹ座標）を特定する。
In step S1215, the
ステップＳ１２１６では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０８で特定した最大数１１０２の数の円を投影する（通知手段に相当する）。投影する位置は指の位置がＸ座標が小さい順で決定する。具体的に図を用いて説明する。
In step S1216, the
図１５に示す図は、書類読取フォームにおいてユーザが投影データを拡大すべく２本指でスワイプ動作を行っていることを示す図である。書類読取フォームに対応する最大数１１０２は、「１」であるため、１本以上のスワイプ動作が実行されない。そのため、最大数１１０２より指の本数の方が多いため、最大数１１０２が示す数の円１５０１（図１５ではひとつ）を、２本の指のうちＸ座標が小さい指の位置に対して表示する。実行される処理は１本の指による処理１００２であるＧＵＩ移動となる。
FIG. 15 is a diagram illustrating that the user is performing a swipe operation with two fingers to enlarge the projection data in the document reading form. Since the
更に図１６を用いて説明する。図１６はシミュレーションフォームにおいてユーザが投影データを印刷すべく４本指でスワイプ動作を行っている図である。例えばシミュレーションフォームにより表示される情報は顧客の機密情報を含む可能性があるため、印刷を不可としている。図１１を参照すると、シミュレーションフォームに対応する最大数１１０２は「２」であるため、４本指によるスワイプ動作ではなく、２本指によるスワイプ動作をして受け付ける。そのため、２本指によるスワイプ動作に対応する処理１００２であるＧＵＩ拡大・縮小が実行される。投影される円１６０１は、４本の指のうち２本のＸ座標が小さい指の位置に対して表示する。このようにすることで、ユーザに対して、２本までのジェスチャ操作のみが実行可能であることをユーザに通知することができる。
Further description will be made with reference to FIG. FIG. 16 is a diagram in which a user performs a swipe operation with four fingers to print projection data in a simulation form. For example, since the information displayed by the simulation form may include confidential customer information, printing is not possible. Referring to FIG. 11, since the
ステップＳ１２１７では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０８で特定した最大数１１０２に対応する指の本数１００１の処理１００２を実行する。例えば最大数１１０２が２本であると特定した場合は、対応する処理であるＧＵＩ拡大・縮小を実行する。
In step S1217, the
以上で図１２に示す表示制御処理の詳細な処理の流れの説明を終了する。 This is the end of the detailed process flow of the display control process shown in FIG.
以上で本発明の第１の実施形態の説明を終了し、第２の実施形態の説明に移る。第１の実施形態によれば、ユーザの指等の操作指示物による操作が実行できない場合には、実行可能な操作指示物の数を通知するように実行可能な処理に対応する操作指示物の数を通知することで、ユーザが予期していない処理が行われないようにすることができる。
第１の実施形態では、ユーザが複数の指による操作（ジェスチャ）をしようとした際に、その本数によるジェスチャが、操作をしようとするフォームにおいて許容されていない場合に、そのフォームにおいて許容されている操作可能な指の本数の最大数をユーザに知覚させていた。第２の実施形態では、情報処理装置で認識されている指に対しては認識マークを表示させ、フォームにおいて操作可能な本数の指に対しては操作可能マークを表示させることにより、よりユーザに分かりやすく、フォームにおいて操作可能な指の本数をユーザに通知することのできる仕組みを提供する。また、指の本数に対応する処理がフォームにおいて操作可能となっていない場合に、当該フォームにおいて操作可能と設定されている指の本数とこの本数に対応する操作の内容を表示する仕組みも第２の実施形態で提供する。
This is the end of the description of the first embodiment of the present invention, and the description shifts to the description of the second embodiment. According to the first embodiment, when an operation with an operation instruction such as a user's finger cannot be executed, the number of operation instructions corresponding to the executable process is notified so as to notify the number of executable operation instructions. By doing so, it is possible to prevent a process unexpected by the user from being performed.
In the first embodiment, when a user tries to perform an operation (gesture) with a plurality of fingers, if the number of gestures is not permitted in the form to be operated, the form is permitted. The user was perceiving the maximum number of operable fingers. In the second embodiment, the recognition mark is displayed for the finger recognized by the information processing apparatus, and the operable mark is displayed for the number of fingers that can be operated on the form, thereby further improving the user's ability. Provide an easy-to-understand mechanism that can notify the user of the number of fingers that can be operated on a form. In addition, when the processing corresponding to the number of fingers is not operable in the form, a mechanism for displaying the number of fingers set to be operable in the form and the content of the operation corresponding to the number is also second. Provided in the embodiment.
以下、図面を参照しながら第２の実施形態の詳細な処理の流れを説明する。第２の実施形態は、第１の実施形態と図１２に対応する図１７を除いて、ハードウェア構成、機能構成、フローチャート、データテーブル等については同様である。第１の実施形態と処理が同様な部分については、説明を省略し、処理が異なる部分についてのみ説明する。 The detailed processing flow of the second embodiment will be described below with reference to the drawings. The second embodiment is the same in hardware configuration, functional configuration, flowchart, data table, and the like except for FIG. 17 corresponding to FIG. 12 corresponding to the first embodiment. Description of parts that are the same as those in the first embodiment will be omitted, and only parts that are different will be described.
図１７は、第２の実施形態における表示制御処理の詳細な処理の流れを説明するフローチャートである。 FIG. 17 is a flowchart for explaining the detailed processing flow of the display control processing in the second embodiment.
ステップＳ１７０１からステップＳ１７０２の処理は、図１２のステップＳ１２０１からステップＳ１２０２までの処理と同様であるため説明を省略する。 The processing from step S1701 to step S1702 is the same as the processing from step S1201 to step S1202 in FIG.
ステップＳ１７０３では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１２０２で取得した情報をもとに、投影面上にタッチ操作を検知したか否かを判定する。タッチ操作を受け付けたと判定した場合には処理をステップＳ１７０４に進め、そうでない場合には処理をステップＳ１７０２に戻す。タッチ操作を検知したか否かの判定方法については公知技術を用いるものとする。
In step S1703, the
ステップＳ１７０４〜ステップＳ１７０５の処理は、図１２のステップＳ１２０５〜ステップＳ１２０６と処理が同様であるため説明を省略する。なお、本実施形態では、図１１に示すフォームテーブル１１００ではなく図２０に示すフォームテーブル２０００を取得した場合の実施例として説明をする。 The processing in steps S1704 to S1705 is the same as the processing in steps S1205 to S1206 in FIG. In the present embodiment, a description will be given as an example when the form table 2000 shown in FIG. 20 is acquired instead of the form table 1100 shown in FIG.
ステップＳ１７０６では、情報処理装置１００のＣＰＵ１０１が、図１２のステップＳ１２１１と処理が同様であるため説明を省略する。
In step S1706, the
ステップＳ１７０７では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７０６で特定された指の位置に対して、指が正しく認識されていることを示す認識マーク１８０２を投影する。図１８で説明する。図１８は投影面にユーザが２本の指をタッチさせているときの図である。ユーザが投影面をタッチしている位置に、認識マーク１８０２が投影されている。このように認識されている指の位置に認識マーク１８０２を投影することによりユーザに対して正しく指が認識されていることを通知することができる。なお、認識マーク１８０２はこれに限定されず、他の形態のマークを投影するようにしても構わない。
In step S1707, the
ステップＳ１７０８の処理は図１２のステップＳ１２０７と処理が同様であるため説明を省略する。 The processing in step S1708 is similar to the processing in step S1207 in FIG.
ステップＳ１７０９では、情報処理装置１００のＣＰＵ１０１が、指の本数に対応する処理が実行可能に記憶されているか否かを判定する（判定手段に相当する）。指の本数に対応する処理が実行可能に記憶されていると判定された場合には処理をステップＳ１７１０に進め、そうでない場合には処理をステップＳ１７１５に進める。より具体的には、フォームテーブル２０００に、ステップＳ１７０８で特定されたフォーム２００１に対応づいている操作可能な指の数２００２に、ステップＳ１７０５で特定した指の本数が含まれている場合に、指の本数に対応する処理が実行可能に記憶されていると判定する。例えば、ステップＳ１７０５で特定された指の本数が３本であり、ステップＳ１７０８で特定されたフォーム２００１がシミュレーションであれば、図２０におけるフォームテーブル２０００では、操作可能な指の数２００２に３が格納されていないため、３本に対応する処理が実行可能に記憶されていないと判定することができる。
In step S1709, the
ステップＳ１７１０は、図１２のステップＳ１２１０と処理が同様であるため説明を省略する。 Step S1710 is the same as step S1210 in FIG.
ステップＳ１７１１では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７０６で特定された指の位置に操作可能マーク１８０１を投影する。操作可能マーク１８０１はステップＳ１７０６で特定されたフォーム２００１に対応する処理がフォームテーブル２０００で実行可能に記憶されていることをユーザに通知するためのマークである。つまり、図１８に示すようにステップＳ１７０７で投影される認識マーク１８０２の数と、ステップＳ１７１１で投影される操作可能マーク１８０１の数とが一致していることをユーザが確認することで、正しく指が認識されていること、認識された指の数に対応する処理が実行可能（操作可能）であることがユーザが理解できるという効果がある。もし、認識マーク１８０２（第１のマークに相当する）の数と、操作可能マーク１８０１（第２のマークに相当する）の数とが一致していないことがユーザが分かれば、ユーザはジェスチャ操作を取りやめて再度指を認識させるよう、投影面をタッチしなおすといった対策を取ることができる。
In step S1711, the
ステップＳ１７１２は、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７１０で特定された処理の内容の説明を投影面上に投影する。具体的に図を用いて説明する。例えば図１８に示す図である。図１８のイメージでは、ユーザが２本の指で投影面をタッチしている状態を示している。図１８で投影されているフォーム２００１は、商品説明のフォームである。図２０のフォームテーブル２０００には操作可能な指として２本の指が許容されている。２本の指に対応してジェスチャテーブル１０００で記憶されている処理はＧＵＩ拡大・縮小である。そのため特定された処理である、ＧＵＩ拡大・縮小の処理が実行可能である旨のアノテーション１８０３を投影面上で投影している。本実施形態では、ステップＳ１７０６で特定された指の近傍に拡大縮小を行う旨のアノテーション１８０３を表示することで、ＧＵＩ拡大・縮小の処理が実行可能である旨をユーザに通知しているがこれに限定されない。このように、ユーザに対して操作可能な処理の内容をあらかじめ通知してあげることによって、ユーザが行おうとする処理を認識することができ、より使い勝手のよい操作感をユーザに提供することができる。通知の方法は一例であってこれに限定されない。
In step S <b> 1712, the
ステップＳ１７１３では、情報処理装置１００のＣＰＵ１０１が、所定時間内にスワイプ動作を受け付けたか否かを判定する。所定時間は例えば５秒とする。所定時間内にスワイプ動作を受け付けたと判定した場合には処理をステップＳ１７１４に進め、そうでない場合には処理をステップＳ１７０２に戻す。この所定時間はタッチ操作が継続している間の所定時間であって、仮にタッチ操作が解除された場合にはステップＳ１７０２に処理を戻す。なお、ジェスチャ操作の例としてスワイプ動作を説明しているがこれに限定されるものではない。このようにすることで、正しく指が認識されていること、認識された指の数に対応する処理が実行可能（操作可能）であることをユーザが認識したうえでジェスチャを行うことができ、より操作感のよいインタフェースを提供することができる。尚、本処理は必須の構成ではなく、ステップＳ１７１３の判定を行わずにスワイプ動作を受け付けたか否かを判断してもよい。
In step S1713, the
ステップＳ１７１４では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７１０で特定された処理を実行する。
In step S1714, the
ステップＳ１７１５では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７０５で特定された指の本数に近い、操作可能な処理を、ステップＳ１７０４で取得したジェスチャテーブル１０００とフォームテーブル２０００とに基づいて特定する。具体的に説明する。例えば、ステップＳ１７０５で特定された指の本数が３本であれば、３本に最も近い本数は２本又は４本である。特定された指の本数より大きい本数については対象外とし、特定された指の本数より小さい本数について検討する。フォームテーブル２０００で２本がジェスチャが許容されている場合には、２本が特定される。２本が許容されていない場合には、次に近い１本がフォームテーブル２０００で許容されているか否かを判断する。フォームテーブル２０００で１本のジェスチャが許容されている場合には、その１本が特定される。
In step S1715, the
例えば、ステップＳ１７０５で特定された指の本数が５本であれば、近い指の本数は４本である。４本がフォームテーブル２０００で許容されるジェスチャでない場合には３本が許容されているか否かを判断し、許容されていれば３本として特定する。なお、本実施形態では、特定された指の本数より低い数の本数であり、近しい順に本数を決定していく手法によって本数を決定しているが、特定された指の本数より高い数の本数を、特定された本数に近しい順で本数を決定するようにしてもよい。 For example, if the number of fingers specified in step S1705 is five, the number of close fingers is four. If four gestures are not permitted in the form table 2000, it is determined whether or not three gestures are permitted. In this embodiment, the number of fingers is lower than the number of specified fingers, and the number is determined by a method of determining the number in the order of closeness, but the number of fingers higher than the number of specified fingers The number may be determined in the order close to the specified number.
ステップＳ１７１６では、情報処理装置１００のＣＰＵ１０１が、操作可能マーク１８０１を表示すべき指の位置を特定する。操作可能マーク１８０１については後述する。ステップＳ１７０６で特定された指の位置のうち、Ｘ座標の小さい順で、ステップＳ１７１５で特定された、操作可能な処理に対応する操作可能な指の本数２００２に対応する数だけ特定する。図１９で具体的に説明する。図１９は、２本までのジェスチャが許容されているフォーム２００１の画面に対して、投影面に４本で接触している状態を模式的に示すものである。４本の指のうち、Ｘ座標が小さい指の位置を２つ（２本までのジェスチャが許容されているフォーム２００１であるため）特定する。
In step S <b> 1716, the
ステップＳ１７１７では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７１６で特定された指の位置の近傍に、ステップＳ１７１５で特定された処理に対応する指の本数の数の操作可能マーク１８０１を投影するように制御する。図１９に示すように、操作可能マーク１８０１が投影される。このように、認識されていることを示すマークと、ジェスチャが可能に許容されていることを示すマークとをそれぞれ投影表示させることにより、ユーザに対して、指が正しく認識されていること、及び、正しく認識されている指のうち、操作しようとするフォーム２００１においては操作しようとする指の本数では操作が許容されていないことを、ユーザに識別させることを可能にするという効果がある。これにより、指が正しく認識されていないのか、フォーム２００１で操作が許容されていないのか否かをユーザが判別しにくいという課題を解決することができる。
In step S1717, the
なお、認識された指に対してフォーム２００１において操作が許容されていない旨の例えば×印などを投影することにより、認識された指の本数が操作可能に設定されていないことをユーザに通知するように構成しても構わない。認識された指に対してフォーム２００１において操作が許容されていない旨を文章で通知するようにしても構わない。
Note that the user is notified that the number of recognized fingers is not set to be operable by projecting, for example, an x mark indicating that the operation is not permitted on the
ステップＳ１７１８では、情報処理装置１００のＣＰＵ１０１が、フォームテーブルに記憶される操作可能な処理の内容の説明を投影する。
In step S <b> 1718, the
具体的に処理を説明する。ステップＳ１７０４で取得したジェスチャテーブル１０００とフォームテーブル２０００とに基づいて、ステップＳ１７０８で特定されたフォーム２００１に対応する操作可能な指の数２００２を特定する。特定された操作可能な指の数２００２に対応する処理の内容を、ジェスチャテーブル１０００に基づいて特定し、当該特定された処理の内容を説明する文章を投影面に投影する。処理の内容を説明する文章は、処理の内容に対応付けて記憶されている。図１９に示すように、図１９で投影されている画面のフォーム２００１はシミュレーションであるから、シミュレーションに対応する操作可能な指の数２００２は「２，５」であるから、「指２本：GUI拡大・縮小 指５本：リセット のみが操作可能な画面です。」という記載１９０１を一覧投影する。これにより、ユーザは当該フォームにおいてどのようなジェスチャ（操作）が許容されているのかを知覚することができる。
The processing will be specifically described. Based on the gesture table 1000 and the form table 2000 acquired in step S1704, the number of
ステップＳ１７１９は、ステップＳ１７１３と処理が同様であるため説明を省略する。 Step S1719 is the same as step S1713 and will not be described.
ステップＳ１７２０では、情報処理装置１００のＣＰＵ１０１が、ステップＳ１７１５で特定された処理を実行する。
In step S1720, the
ステップＳ１７２１では、情報処理装置１００のＣＰＵ１０１が、ユーザから本情報処理装置の一連の処理を終了する指示を受け付けたか否かを判定する。終了指示を受け付けたと判定された場合には処理を終了させ、そうでない場合には処理をステップＳ１７０２に戻す。
In step S1721, the
以上、第２の実施形態の説明を終了する。 This is the end of the description of the second embodiment.
以上、本発明によれば、ユーザの指等の操作指示物による操作が実行できない場合には、実行可能な操作指示物の数を通知するようにすることで、ユーザが予期していない処理が行われないようにすることを可能とする。 As described above, according to the present invention, when an operation with an operation instruction such as a user's finger cannot be executed, a process unexpected by the user is performed by notifying the number of executable operation instructions. It is possible to avoid.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。タブレット端末などの表示面にタッチ操作を行うことのできる端末でも適用可能である。 The present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system including a plurality of devices. You may apply to the apparatus which consists of one apparatus. The present invention can also be applied to a terminal that can perform a touch operation on a display surface such as a tablet terminal.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 Note that the present invention includes a software program that implements the functions of the above-described embodiments directly or remotely from a system or apparatus. The present invention also includes a case where the system or the computer of the apparatus is achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。 Examples of the recording medium for supplying the program include a flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let me. It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１００：情報処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ネットワークＩ/Ｆ、１０５：Ｉ/Ｆ、１０６：ビデオコントローラ、１０７：ストレージコントローラ、１０８：外部記憶装置、１１０：投影撮像装置、１１５：投影部、１１６：撮像部、１１７：距離測定部 100: Information processing device, 101: CPU, 102: ROM, 103: RAM, 104: Network I / F, 105: I / F, 106: Video controller, 107: Storage controller, 108: External storage device, 110: Projection Imaging device, 115: projection unit, 116: imaging unit, 117: distance measurement unit
Claims (19)
前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段と、
前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知する通知手段と
を備え、
前記認識手段は、前記指示を受け付けることの可能な操作画面上でユーザの指示を認識し、
前記特定手段は、前記認識手段が前記操作画面上で認識した前記操作指示物の位置を特定し、
前記通知手段は、前記位置に応じた前記操作画面上の位置に、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に表示させることで通知し、
前記情報処理装置は、さらに、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段を備え、
前記通知手段は、前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知すること
を特徴とする情報処理装置。 An information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user operation instruction,
Storage means for storing processing contents in association with the number of operation instructions in the instruction;
Specifying means for specifying the number of the operation instructions recognized by the recognition means;
A notification means for identifiable notification of the number of operation instructions stored in the storage means as executable processing content,
The recognizing unit recognizes a user instruction on an operation screen capable of receiving the instruction,
The specifying means specifies the position of the operation instruction object recognized by the recognition means on the operation screen;
The notification means notifies the position on the operation screen according to the position by displaying the number of operation instructions stored in the storage means as identifiable information as executable processing contents ,
The information processing apparatus further includes:
Based on the processing content stored in the storage means, comprising a determining means for determining whether or not the processing content corresponding to the number of operation instructions specified by the specifying means can be executed,
When the determination unit determines that the determination unit is not executable, the notification unit notifies the number of operation instructions stored in the storage unit in an identifiable manner as executable processing content. .
前記記憶手段は、前記画像情報ごとに前記指示における操作指示物の数に対応づいた前記処理内容を記憶し、
前記判定手段は、前記画像情報特定手段で特定された前記画像情報において、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能であるか否かを判定すること
を特徴とする請求項１に記載の情報処理装置。 Image information specifying means for specifying the image information displayed on the operation screen when the instruction by the operation instruction is given;
The storage means stores the processing content corresponding to the number of operation instructions in the instruction for each image information,
The determination unit determines whether or not the processing content corresponding to the number of operation instructions specified by the specifying unit is executable in the image information specified by the image information specifying unit. The information processing apparatus according to claim 1 .
を特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 The notification unit, when the processing content corresponding to the operation instruction the number is determined by the executable and the determination means according to claim 1, wherein the notifying that this process can be executed The information processing apparatus according to any one of the above.
を特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。 The notifying means can identify a first mark that can identify the number of operation instructions specified by the specifying means, and a second mark that can identify the number of operation instructions stored in the storage means as executable processing contents. by displaying the mark on the operation screen, according to any one of claims 1 to 4, characterized in that notifies the operation instruction the number stored in said storage means as a processing contents executable Information processing device.
前記操作指示物ごとに、前記操作指示物の位置に応じた前記操作画面上の位置に前記第１のマークを表示するとともに、前記記憶手段で実行可能に記憶されている処理内容に対応する数の前記第２のマークを表示させることで通知すること
を特徴とする請求項５に記載の情報処理装置。 The notification means includes
For each of the operation instructions, the first mark is displayed at a position on the operation screen corresponding to the position of the operation instruction, and the number corresponding to the processing content stored in the storage unit so as to be executable The information processing apparatus according to claim 5 , wherein notification is performed by displaying the second mark.
前記認識手段により認識される前記操作指示物の数を特定する特定ステップと、
実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知する通知ステップと、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定ステップで特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定ステップと
を含み、
前記認識手段は、前記指示を受け付けることの可能な操作画面上でユーザの指示を認識し、
前記特定ステップは、前記認識手段が前記操作画面上で認識した前記操作指示物の位置を特定し、
前記通知ステップは、前記位置に応じた前記操作画面上の位置に、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に表示させることで通知し、
前記通知ステップは、前記判定ステップで実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知すること
を特徴とする情報処理装置の制御方法。 An information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user operation instruction, and comprising a storage means for storing processing contents in association with the number of operation instructions in the instruction. And
A specifying step of specifying the number of operation instructions recognized by the recognition means;
A notification step for identifiable notification of the number of operation instructions stored in the storage means as executable processing content;
Based on the processing contents stored in the storage means, and a determination step of determining whether or not the processing content executable corresponding to the operation instruction the number specified in the specifying step,
The recognizing unit recognizes a user instruction on an operation screen capable of receiving the instruction,
The specifying step specifies a position of the operation instruction object recognized by the recognition unit on the operation screen;
The notifying step notifies the position on the operation screen according to the position by displaying the number of operation instructions stored in the storage means as identifiable information as executable processing contents ,
If it is determined that the notification step is not executable in the determination step, the number of operation instructions stored in the storage unit is notified as identifiable information as executable processing content. Control method.
前記情報処理装置を、
前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知する通知手段と、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段
として機能させ、
前記認識手段は、前記指示を受け付けることの可能な操作画面上でユーザの指示を認識し、
前記特定手段は、前記認識手段が前記操作画面上で認識した前記操作指示物の位置を特定し、
前記通知手段は、前記位置に応じた前記操作画面上の位置に、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に表示させることで通知し、
前記通知手段は、前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知する
ように機能させることを特徴とするプログラム。 An information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user's operation instruction, and executable by the information processing apparatus including a storage means for storing processing contents in association with the number of operation instructions in the instruction Because
The information processing apparatus;
Specifying means for specifying the number of the operation instructions recognized by the recognition means;
Notifying means for identifiable notification of the number of operation instructions stored in the storage means as executable processing content ;
Based on the processing contents stored in the storage means, function as a determination means for determining whether or not the processing contents corresponding to the number of the operation instructions specified by the specifying means can be executed ,
The recognizing unit recognizes a user instruction on an operation screen capable of receiving the instruction,
The specifying means specifies the position of the operation instruction object recognized by the recognition means on the operation screen;
The notification means notifies the position on the operation screen according to the position by displaying the number of operation instructions stored in the storage means as identifiable information as executable processing contents ,
The notification means functions so as to identifiably notify the number of operation instructions stored in the storage means as executable process contents when it is determined that the determination means is not executable. Program to do.
前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段と、
前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知する通知手段と
を備え、
前記認識手段は、前記指示を受け付けることの可能な操作画面上でユーザの指示を認識し、
前記特定手段は、前記認識手段が前記操作画面上で認識した前記操作指示物の位置を特定し、
前記通知手段は、前記位置に応じた前記操作画面上の位置に、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に表示させることで通知し、
前記情報処理システムは、さらに、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段を備え、
前記通知手段は、前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知すること
を特徴とする情報処理システム。 An information processing system including an information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user operation instruction,
Storage means for storing processing contents in association with the number of operation instructions in the instruction;
Specifying means for specifying the number of the operation instructions recognized by the recognition means;
A notification means for identifiable notification of the number of operation instructions stored in the storage means as executable processing content,
The recognizing unit recognizes a user instruction on an operation screen capable of receiving the instruction,
The specifying means specifies the position of the operation instruction object recognized by the recognition means on the operation screen;
The notification means notifies the position on the operation screen according to the position by displaying the number of operation instructions stored in the storage means as identifiable information as executable processing contents ,
The information processing system further includes:
Based on the processing content stored in the storage means, comprising a determining means for determining whether or not the processing content corresponding to the number of operation instructions specified by the specifying means can be executed,
The information processing system is characterized in that, when it is determined that the determination unit is not executable, the notification unit notifies the number of operation instructions stored in the storage unit as an executable process content so as to be identifiable. .
前記認識手段により認識される前記操作指示物の数を特定する特定ステップと、
実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知する通知ステップと、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定ステップで特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定ステップと
を含み、
前記認識手段は、前記指示を受け付けることの可能な操作画面上でユーザの指示を認識し、
前記特定ステップは、前記認識手段が前記操作画面上で認識した前記操作指示物の位置を特定し、
前記通知ステップは、前記位置に応じた前記操作画面上の位置に、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に表示させることで通知し、
前記通知ステップは、前記判定ステップで実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知すること
を特徴とする情報処理システムの制御方法。 An information processing system including an information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user operation instruction, and comprising a storage means for storing processing contents in association with the number of operation instructions in the instruction Control method,
A specifying step of specifying the number of operation instructions recognized by the recognition means;
A notification step for identifiable notification of the number of operation instructions stored in the storage means as executable processing content ;
A determination step of determining whether or not the processing content corresponding to the number of the operation instructions specified in the specifying step is executable based on the processing content stored in the storage unit;
Including
The recognizing unit recognizes a user instruction on an operation screen capable of receiving the instruction,
The specifying step specifies a position of the operation instruction object recognized by the recognition unit on the operation screen;
The notifying step notifies the position on the operation screen according to the position by displaying the number of operation instructions stored in the storage means as identifiable information as executable processing contents,
When it is determined in the determination step that the notification step is not executable , the information processing system notifies the number of operation instructions stored in the storage unit as identifiable information as executable processing content. Control method.
前記情報処理システムを、
前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知する通知手段と、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段
として機能させ、
前記認識手段は、前記指示を受け付けることの可能な操作画面上でユーザの指示を認識し、
前記特定手段は、前記認識手段が前記操作画面上で認識した前記操作指示物の位置を特定し、
前記通知手段は、前記位置に応じた前記操作画面上の位置に、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に表示させることで通知し、
前記通知手段は、前記判定手段で実行可能でないと判定された場合には、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数を識別可能に通知すること
を特徴とするプログラム。 An information processing system including an information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user operation instruction, and comprising a storage means for storing processing contents in association with the number of operation instructions in the instruction A program that can be executed with
The information processing system;
Specifying means for specifying the number of the operation instructions recognized by the recognition means;
Notifying means for identifiable notification of the number of operation instructions stored in the storage means as executable processing content;
Based on the processing contents stored in the storage means, function as a determination means for determining whether or not the processing contents corresponding to the number of the operation instructions specified by the specifying means can be executed ,
The recognizing unit recognizes a user instruction on an operation screen capable of receiving the instruction,
The specifying means specifies the position of the operation instruction object recognized by the recognition means on the operation screen;
The notification means notifies the position on the operation screen according to the position by displaying the number of operation instructions stored in the storage means as identifiable information as executable processing contents ,
The notification means, in the case where it is determined that the determination means is not executable, notifies the number of operation instructions stored in the storage means as an executable process content so as to be identifiable .
前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段と、
前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
前記特定手段で特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知する通知手段と、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段と
を備え、
前記通知手段は、前記判定手段で実行可能でないと判定された場合には、前記特定手段で特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知すること
を特徴とする情報処理装置。 An information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user operation instruction,
Storage means for storing processing contents in association with the number of operation instructions in the instruction;
Specifying means for specifying the number of the operation instructions recognized by the recognition means;
A notifying means for notifying the number of the operation instructions specified by the specifying means and the number of the operation instructions stored in the storage means as executable processing contents;
Determination means for determining whether or not the processing contents corresponding to the number of the operation instructions specified by the specifying means can be executed based on the processing contents stored in the storage means ;
When it is determined that the determination unit is not executable, the notification unit includes the number of operation instructions specified by the specification unit and the number of operation instructions stored in the storage unit as executable processing content An information processing device characterized in that it is identifiable .
前記認識手段により認識される前記操作指示物の数を特定する特定ステップと、
前記特定ステップで特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知する通知ステップと
前記記憶手段に記憶された前記処理内容に基づいて、前記特定ステップで特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定ステップと
を含み、
前記通知ステップは、前記判定ステップで実行可能でないと判定された場合には、前記特定ステップで特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知すること
を特徴とする情報処理装置の制御方法。 An information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user operation instruction, and comprising a storage means for storing processing contents in association with the number of operation instructions in the instruction. And
A specifying step of specifying the number of operation instructions recognized by the recognition means;
A notification step for identifiable notification of the number of operation instructions specified in the specifying step and the number of operation instructions stored in the storage means as executable processing content;
A determination step of determining whether or not the processing content corresponding to the number of the operation instructions specified in the specifying step can be executed based on the processing content stored in the storage means ,
If it is determined that the notification step is not executable in the determination step, the number of the operation instructions specified in the specification step, and the number of operation instructions stored in the storage means as executable processing contents, Of the information processing apparatus, wherein the information is identifiable .
前記情報処理装置を、
前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
前記特定手段で特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知する通知手段と、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段
として機能させ、
前記通知手段は、前記判定手段で実行可能でないと判定された場合には、前記特定手段で特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知すること
を特徴とするプログラム。 An information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user's operation instruction, and a program executable by the information processing apparatus including a storage means for storing processing contents in association with the number of the operation instructions in the instruction There,
The information processing apparatus;
Specifying means for specifying the number of the operation instructions recognized by the recognition means;
A notifying means for notifying the number of the operation instructions specified by the specifying means and the number of the operation instructions stored in the storage means as executable processing contents;
Based on the processing contents stored in the storage means, function as a determination means for determining whether or not the processing contents corresponding to the number of the operation instructions specified by the specifying means can be executed ,
When it is determined that the determination unit is not executable, the notification unit includes the number of operation instructions specified by the specification unit and the number of operation instructions stored in the storage unit as executable processing content A program characterized in that it is identifiable .
前記指示における前記操作指示物の数に対応づけて処理内容を記憶する記憶手段と、
前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
前記特定手段で特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知する通知手段と、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段と
を備え、
前記通知手段は、前記判定手段で実行可能でないと判定された場合には、前記特定手段で特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知すること
を特徴とする情報処理システム。 An information processing system including an information processing apparatus capable of communicating with a recognition means for recognizing an instruction by a user operation instruction,
Storage means for storing processing contents in association with the number of operation instructions in the instruction;
Specifying means for specifying the number of the operation instructions recognized by the recognition means;
A notifying means for notifying the number of the operation instructions specified by the specifying means and the number of the operation instructions stored in the storage means as executable processing contents;
Determination means for determining whether or not the processing contents corresponding to the number of the operation instructions specified by the specifying means can be executed based on the processing contents stored in the storage means ;
When it is determined that the determination unit is not executable, the notification unit includes the number of operation instructions specified by the specification unit and the number of operation instructions stored in the storage unit as executable processing content An information processing system characterized in that it is identifiable .
前記認識手段により認識される前記操作指示物の数を特定する特定ステップと、
前記特定ステップで特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知する通知ステップと
前記記憶手段に記憶された前記処理内容に基づいて、前記特定ステップで特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定ステップと
を備え、
前記通知ステップは、前記判定ステップで実行可能でないと判定された場合には、前記特定ステップで特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知すること
を特徴とする情報処理システムの制御方法。 An information processing system capable of communicating with a recognition means for recognizing an instruction by a user's operation instruction, and comprising a storage means for storing processing contents in association with the number of operation instructions in the instruction. And
A specifying step of specifying the number of operation instructions recognized by the recognition means;
A notification step for identifiable notification of the number of operation instructions specified in the specifying step and the number of operation instructions stored in the storage means as executable processing content;
A determination step for determining whether or not the processing content corresponding to the number of the operation instructions specified in the specific step is executable based on the processing content stored in the storage means ;
If it is determined that the notification step is not executable in the determination step, the number of the operation instructions specified in the specification step, and the number of operation instructions stored in the storage means as executable processing contents, Of the information processing system, wherein the information is identifiable .
前記情報処理システムを、
前記認識手段により認識される前記操作指示物の数を特定する特定手段と、
前記特定手段で特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知する通知手段と、
前記記憶手段に記憶された前記処理内容に基づいて、前記特定手段で特定された前記操作指示物の数に対応する前記処理内容が実行可能か否かを判定する判定手段
として機能させ、
前記通知手段は、前記判定手段で実行可能でないと判定された場合には、前記特定手段で特定された前記操作指示物の数と、実行可能な処理内容として前記記憶手段に記憶された操作指示物の数とを識別可能に通知すること
を特徴とするプログラム。 An information processing system capable of communicating with a recognition means for recognizing an instruction by a user operation instruction, and a program executable by the information processing system including a storage means for storing processing contents in association with the number of operation instructions in the instruction There,
The information processing system;
Specifying means for specifying the number of the operation instructions recognized by the recognition means;
A notifying means for notifying the number of the operation instructions specified by the specifying means and the number of the operation instructions stored in the storage means as executable processing contents ;
Based on the processing contents stored in the storage means, function as a determination means for determining whether or not the processing contents corresponding to the number of the operation instructions specified by the specifying means can be executed ,
When it is determined that the determination unit is not executable, the notification unit includes the number of operation instructions specified by the specification unit and the number of operation instructions stored in the storage unit as executable processing content A program characterized in that it is identifiable .
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015105352 | 2015-05-25 | ||
| JP2015105352 | 2015-05-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016219017A JP2016219017A (en) | 2016-12-22 |
| JP6213613B2 true JP6213613B2 (en) | 2017-10-18 |
Family
ID=57581370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016102900A Active JP6213613B2 (en) | 2015-05-25 | 2016-05-24 | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6213613B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022030551A (en) * | 2020-08-07 | 2022-02-18 | ブラザー工業株式会社 | Program and electronic device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6188288B2 (en) * | 2012-07-20 | 2017-08-30 | キヤノン株式会社 | Information processing apparatus and control method thereof |
| JP6117562B2 (en) * | 2013-02-13 | 2017-04-19 | ソニー株式会社 | Information processing apparatus, information processing method, and information processing system |
| JP6149604B2 (en) * | 2013-08-21 | 2017-06-21 | ソニー株式会社 | Display control apparatus, display control method, and program |
| WO2015098189A1 (en) * | 2013-12-27 | 2015-07-02 | ソニー株式会社 | Display control device, display control method, and program |
| JP6436752B2 (en) * | 2014-12-04 | 2018-12-12 | キヤノン株式会社 | Information processing apparatus, information processing method and program in information processing apparatus |
-
2016
- 2016-05-24 JP JP2016102900A patent/JP6213613B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016219017A (en) | 2016-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6038927B2 (en) | Establishing content navigation direction based on directional user gestures | |
| US7358962B2 (en) | Manipulating association of data with a physical object | |
| US8686946B2 (en) | Dual-mode input device | |
| US8363026B2 (en) | Information processor, information processing method, and computer program product | |
| US20050183035A1 (en) | Conflict resolution for graphic multi-user interface | |
| US20140306897A1 (en) | Virtual keyboard swipe gestures for cursor movement | |
| US9454257B2 (en) | Electronic system | |
| US20150242038A1 (en) | Filter module to direct audio feedback to a plurality of touch monitors | |
| US20120176308A1 (en) | Method for supporting multiple menus and interactive input system employing same | |
| JP2014533403A (en) | Providing keyboard shortcuts mapped to the keyboard | |
| US10146341B2 (en) | Electronic apparatus and method for displaying graphical object thereof | |
| KR102205283B1 (en) | Electro device executing at least one application and method for controlling thereof | |
| JP5589309B2 (en) | Display control apparatus, image processing apparatus, and program | |
| JP6213613B2 (en) | Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof | |
| US20050275635A1 (en) | Manipulating association of data with a physical object | |
| US20100309133A1 (en) | Adaptive keyboard | |
| JP5882270B2 (en) | Information processing apparatus and program | |
| JP5666546B2 (en) | Information processing apparatus and image display program | |
| US10969859B2 (en) | Human-computer interface comprising a token | |
| JP6166250B2 (en) | Information processing apparatus, control method therefor, and program | |
| JP6495651B2 (en) | Information processing apparatus, control method therefor, program, and computer-readable storage medium | |
| KR20140086805A (en) | Electronic apparatus, method for controlling the same and computer-readable recording medium | |
| CN112825135A (en) | Display device, display method, and medium | |
| TWI595405B (en) | Facilitating the use of selectable elements on touch screens | |
| JP2014052767A (en) | Information processing system, information processor and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170904 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6213613 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |