JP2013175113A - Information processing device, information processing method and program - Google Patents
Information processing device, information processing method and program Download PDFInfo
- Publication number
- JP2013175113A JP2013175113A JP2012040193A JP2012040193A JP2013175113A JP 2013175113 A JP2013175113 A JP 2013175113A JP 2012040193 A JP2012040193 A JP 2012040193A JP 2012040193 A JP2012040193 A JP 2012040193A JP 2013175113 A JP2013175113 A JP 2013175113A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- information processing
- touch panel
- unit
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示することが可能にする情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, and a program capable of easily instructing processing of an object even by a user unfamiliar with existing operations.
昨今、液晶ディスプレイなどの表示部に積層されたタッチパネルを備えた情報処理装置の需要が高まりつつある。情報処理装置は、タッチパネルに対するユーザの指やタッチペンなどの物体の接触又は近接による操作（以下、「タッチ操作」と呼ぶ）に基づいて、表示部に表示されるオブジェクトに関する処理を実行する（例えば、特許文献１乃至５参照）。 Recently, there is an increasing demand for an information processing apparatus including a touch panel laminated on a display unit such as a liquid crystal display. The information processing apparatus performs processing related to an object displayed on the display unit based on an operation (hereinafter referred to as “touch operation”) by contact or proximity of an object such as a user's finger or a touch pen with respect to the touch panel (for example, “touch operation”). (See Patent Documents 1 to 5).
しかしながら、特許文献１乃至５に記載の技術を適用した場合であっても、複雑なタッチ操作が行われなければオブジェクトに関する処理が適切に行われないことがあるという問題が生じている。 However, even when the techniques described in Patent Documents 1 to 5 are applied, there is a problem that processing related to an object may not be performed properly unless a complex touch operation is performed.
このような問題は、タッチパネルのみならず、入力機器に接触する操作、例えばキーボードのキーを押下する操作やマウスをクリックする操作など、入力機器などに指などの物体を接触又は近接させる既存の操作全体で生じている。 Such problems include not only touch panels but also operations that touch input devices, such as pressing a key on a keyboard or clicking a mouse, and existing operations that bring an object such as a finger into contact with or close to an input device. It has occurred throughout.
本発明は、このような状況に鑑みてなされたものであり、既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示できるようにすることを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to enable even a user unfamiliar with an existing operation to easily instruct processing of an object.
上記目的を達成するため、本発明の一態様の情報処理装置は、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出手段と、
前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受付手段と、
前記３次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備えることを特徴とする。
In order to achieve the above object, an information processing apparatus of one embodiment of the present invention provides:
Three-dimensional position detection means for detecting the position of an object in a three-dimensional direction with respect to a reference plane;
Based on each position in the three-dimensional direction of the object detected a plurality of times at a time interval by the three-dimensional position detecting means, the movement of the object in the three-dimensional direction is recognized, and the recognition result is determined for the object. Three-dimensional operation accepting means for accepting as an instruction operation;
Control means for variably controlling processing related to the object in accordance with the instruction operation received by the three-dimensional operation receiving means and a distance of the object in a normal direction from the reference plane;
It is characterized by providing.
本発明によれば、既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示できるようにすることができる。 According to the present invention, even a user unfamiliar with existing operations can easily instruct processing of an object.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
［第１実施形態］
図１は、本発明の第１実施形態に係る情報処理装置のハードウェアの構成を示すブロック図である。
情報処理装置１は、例えばスマートフォンとして構成される。
[First Embodiment]
FIG. 1 is a block diagram showing a hardware configuration of the information processing apparatus according to the first embodiment of the present invention.
The information processing apparatus 1 is configured as a smartphone, for example.
情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、表示部１６と、入力部１７と、撮像部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
The information processing apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムにしたがって各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
The
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、表示部１６、入力部１７、撮像部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
The
表示部１６は、ディスプレイにより構成され画像を表示する。
入力部１７は、表示部１６の表示画面に積層されるタッチパネル３１で構成されており、ユーザの指示操作に応じて各種情報を入力する。入力部１７は、後述の図３を参照して説明するように、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂと、を備えている。
The
The
撮像部１８は、被写体を撮像し、当該被写体の像を含む画像（以下、「撮像画像」と称する）のデータをＣＰＵ１１に供給する。
The
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成され、各種画像のデータ、撮像画像のデータの他、文字認識のためのアプリケーションプログラムなどの各種プログラムなどを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
The
The
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなる、リムーバブルメディア４１が適宜装着される。ドライブ２１によってリムーバブルメディア４１から読み出されたプログラム（例えば、上述の文字認識のためのアプリケーションプログラムなど）は、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア４１は、記憶部１９に記憶されている画像のデータなどの各種データも、記憶部１９と同様に記憶することができる。
A
図２は、このような情報処理装置１の機能的構成のうち、入力操作受付処理を実行するための機能的構成を示す機能ブロック図である。
入力操作受付処理とは、ユーザにより図示せぬ電源ボタンが押下されたことを契機として開始される、次のような処理をいう。即ち、入力操作受付処理とは、入力部１７のタッチパネル３１に対するタッチ操作を受け付け、当該タッチ操作に応じてオブジェクトに関する処理を実効するまでの一連の処理をいう。
FIG. 2 is a functional block diagram showing a functional configuration for executing the input operation receiving process among the functional configurations of the information processing apparatus 1.
The input operation acceptance process refers to the following process that is started when a power button (not shown) is pressed by the user. That is, the input operation accepting process is a series of processes from accepting a touch operation on the
ＣＰＵ１１においては、入力操作受付処理の実行が制御される場合、入力操作受付部５１と、距離特定部５２と、制御部５３と、が機能する。
In the
本実施形態においては、入力部１７の一部は、図３に示すように、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとして構成されている。以下、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとを個々に区別する必要がない場合、これらをまとめて、「タッチパネル３１」と呼ぶ。
図３は、入力部１７の一部を示す断面図である。
静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとは、表示部１６（図１参照）のディスプレイの表示画面全体にそれぞれ積層され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、上述したように、タッチパネル３１に対する物体（ユーザの指やタッチペンなど）の接触又は近接の操作をいう。
静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとは入力操作受付部５１を介して、検出した位置の座標を制御部５３へ供給する。
In the present embodiment, a part of the
FIG. 3 is a cross-sectional view showing a part of the
The
The
静電容量式タッチパネル３１ａは、表示部１６のディスプレイの表示画面上において、導電膜により形成される。即ち、指先が静電容量式タッチパネル３１ａの表面に近づくだけで静電結合が起きるため、指先が静電容量式タッチパネル３１ａに接触しない場合であっても近接するだけで、静電容量式タッチパネル３１ａは、指先と導電膜との間での静電容量の変化を捉えて位置を検出する。表示画面に対して指或いはスタイラスペンのような突起物を接触又は近接させる操作（タッチ操作）をユーザが行うと、ＣＰＵ１１は、このような指先と導電膜との間での静電容量の変化に基づいて当該指の接触位置の座標を検出する。
The
抵抗膜式タッチパネル３１ｂは、表示部１６のディスプレイの表示画面上において、ＰＥＴ（Ｐｏｌｙｅｔｈｙｌｅｎｅ ｔｅｒｅｐｈｔｈａｌａｔｅ）のような柔らかい表面膜と、その奥にある液晶ガラス膜が並行に重ねられて形成される。双方の膜は、それぞれ透明な導電膜が貼り込まれており、透明なスペーサを介してそれぞれ電気的に絶縁されている。表面膜とガラス膜とはそれぞれ導体が通っており、タッチ操作をユーザが行うと、突起物による応力により表面膜が湾曲し、表面膜とガラス膜が部分的に導通状態となる。この時、突起物の接触位置に応じて電気抵抗値や電位が変化する。ＣＰＵ１１は、このような電気抵抗値や電位の変化に基づいて当該突起物の接触位置の座標を検出する。
On the display screen of the
以上まとめると、静電容量式タッチパネル３１ａは、指先と導電膜との間での静電容量の変化を捉えて、２次元平面上（画面上）の位置を検出する。
ここで、当該２次元平面（画面）上に、Ｘ軸と、Ｘ軸と直交するＹ軸とが構築され、Ｘ軸及びＹ軸と直交するＺ軸、即ち画面の法線と平行なＺ軸が構築されているものする。この場合、２次元平面（画面）は、「ＸＹ平面」と呼ぶことができる。
具体的には、静電容量式タッチパネル３１ａは、指１０１が静電容量式タッチパネル３１ａに対し非接触状態でも、即ち近接状態でも、タッチ操作がなされた２次元平面上の位置の座標（即ち、ＸＹ平面上のＸ座標及びＹ座標）を検出することができる。さらにこの場合、静電容量式タッチパネル３１ａは、指１０１と静電容量式タッチパネル３１ａとの距離、換言すると、指１０１の高さ方向の位置の座標（即ち、Ｚ軸上のＺ座標）を、高精度とはいえないまでも検出することができる。
In summary, the
Here, an X axis and a Y axis perpendicular to the X axis are constructed on the two-dimensional plane (screen), and a Z axis perpendicular to the X axis and the Y axis, that is, a Z axis parallel to the normal line of the screen. To be built. In this case, the two-dimensional plane (screen) can be referred to as an “XY plane”.
Specifically, the
これに対し、抵抗膜式タッチパネル３１ｂは、指１０１が抵抗膜式タッチパネル３１ｂに対し非接触状態では、タッチ操作がなされたと検出しない。即ち、指１０１が抵抗膜式タッチパネル３１ｂに対し非接触状態の場合、当該指１０１の２次元平面上の位置の座標（即ち、ＸＹ平面上のＸ座標及びＹ座標）は検出されず、かつ、当該指１０１の高さ方向の位置の座標（距離）（即ち、Ｚ軸上のＺ座標）も検出されない。しかし、抵抗膜式タッチパネル３１ｂは、静電容量式タッチパネル３１ａと比較して、タッチ操作がなされた２次元平面上の位置の座標を高精度かつ高分解能で検出することができる。
On the other hand, the
本実施形態においては、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂは、表示部１６のディスプレイの表示画面全体にその順番で積層されているため、静電容量式タッチパネル３１ａの表面により、抵抗膜式タッチパネル３１ｂを保護することができる。さらに、静電容量式タッチパネル３１ａにより、非接触状態でもタッチ操作がなされた２次元平面上の位置の座標及び、指１０１と静電容量式タッチパネル３１ａとの距離（高さ方向の位置の座標）、即ち３次元空間上の位置の座標を検出することができる。一方で、指１０１が接触した場合には、抵抗膜式タッチパネル３１ｂにより、タッチ操作がなされた位置の座標を高精度かつ高分解能で検出することができる。
In the present embodiment, the
図２に戻って、入力操作受付部５１は、入力部１７のタッチパネル３１（静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂ）に対するタッチ操作を、入力部１７に対する入力操作（指示操作）の１つとして受け付ける。入力操作受付部５１は、受け付けた２次元上の位置の座標を制御部５３へ通知する。また、入力操作受付部５１は、タッチ操作が継続したまま画面（ＸＹ平面）上を指１０１が移動されると（このような、指１０１の画面上の移動を伴うタッチ操作を、以下、「フリック操作」と呼ぶ）、時間的に離間して複数回検出された指１０１の各位置のＸＹ平面上の位置の座標を制御部５３へ逐次通知する。
Returning to FIG. 2, the input
距離特定部５２は、入力部１７のタッチパネル３１のうち、静電容量式タッチパネル３１ａに対してタッチ操作をする物体（指１０１など）までの距離を検出する。具体的には、距離特定部５２は、静電容量式タッチパネル３１ａの静電容量の変化を捉えて、指１０１の静電容量式タッチパネル３１ａ（表示部１６）からの法線方向の距離、即ち、入力部１７と物体（手や指１０１など）との間の距離（高さ方向の位置の座標）を特定し、当該距離を制御部５３へ通知する。
The
制御部５３は、入力操作受付部５１により受け付けられた静電容量式タッチパネル３１ａ（表示部１６）に略平行な２次元方向の移動操作、即ち、静電容量式タッチパネル３１ａ（表示部１６）の２次元平面上の位置の座標、及び距離特定部５２により特定された距離（高さ方向の位置の座標）に基づいて、表示部１６に表示されたオブジェクトに関する処理などを実行する。具体的には、制御部５３は、入力操作受付部５１により受け付けられた移動操作、及び距離特定部５２により特定された距離に基づいて、複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した所定のオブジェクトを示す画像を表示部１６の表示画面に含むように表示させる制御などを実行する。オブジェクトに関する操作の具体例については、後述の図４乃至２１を参照して説明する。
また、制御部５３は、入力部１７に対する物体（ユーザの指やタッチペンなど）の接触又は近接が開始される行為（以下、「タッチダウン」と呼ぶ）や、タッチダウンの状態から物体（ユーザの指やタッチペンなど）の接触又は近接が解除される行為（以下、「タッチアップ」と呼ぶ）を検出することができる。即ち、タッチダウンにより一のタッチ操作が開始され、タッチアップにより当該一のタッチ操作が終了する。
The
In addition, the
次に、図４を参照して、このような図２の機能的構成の情報処理装置１が実行する第１実施形態の入力操作受付処理について説明する。第１実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、別ファイルの読み込み又はページ送りのうち何れかの処理が行われる。
図４は、図２の機能的構成を有する図１の情報処理装置１が実行する第１実施形態の入力操作受付処理の流れを説明するフローチャートである。
情報処理装置１により入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
Next, with reference to FIG. 4, the input operation reception process of 1st Embodiment which the information processing apparatus 1 of such a functional structure of FIG. 2 performs is demonstrated. In the first embodiment, depending on whether or not the user has performed a touch operation on the
FIG. 4 is a flowchart for explaining the flow of the input operation receiving process of the first embodiment executed by the information processing apparatus 1 of FIG. 1 having the functional configuration of FIG.
When the input operation accepting process is executed by the information processing apparatus 1, the functional blocks in FIG. 2 function in the
入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。 The input operation accepting process is started when a power button (not shown) of the information processing apparatus 1 is pressed by the user, and the following process is repeatedly executed.
ステップＳ１１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１１においてＹＥＳであると判定されて、処理はステップＳ１２に進む。
In step S <b> 11, the input
ステップＳ１２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ１２においてＹＥＳであると判定されて、処理は、ステップＳ１３に進む。
In step S12, the
ステップＳ１３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、静電容量式タッチパネル３１ａに対するタッチ操作の移動量を算出する。具体的には、制御部５３は、入力操作受付部５１を介して受け付けられたタッチ操作受付開始時の２次元上の位置の座標と、現在のタッチ操作受付時の２次元上の位置の座標と、の差分に基づいて、現在のタッチ操作の移動量を算出する。
In step S13, the
ステップＳ１４において、制御部５３は、ステップＳ１３において算出した移動量が予め設定した設定量を超えたか否かを判定する。移動量が設定量を超えていない場合には、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１３に戻る。即ち、移動量が設定量を超えるまでの間、入力操作受付処理は待機状態となる。移動量が設定量を超えた場合には、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
In step S14, the
ステップＳ１５において、制御部５３は、別ファイルの読み込みを行う。別ファイルの読み込みの具体例については、後述の図５を参照して説明する。この処理が終了すると、処理はステップＳ１９に進む。ステップＳ１９以降の処理については、後述する。
In step S15, the
静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合には、ステップＳ１２においてＮＯであると判定されて、処理は、ステップＳ１６に進む。
When the touch operation is not accepted on the
ステップＳ１６において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断して、抵抗膜式タッチパネル３１ｂに対するタッチ操作の移動量を算出する。具体的には、制御部５３は、入力操作受付部５１を介して受け付けられたタッチ操作受付開始時の２次元上の位置の座標と、現在のタッチ操作受付時の２次元上の位置の座標と、の差分に基づいて、現在のタッチ操作の移動量を算出する。
In step S16, the
ステップＳ１７において、制御部５３は、ステップＳ１６において算出した移動量が予め設定した設定量を超えたか否かを判定する。移動量が設定量を超えていない場合には、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ１６に戻る。即ち、移動量が設定量を超えるまでの間、入力操作受付処理は待機状態となる。移動量が設定量を超えた場合には、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１８に進む。
In step S17, the
ステップＳ１８において、制御部５３は、ページ送りを行う。ページ送りの具体例については、後述の図５を参照して説明する。この処理が終了すると、処理はステップＳ１９に進む。
In step S18, the
ステップＳ１９において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１９においてＮＯであると判定されて、処理はステップＳ１１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１１乃至Ｓ１９の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、別ファイルの読み込み又はページ送りのうち所望のオブジェクトを制御することができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１９においてＹＥＳであると判定されて、入力操作受付処理は終了となる。
In step S19, the
In this manner, the user can control a desired object among reading of another file or page turning by repeating the touch operation on the
次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。ここでは、フリック操作をした場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図５は、図１の情報処理装置の入力部１７に対しフリック操作がなされた状態を示している図である。
Next, a specific example of processing related to an object according to an operation on the
FIG. 5 is a diagram illustrating a state in which a flick operation is performed on the
図５（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０でフリック操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してフリック操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１の処理を実行する。
これに対し、図５（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態でフリック操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してフリック操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第２の処理を実行する。
ここで、第１の処理と第２の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、表示部１６に表示されるファイル（オブジェクトの一種）を記憶部１９から読み込み、読み込んだ新たなファイルを表示部１６に表示する処理が第１の処理として採用されている。また、表示部１６に表示されている本やノート（オブジェクトの別の一種）のページを送る処理が第２の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０でフリック操作をした場合（図５（ａ）の場合）、制御部５３は、表示部１６に表示されている本やノート（オブジェクトの一種）のページを送り、次ページを表示部１６に表示する。これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態でフリック操作をした場合（図５（ｂ）の場合）、制御部５３は、表示部１６に表示されるファイルを記憶部１９から読み込んで、読み込んだ新たなファイルを表示部１６に表示する。
As shown in FIG. 5A, when the user performs a flick operation with the distance between the
On the other hand, as shown in FIG. 5B, when the user performs a flick operation in a state where the distance between the
Here, the first process and the second process may be arbitrary processes as long as they are different from each other, but in the present embodiment, a file (a type of object) displayed on the
That is, when the user performs a flick operation with the distance between the
以上、本発明の第１実施形態に係る情報処理装置１について説明した。
次に、本発明の第２実施形態に係る情報処理装置１について説明する。
The information processing apparatus 1 according to the first embodiment of the present invention has been described above.
Next, the information processing apparatus 1 according to the second embodiment of the present invention will be described.
［第２実施形態］
次に、図６を参照して、図２の機能的構成の情報処理装置１が実行する第２実施形態の入力操作受付処理について説明する。第２実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、表示部１６に表示されている画像の角度をタッチ操作の接触点に沿った任意の角度に回転するか、規定の大まかな角度（例えば９０度）に回転するかのうち何れかの処理が行われる。
情報処理装置１により第２実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図６は、図２の機能的構成を有する図１の情報処理装置１が実行する第２実施形態の入力操作受付処理の流れを説明するフローチャートである。
[Second Embodiment]
Next, an input operation reception process according to the second embodiment executed by the information processing apparatus 1 having the functional configuration shown in FIG. 2 will be described with reference to FIG. In the second embodiment, the angle of the image displayed on the
When the input operation receiving process of the second embodiment is executed by the information processing apparatus 1, the functional blocks shown in FIG. 2 function in the
FIG. 6 is a flowchart for explaining the flow of the input operation reception process of the second embodiment executed by the information processing apparatus 1 of FIG. 1 having the functional configuration of FIG.
入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。 The input operation accepting process is started when a power button (not shown) of the information processing apparatus 1 is pressed by the user, and the following process is repeatedly executed.
ステップＳ３１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ３１においてＮＯであると判定されて、処理はステップＳ３１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ３１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ３１においてＹＥＳであると判定されて、処理はステップＳ３２に進む。
In step S <b> 31, the input
ステップＳ３２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（即ち、Ｚ軸上のＺ座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ３２においてＹＥＳであると判定されて、処理は、ステップＳ３３に進む。
In step S32, the
ステップＳ３３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、静電容量式タッチパネル３１ａに対するタッチ操作の回転角度を算出する。具体的には、制御部５３は、入力操作受付部５１を介して受け付けられたタッチ操作受付開始時の２次元上の位置の座標の角度と、現在のタッチ操作受付時の２次元上の位置の座標の角度と、の角度の差分に基づいて、現在のタッチ操作の回転角度を算出する。
In step S33, the
ステップＳ３４において、制御部５３は、表示部１６に表示されている画像をｎ度（ｎは０〜３６０度のうち任意の角度）回転して表示する制御を行う。画像の回転についての具体例については、後述の図７を参照して説明する。この処理が終了すると、処理はステップＳ３８に進む。ステップＳ３８以降の処理については、後述する。
In step S34, the
静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合には、ステップＳ３２においてＮＯであると判定されて、処理は、ステップＳ３５に進む。
ステップＳ３５において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断して、抵抗膜式タッチパネル３１ｂに対するタッチ操作の回転角度を算出する。具体的には、制御部５３は、入力操作受付部５１を介して受け付けられたタッチ操作受付開始時の２次元上の位置の座標の角度と、現在のタッチ操作受付時の２次元上の位置の座標の角度と、の角度の差分に基づいて、現在のタッチ操作の回転角度を算出する。
When the touch operation is not accepted on the
In step S35, the
ステップＳ３６において、制御部５３は、ステップＳ３６において算出した回転角度が９０度を超えたか否かを判定する。回転角度が９０度を超えていない場合には、ステップＳ３６においてＮＯであると判定されて、処理はステップＳ３５に戻る。即ち、回転角度が９０度を超えるまでの間、入力操作受付処理は待機状態となる。回転角度が９０度を超えた場合には、ステップＳ３６においてＹＥＳであると判定されて、処理はステップＳ３７に進む。尚、制御部５３は、算出した回転角度が９０度を超えたか否かを判定しているが、判定する回転角度は９０度に限定されるものではなく、ユーザが予め設定した任意の角度（０〜３６０度）を採用することができる。
In step S36, the
ステップＳ３７において、制御部５３は、表示部１６に表示されている画像を９０度回転して表示する制御を行う。画像を９０度回転する具体例については、後述の図７を参照して説明する。この処理が終了すると、処理はステップＳ３８に進む。
In step S <b> 37, the
ステップＳ３８において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ３８においてＮＯであると判定されて、処理はステップＳ３１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ３１乃至Ｓ３８の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、表示部１６に表示されている画像（オブジェクト）を任意の角度（ｎ度）回転して表示するか又は画像（オブジェクト）を予め設定された角度（本実施形態においては９０度）に回転して表示するか制御することができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ３８においてＹＥＳであると判定されて、入力操作受付処理は終了となる。
In step S38, the
In this way, the user rotates the image (object) displayed on the
次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
表示部１６の表示画面（２次元平面）に対し円を描くようなフリック操作をした場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図７は、図１の情報処理装置の入力部１７に対し円を描くようなフリック操作がなされた状態を示す図である。
Next, a specific example of processing related to an object according to an operation on the
Even when a flick operation for drawing a circle is performed on the display screen (two-dimensional plane) of the
FIG. 7 is a diagram illustrating a state in which a flick operation for drawing a circle is performed on the
図７（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０で円を描くようなフリック操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してフリック操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第３の処理を実行する。
これに対し、図７（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態で円を描くようなフリック操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してフリック操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第４の処理を実行する。
本実施形態では、表示部１６に表示される画像（オブジェクトの一種）を任意の角度（ｎ度）に回転して表示する処理が第３の処理として採用されている。また、表示部１６に表示されている画像（オブジェクトの別の一種）を９０度（ユーザにより予め設定された任意の角度）に回転して表示する処理が第４の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０で円を描くようなフリック操作をした場合（図７（ａ）の場合）、制御部５３は、表示部１６に表示されている画像を９０度（ユーザにより予め設定された大まかな角度）に回転して表示部１６に表示する。これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態で円を描くようなフリック操作をした場合（図７（ｂ）の場合）、制御部５３は、表示部１６に表示されている画像をタッチ操作の接触位置に沿ってきめ細かく任意の角度（ｎ度）に回転して表示部１６に表示する。
As shown in FIG. 7A, when the user performs a flick operation that draws a circle with the distance between the
On the other hand, as shown in FIG. 7B, when the user performs a flick operation to draw a circle in a state where the distance between the
In the present embodiment, a process of rotating and displaying an image (a type of object) displayed on the
That is, when the user performs a flick operation that draws a circle with the distance between the
以上、本発明の第２実施形態に係る情報処理装置１について説明した。
次に、本発明の第３実施形態に係る情報処理装置１について説明する。
The information processing apparatus 1 according to the second embodiment of the present invention has been described above.
Next, an information processing apparatus 1 according to the third embodiment of the present invention will be described.
［第３実施形態］
次に、図８及び図９を参照して、図２の機能的構成の情報処理装置１が実行する第３実施形態の入力操作受付処理について説明する。
第３実施形態においては、表示部１６に表示されるオブジェクトとして、ソフトウェアボタン（以下、単に「ボタン」と称する）が採用されている。具体的には、表示部１６の画面上に構築される３次元空間内に表示される複数の層に複数のボタンが散在しているとユーザの目に映るように、所定の３Ｄ画像が表示部１６に表示される。即ち、複数のボタンの中には、画面上の層に配置されているボタンも存在するし、画面の上方の空中に浮いて層に配置されているボタンも存在する。ユーザは、これらの空間内に散在する複数の層のボタンのうち、所望のボタンを押下するようなタッチ操作をすることができる。
この場合、情報処理装置１は、このボタンの押下を、静電容量式タッチパネル３１ａに対するタッチ操作として検出し、当該ボタンに割り当てられた機能を発揮させるための処理（以下、「押下処理」と呼ぶ）を実行する。
情報処理装置１により第３実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図８は、図２の機能的構成を有する図１の情報処理装置１の表示部１６で表示される表示例を説明する図である。
[Third Embodiment]
Next, with reference to FIG. 8 and FIG. 9, an input operation reception process of the third embodiment executed by the information processing apparatus 1 having the functional configuration of FIG. 2 will be described.
In the third embodiment, software buttons (hereinafter simply referred to as “buttons”) are employed as objects displayed on the
In this case, the information processing apparatus 1 detects the pressing of the button as a touch operation on the
When the input operation receiving process of the third embodiment is executed by the information processing apparatus 1, the functional blocks shown in FIG. 2 function in the
FIG. 8 is a diagram illustrating a display example displayed on the
第３実施形態の表示部１６は、３Ｄ（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）画像（図示せず）が表示可能に構成されている。
表示部１６に表示される３Ｄ画像は、Ｚ軸方向（高さの方向）に複数の層が積み重なってユーザの目に映るように構成される。ここで、３Ｄ画像の最下位の層が、抵抗膜式タッチパネル３１ｂと同位置の層であるものとし、その最下位以外の上位の層からは空間に浮いているようにユーザの目には映り、配置位置が高くなる層程（Ｚ軸方向にユーザの目に近づく程）上位になっていくものとする。
ただし、ここでは説明の簡略上、図８に示すように、３Ｄ画像は、最上位の層１６−１と、最下位の層１６−２とのみから構成されているものとする。即ち、３Ｄ画像は、指１０１を有するユーザからみて、手前の層１６−１と、その奥の層１６−２とのみから構成されているものとする。そして、最上位の層１６−１には、ボタン１１１−１が配置され、最下位の層１６−２には、ボタン１１１−２が配置されているように、３Ｄ画像を見たユーザの目に映るものとする。即ち、ボタン１１１−１と、ボタン１１１−２とは、それぞれ略同一の座標（ｘ、ｙ）に配置され、座標ｚのみが異なるものとする。ここで、座標ｘはＸ軸の座標であり、座標ｙはＹ軸の座標であり、座標ｚはＺ軸の座標である。
最上位の層１６−１に対するタッチ操作は、静電容量式タッチパネル３１ａ上の静電容量の電位変化に基づいて検出することができる。また、最下位の層１６−２に対するタッチ操作は、抵抗膜式タッチパネル３１ｂに対する接触の有無に基づいて検出することができる。
尚、本実施形態では、最上位の層１６−１と最下位の層１６−２との関係について説明したが、これに限られない。例えば、静電容量式タッチパネル３１ａは、座標ｚを検出することが可能であるため、最下位層以外の層が複数存在する場合には、検出された座標ｚに応じて、タッチ操作がなされた層を検出することができる。
The
The 3D image displayed on the
However, for simplification of explanation, it is assumed that the 3D image is composed of only the uppermost layer 16-1 and the lowermost layer 16-2 as shown in FIG. That is, it is assumed that the 3D image is composed of only the front layer 16-1 and the back layer 16-2 when viewed from the user having the
A touch operation on the uppermost layer 16-1 can be detected based on a change in the potential of the capacitance on the
In the present embodiment, the relationship between the uppermost layer 16-1 and the lowermost layer 16-2 has been described. However, the present invention is not limited to this. For example, since the
次に、図９を参照して、図２の機能的構成の情報処理装置１が実行する第３実施形態の入力操作受付処理について説明する。
図９は、図２の機能的構成を有する図１の情報処理装置１が実行する第３実施形態の入力操作受付処理の流れを説明するフローチャートである。
Next, an input operation reception process according to the third embodiment executed by the information processing apparatus 1 having the functional configuration shown in FIG. 2 will be described with reference to FIG.
FIG. 9 is a flowchart for explaining the flow of the input operation accepting process of the third embodiment executed by the information processing apparatus 1 of FIG. 1 having the functional configuration of FIG.
入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。 The input operation accepting process is started when a power button (not shown) of the information processing apparatus 1 is pressed by the user, and the following process is repeatedly executed.
ステップＳ５１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ５１においてＮＯであると判定されて、処理はステップＳ５１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ５１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ５１においてＹＥＳであると判定されて、処理はステップＳ５２に進む。
In step S <b> 51, the input
ステップＳ５２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ５２においてＹＥＳであると判定されて、処理は、ステップＳ５３に進む。
In step S52, the
ステップＳ５３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、指１０１と静電容量式タッチパネル３１ａとの間での静電容量の変化を記録する。具体的には、制御部５３は、静電容量式タッチパネル３１ａに設けられたコンデンサ（図示せず）の静電容量（以下、単に「静電容量」と呼ぶ）の電位変化の記録を開始する。
In step S53, the
ステップＳ５４において、制御部５３は、ステップＳ５３において記録が開始された静電容量の遷移が「小→大→小」の順で変化したか否かを判定する。
ここで、静電容量式タッチパネル３１ａに指１０１が近づけられると、静電容量が少し増加する。このとき、静電容量はまだ「小」の状態である。その後、指１０１が静電容量式タッチパネル３１ａに対してさらに近づけられて、静電容量式タッチパネル３１ａに対して指１０１が略接触したときに、静電容量が最大となる。このとき、静電容量は「大」の状態となる。その後、静電容量式タッチパネル３１ａに対する指１０１の略接触が解除されて、指１０１が上方向（Ｚ軸方向）に遠ざかるように移動していくにつれ、静電容量が徐々に減少する。このとき、静電容量は徐々に「小」の状態となる。
このように、ユーザが、その指１０１を、静電容量式タッチパネル３１ａに対し近づけ始めて、静電容量式タッチパネル３１ａに対して略接触させ、その後遠ざけるまでの一連の動作を以下、「タップ操作」と呼ぶ。即ち、タップ操作は、指１０１を、静電容量式タッチパネル３１ａに対し近づけ始めることにより一のタッチ操作が開始してから、その後指１０１を遠ざけることにより当該一のタッチ操作を終了するまでの一連の動作をいう。
制御部５３は、静電容量の遷移が「小」→「大」→「小」の順で変化するか否かに応じて、タップ操作をしたか否かを検出することができる。
In step S54, the
Here, when the
In this manner, a series of operations from when the user starts to bring the
The
ステップＳ５５において、制御部５３は、ステップＳ５４の処理で記録した静電容量の遷移の中心座標を検出する。ここで、図８においては、１つの層に対し１つのボタンが配置されている例について図示しているが、実際には１つの層に対し複数のボタンが配置されている。制御部５３は、タップ操作が行われた際の、２次元上の位置の各々の座標の平均値を、静電容量の遷移の中心座標として検出する。そして、制御部５３は、一の層に配置された複数のボタンの中から、検出した中心座標の範囲内に含まれるボタンを特定する。
In step S55, the
ステップＳ５６において、制御部５３は、最上位の層１６−１（図８参照）に配置された複数のボタンの中から、ステップＳ５５の処理で検出された中心座標の範囲内に含まれるボタン１１１−１の押下処理を行う。この処理が終了すると、処理はステップＳ５９に進む。ステップＳ５９以降の処理については、後述する。
In step S56, the
静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合には、ステップＳ５２においてＮＯであると判定されて、即ち、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断されて、処理はステップＳ５７に進む。
If the touch operation is not accepted on the
ステップＳ５７において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされた座標を検出する。そして、制御部５３は、一の層に配置された複数のボタンの中から、検出した座標の範囲内に含まれるボタンを特定する。
In step S57, the
ステップＳ５８において、制御部５３は、最下位の層１６−２（図８参照）に配置された複数のボタンの中から、ステップＳ５７の処理で検出された座標の範囲内に含まれるボタン１１１−２の押下処理を行う。
In step S58, the
ステップＳ５９において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ５９においてＮＯであると判定されて、処理はステップＳ５１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ５１乃至Ｓ５９の処理が繰り返し行われる。
このようにして、ユーザにより入力操作受付終了の指示が行われるまでの間、ユーザによるタッチ操作が繰り返し行われることで、最上位の層１６−１又は最下位の層１６−２のうち何れかの層に対応するボタンに対する押下処理の制御が行われる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ５９においてＹＥＳであると判定されて、入力操作受付処理は終了となる。
In step S59, the
In this way, the user's touch operation is repeatedly performed until the user gives an instruction to end the input operation reception, so that either the uppermost layer 16-1 or the lowermost layer 16-2. The process of pressing the button corresponding to the layer is controlled. Thereafter, for example, when the user gives an instruction to end the input operation reception by performing a predetermined operation on the information processing apparatus 1, it is determined as YES in Step S59, and the input operation reception process ends.
以上、本発明の第３実施形態に係る情報処理装置１について説明した。
次に、本発明の第４実施形態に係る情報処理装置１について説明する。
The information processing apparatus 1 according to the third embodiment of the present invention has been described above.
Next, an information processing apparatus 1 according to the fourth embodiment of the present invention will be described.
［第４実施形態］
次に、図１０及び図１１を参照して、このような図２の機能的構成の情報処理装置１が実行する第４実施形態の入力操作受付処理について説明する。第４実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、ＰＣ（Ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ：パーソナルコンピュータ）のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）におけるファイル操作を制御することができる。ファイル（オブジェクトの一種）操作の制御の具体例としては、タッチ操作の移動範囲内のファイルを全て選択するか、タッチ操作がなされた際のファイルを移動するか、のうち何れかの処理が行われる。第４実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、移動範囲内のファイルを全て選択するか、タッチ操作がなされた際のファイルを移動するか、のうち何れかの処理が行われる。ファイルの移動とは、タッチダウンされた際の座標位置に存在するファイルをタッチアップされた際の座標位置に移動する、いわゆる、ドラッグアンドドロップの処理を意味する。
情報処理装置１により第４実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図１０は、図２の機能的構成を有する図１の情報処理装置１が実行する第４実施形態の入力操作受付処理の流れを説明するフローチャートである。
[Fourth Embodiment]
Next, with reference to FIG. 10 and FIG. 11, an input operation reception process of the fourth embodiment executed by the information processing apparatus 1 having the functional configuration of FIG. 2 will be described. In the fourth embodiment, a file operation in a UI (User Interface) of a PC (Personal Computer) can be controlled according to whether or not the user has performed a touch operation on the
When the input operation accepting process of the fourth embodiment is executed by the information processing apparatus 1, the functional blocks in FIG. 2 function in the
FIG. 10 is a flowchart for explaining the flow of the input operation reception process of the fourth embodiment executed by the information processing apparatus 1 of FIG. 1 having the functional configuration of FIG.
入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。 The input operation accepting process is started when a power button (not shown) of the information processing apparatus 1 is pressed by the user, and the following process is repeatedly executed.
ステップＳ７１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ７１においてＮＯであると判定されて、処理はステップＳ７１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ７１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ７１においてＹＥＳであると判定されて、処理はステップＳ７２に進む。
In step S <b> 71, the input
ステップＳ７２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ７２においてＹＥＳであると判定されて、処理は、ステップＳ７３に進む。
In step S72, the
ステップＳ７３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、タッチダウンがされた座標位置からタッチアップされた座標位置までの指の移動範囲を検出する。具体的には、制御部５３は、ユーザによるタッチ操作が静電容量式タッチパネル３１ａに対してなされたことを検出し、そのタッチ操作の座標位置を認識する。制御部５３は、静電容量式タッチパネル３１ａに対しダッチダウンされた際の座標位置からタッチアップされた座標位置までの間に含まれる範囲を移動範囲として検出する。
In step S73, the
ステップＳ７４において、制御部５３は、ステップＳ７３において検出した移動範囲内のファイルを全て選択する。移動範囲内のファイルの選択については、後述の図１１を参照して説明する。この処理が終了すると、処理はステップＳ７８に進む。ステップＳ７８以降の処理については、後述する。
In step S74, the
静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合には、ステップＳ７２においてＮＯであると判定されて、処理は、ステップＳ７６に進む。
When the touch operation is not accepted on the
ステップＳ７６において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断して、タッチダウンされた座標位置のファイルを選択する。ファイルの選択については、後述の図１１を参照して説明する。
In step S76, the
ステップＳ７７において、制御部５３は、タッチアップされた座標位置にステップＳ７６において選択したファイルを移動する。ファイルの移動については、後述の図１１を参照して説明する。
In step S77, the
ステップＳ７８において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ７８においてＮＯであると判定されて、処理はステップＳ７１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ７１乃至Ｓ７８の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、移動範囲内のファイル（オブジェクト）を全て選択するか又はタッチダウンされた座標位置のファイルをタッチアップされた座標位置まで移動（いわゆるドラッグアンドドロップ）するか制御することができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ７８においてＹＥＳであると判定されて、入力操作受付処理は終了となる。
In step S78, the
In this manner, the user repeats the touch operation on the
次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
表示部１６の表示画面（２次元平面）に対しタッチダウンとタッチアップとをした場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図１１は、図１の情報処理装置の入力部１７に対しタッチダウンとタッチアップとがなされた状態を示す図である。
Next, a specific example of processing related to an object according to an operation on the
Even when touchdown and touchup are performed on the display screen (two-dimensional plane) of the
FIG. 11 is a diagram illustrating a state in which touch down and touch up are performed on the
図１１（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０でタッチダウン及びタッチアップをした場合、即ち、指１０１を入力部１７に接触した状態を維持してフリック操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第５の処理を実行する。
これに対し、図１１（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチダウン及びタッチアップをした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してフリック操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第６の処理を実行する。
本実施形態では、タッチダウンの座標位置にあるファイルを選択してからタッチアップの座標位置にファイルを移動する処理が第５の処理として採用されている。また、タッチダウンの座標位置からタッチアップの座標位置までに含まれる移動範囲内のファイルを全て選択する処理が第６の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０でタッチダウンとタッチアップとをした場合（図１１（ａ）の場合）、制御部５３は、表示部１６に表示されているファイルのうち、タッチダウンされた座標位置のファイル（オブジェクトの一種）をタッチアップされた座標位置に移動する。これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチアップとタッチダウンとをした場合（図１１（ｂ）の場合）、制御部５３は、表示部１６に表示されているファイル（オブジェクトの一種）のうち移動範囲内にあるファイルを全て選択する。
As shown in FIG. 11A, when the user touches down and touches up when the distance between the
On the other hand, as shown in FIG. 11B, when the user performs touchdown and touchup in a state where the distance between the
In the present embodiment, a process of moving a file to a touch-up coordinate position after selecting a file at the touch-down coordinate position is employed as the fifth process. In addition, a process of selecting all the files within the movement range included from the touchdown coordinate position to the touchup coordinate position is adopted as the sixth process.
That is, when the user touches down and touches up when the distance between the
以上、本発明の第４実施形態に係る情報処理装置１について説明した。
次に、本発明の第５実施形態に係る情報処理装置１について説明する。
The information processing apparatus 1 according to the fourth embodiment of the present invention has been described above.
Next, an information processing apparatus 1 according to the fifth embodiment of the present invention will be described.
［第５実施形態］
次に、図１２及び図１３を参照して、このような図２の機能的構成の情報処理装置１が実行する第５実施形態の入力操作受付処理について説明する。
第５実施形態に係る情報処理装置１は、第１実施形態に係る情報処理装置１と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
したがって、図１は、第５実施形態に係る情報処理装置１のハードウェアの構成を示すブロック図でもある。また、図２は、第５実施形態に係る情報処理装置１の機能的構成を示す機能ブロック図でもある。
また、第５実施形態に係る情報処理装置１が実行する入力操作受付処理は、第１実施形態に係る入力操作受付処理と基本的に同様の流れとなる。
但し、第５実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、同カテゴリの別ファイルを表示するか別カテゴリの別ファイルを表示するかのうち何れかの処理が行われる点で第１実施形態と異なる。
したがって、第５実施形態では、ステップＳ１５及びステップＳ１８の処理については、第１実施形態で採用された図４のフローチャートではなく、図１２のフローチャートが採用される。具体的には、第５実施形態では、図４の入力操作受付処理のうち、ステップＳ１５に代えてステップＳ９５の処理が行われ、ステップＳ１８に代えてステップＳ９８の処理が行われる。
そこで、以下、このような差異点である、ステップＳ９５及びステップＳ９８についてのみ説明し、一致点の説明は適宜省略する。
情報処理装置１により第５実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図１２は、図２の機能的構成を有する図１の情報処理装置１が実行する第５実施形態の入力操作受付処理の流れを説明するフローチャートである。
[Fifth Embodiment]
Next, with reference to FIG. 12 and FIG. 13, an input operation reception process of the fifth embodiment executed by the information processing apparatus 1 having the functional configuration of FIG. 2 will be described.
The information processing apparatus 1 according to the fifth embodiment can have basically the same hardware configuration and functional configuration as the information processing apparatus 1 according to the first embodiment.
Therefore, FIG. 1 is also a block diagram showing a hardware configuration of the information processing apparatus 1 according to the fifth embodiment. FIG. 2 is also a functional block diagram showing a functional configuration of the information processing apparatus 1 according to the fifth embodiment.
Further, the input operation acceptance process executed by the information processing apparatus 1 according to the fifth embodiment is basically the same flow as the input operation acceptance process according to the first embodiment.
However, in the fifth embodiment, depending on whether the user performs a touch operation on the
Therefore, in the fifth embodiment, the processing of step S15 and step S18 is not the flowchart of FIG. 4 employed in the first embodiment, but the flowchart of FIG. Specifically, in the fifth embodiment, in the input operation reception process of FIG. 4, the process of step S95 is performed instead of step S15, and the process of step S98 is performed instead of step S18.
Therefore, only step S95 and step S98, which are such differences, will be described below, and description of matching points will be omitted as appropriate.
When the input operation accepting process of the fifth embodiment is executed by the information processing apparatus 1, the functional blocks in FIG. 2 function in the
FIG. 12 is a flowchart for explaining the flow of the input operation receiving process of the fifth embodiment executed by the information processing apparatus 1 of FIG. 1 having the functional configuration of FIG.
ステップＳ９５において、制御部５３は、同カテゴリの別ファイルを表示する制御を実行する。同カテゴリの別ファイルを表示する具体例については、後述の図１３を参照して説明する。この処理が終了すると、処理はステップＳ９９に進む。
In step S95, the
ステップＳ９８において、制御部５３は、別カテゴリのファイルを表示する制御を実行する。別カテゴリのファイルを表示する具体例については、後述の図１３を参照して説明する。この処理が終了すると、処理はステップＳ９９に進む。
In step S98, the
次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。本実施形態では、フリック操作をした場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図１３は、図１の情報処理装置の入力部１７に対しフリック操作がなされた状態を示す図である。
図１３（ａ）に示すように、表示部１６の中央には、ブラウスを着たモデルが配置されたファイル１３１−１が表示されている。また、表示部１６の左には、ロングＴシャツを着たモデルが配置されたファイル１３１−２が表示されている。また、表示部１６の右には、リボン付きワンピースを着たモデルが配置されたファイル１３１−３が表示されている。ファイル１３１−１と、ファイル１３１−２と、ファイル１３１−３と、は互いに異なる別カテゴリの別のファイルにより構成され、各々記憶部１９に記憶されている。
また、図１３（ｂ）に示すように、表示部１６の中央には、赤色のブラウスを着たモデルが配置されたファイル１４１−１が表示されている。また、表示部１６の左には、青色のブラウスを着たモデルが配置されたファイル１４１−２が表示されている。また、表示部１６の右には、黄色のブラウスを着たモデルが配置されたファイル１４１−３が表示されている。ファイル１４１−１に配置されたモデルと、ファイル１４１−２に配置されたモデルと、ファイル１４１−３に配置されたモデルと、はそれぞれ同じモデルが採用されている。したがって、ファイル１４１−１と、ファイル１４１−２と、ファイル１４１−３と、は互いに同じカテゴリ（ブラウス）の別のファイルにより構成され、各々記憶部１９に記憶されている。
Next, a specific example of processing related to an object according to an operation on the
FIG. 13 is a diagram illustrating a state in which a flick operation has been performed on the
As shown in FIG. 13A, a file 131-1 in which a model wearing a blouse is arranged is displayed at the center of the
As shown in FIG. 13B, a file 141-1 in which a model wearing a red blouse is arranged is displayed in the center of the
図１３（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０でフリック操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してフリック操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第７の処理を実行する。
これに対し、図１３（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態でフリック操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してフリック操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第８の処理を実行する。
ここで、第７の処理と第８の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、表示部１６に表示されているファイル（オブジェクトの一種）を、現在表示部１６に表示されているファイルと別カテゴリの別のファイルを記憶部１９から読み込み、読み込んだ新たなファイルを表示部１６の中央に表示する処理が第７の処理として採用されている。また、表示部１６に表示されているファイル（オブジェクトの別の一種）を、現在表示部１６に表示されているファイルと同カテゴリの別のファイルを記憶部１９から読み込み、読み込んだ新たなファイルを表示部１６の中央に表示する処理が第８の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０で右側にフリック操作をした場合（図１３（ａ）の場合）、制御部５３は、表示部１６の中央に表示されているファイル１３１−１を別カテゴリの別のファイル１３１−２に変えて表示部１６の中央に表示する。同様に、ユーザが、入力部１７と指１０１との間の距離が０で左側にフリック操作をした場合（図１３（ａ）の場合）、制御部５３は、表示部１６の中央に表示されているファイル１３１−１を別カテゴリの別のファイル１３１−３に変えて表示部１６の中央に表示する。
これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態で右側にフリック操作をした場合（図１３（ｂ）の場合）、制御部５３は、表示部１６の中央に表示されているファイル１４１−１を同カテゴリの別のファイル１４１−２に変えて表示部１６の中央に表示する。同様に、ユーザが、入力部１７と指１０１との間の距離が離れている状態で左側にフリック操作をした場合（図１３（ｂ）の場合）、制御部５３は、表示部１６の中央に表示されているファイル１４１−１を同カテゴリの別のファイル１４１−３に変えて表示部１６の中央に表示する。
As shown in FIG. 13A, when the user performs a flick operation with the distance between the
On the other hand, as shown in FIG. 13B, when the user performs a flick operation in a state where the distance between the
Here, the seventh process and the eighth process may be arbitrary processes as long as they are different from each other, but in the present embodiment, the file (a type of object) displayed on the
That is, when the user performs a flick operation on the right side when the distance between the
On the other hand, when the user performs a flick operation on the right side in the state where the distance between the
以上、本発明の第５実施形態に係る情報処理装置１について説明した。
次に、本発明の第６実施形態に係る情報処理装置１について説明する。
The information processing apparatus 1 according to the fifth embodiment of the present invention has been described above.
Next, an information processing apparatus 1 according to the sixth embodiment of the present invention will be described.
［第６実施形態］
次に、図１４及び図１５を参照して、このような図２の機能的構成の情報処理装置１が実行する第６実施形態の入力操作受付処理について説明する。第６実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、表示部１６に表示されている地球儀（オブジェクトの一種）の画像を縮小したり、拡大したりするなどの処理が行われる。
情報処理装置１により第６実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図１４は、図２の機能的構成を有する図１の情報処理装置１が実行する第６実施形態の入力操作受付処理の流れを説明するフローチャートである。
[Sixth Embodiment]
Next, with reference to FIG. 14 and FIG. 15, input operation reception processing of the sixth embodiment executed by the information processing apparatus 1 having the functional configuration of FIG. 2 will be described. In the sixth embodiment, an image of a globe (a type of object) displayed on the
When the input operation acceptance process of the sixth embodiment is executed by the information processing apparatus 1, the function blocks of FIG. 2 function in the
FIG. 14 is a flowchart for explaining the flow of the input operation reception process of the sixth embodiment executed by the information processing apparatus 1 of FIG. 1 having the functional configuration of FIG.
入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。 The input operation accepting process is started when a power button (not shown) of the information processing apparatus 1 is pressed by the user, and the following process is repeatedly executed.
ステップＳ１１１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１１１においてＮＯであると判定されて、処理はステップＳ１１１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１１１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１１１においてＹＥＳであると判定されて、処理はステップＳ１１２に進む。
In step S <b> 111, the input
ステップＳ１１２において、距離特定部５２は、静電容量式タッチパネル３１ａで静電容量の変化を検出したか否かを判定する。具体的には、距離特定部５２は、静電容量の変化を検出することで、オブジェクト（後述の図１５の地球儀）に対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａで静電容量の変化を検出した場合には、ステップＳ１１２においてＹＥＳであると判定されて、処理は、ステップＳ１１３に進む。
In step S112, the
ステップＳ１１３において、制御部５３は、ステップＳ１１２において検出された静電容量は増加しているか否かを判定する。静電容量は減少している場合、ステップＳ１１３においてＮＯであると判定されて、処理はステップＳ１１４に進む。
In step S113, the
ステップＳ１１４において、制御部５３は、指などが静電容量式タッチパネル３１ａから遠ざかっていると判断して、表示部１６に表示されている地球儀（オブジェクトの一種）を縮小して表示する。地球儀を縮小して表示部１６に表示する具体例については、後述の図１５を参照して説明する。この処理が終了すると、処理はステップＳ１１９に進む。ステップＳ１１９以降の処理については、後述する。
In step S114, the
ステップＳ１１２において検出した静電容量は増加している場合、ステップＳ１１３においてＹＥＳであると判定されて、処理はステップＳ１１５に進む。 If the capacitance detected in step S112 is increasing, it is determined as YES in step S113, and the process proceeds to step S115.
ステップＳ１１４において、制御部５３は、指などが静電容量式タッチパネル３１ａに近づいていると判断して、表示部１６に表示されている地球儀（オブジェクトの一種）を拡大して表示する。地球儀を拡大して表示部１６に表示する具体例については、後述の図１５を参照して説明する。この処理が終了すると、処理はステップＳ１１９に進む。ステップＳ１１９以降の処理については、後述する。
In step S114, the
静電容量式タッチパネル３１ａで静電容量の変化を検出できなかった場合には、ステップＳ１１２においてＮＯであると判定されて、処理は、ステップＳ１１６に進む。
ステップＳ１１６において、制御部５３は、静電容量式タッチパネル３１ａで座標位置の移動を検出したか否かを判定する。座標位置の移動を検出した場合、ステップＳ１１６においてＹＥＳであると判定されて、処理はステップＳ１１７に進む。
If no change in capacitance can be detected by the
In step S116, the
ステップＳ１１７において、制御部５３は、指などと静電容量式タッチパネル３１ａとの距離が一定の状態で、静電容量式タッチパネル３１ａに対しフリック操作が行われたと判断して、表示部１６に表示されている地球儀（オブジェクトの一種）を回転して表示する。地球儀を回転して表示部１６に表示する具体例については、後述の図１５を参照して説明する。この処理が終了すると、処理はステップＳ１１９に進む。ステップＳ１１９以降の処理については、後述する。
In step S117, the
静電容量式タッチパネル３１ａで座標位置の移動を検出できなかった場合、ステップＳ１１６においてＮＯであると判定されて、処理はステップＳ１１８に進む。
ステップＳ１１８において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作が行われたと判断して、表示部１６に表示されている地球儀（オブジェクトの一種）においてタッチ操作された位置座標を選択する。タッチ操作された位置座標を選択する具体例については、後述の図１５を参照して説明する。この処理が終了すると、処理はステップＳ１１９に進む。
When the movement of the coordinate position cannot be detected by the
In step S118, the
ステップＳ１１９において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１１９においてＮＯであると判定されて、処理はステップＳ１１１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１１１乃至Ｓ１１９の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、表示部１６に表示されている画像（オブジェクト）を縮小したり拡大したりして表示する制御を行うことができる。また、表示部１６に表示されている画像（オブジェクト）を回転したりタッチ操作した位置座標を選択したりする制御を行うことができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１１９においてＹＥＳであると判定されて、入力操作受付処理は終了となる。
In step S119, the
In this way, the user repeats the touch operation on the
次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
指１０１と入力部１７の距離の違いに応じて、表示部１６の表示画面（２次元平面）に表示された地球儀（オブジェクトの一種）に関する処理を変更する例について説明する。
図１５は、図１の情報処理装置の入力部１７に対し指を近づけたり遠ざけたりしながらフリック操作がなされた状態を示す図である。
Next, a specific example of processing related to an object according to an operation on the
An example will be described in which processing related to a globe (a type of object) displayed on the display screen (two-dimensional plane) of the
FIG. 15 is a diagram illustrating a state in which a flick operation is performed while moving a finger closer to or away from the
図１５（ａ）に示すように、ユーザが、入力部１７から指１０１を遠ざける方向に動かした場合、制御部５３は、オブジェクトに関する処理として、第９の処理を実行する。
これに対し、図１５（ａ）に示すように、ユーザが、入力部１７に指１０１を近づける方向に動かした場合、制御部５３は、オブジェクトに関する処理として、第１０の処理を実行する。
また、図１５（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離を一定にした状態でフリック操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１１の処理を実行する。
これに対し、図１５（ｂ）に示すように、ユーザが、抵抗膜式タッチパネル３１ｂに指１０１を接触させてタッチ操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１２の処理を実行する。
即ち、ユーザが、入力部１７と指１０１との間の距離が離間するように指１０１を動かした場合（図１５（ａ）の場合）、制御部５３は、表示部１６に表示されている地球儀１５１を縮小して表示させる制御を行う。これに対し、ユーザが、入力部１７と指１０１との間の距離が近接するように指１０１を動かした場合（図１５（ａ）の場合）、制御部５３は、表示部１６に表示されている地球儀１５１を拡大して表示させる制御を行う。
また、ユーザが、入力部１７と指１０１との間の距離を一定にした状態でフリック操作をした場合、（図１５（ｂ）の場合）、制御部５３は、表示部１６に表示されている地球儀１５１を回転して表示させる制御を行う。これに対し、ユーザが、抵抗膜式タッチパネル３１ｂに指１０１を接触させてタッチ操作をした場合に（図１５（ｂ）の場合）、制御部５３は、表示部１６に表示されている地球儀１５１のうち、タッチ操作された位置座標を選択する制御を行う。
なお、本実施形態においては、静電容量式タッチパネル３１ａでの静電容量が増減したか否かに基づいて表示部１６に表示されている地球儀１５１を拡大したり縮小して表示する制御を行っていたがこれに限られるものではない。例えば、静電容量式タッチパネル３１ａでの静電容量の増減に基づいて地球儀１５１を回転する速度を変えて表示する制御を行うことができる。具体的には、静電容量式タッチパネル３１ａでの静電容量の変化量が減少した場合、即ち、ユーザが指１０１を静電容量式タッチパネル３１ａから遠ざけた状態で、フリック操作を行った場合、制御部５３は、表示部１６に表示されている地球儀１５１を高速で回転して表示する制御を行う。これに対し、静電容量式タッチパネル３１ａでの静電容量の変化量が増加した場合、即ち、ユーザが指１０１を静電容量式タッチパネル３１ａに近づけた状態で、フリック操作を行った場合、制御部５３は、表示部１６に表示されている地球儀１５１を低速で回転して表示する制御を行う。
As illustrated in FIG. 15A, when the user moves the
On the other hand, as illustrated in FIG. 15A, when the user moves the
As shown in FIG. 15B, when the user performs a flick operation with the distance between the
On the other hand, as shown in FIG. 15B, when the user performs a touch operation by bringing the
That is, when the user moves the
Further, when the user performs a flick operation with the distance between the
In the present embodiment, control is performed to enlarge or reduce the
以上、本発明の第６実施形態に係る情報処理装置１について説明した。
次に、本発明の第７実施形態に係る情報処理装置１について説明する。
The information processing apparatus 1 according to the sixth embodiment of the present invention has been described above.
Next, an information processing apparatus 1 according to the seventh embodiment of the present invention will be described.
［第７実施形態］
次に、図１６を参照して、このような図２の機能的構成の情報処理装置１が実行する第７実施形態の入力操作受付処理について説明する。第７実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、文字認識アルゴリズムにより取得される変換候補の文字として小文字を選択したり、大文字を選択したり、するなど異なる文字種を選択する処理が行われる。
図１６は、図２の機能的構成を有する図１の情報処理装置１が実行する第７実施形態の入力操作受付処理の流れを説明するフローチャートである。
[Seventh Embodiment]
Next, with reference to FIG. 16, the input operation reception process of the seventh embodiment executed by the information processing apparatus 1 having the functional configuration of FIG. 2 will be described. In the seventh embodiment, depending on whether or not the user has performed a touch operation on the
FIG. 16 is a flowchart for explaining the flow of the input operation reception process of the seventh embodiment executed by the information processing apparatus 1 of FIG. 1 having the functional configuration of FIG.
入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。 The input operation accepting process is started when a power button (not shown) of the information processing apparatus 1 is pressed by the user, and the following process is repeatedly executed.
ステップＳ１３１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１３１においてＮＯであると判定されて、処理はステップＳ１３１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１３１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１３１においてＹＥＳであると判定されて、処理はステップＳ１３２に進む。
In step S <b> 131, the input
ステップＳ１３２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ１３２においてＹＥＳであると判定されて、処理は、ステップＳ１３３に進む。
In step S132, the
ステップＳ１３３において、入力操作受付部５１は、タッチダウンからタッチアップまでの間に移動した指の各々の位置の座標を取得する。そして、制御部５３は、入力操作受付部５１により取得された各々の位置の座標の軌跡に基づき軌跡データを作成する。尚、制御部５３は、作成した軌跡データに対応する文字ストロークを表示部１６に表示する制御を行う。
In step S133, the input
ステップＳ１３４において、制御部５３は、ステップＳ１３３において作成された軌跡データに基づいて、パターンマッチングなどにより、公知の文字認識アルゴリズムに基づき複数の変換候補の文字を取得する。
In step S134, the
ステップＳ１３５において、制御部５３は、ステップＳ１３４において取得した複数の変換候補の文字から小文字を選択する。そして、制御部５３は、選択した小文字を表示部１６に表示する制御を行う。変換候補の文字から小文字を選択する具体例については、後述の図１７を参照して説明する。この処理が終了すると、処理はステップＳ１３９に進む。ステップＳ１３９以降の処理については、後述する。
In step S135, the
静電容量式タッチパネル３１ａでタッチ操作を受け付けられていない場合には、ステップＳ１３２においてＮＯであると判定されて、処理は、ステップＳ１３６に進む。
When the touch operation is not accepted on the
ステップＳ１３６において、入力操作受付部５１は、タッチダウンからタッチアップまでの間に移動した指の各々の位置の座標を取得する。そして、制御部５３は、入力操作受付部５１により取得された各々の位置の座標の軌跡に基づき軌跡データを作成する。尚、制御部５３は、作成した軌跡データに対応する文字ストロークを表示部１６に表示する制御を行う。
In step S136, the input
ステップＳ１３７において、制御部５３は、ステップＳ１３６において作成された軌跡データに基づいて、パターンマッチングなどにより、公知の文字認識アルゴリズムに基づき複数の変換候補の文字を取得する。
In step S137, the
ステップＳ１３８において、制御部５３は、ステップＳ１３７において取得した複数の変換候補の文字から大文字を選択する。そして、制御部５３は、選択した大文字を表示部１６に表示する制御を行う。変換候補の文字から大文字を選択する具体例については、後述の図１７を参照して説明する。この処理が終了すると、処理はステップＳ１３９に進む。
In step S138, the
ステップＳ１３９において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１３９においてＮＯであると判定されて、処理はステップＳ１３１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１３１乃至Ｓ１３９の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、文字認識アルゴリズムにより取得される変換候補の文字として小文字か大文字かを選択して表示する制御を行うことができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１３９においてＹＥＳであると判定されて、入力操作受付処理は終了となる。
In step S139, the
In this way, the user repeats the touch operation on the
次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
指１０１と入力部１７の距離の違いに応じて、変換候補の文字から小文字又は大文字のうち何れかの文字（オブジェクトの一種）を選択する例について図１７を参照して説明する。
図１７は、タッチダウンからタッチアップまでの間に移動した指の各々の位置の座標に基づき作成された軌跡データに対応する文字ストローク１６１の表示例を示す図である。
制御部５３は、入力操作受付部５１により取得された各々の位置の座標の軌跡に基づき軌跡データを作成し、作成した軌跡データを公知の文字認識アルゴリズムに基づきパターンマッチングなどを行い、複数の変換候補の文字を取得する。
ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチアップからタッチダウンまでの間に指を移動した場合、即ち、静電容量式タッチパネル３１ａに対してタッチ操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１３の処理を実行する。これに対し、ユーザが、入力部１７と指１０１との間の距離を略０にした（接触した）状態でタッチアップからタッチダウンまでの間に指を移動した場合、即ち、抵抗膜式タッチパネル３１ｂに対してタッチ操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１４の処理を実行する。
即ち、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、制御部５３は、文字認識アルゴリズムに基づき選択される文字として小文字を選択する。これに対し、ユーザが、入力部１７と指１０１との間の距離を略０にした状態でタッチ操作をした場合、制御部５３は、文字認識アルゴリズムに基づき選択される文字として大文字を選択する。
なお、本実施形態においては、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かに基づいて、変換候補の文字から小文字を選択したり大文字を選択したりしていたがこれに限られるものではない。例えば、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かに基づいて濁点（半濁点）と、濁点がない通常の文字のうち何れかの文字を選択したり、通常の「つ」と、小書きの「っ」とのうち何れかの文字を選択することができる。具体的には、静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合、即ち、ユーザが指１０１をタッチパネル３１から遠ざけた状態で、タッチ操作をした場合、制御部５３は、変換候補から、濁点（半濁点）の文字や小書きの「っ」を選択する。これに対し、静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合、即ち、ユーザが指１０１を抵抗膜式タッチパネル３１ｂに接触させた状態で、タッチ操作をした場合、制御部５３は、変換候補から、濁点や小書きでない通常の文字を選択する。
Next, a specific example of processing related to an object according to an operation on the
An example of selecting either lowercase or uppercase characters (a type of object) from the conversion candidate characters according to the difference in the distance between the
FIG. 17 is a diagram illustrating a display example of the
The
When the user moves his / her finger from touch-up to touch-down while the distance between the
That is, when the user performs a touch operation in a state where the distance between the
In the present embodiment, a lowercase letter or an uppercase letter is selected from the conversion candidate characters based on whether or not a touch operation is accepted on the
以上、本発明の第７実施形態に係る情報処理装置１について説明した。
次に、本発明の第８実施形態に係る情報処理装置１について説明する。
The information processing apparatus 1 according to the seventh embodiment of the present invention has been described above.
Next, an information processing apparatus 1 according to the eighth embodiment of the present invention will be described.
［第８実施形態］
次に、図１８及び図１９を参照して、このような図２の機能的構成の情報処理装置１が実行する第８実施形態の入力操作受付処理について説明する。第８実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮影を行ったり、抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づき撮影を行ったり、するなどの処理が行われる。
情報処理装置１により第８実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図１８は、図２の機能的構成を有する図１の情報処理装置１が実行する第８実施形態の入力操作受付処理の流れを説明するフローチャートである。
[Eighth Embodiment]
Next, with reference to FIG. 18 and FIG. 19, the input operation reception process of the eighth embodiment executed by the information processing apparatus 1 having the functional configuration of FIG. 2 will be described. In the eighth embodiment, depending on whether or not the user has performed a touch operation on the
When the input operation acceptance process of the eighth embodiment is executed by the information processing apparatus 1, the functional blocks shown in FIG. 2 function in the
FIG. 18 is a flowchart for explaining the flow of the input operation reception process of the eighth embodiment executed by the information processing apparatus 1 of FIG. 1 having the functional configuration of FIG.
入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。 The input operation accepting process is started when a power button (not shown) of the information processing apparatus 1 is pressed by the user, and the following process is repeatedly executed.
ステップＳ１５１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１５１においてＮＯであると判定されて、処理はステップＳ１５１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１５１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１５１においてＹＥＳであると判定されて、処理はステップＳ１５２に進む。
In step S <b> 151, the input
ステップＳ１５２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ１５２においてＹＥＳであると判定されて、処理は、ステップＳ１５３に進む。
In step S152, the
ステップＳ１５３において、制御部５３は、静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮像処理を行う制御を行う。静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮像処理を行う具体例については、後述の図１９を参照して説明する。この処理が終了すると、処理はステップＳ１５５に進む。ステップＳ１５５以降の処理については、後述する。
In step S153, the
静電容量式タッチパネル３１ａでタッチ操作を受け付けられていない場合には、ステップＳ１５２においてＮＯであると判定されて、処理は、ステップＳ１５４に進む。
When the touch operation is not accepted on the
ステップＳ１５４において、制御部５３は、抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づき撮像処理を行う制御を行う。抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づき撮像処理を行う具体例については、後述の図１９を参照して説明する。この処理が終了すると、処理はステップＳ１５５に進む。
In step S154, the
ステップＳ１５５において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１５５においてＮＯであると判定されて、処理はステップＳ１５１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１５１乃至Ｓ１５５の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、抵抗膜式タッチパネル３１ｂ又は静電容量式タッチパネル３１ａのうち何れかに対するタッチ操作に基づき撮像処理を開始する制御を行うことができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１５５においてＹＥＳであると判定されて、入力操作受付処理は終了となる。
In step S155, the
In this manner, the user repeats the touch operation on the
次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
指１０１と入力部１７の距離の違いに応じて、静電容量式タッチパネル３１ａ（オブジェクトの一種）又は抵抗膜式タッチパネル３１ｂ（オブジェクトの他の一種）に基づき撮像処理を行う制御を行う例について図１９を参照して説明する。
図１９は、図１の情報処理装置の入力部１７に対しタッチ操作がなされた状態を示す図である。
本実施形態においては、入力部１７のうち、静電容量式タッチパネル３１ａは、表示部１６の略全体に配置されているのに対し、抵抗膜式タッチパネル３１ｂは、表示部１６の右側に配置された所定のエリア１７１にのみ配置されている。
Next, a specific example of processing related to an object according to an operation on the
FIG. 6 is a diagram illustrating an example in which control is performed to perform imaging processing based on a
FIG. 19 is a diagram illustrating a state in which a touch operation has been performed on the
In the present embodiment, among the
ユーザが、入力部１７と指１０１との間の距離が０でタッチ操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してタッチ操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１５の処理を実行する。
これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してタッチ操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１６の処理を実行する。
ここで、第１５の処理と第１６の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、静電容量式タッチパネル３１ａ（オブジェクトの一種）に対するタッチ操作に基づき撮像を行う撮像処理が第１５の処理として採用されている。また、抵抗膜式タッチパネル３１ｂ（オブジェクトの別の一種）に対するタッチ操作に基づき撮像（オブジェクトの一種）を行う撮像処理が第１６の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０でタッチ操作をした場合、制御部５３は、抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づき撮像を行う制御を実行する。これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、制御部５３は、静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮像を行う制御を実行する。
静電容量式タッチパネル３１ａは、軽快な操作感で操作することができる一方で、水中又は水滴が付いている状態では感度が落ちてしまい操作ができなくなってしまう。本実施形態においては、地上では、静電容量式タッチパネル３１ａによる軽快な操作感で撮像を指示することができるとともに、水中や水滴が付着される環境下においては、抵抗膜式タッチパネル３１ｂによる確実な操作感で撮像を指示することができる。
When the user performs a touch operation when the distance between the
On the other hand, when the user performs a touch operation in a state where the distance between the
Here, the fifteenth process and the sixteenth process may be any processes as long as they are different from each other, but in the present embodiment, the fifteenth process and the sixteenth process are based on a touch operation on the
That is, when the user performs a touch operation when the distance between the
While the
以上、本発明の第８実施形態に係る情報処理装置１について説明した。
次に、本発明の第９実施形態に係る情報処理装置１について説明する。
The information processing apparatus 1 according to the eighth embodiment of the present invention has been described above.
Next, an information processing apparatus 1 according to the ninth embodiment of the present invention will be described.
［第９実施形態］
次に、図２０及び図２１を参照して、このような図２の機能的構成の情報処理装置１が実行する第９実施形態の入力操作受付処理について説明する。第９実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、連続撮影を開始したり、連続撮影を停止したり、するなどの処理が行われる。連続撮影とは、撮像部１８により連続して撮像される撮像画像のデータを、バッファ（図示せず）に一次的に記憶する処理をいう。また、連続撮影を停止するとは、連続撮影によりバッファに一時的に記憶されている撮像画像のデータを記憶部１９又はリムーバブルメディア４１に記録し、連続した撮像を停止する処理をいう。
情報処理装置１により第９実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図２０は、図２の機能的構成を有する図１の情報処理装置１が実行する第９実施形態の入力操作受付処理の流れを説明するフローチャートである。
[Ninth Embodiment]
Next, with reference to FIG. 20 and FIG. 21, an input operation reception process of the ninth embodiment executed by the information processing apparatus 1 having the functional configuration of FIG. 2 will be described. In the ninth embodiment, depending on whether or not the user has performed a touch operation on the
When the input operation accepting process of the ninth embodiment is executed by the information processing apparatus 1, the functional blocks in FIG. 2 function in the
FIG. 20 is a flowchart for explaining the flow of the input operation reception process of the ninth embodiment executed by the information processing apparatus 1 of FIG. 1 having the functional configuration of FIG.
入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。 The input operation accepting process is started when a power button (not shown) of the information processing apparatus 1 is pressed by the user, and the following process is repeatedly executed.
ステップＳ１７１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１７１においてＮＯであると判定されて、処理はステップＳ１７１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１７１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１７１においてＹＥＳであると判定されて、処理はステップＳ１７２に進む。
In step S <b> 171, the input
ステップＳ１７２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ１７２においてＹＥＳであると判定されて、処理は、ステップＳ１７３に進む。
In step S172, the
ステップＳ１７３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、連続撮影を開始する制御を行う。連続撮影を開始する具体例については、後述の図２１を参照して説明する。この処理が終了すると、処理はステップＳ１７４に進む。
In step S173, the
ステップＳ１７４において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１７４においてＮＯであると判定されて、処理はステップＳ１７１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１７１乃至Ｓ１７４の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、静電容量式タッチパネル３１ａに対するタッチ操作を継続することで、連続撮影を継続して行うことができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１７４においてＹＥＳであると判定されて、入力操作受付処理は終了となる。
In step S174, the
In this way, the user can continuously perform continuous shooting by continuing the touch operation on the
静電容量式タッチパネル３１ａでタッチ操作を受け付けられていない場合には、ステップＳ１７２においてＮＯであると判定されて、処理は、ステップＳ１７５に進む。
When the touch operation is not accepted on the
ステップＳ１７５において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断して、連続撮影を停止する制御を行う。連続撮影を停止する具体例については、後述の図２１を参照して説明する。この処理が終了すると、入力操作受付処理は終了となる。
In step S175, the
次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
図２１は、図１の情報処理装置１の入力部１７に対しタッチ操作がなされた状態を示す図である。本実施形態においては、入力部１７は表示部１６の右側端部近辺に配置されている。
Next, a specific example of processing related to an object according to an operation on the
FIG. 21 is a diagram illustrating a state in which a touch operation has been performed on the
ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してタッチ操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａ（オブジェクトの一種）でタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１７の処理を実行する。
これに対し、ユーザが、入力部１７と指１０１との間の距離が０でタッチ操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してタッチ操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂ（オブジェクトの他の一種）でタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１８の処理を実行する。
ここで、第１７の処理と第１８の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、静電容量式タッチパネル３１ａに対するタッチ操作に基づき連続撮影を開始する処理が第１７の処理として採用されている。また、抵抗膜式タッチパネル３１ｂに対するタッチ操作に連続撮影を停止する処理が第１８の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、制御部５３は、連続撮影を開始し、静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮像画像のデータをバッファ（図示せず）に一時的に連続して記憶していく。そして、ユーザが、入力部１７と指１０１との間の距離が０でタッチ操作をした場合、制御部５３は、抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づきバッファに記憶されている撮像画像のデータをリムーバブルメディア４１に記憶する。制御部５３は、撮像画像のデータをリムーバブルメディア４１に記憶することにより連続撮影を停止する。これにより、ユーザが撮影を意識した時点から撮影するまでを連続撮影し、ユーザが撮影するタイミングと実際に撮影されるタイミングとのズレを解消することで、シャッターチャンスを逃すことなくユーザが所望する撮影タイミングで撮影することができる。
When the user performs a touch operation in a state where the distance between the
On the other hand, when the user performs a touch operation with the distance between the
Here, the 17th process and the 18th process may be arbitrary processes as long as they are different from each other, but in this embodiment, continuous shooting is started based on a touch operation on the
That is, when the user performs a touch operation in a state where the distance between the
以上説明したように、本実施形態の情報処理装置１は、入力操作受付部５１と、距離特定部５２と、制御部５３と、を備える。
入力操作受付部５１は、タッチパネル３１が積層された表示部１６の表示面（２次元平面）に略平行な物体の移動を、タッチパネル３１に対するタッチ操作として受け付ける。
距離特定部５２は、タッチ操作がなされた場合の物体についての、表示部１６の表示面（２次元平面）からの距離を検出する。
制御部５３は、入力操作受付部５１により受け付けられたタッチ操作の種類（物体の移動の軌跡に応じて異なる種類）と、距離特定部５２により検出された物体の表示部１６の表示面からの法線方向の距離に基づいて、表示されたオブジェクトに関する処理の実行を可変制御する。
これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作（指や手といった物体を移動させるという直感的なタッチ操作）を行うだけで、オブジェクトに関する処理の各種指示を行うことができる。これにより、タッチパネル３１に不慣れなユーザであっても容易にオブジェクトの処理を指示することができる。
As described above, the information processing apparatus 1 according to the present embodiment includes the input
The input
The
The
As a result, even a user who is not familiar with the operation on the
さらに、本実施形態の情報処理装置１の制御部５３は、入力操作受付部５１により受け付けられたタッチ操作（移動操作）の種類、及び距離特定部５２により特定された距離に基づいて、複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応付けられた、オブジェクトに関する処理を制御するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、オブジェクトに関する処理の各種指示を行うことができる。これにより、タッチパネル３１に不慣れなユーザであっても容易にオブジェクトの処理を指示することができる。
Furthermore, the
さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるオブジェクトのページ送り又は別オブジェクトの読み込みの何れかの制御を実行するようにした。
これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、表示部１６に表示されている漫画のコンテンツのページ送りをしたり、現在表示されている漫画のコンテンツに代えて次の巻のコンテンツに変えることができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されているコンテンツの制御を変更して指示することができる。
Furthermore, the
Thus, even a user who is not familiar with the operation on the
さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるオブジェクトの任意の角度への回転又は規定の角度への回転の何れかの制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、表示部１６に表示されている絵の角度をきめ細かく任意の角度へ回転したり、予め設定された規定の角度へ大まかに回転したりすることができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されているオブジェクトの回転角度を指示することができる。
Furthermore, the
さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、３Ｄ画面を表示する為の複数の層に配置されたボタンのうち、何れかの層に配置されたボタンに対する押下処理の制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、３Ｄコンテンツを表示する為の上位階層に配置されたボタンに対する押下処理をしたり、下位階層に配置されたボタンに対する押下処理をしたりすることができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されている複数の層に配置されたボタンに対する押下処理を指示することができる。
Furthermore, the
さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示される複数のファイルを選択するか又は一部のファイルのみを移動するか何れかの制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、ファイル管理ソフトなどにより、表示部１６に表示されている特定の範囲内にある複数のファイルを選択したり、一部のファイルのみを選択したりすることができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されたページやファイルの制御の変更を指示することができる。
Furthermore, the
さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるファイルを同カテゴリの別ファイルにするか別カテゴリの別ファイルにするかの何れかの制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、電子カタログ中の表示部１６に表示されている同じカテゴリの商品を別の色の商品のファイルに変更して表示したり、別の商品のファイルに変更して表示したり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に商品などのオブジェクトを変更して表示する制御を指示することができる。
Furthermore, the
さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるオブジェクトを拡大したり、縮小して表示する制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、表示部１６に表示された３Ｄコンテンツ（例えば、地球儀）を自由に拡大して表示したり、縮小して表示したり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されているコンテンツの大きさを変更して表示する制御を指示することができる。
Further, the
さらに、本実施形態の情報処理装置１の制御部５３は、３次元方向の移動に応じて、オブジェクトを回転するか又は選択するかの何れかを制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、表示部１６に表示された回転自由な３Ｄコンテンツ（例えば、地球儀）を自由に回転して表示したり、選択して表示したり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されている３Ｄコンテンツなどの制御の変更を指示することができる。
Furthermore, the
さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、大文字と小文字とで略同じの筆跡の文字（例えば、“Ｃ”と“ｃ”、“Ｏ”と“ｏ”など）が手書き入力される場合であっても、文字認識の結果に基づき取得される変換候補として大文字の文字種を選択したり、小文字の文字種を選択したり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に変換候補の文字種を指定することができる。
Furthermore, the
さらに、本実施形態の情報処理装置１は、被写体を撮像する撮像部１８を備える。そして、制御部５３は、距離特定部５２により特定された距離に応じて、積層されたタッチパネル３１を構成する複数のパネルのうち、何れかのタッチパネル３１に基づく指示により撮像部１８を制御して撮像するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、タッチパネルの特性（例えば、水に強いタッチパネルや、感応性に優れたタッチパネルなど）に応じたタッチパネルを選択して撮像することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に最適なタッチパネルを選択して撮影の指示をすることができる。
Furthermore, the information processing apparatus 1 according to the present embodiment includes an
さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、撮像部１８により連続撮影を開始するか又は前記連続撮影を停止するかのうち、何れかの制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、シャッターチャンスを伺うために連続撮影を開始したり、連続撮影中の一瞬のシャッターチャンスにおいて撮影をするために、連続撮影を停止させたり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に最適なシャッタータイミングでの撮影を指示することができる。
Further, the
さらに、本実施形態の情報処理装置１のタッチパネル３１は、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとにより構成されている。
この場合、静電容量式タッチパネル３１ａの表面により、抵抗膜式タッチパネル３１ｂを保護することができる。さらに、静電容量式タッチパネル３１ａにより、非接触状態でもタッチ操作がなされた位置の座標及び、指１０１と静電容量式タッチパネル３１ａとの距離を検出することができるとともに、接触した場合には、抵抗膜式タッチパネル３１ｂにより、より詳細にタッチ操作がなされた位置の座標を検出することができる。
Furthermore, the
In this case, the
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。 It should be noted that the present invention is not limited to the above-described embodiment, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention.
上述の実施形態では、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂは、表示部１６のディスプレイの表示画面全体にその順番で積層されているがこの限りではない。例えば、抵抗膜式タッチパネル３１ｂと、静電容量式タッチパネル３１ａと、はその順番で表示部１６のディスプレイの表示画面全体にその順番で積層されてもよい。
In the above-described embodiment, the
また上述の実施形態では、距離特定部５２は、入力部１７を構成する静電容量式タッチパネル３１ａの静電容量の変化から入力部１７と手や指などとの距離を複数特定しているがこの限りではない。例えば、距離特定部５２は、図示せぬ超音波センサ、赤外線センサ、撮像装置、などにより検出された距離を特定してもよい。
In the above-described embodiment, the
換言すると、上述した実施形態では、入力操作受付部５１は、表示部１６の表示画面（２次元平面）に略平行な方向の、物体（手や指など）の２次元上の位置の移動の操作を、タッチ操作として受け付けた。また、距離特定部５２は、物体の表示画面からの距離、即ち、表示画面の垂線と略平行な方向の物体の位置を検出した。
してみると、上述した実施形態とは、入力操作受付部５１及び距離特定部５２が、表示部１６の表示画面を基準平面として、基準平面に対する３次元方向の物体の移動の操作を受け付けていることとなど価である。そこで、入力操作受付部５１及び距離特定部５２をまとめて、以下、「３次元操作受付部」と呼ぶ。
この場合、基準平面は、表示部１６の表示画面である必要は特になく、任意の平面でよい。この場合、基準平面は、ユーザから肉眼視できる平面を採用する必要はなく、何らかの物体内の平面を採用してもよいし、仮想的な平面を基準平面として定義してもよい。
また、物体の３次元上の位置を測定する３次元位置検出部は、上述の実施形態では静電容量式タッチパネル３１ａ及び抵抗膜式タッチパネル３１ｂとして構成されたが、特にこれに限定されず、任意の種類の任意の個数の位置検出部を組み合わせて構成することができる。ここで、上述の距離とは、基準面の法線方向の物体の位置に他ならないので、距離を検出することは、基準面の法線方向の位置を検出することに他ならない。
In other words, in the above-described embodiment, the input
Accordingly, in the embodiment described above, the input
In this case, the reference plane need not be a display screen of the
In addition, the three-dimensional position detection unit that measures the three-dimensional position of the object is configured as the
以上まとめると、本発明が適用される情報処理装置とは、次のような機能を有していれば足り、その実施形態は上述の実施形態に特に限定されない。
即ち、本発明が適用される情報処理装置とは、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
時間的に離間して複数回検出された物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
受け付けられた指示操作に応じて、当該オブジェクトに関する処理を可変制御する制御機能と、
を有している。
In summary, the information processing apparatus to which the present invention is applied only needs to have the following functions, and the embodiment is not particularly limited to the above-described embodiment.
That is, the information processing apparatus to which the present invention is applied is
A three-dimensional position detection function for detecting the position of an object in a three-dimensional direction with respect to a reference plane;
3D operation acceptance that recognizes the movement of the object in the 3D direction based on each position in the 3D direction detected multiple times apart in time and accepts the recognition result as an instruction operation for the object Function and
A control function for variably controlling processing related to the object in accordance with the received instruction operation;
have.
また、上述の実施形態では、入力部１７と指１０１との距離に応じて表示部１６のディスプレイに表示されるアイコンの表示率を変更していたがこれに限られない。例えば、入力部１７と指１０１との距離に応じて指１０１に近接する箇所にセンターリングして表示されるようにしてもよい。
In the above-described embodiment, the display rate of the icon displayed on the display of the
また、上述の実施形態では、本発明が適用される情報処理装置１は、スマートフォンを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、デジタルカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機などに適用可能である。
Further, in the above-described embodiment, the information processing apparatus 1 to which the present invention is applied has been described using a smartphone as an example, but is not particularly limited thereto.
For example, the present invention can be applied to general electronic devices having an imaging function. Specifically, for example, the present invention can be applied to a notebook personal computer, a printer, a television receiver, a video camera, a digital camera, a portable navigation device, a mobile phone, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the information processing apparatus 1 has a function capable of executing the above-described series of processing as a whole, and what functional block is used to realize this function is not particularly limited to the example of FIG. .
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア４１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディア４１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスクなどで構成される。
The recording medium including such a program is not only configured by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall device configured by a plurality of devices, a plurality of means, and the like.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均などの範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in the present specification and the like, and are included in the scope of the invention described in the claims and the average.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出手段と、
前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受付手段と、
前記３次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備えることを特徴とする情報処理装置。
［付記２］
前記３次元位置検出手段は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルを含み、
前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
前記３次元操作受け付け手段は、
前記表示画面に略平行な２次元方向の物体の移動操作を受け付ける入力操作受付手段と、
前記物体の前記表示画面からの法線方向の距離を特定する距離特定手段と、
を含み、
前記制御手段は、
前記入力操作受付手段により受け付けられた移動操作、及び前記距離特定手段により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御する
ことを特徴とする付記１に記載の情報処理装置。
［付記３］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトのページ送り又は別のオブジェクトの読み込みの何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記４］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトの任意の角度への回転又は規定の角度への回転の何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記５］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数の層に配置されたオブジェクトのうち、何れかの層に配置された前記オブジェクトに対する押下処理の制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記６］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数のオブジェクトを選択するか又は前記複数のオブジェクトのうち一部のオブジェクトのみを移動するかの何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記７］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを同カテゴリの別ファイルを表示するか別カテゴリの別ファイルを表示するかの何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記８］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを拡大又は縮小して表示する制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記９］
前記制御手段は、
前記３次元操作受け付け手段により認識された前記物体の３次元方向の移動に応じて、前記オブジェクトを回転するか又は選択するかの何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記１０］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記１１］
被写体を撮像する撮像手段をさらに備え、
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記積層されたタッチパネルを構成する複数のパネルのうち、何れかのタッチパネルに基づく指示により前記撮像手段を制御して撮像する制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記１２］
被写体を撮像する撮像手段をさらに備え、
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記撮像手段により連続撮影を開始するか又は前記連続撮影を停止するかのうち、何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記１３］
オブジェクトに関する処理を制御する情報処理装置が実行する情報処理方法において、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出ステップと、
前記３次元位置検出ステップにより時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付けステップと、
前記３次元操作受け付けステップにより受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
を含むことを特徴とする情報処理方法。
［付記１４］
オブジェクトに関する処理を制御する情報処理装置を制御するコンピュータに、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
前記３次元位置検出機能により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
前記３次元操作受け付け機能により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
を含む情報処理を実行させるプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Three-dimensional position detection means for detecting the position of an object in a three-dimensional direction with respect to a reference plane;
Based on each position in the three-dimensional direction of the object detected a plurality of times at a time interval by the three-dimensional position detecting means, the movement of the object in the three-dimensional direction is recognized, and the recognition result is determined for the object. Three-dimensional operation accepting means for accepting as an instruction operation;
Control means for variably controlling processing related to the object in accordance with the instruction operation received by the three-dimensional operation receiving means and a distance of the object in a normal direction from the reference plane;
An information processing apparatus comprising:
[Appendix 2]
The three-dimensional position detection means includes a touch panel stacked on the display screen using the display screen as a reference plane,
As the process related to the object, a plurality of types of touch operations associated with different processes are respectively assigned according to the distance in the normal direction of the display screen,
The three-dimensional operation receiving means
An input operation receiving means for receiving a movement operation of an object in a two-dimensional direction substantially parallel to the display screen;
Distance specifying means for specifying a distance in a normal direction from the display screen of the object;
Including
The control means includes
Based on the movement operation received by the input operation receiving means and the distance specified by the distance specifying means, the touch operation executed among the plurality of types of touch operations is recognized, and the touch operation is supported. The information processing apparatus according to appendix 1, wherein processing related to the object is controlled.
[Appendix 3]
The control means includes
The information processing according to
[Appendix 4]
The control means includes
The control device according to
[Appendix 5]
The control means includes
Controlling the pressing process for the object arranged in any one of the objects arranged in a plurality of layers displayed on the display screen according to the distance specified by the distance specifying means. The information processing apparatus according to
[Appendix 6]
The control means includes
Control whether to select a plurality of objects displayed on the display screen or move only a part of the plurality of objects according to the distance specified by the distance specifying means. The information processing apparatus according to
[Appendix 7]
The control means includes
Depending on the distance specified by the distance specifying means, the object displayed on the display screen is controlled to display either another file of the same category or another file of another category. The information processing apparatus according to
[Appendix 8]
The control means includes
The information processing apparatus according to
[Appendix 9]
The control means includes
The control unit according to
[Appendix 10]
The control means includes
The information processing apparatus according to
[Appendix 11]
It further comprises an imaging means for imaging the subject,
The control means includes
Executing control for imaging by controlling the imaging unit according to an instruction based on any one of the plurality of panels constituting the stacked touch panel according to the distance specified by the distance specifying unit. The information processing apparatus according to
[Appendix 12]
It further comprises an imaging means for imaging the subject,
The control means includes
The
[Appendix 13]
In an information processing method executed by an information processing apparatus that controls processing related to an object,
A three-dimensional position detecting step for detecting a position of the object in a three-dimensional direction with respect to a reference plane;
Based on the respective positions in the three-dimensional direction of the object detected a plurality of times apart in time by the three-dimensional position detection step, the movement of the object in the three-dimensional direction is recognized, and the recognition result is determined for the object. A three-dimensional operation reception step for receiving an instruction operation;
A control step of variably controlling the processing related to the object according to the instruction operation received by the three-dimensional operation reception step and the distance of the object in the normal direction from the reference plane;
An information processing method comprising:
[Appendix 14]
To a computer that controls an information processing apparatus that controls processing related to an object,
A three-dimensional position detection function for detecting the position of an object in a three-dimensional direction with respect to a reference plane;
Based on each position in the three-dimensional direction of the object detected a plurality of times separated by the three-dimensional position detection function in time, the movement of the object in the three-dimensional direction is recognized, and the recognition result is determined for the object. A three-dimensional operation reception function that receives an instruction operation;
A control function for variably controlling the processing related to the object in accordance with the instruction operation received by the three-dimensional operation reception function and the distance of the object in the normal direction from the reference plane;
A program that executes information processing including
１・・・情報処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・表示部、１７・・・入力部、１８・・・記憶部、１９・・・通信部、２０・・・ドライブ、３１・・・タッチパネル、３１ａ・・・静電容量式タッチパネル、３１ｂ・・・抵抗膜式タッチパネル、４１・・・リムーバブルメディア、５１・・・入力操作受付部、５２・・・距離特定部、５３・・・制御部 DESCRIPTION OF SYMBOLS 1 ... Information processing apparatus, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input / output interface, 16 ... Display part, 17 ... -Input part, 18 ... Storage part, 19 ... Communication part, 20 ... Drive, 31 ... Touch panel, 31a ... Capacitive touch panel, 31b ... Resistive touch panel, 41 ... Removable media, 51 ... Input operation accepting part, 52 ... Distance specifying part, 53 ... Control part
Claims (14)
前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受付手段と、
前記３次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備えることを特徴とする情報処理装置。 Three-dimensional position detection means for detecting the position of an object in a three-dimensional direction with respect to a reference plane;
Based on each position in the three-dimensional direction of the object detected a plurality of times at a time interval by the three-dimensional position detecting means, the movement of the object in the three-dimensional direction is recognized, and the recognition result is determined for the object. Three-dimensional operation accepting means for accepting as an instruction operation;
Control means for variably controlling processing related to the object in accordance with the instruction operation received by the three-dimensional operation receiving means and a distance of the object in a normal direction from the reference plane;
An information processing apparatus comprising:
前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
前記３次元操作受け付け手段は、
前記表示画面に略平行な２次元方向の物体の移動操作を受け付ける入力操作受付手段と、
前記物体の前記表示画面からの法線方向の距離を特定する距離特定手段と、
を含み、
前記制御手段は、
前記入力操作受付手段により受け付けられた移動操作、及び前記距離特定手段により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御する
ことを特徴とする請求項１に記載の情報処理装置。 The three-dimensional position detection means includes a touch panel stacked on the display screen using the display screen as a reference plane,
As the process related to the object, a plurality of types of touch operations associated with different processes are respectively assigned according to the distance in the normal direction of the display screen,
The three-dimensional operation receiving means
An input operation receiving means for receiving a movement operation of an object in a two-dimensional direction substantially parallel to the display screen;
Distance specifying means for specifying a distance in a normal direction from the display screen of the object;
Including
The control means includes
Based on the movement operation received by the input operation receiving means and the distance specified by the distance specifying means, the touch operation executed among the plurality of types of touch operations is recognized, and the touch operation is supported. The information processing apparatus according to claim 1, wherein processing related to the object is controlled.
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトのページ送り又は別のオブジェクトの読み込みの何れかの制御を実行することを特徴とする請求項２に記載の情報処理装置。 The control means includes
3. The information according to claim 2, wherein either control of page turning of an object displayed on the display screen or reading of another object is executed according to the distance specified by the distance specifying means. Processing equipment.
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトの任意の角度への回転又は規定の角度への回転の何れかの制御を実行することを特徴とする請求項２に記載の情報処理装置。 The control means includes
The control of either rotation of the object displayed on the display screen to an arbitrary angle or rotation to a specified angle is executed according to the distance specified by the distance specifying means. 2. The information processing apparatus according to 2.
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数の層に配置されたオブジェクトのうち、何れかの層に配置された前記オブジェクトに対する押下処理の制御を実行することを特徴とする請求項２に記載の情報処理装置。 The control means includes
Controlling the pressing process for the object arranged in any one of the objects arranged in a plurality of layers displayed on the display screen according to the distance specified by the distance specifying means. The information processing apparatus according to claim 2.
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数のオブジェクトを選択するか又は前記複数のオブジェクトのうち一部のオブジェクトのみを移動するかの何れかの制御を実行することを特徴とする請求項２に記載の情報処理装置。 The control means includes
Control whether to select a plurality of objects displayed on the display screen or move only a part of the plurality of objects according to the distance specified by the distance specifying means. The information processing apparatus according to claim 2.
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを同カテゴリの別ファイルを表示するか別カテゴリの別ファイルを表示するかの何れかの制御を実行することを特徴とする請求項２に記載の情報処理装置。 The control means includes
Depending on the distance specified by the distance specifying means, the object displayed on the display screen is controlled to display either another file of the same category or another file of another category. The information processing apparatus according to claim 2.
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを拡大又は縮小して表示する制御を実行することを特徴とする請求項２に記載の情報処理装置。 The control means includes
The information processing apparatus according to claim 2, wherein control is performed to enlarge or reduce and display an object displayed on the display screen according to the distance specified by the distance specifying unit.
前記３次元操作受け付け手段により認識された前記物体の３次元方向の移動に応じて、前記オブジェクトを回転するか又は選択するかの何れかの制御を実行することを特徴とする請求項２に記載の情報処理装置。 The control means includes
3. The control of either rotating or selecting the object is executed according to the movement of the object recognized by the three-dimensional operation receiving unit in a three-dimensional direction. Information processing device.
前記距離特定手段により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする請求項２に記載の情報処理装置。 The control means includes
The information processing apparatus according to claim 2, wherein control is performed to select a different character type as a conversion candidate character acquired based on a character recognition result according to the distance specified by the distance specifying unit. .
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記積層されたタッチパネルを構成する複数のパネルのうち、何れかのタッチパネルに基づく指示により前記撮像手段を制御して撮像する制御を実行することを特徴とする請求項２に記載の情報処理装置。 It further comprises an imaging means for imaging the subject,
The control means includes
Executing control for imaging by controlling the imaging unit according to an instruction based on any one of the plurality of panels constituting the stacked touch panel according to the distance specified by the distance specifying unit. The information processing apparatus according to claim 2.
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記撮像手段により連続撮影を開始するか又は前記連続撮影を停止するかのうち、何れかの制御を実行することを特徴とする請求項２に記載の情報処理装置。 It further comprises an imaging means for imaging the subject,
The control means includes
3. The control according to claim 2, wherein either one of the continuous imaging by the imaging unit and the continuous imaging is stopped is executed according to the distance specified by the distance specifying unit. The information processing apparatus described.
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出ステップと、
前記３次元位置検出ステップにより時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付けステップと、
前記３次元操作受け付けステップにより受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
を含むことを特徴とする情報処理方法。 In an information processing method executed by an information processing apparatus that controls processing related to an object,
A three-dimensional position detecting step for detecting a position of the object in a three-dimensional direction with respect to a reference plane;
Based on the respective positions in the three-dimensional direction of the object detected a plurality of times apart in time by the three-dimensional position detection step, the movement of the object in the three-dimensional direction is recognized, and the recognition result is determined for the object. A three-dimensional operation reception step for receiving an instruction operation;
A control step of variably controlling the processing related to the object according to the instruction operation received by the three-dimensional operation reception step and the distance of the object in the normal direction from the reference plane;
An information processing method comprising:
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
前記３次元位置検出機能により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
前記３次元操作受け付け機能により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
を含む情報処理を実行させるプログラム。 To a computer that controls an information processing apparatus that controls processing related to an object,
A three-dimensional position detection function for detecting the position of an object in a three-dimensional direction with respect to a reference plane;
Based on each position in the three-dimensional direction of the object detected a plurality of times separated by the three-dimensional position detection function in time, the movement of the object in the three-dimensional direction is recognized, and the recognition result is determined for the object. A three-dimensional operation reception function that receives an instruction operation;
A control function for variably controlling the processing related to the object in accordance with the instruction operation received by the three-dimensional operation reception function and the distance of the object in the normal direction from the reference plane;
A program that executes information processing including
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012040193A JP5845969B2 (en) | 2012-02-27 | 2012-02-27 | Information processing apparatus, information processing method, and program |
| US13/489,917 US20120317516A1 (en) | 2011-06-09 | 2012-06-06 | Information processing device, information processing method, and recording medium |
| CN201210264466.3A CN102981644B (en) | 2011-06-09 | 2012-06-07 | Information processor and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012040193A JP5845969B2 (en) | 2012-02-27 | 2012-02-27 | Information processing apparatus, information processing method, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015229255A Division JP2016042383A (en) | 2015-11-25 | 2015-11-25 | User operation processing apparatus, user operation processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013175113A true JP2013175113A (en) | 2013-09-05 |
| JP5845969B2 JP5845969B2 (en) | 2016-01-20 |
Family
ID=49267948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012040193A Active JP5845969B2 (en) | 2011-06-09 | 2012-02-27 | Information processing apparatus, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5845969B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5993072B1 (en) * | 2015-08-27 | 2016-09-14 | レノボ・シンガポール・プライベート・リミテッド | Electronic device user interface, input processing method, and electronic device |
| WO2017038882A1 (en) * | 2015-09-01 | 2017-03-09 | 楽天株式会社 | Image display system, image display method, and image display program |
| JPWO2016021022A1 (en) * | 2014-08-07 | 2017-06-15 | 日立マクセル株式会社 | Projection-type image display device and control method thereof |
| JP6373537B1 (en) * | 2017-09-04 | 2018-08-15 | 株式会社ワコム | Spatial position indication system |
| US10162420B2 (en) | 2014-11-17 | 2018-12-25 | Kabushiki Kaisha Toshiba | Recognition device, method, and storage medium |
| US10296096B2 (en) | 2015-07-15 | 2019-05-21 | Kabushiki Kaisha Toshiba | Operation recognition device and operation recognition method |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07334308A (en) * | 1994-06-06 | 1995-12-22 | Nec Corp | Touch panel and coordinate detecting device utilizing the same |
| JP2000268187A (en) * | 1999-03-17 | 2000-09-29 | Fujitsu Ltd | Image processing device and method and recording medium recording image processing program |
| US20060161870A1 (en) * | 2004-07-30 | 2006-07-20 | Apple Computer, Inc. | Proximity detector in handheld device |
| JP2007287118A (en) * | 2006-03-23 | 2007-11-01 | Wacom Co Ltd | Information processor, operation input method, and sensing component |
| US20080111710A1 (en) * | 2006-11-09 | 2008-05-15 | Marc Boillot | Method and Device to Control Touchless Recognition |
| US20080168403A1 (en) * | 2007-01-06 | 2008-07-10 | Appl Inc. | Detecting and interpreting real-world and security gestures on touch and hover sensitive devices |
| JP2008210348A (en) * | 2007-02-28 | 2008-09-11 | Univ Of Tokyo | Image display device |
| JP2010026565A (en) * | 2008-07-15 | 2010-02-04 | Seiko Epson Corp | Display device and program |
| US20100095206A1 (en) * | 2008-10-13 | 2010-04-15 | Lg Electronics Inc. | Method for providing a user interface using three-dimensional gestures and an apparatus using the same |
| JP2011053971A (en) * | 2009-09-02 | 2011-03-17 | Sony Corp | Apparatus, method and program for processing information |
| JP2012033104A (en) * | 2010-08-02 | 2012-02-16 | Olympus Imaging Corp | Display device and imaging device |
-
2012
- 2012-02-27 JP JP2012040193A patent/JP5845969B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07334308A (en) * | 1994-06-06 | 1995-12-22 | Nec Corp | Touch panel and coordinate detecting device utilizing the same |
| JP2000268187A (en) * | 1999-03-17 | 2000-09-29 | Fujitsu Ltd | Image processing device and method and recording medium recording image processing program |
| US20060161870A1 (en) * | 2004-07-30 | 2006-07-20 | Apple Computer, Inc. | Proximity detector in handheld device |
| JP2007287118A (en) * | 2006-03-23 | 2007-11-01 | Wacom Co Ltd | Information processor, operation input method, and sensing component |
| US20080111710A1 (en) * | 2006-11-09 | 2008-05-15 | Marc Boillot | Method and Device to Control Touchless Recognition |
| US20080168403A1 (en) * | 2007-01-06 | 2008-07-10 | Appl Inc. | Detecting and interpreting real-world and security gestures on touch and hover sensitive devices |
| JP2008210348A (en) * | 2007-02-28 | 2008-09-11 | Univ Of Tokyo | Image display device |
| JP2010026565A (en) * | 2008-07-15 | 2010-02-04 | Seiko Epson Corp | Display device and program |
| US20100095206A1 (en) * | 2008-10-13 | 2010-04-15 | Lg Electronics Inc. | Method for providing a user interface using three-dimensional gestures and an apparatus using the same |
| JP2011053971A (en) * | 2009-09-02 | 2011-03-17 | Sony Corp | Apparatus, method and program for processing information |
| JP2012033104A (en) * | 2010-08-02 | 2012-02-16 | Olympus Imaging Corp | Display device and imaging device |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2016021022A1 (en) * | 2014-08-07 | 2017-06-15 | 日立マクセル株式会社 | Projection-type image display device and control method thereof |
| US10162420B2 (en) | 2014-11-17 | 2018-12-25 | Kabushiki Kaisha Toshiba | Recognition device, method, and storage medium |
| US10296096B2 (en) | 2015-07-15 | 2019-05-21 | Kabushiki Kaisha Toshiba | Operation recognition device and operation recognition method |
| JP5993072B1 (en) * | 2015-08-27 | 2016-09-14 | レノボ・シンガポール・プライベート・リミテッド | Electronic device user interface, input processing method, and electronic device |
| JP2017045298A (en) * | 2015-08-27 | 2017-03-02 | レノボ・シンガポール・プライベート・リミテッド | User interface of electronic device, input processing method, and electronic device |
| US10318047B2 (en) | 2015-08-27 | 2019-06-11 | Lenovo (Singapore) Pte. Ltd. | User interface for electronic device, input processing method, and electronic device |
| WO2017038882A1 (en) * | 2015-09-01 | 2017-03-09 | 楽天株式会社 | Image display system, image display method, and image display program |
| JP6110583B1 (en) * | 2015-09-01 | 2017-04-05 | 楽天株式会社 | Image display system, image display method, and image display program |
| JP6373537B1 (en) * | 2017-09-04 | 2018-08-15 | 株式会社ワコム | Spatial position indication system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5845969B2 (en) | 2016-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12073008B2 (en) | Three-dimensional object tracking to augment display area | |
| US20190278376A1 (en) | System and method for close-range movement tracking | |
| US9405404B2 (en) | Multi-touch marking menus and directional chording gestures | |
| JP5107453B1 (en) | Information processing apparatus, operation screen display method, control program, and recording medium | |
| JP5845969B2 (en) | Information processing apparatus, information processing method, and program | |
| US9696882B2 (en) | Operation processing method, operation processing device, and control method | |
| US20130335324A1 (en) | Computer vision based two hand control of content | |
| US9378427B2 (en) | Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device | |
| US10180714B1 (en) | Two-handed multi-stroke marking menus for multi-touch devices | |
| US20120317516A1 (en) | Information processing device, information processing method, and recording medium | |
| EP2972727A1 (en) | Non-occluded display for hover interactions | |
| JP2013025409A (en) | Information processor, operation screen display method, control program, and recording medium | |
| US9477398B2 (en) | Terminal and method for processing multi-point input | |
| Guimbretière et al. | Bimanual marking menu for near surface interactions | |
| KR102411868B1 (en) | Electronic apparatus and method for display graphic object the same | |
| US10331333B2 (en) | Touch digital ruler | |
| GB2531112B (en) | Optical digital ruler | |
| JP2016042383A (en) | User operation processing apparatus, user operation processing method, and program | |
| JP5360631B1 (en) | Fingertip detection method and fingertip detection user interface module | |
| US20220084287A1 (en) | Information processing apparatus, display device, information processing system, and non-transitory computer readable medium storing program | |
| KR20140086805A (en) | Electronic apparatus, method for controlling the same and computer-readable recording medium | |
| US20210349625A1 (en) | Using a touch input tool to modify content rendered on touchscreen displays | |
| CN114327229A (en) | Image-based gesture control method and electronic device using same | |
| TW202213040A (en) | Gesture control method based on image and electronic apparatus using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150811 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5845969 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |