JP2014095943A - Input system, input method and program for input - Google Patents
Input system, input method and program for input Download PDFInfo
- Publication number
- JP2014095943A JP2014095943A JP2012245561A JP2012245561A JP2014095943A JP 2014095943 A JP2014095943 A JP 2014095943A JP 2012245561 A JP2012245561 A JP 2012245561A JP 2012245561 A JP2012245561 A JP 2012245561A JP 2014095943 A JP2014095943 A JP 2014095943A
- Authority
- JP
- Japan
- Prior art keywords
- area
- input
- cursor
- enlarged
- input area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、操作者のジェスチャに応じて電子機器への入力を行う入力システム、入力方法および入力用プログラムに関する。 The present invention relates to an input system, an input method, and an input program for performing input to an electronic device according to an operator's gesture.
インターネットを用いたネットワークの普及により、日常生活に必要な情報や品物を容易に入手できるようになった。このようなネットワークの構築には、パーソナルコンピュータの飛躍的な普及が大きく寄与している。しかしながら、パーソナルコンピュータの応用範囲が徐々に広がるにつれて、インタフェースの入力デバイスにも様々な要望が生じるようになり、キーボードやマウスだけではこれらの要望に十分に対応できない状況になっていた。 The spread of networks using the Internet has made it possible to easily obtain information and goods necessary for daily life. The rapid spread of personal computers has greatly contributed to the construction of such networks. However, as the application range of personal computers has gradually expanded, various demands have arisen for interface input devices, and it has not been possible to sufficiently meet these demands using only a keyboard and a mouse.
そこで近年、携帯が可能で操作が簡単であり、しかも手書き文字入力が可能なタッチパネルが入力インタフェース用デバイスとして利用されている。タッチパネルの実現方式としては、抵抗膜方式、光学方式、静電容量方式、超音波方式、圧力方式などがあり、種々の方式が用途に応じて採用される。例えば、駅や図書館などの公共施設には乱暴に扱っても破損しない方式が採用される。また、車載のナビゲーション・システムには振動や外光に耐久性のある方式が採用され、携帯端末には軽くて薄い方式などが採用される。 Therefore, in recent years, touch panels that are portable and easy to operate and that allow handwritten character input have been used as input interface devices. As a method for realizing the touch panel, there are a resistive film method, an optical method, a capacitance method, an ultrasonic method, a pressure method, and the like, and various methods are employed depending on the application. For example, a public facility such as a station or a library employs a method that does not break even if it is handled roughly. In-vehicle navigation systems use a system that is durable against vibration and external light, and mobile terminals use a light and thin system.
これらの方式の中でも、スマートフォンの爆発的な普及により、静電容量方式のタッチパネルが急速に普及してきている。このようなタッチパネルを用いた入力インタフェースは、表示装置と一体となって利用される。なお、表示装置には、主としてLCD(Liquid Crystal Display)が用いられることが多い。 Among these methods, capacitive touch panels are rapidly spreading due to the explosive spread of smartphones. An input interface using such a touch panel is used integrally with a display device. In many cases, a liquid crystal display (LCD) is mainly used as the display device.
タッチパネルを用いて電子機器への入力を行う場合、その性質上、タッチパネルに直接触れるか、タッチパネルの直近に容量または抵抗を変化させる指、手、ペンなどが存在する必要がある。このように、タッチパネルを用いた入力方法では、タッチパネルに直接触れる必要があるため、操作者の指、手またはタッチパネル用ペン等が入力装置の非常に近い範囲に存在する必要があった。また、タッチパネルを用いた入力方法では、タッチパネルに触れることで指先の汚れや傷が表示画面を汚してしまうという欠点があった。 When an input to an electronic device is performed using a touch panel, due to its nature, a finger, a hand, a pen, or the like that changes the capacitance or resistance needs to exist directly on the touch panel, or close to the touch panel. Thus, in the input method using a touch panel, since it is necessary to touch a touch panel directly, an operator's finger | toe, a hand, the touch-panel pen, etc. needed to exist in the very near range of an input device. In addition, the input method using the touch panel has a drawback in that the touch screen touches the display screen with dirt or scratches on the fingertip.
ところで、離れたところに存在する電子機器への入力を行う一般的な方法として、光学式または無線式のリモートコントローラが知られているが、GUI(Graphical User Interface)の適合性の観点からは十分と言えなかった。 By the way, an optical or wireless remote controller is known as a general method for inputting to an electronic device located at a distance, but is sufficient from the viewpoint of GUI (Graphical User Interface) compatibility. I could not say.
これらを改善する入力方法として、カメラシステムを使った画像認識技術を応用した入力方法が実用化されている。具体的には、操作者から離れた場所に存在する機器への入力を操作者の動きを捉えて行う入力方法が実用化されており、この入力方法は、一般にジェスチャ入力と呼ばれている。 As an input method for improving these, an input method using an image recognition technique using a camera system has been put into practical use. Specifically, an input method in which an input to a device located at a location away from the operator is performed by capturing the movement of the operator has been put into practical use, and this input method is generally called a gesture input.
特許文献1には、ジェスチャによる操作入力を処理する装置が記載されている。特許文献1に記載された装置では、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出し、さらに、指示ポイントまでの奥行き方向の距離を求めて検出感度に関するパラメータを調整することにより、ユーザのジェスチャによる操作入力を認識する。 Patent Document 1 describes an apparatus that processes an operation input by a gesture. In the apparatus described in Patent Document 1, a user instruction point is extracted from an image obtained by photographing a user gesture performed while looking at a display, and a distance in the depth direction to the instruction point is obtained to obtain a parameter related to detection sensitivity. By adjusting, the operation input by the user's gesture is recognized.
また、特許文献2には、大画面の表示装置を用いてプレゼンテーションを行うプレゼンテーションシステムが記載されている。特許文献2に記載されたシステムでは、複数のモーションキャプチャマーカを装着した発表者を撮影し、撮影された画像に対応する表示された画面上の位置を求め、さらに、撮影された画像に基づいて所定の操作を指示する。
特許文献1や特許文献2に記載されているように、ジェスチャ入力には様々な方法が存在する。具体的には、特許文献1や特許文献2に記載された方法では、カメラを使って操作者を特定し、操作者の動きを画面上のカーソルに投影することで、ジェスチャによるカーソル操作を可能にしている。なお、カーソルは、ポインタと称されることもある。
As described in Patent Document 1 and
なお、これらの入力方法を用いる場合、操作者は操作機器から離れているため、操作者の動きをカメラで捉えるためにも、操作者との距離ならびに投影される画面の大きさにより、操作者の動きを反映したカーソルは、ある程度の比率で画面に投影される。これにより、操作者のジェスチャによってカーソルが画面をはみ出さないように制限される。 When these input methods are used, the operator is away from the operating device, so that the operator can be captured by the camera according to the distance from the operator and the size of the projected screen. The cursor reflecting the movement of the image is projected on the screen at a certain ratio. This restricts the cursor from protruding from the screen by the operator's gesture.
一方、このような制限を行った場合、操作者のジェスチャにより移動させる移動量とカーソルの移動量とに差異が生じるため、画面上の特定の場所を指し示すようにジェスチャを行うことが難しい。通常、画面と操作者の位置はある程度離れており、画面上の特定の場所を遠くから狙うには微妙な細かい制御操作が必要になるため、目的とする場所にカーソルを停止させることが容易ではないという問題がある。特に、上肢の不自由な身体障害者などは、目的とする場所にカーソルを移動させるような細かいジェスチャを行うことは難しく、一般的なジェスチャ入力を入力方法として用いることは困難であった。 On the other hand, when such a restriction is performed, there is a difference between the amount of movement made by the operator's gesture and the amount of movement of the cursor, so it is difficult to perform the gesture so as to point to a specific place on the screen. Usually, the screen and the operator are separated from each other to some extent, and it is not easy to stop the cursor at the target location because it is necessary to perform delicate control operations to aim at a specific location on the screen from a distance. There is no problem. In particular, it is difficult for a physically handicapped person with a disability in the upper limbs to perform a fine gesture such as moving a cursor to a target location, and to use a general gesture input as an input method.
そこで、本発明は、操作者のジェスチャに応じて画面上の所定の位置へカーソルを移動させることにより入力動作を行う場合に、その位置へのカーソル移動を容易に行うことができる入力システム、入力方法および入力用プログラムを提供することを目的とする。 Therefore, the present invention provides an input system and an input system that can easily move the cursor to the position when the input operation is performed by moving the cursor to a predetermined position on the screen according to the gesture of the operator. It is an object to provide a method and an input program.
本発明による入力システムは、機器に対する動作指示を入力するための入力領域を画面に1つ以上表示する入力領域表示手段と、操作者の動作に応じて、その動作に対応する画面の位置にカーソルを表示するカーソル表示手段と、カーソルの移動軌跡を検知する移動軌跡検知手段と、入力領域を拡大させた領域である拡大領域を算出する拡大領域算出手段と、画面上に表示されるカーソルが入力領域内にある場合に、その入力領域に定義された動作を実行する実行手段とを備え、移動軌跡検知手段が、入力領域にカーソルが達するまでの軌跡である入力軌跡を検知し、拡大領域算出手段が、入力領域にカーソルが達した後、入力軌跡の示す移動方向にその入力領域を拡大させた領域を拡大領域として算出し、実行手段が、カーソルが拡大領域内にある場合に、その拡大領域に拡大させる前の入力領域に定義された動作を実行することを特徴とする。 The input system according to the present invention includes an input area display means for displaying one or more input areas for inputting an operation instruction for a device on the screen, and a cursor at a position on the screen corresponding to the operation according to the operation of the operator. Cursor display means for displaying, a movement locus detection means for detecting the movement locus of the cursor, an enlarged area calculation means for calculating an enlarged area that is an enlarged area of the input area, and a cursor displayed on the screen An execution means for executing an action defined in the input area when the area is within the area, and the movement locus detection means detects an input locus that is a locus until the cursor reaches the input area, and calculates an enlarged region. After the cursor reaches the input area, the means calculates an area obtained by enlarging the input area in the moving direction indicated by the input locus as an enlarged area. When in, and executes the operations defined before the input region to be enlarged in the enlarged region.
このとき、移動軌跡検知手段が、拡大領域内のカーソルの軌跡である領域内軌跡を検知し、入力領域表示手段が、入力領域をカーソルが通過した後、領域内軌跡が拡大領域内で停止した場合にその拡大領域を表示してもよい。 At this time, the movement trajectory detection means detects an intra-area trajectory that is the trajectory of the cursor in the enlarged area, and the input area display means stops after the cursor passes through the input area, and the intra-area trajectory stops in the enlarged area. In some cases, the enlarged area may be displayed.
また、移動軌跡検知手段が、拡大領域内のカーソルの軌跡である領域内軌跡を検知し、カーソル表示手段が、入力領域をカーソルが通過した後、領域内軌跡が拡大領域内で停止した場合に、入力領域内にカーソルを移動させて表示してもよい。 In addition, when the movement trajectory detecting means detects an in-area trajectory that is a trajectory of the cursor in the enlarged area, and the cursor display means stops after the cursor passes through the input area, the intra-area trajectory stops in the enlarged area. The cursor may be moved within the input area for display.
本発明による入力方法は、機器に対する動作指示を入力するための入力領域を画面に1つ以上表示し、操作者の動作に応じて、その動作に対応する画面の位置にカーソルを表示し、入力領域にカーソルが達するまでの軌跡である入力軌跡を検知し、入力領域にカーソルが達した後、入力軌跡の示す移動方向にその入力領域を拡大させた領域である拡大領域を算出し、画面上に表示されるカーソルが拡大領域内にある場合に、その拡大領域に拡大させる前の入力領域に定義された動作を実行することを特徴とする。 In the input method according to the present invention, one or more input areas for inputting operation instructions to the device are displayed on the screen, and a cursor is displayed at the position of the screen corresponding to the operation according to the operation of the operator. Detects the input trajectory that is the trajectory until the cursor reaches the area, and after the cursor reaches the input area, calculates the enlarged area that is the area that has been enlarged in the moving direction indicated by the input trajectory. When the cursor displayed on the screen is in the enlargement area, the operation defined in the input area before the enlargement to the enlargement area is executed.
本発明による入力用プログラムは、コンピュータに、機器に対する動作指示を入力するための入力領域を画面に1つ以上表示する入力領域表示処理、操作者の動作に応じて、その動作に対応する画面の位置にカーソルを表示するカーソル表示処理、カーソルの移動軌跡を検知する移動軌跡検知処理、入力領域を拡大させた領域である拡大領域を算出する拡大領域算出処理、および、画面上に表示されるカーソルが入力領域内にある場合に、その入力領域に定義された動作を実行する実行処理を実行させ、移動軌跡検知処理で、入力領域にカーソルが達するまでの軌跡である入力軌跡を検知させ、拡大領域算出処理で、入力領域にカーソルが達した後、入力軌跡の示す移動方向に当該入力領域を拡大させた領域を拡大領域として算出させ、実行処理で、カーソルが拡大領域内にある場合に、その拡大領域に拡大させる前の入力領域に定義された動作を実行させることを特徴とする。 An input program according to the present invention includes an input area display process for displaying one or more input areas for inputting an operation instruction for an apparatus on a computer, and a screen corresponding to the operation according to the operation of the operator. Cursor display processing for displaying a cursor at a position, movement trajectory detection processing for detecting the movement trajectory of the cursor, enlarged region calculation processing for calculating an enlarged region that is an enlarged input region, and a cursor displayed on the screen When the is in the input area, the execution process that executes the operation defined in the input area is executed, and the input locus that is the locus until the cursor reaches the input area is detected by the movement locus detection process. In the area calculation process, after the cursor reaches the input area, the area obtained by enlarging the input area in the movement direction indicated by the input locus is calculated and executed. In sense, if the cursor is in the enlarged area, characterized in that to perform the operations defined before the input region to be enlarged in the enlarged region.
本発明によれば、操作者のジェスチャに応じて画面上の所定の位置へカーソルを移動させることにより入力動作を行う場合に、その位置へのカーソル移動を容易に行うことができる。 According to the present invention, when an input operation is performed by moving a cursor to a predetermined position on the screen according to an operator's gesture, the cursor can be easily moved to that position.
以下、本発明の実施形態を図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明による入力システムの一実施形態の構成例を示す説明図である。本実施形態の入力システムは、カーソル表示手段11と、移動軌跡検知手段12と、入力領域表示手段13と、実行手段14と、拡大領域算出手段15とを備えている。
FIG. 1 is an explanatory diagram showing a configuration example of an embodiment of an input system according to the present invention. The input system of the present embodiment includes a
カーソル表示手段11は、操作者40の動作に応じて、その動作に対応する画面10上の位置にカーソル30を表示する。なお、カーソル表示手段11が操作者40の動作を検知する方法、および、画面上の対応する位置を特定する方法は任意である。
The
例えば、操作者40にモーションキャプチャマーカを装着させることが可能な場合、カーソル表示手段11は、そのモーションキャプチャマーカにより操作者40の動作を検知してもよい。そして、カーソル表示手段11は、検知する動作範囲に応じてカーソル30を表示する画面10上の位置を予め定義しておき、検知した動作に従ってカーソル30を画面10に表示してもよい。
For example, when the
なお、モーションキャプチャとして用いられる方式は、光学式、機械式、磁気式など任意の方式を用いることが可能である。また、操作者40の動作を検知する際に用いられる装置は、モーションキャプチャマーカに限定されず、操作者の動作を検知する装置として任意のセンサが用いられてもよい。
As a method used for motion capture, an arbitrary method such as an optical method, a mechanical method, or a magnetic method can be used. Further, the device used when detecting the operation of the
また、例えば、正面から操作者40の動作を撮影する撮像装置(図示せず)を用いることが可能な場合、カーソル表示手段11は、操作者40を撮影した画像から所定の部位(例えば、手など)の位置を特定することで操作者40の動作を検知してもよい。そして、カーソル表示手段11は、撮影する範囲に応じてカーソル30を表示する画面10上の位置を予め定義しておき、撮影した画像から検知した部位の動作に従ってカーソル30を画面10に表示してもよい。
In addition, for example, when an imaging device (not shown) that captures the motion of the
なお、操作者40の動作に応じて画面10上にカーソル30を表示する方法は広く知られているため、詳細な説明は省略する。
In addition, since the method of displaying the
入力領域表示手段13は、機器に対する動作指示を入力するための領域(以下、入力領域20と記す。)を画面10に表示する。なお、図1に示す例では、入力領域20を1つ表示しているが、入力領域20の数は1つに限定されず、2つ以上であってもよい。また、初期状態で画面10に表示される入力領域20の位置およびその入力領域20について定義される動作は、例えば管理者等により予め定められる。機器が行う動作として、例えば、表示している画面の遷移処理や選択内容の決定処理などが挙げられるが、機器が行う動作はこれらの動作に限定されない。また、各入力領域20に定義される動作は、同一であってもよく、異なっていてもよい。
The input area display means 13 displays an area (hereinafter referred to as an input area 20) for inputting an operation instruction for the device on the
また、入力領域表示手段13は、後述する移動軌跡検知手段12によって検知されるカーソル30の移動方向に入力領域20を拡大させて表示する。以下、入力領域を拡大した領域のことを拡大領域と記す。ここで、拡大領域とは、画面上に表示されている場合の領域を意味するだけではなく、入力領域20から算出され、表示されていない領域をも意味する。
Further, the input area display means 13 displays the
入力領域表示手段13は、入力領域20の内容を拡大したものを拡大領域として表示してもよい。また、入力領域表示手段13は、拡大領域を示す枠のみを表示してもよい。ただし、拡大領域を表示する方法はこれらの内容に限定されない。入力領域20を拡大した範囲を操作者40が認識できる表示であれば、入力領域表示手段13は、他の方法を用いて拡大領域を表示してもよい。
The input area display means 13 may display the enlarged contents of the
移動軌跡検知手段12は、画面10上に表示されたカーソル30の移動軌跡を検知し、その移動軌跡を収集する。具体的には、移動軌跡検知手段12は、入力領域20にカーソル30が達するまでの軌跡(以下、入力軌跡と記す。)および拡大領域内のカーソル30の軌跡(以下、領域内軌跡と記す。)を検知し、それぞれの軌跡を収集する。
The movement locus detection means 12 detects the movement locus of the
拡大領域算出手段15は、入力領域を拡大させた領域(すなわち、拡大領域)を算出する。具体的には、拡大領域算出手段15は、入力領域20にカーソル30が達した後、入力軌跡の示す移動方向に入力領域20を拡大させた領域を拡大領域として算出する。なお、拡大領域の算出方法は後述する。
The enlarged
実行手段14は、画面10上に表示されるカーソル30が入力領域20内にある場合に、その入力領域20に定義された動作を実行する。実行手段14は、カーソル30の移動が入力領域20内で停止した時に、その入力領域20に定義された動作を実行してもよい。また、実行手段14は、カーソル30が入力領域20内で停止した後、操作者40により所定の実行指示を受けた時に、その入力領域20に定義された動作を実行してもよい。
When the
さらに、実行手段14は、拡大領域算出手段15によって算出される拡大領域内にカーソル30が存在する場合に、その拡大領域を拡大させる前の入力領域20に定義された動作を実行してもよい。なお、動作を実行するタイミングは、入力領域20にカーソル30がある場合と同様である。
Furthermore, when the
一般に、意図した位置にカーソルを移動させようとしてジェスチャ入力を行った場合、距離感の相違から、意図した位置でカーソルを停止させることができずカーソルが行き過ぎてしまうことが多い。図2は、一般的な入力操作の例を示す説明図である。図2ではカーソル30の軌跡を破線で示している。図2に示すように、一般的にはジェスチャ入力で目的とする位置(入力領域20)にカーソル30を移動させようとしても、カーソル30がその位置を通過してしまうことがある。この場合、カーソルを逆方向に戻そうとして逆のジェスチャを行うことが考えられるが、さらにそのジェスチャによる移動操作が上手くいかずにカーソルが目的とする位置を通り過ぎてしまう可能性がある。この場合、図2に示すように、目的とする位置にカーソルを移動させるには一往復半もの操作が必要になる。
In general, when gesture input is performed in order to move the cursor to an intended position, the cursor cannot often be stopped at the intended position due to a difference in distance, and the cursor often goes too far. FIG. 2 is an explanatory diagram illustrating an example of a general input operation. In FIG. 2, the locus of the
しかし、本実施形態では、入力領域表示手段13がカーソル30の移動方向に入力領域20を拡大させた拡大領域を表示し、実行手段14が、拡大領域内にカーソル30がある場合にも、もとの入力領域20に定義された動作を実行する。そのため、操作者40は、カーソル30が最初の入力領域20を外れても、行き過ぎたカーソル30を戻す操作を必要とせずに入力動作を完了させることができる。
However, in the present embodiment, even when the input area display means 13 displays an enlarged area obtained by enlarging the
実行手段14は、カーソル30が事前に設定された期間、同じ地点に存在することが検知された場合に、カーソル30が停止したと判断してもよい。また、カーソル30が存在する位置の認識処理を行う回数をカウントしている場合であれば、同じ地点に存在することが検知された回数が所定の回数を超えた場合に、実行手段14は、カーソル30が停止したと判断してもよい。
The execution means 14 may determine that the
次に、拡大領域の算出方法を説明する。拡大領域算出手段15は、カーソル30が入力領域20に至るまでの軌跡(入力軌跡)を解析して、その軌跡の延長線方向に領域を拡大させる。このとき、拡大領域算出手段15は、カーソル30の移動方向を画面のx軸方向及びy軸方向にそれぞれ分解して拡大する方向を決定してもよい。
Next, a method for calculating the enlarged area will be described. The enlargement area calculation means 15 analyzes the locus (input locus) until the
例えば、カーソル30がx軸の正方向(右方向)およびy軸の正方向(上方向)に移動していた場合、拡大領域算出手段15は、入力領域20におけるx軸方向の最も左寄りの位置とy軸方向の最も下寄りの位置を固定し、それぞれx軸の正方向とy軸の正方向に入力領域20を拡大させてもよい。反対に、カーソル30がx軸の負方向(左方向)およびy軸の負方向(下方向)に移動していた場合、拡大領域算出手段15は、入力領域20におけるx軸方向の最も右寄りの位置と、y軸方向の最も上寄りの位置を固定し、それぞれx軸の負方向とy軸の負方向に入力領域20を拡大させてもよい。また、拡大領域算出手段15は、入力領域20を均等に拡大してもよく、x軸方向とy軸方向の移動量の比に応じて拡大する割合を変化させてもよい。
For example, when the
なお、入力領域20の拡大幅は、操作者がジェスチャを行う大きさ(ジェスチャ振幅)と画面に投影されたカーソルの移動量(カーソル振幅)の割合によって変更される。ただし、操作者に負担を与えないようにすることを考慮する、入力領域の拡大幅は、操作者の動きに負担とならない、腕の長さの範囲以下、好ましくは概ね10〜50cm程度に相当する量にする。
The enlargement width of the
また、例えば、システム側で複数種類の拡大幅を設定しておき、拡大領域算出手段15は、これらの拡大幅の中から操作者が選択した拡大幅を用いて拡大領域を算出してもよい。
Further, for example, a plurality of types of enlargement widths may be set on the system side, and the enlargement
なお、入力領域表示手段13は、カーソル30が入力領域20に達したときに拡大領域を表示してもよい。また、入力領域表示手段13は、カーソル30が入力領域20に達した後、そのカーソル30が入力領域20から外れたときに拡大領域を表示してもよい。また、入力領域表示手段13は、カーソル30が入力領域20を通過し、通過後にそのカーソル30が停止した位置が拡大領域の範囲内の場合に、その拡大領域を表示してもよい。すなわち、入力領域表示手段13は、入力領域20をカーソル30が通過した後、領域内軌跡が拡大領域内で停止した場合に拡大領域を表示してもよい。以下では、入力領域20をカーソル30が通過した後、領域内軌跡が拡大領域内で停止した場合に拡大領域を表示する方法を例に説明する。
The input area display means 13 may display an enlarged area when the
図3は、入力領域を拡大させた拡大領域を表示する例を示す説明図である。図3に示す例では、カーソル30が破線で示す軌跡で右上方向に移動しているとする。このとき、図3に示す例では、入力領域20に至るまでの入力軌跡L1が移動軌跡検知手段12に検知され、入力領域表示手段13が、その軌跡の延長線方向である右上方向に領域を拡大させた拡大領域21を表示させたことを示す。
FIG. 3 is an explanatory diagram illustrating an example of displaying an enlarged area obtained by enlarging the input area. In the example illustrated in FIG. 3, it is assumed that the
図4は、入力領域を拡大させた拡大領域を表示する他の例を示す説明図である。図4に示す例は、カーソル30の軌跡が1往復半オーバーシュートした場合を示している。この場合、まず、入力領域表示手段13は、拡大領域22を表示する。その後、逆方向にカーソル30が移動する操作が行われ、拡大領域22からカーソル30が外れると、入力領域表示手段13は、拡大領域22の拡大処理を解除する。一方、カーソル30が入力領域20を左下方向に通過したため、入力領域表示手段13は、拡大領域23を表示する。その後、カーソル30が拡大領域23の外に移動すると、入力領域表示手段13は、拡大領域23の拡大処理を解除する。その後、当初の入力領域20にカーソル30を戻す操作が行われると、通常の入力動作が行われる。
FIG. 4 is an explanatory diagram showing another example of displaying an enlarged area obtained by enlarging the input area. The example shown in FIG. 4 shows a case where the trajectory of the
カーソル表示手段11と、移動軌跡検知手段12と、入力領域表示手段13と、実行手段14と、拡大領域算出手段15とは、プログラム(入力用プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、端末の記憶部(図示せず)に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って、カーソル表示手段11、移動軌跡検知手段12、入力領域表示手段13、実行手段14および拡大領域算出手段15として動作してもよい。また、カーソル表示手段11と、移動軌跡検知手段12と、入力領域表示手段13と、実行手段14と、拡大領域算出手段15とは、それぞれが専用のハードウェアで実現されていてもよい。
The cursor display means 11, the movement trajectory detection means 12, the input area display means 13, the execution means 14, and the enlarged area calculation means 15 are realized by a CPU of a computer that operates according to a program (input program). For example, the program is stored in a storage unit (not shown) of the terminal, and the CPU reads the program, and in accordance with the program, the cursor display means 11, the movement locus detection means 12, the input area display means 13, the execution means 14 and The enlargement
次に、本実施形態の入力システムの動作を説明する。図5は、本実施形態の入力システムの動作例を示すフローチャートである。なお、初期状態では、入力領域表示手段13は、動作が定義された入力領域20を画面10に表示しているものとし、操作者40は、この状態から入力領域20へカーソル30を移動させる動作を行うものとする。
Next, the operation of the input system of this embodiment will be described. FIG. 5 is a flowchart showing an operation example of the input system of this embodiment. In the initial state, it is assumed that the input area display means 13 displays the
まず、カーソル表示手段11は、操作者40の動作を検知し、対応する画面10上の位置にカーソル30を表示する(ステップS1)。その後も、カーソル表示手段11は、操作者の動作に応じてカーソル30を移動させて表示する動作を繰り返す。その際、移動軌跡検知手段12は、カーソル30が入力領域20に移動するまでの軌跡(すなわち、入力軌跡)を収集する(ステップS2)。
First, the
移動軌跡検知手段12は、カーソル30が入力領域20に達したか否かを判定する(ステップS3)。カーソル30が入力領域20に達していない場合(ステップS3におけるN)、移動軌跡検知手段12は、入力軌跡を収集するステップS2以降の処理を繰り返す。
The movement locus detection means 12 determines whether or not the
一方、カーソル30が入力領域20に達した場合(ステップS3におけるY)、拡大領域算出手段15は、入力軌跡の示す移動方向に入力領域20を拡大させた領域を拡大領域として算出する(ステップS4)。そして、移動軌跡検知手段12は、拡大領域内におけるカーソル30の軌跡(すなわち、領域内軌跡)を収集する(ステップS5)。
On the other hand, when the
その後、実行手段14は、カーソル30が停止したか否かを判定する(ステップS6)。カーソル30が停止した場合(ステップS6におけるY)、実行手段14は、さらに、そのカーソル30が拡大領域で停止したか否かを判断する(ステップS7)。カーソル30が拡大領域で停止した場合(ステップS7におけるY)、入力領域表示手段13は、拡大領域を表示し(ステップS8)、実行手段14は、その拡大領域を拡大させる前の入力領域20に定義された動作を実行する(ステップS9)。
Thereafter, the execution means 14 determines whether or not the
一方、ステップS6においてカーソル30が停止していないと判断された場合(ステップS6におけるN)、移動軌跡検知手段12は、カーソル30が拡大領域を外れたか否か判断する(ステップS10)。カーソル30が拡大領域を外れていない場合(ステップS10におけるN)、移動軌跡検知手段12は、領域内軌跡を収集するステップS5以降の処理を繰り返す。一方、カーソル30が拡大領域を外れた場合(ステップS10におけるY)、移動軌跡検知手段12は、入力軌跡を収集するステップS2以降の処理を繰り返す。
On the other hand, when it is determined in step S6 that the
以上のように、本実施形態によれば、カーソル表示手段11が、操作者40の動作に応じて、その動作に対応する画面10の位置にカーソル30を表示し、移動軌跡検知手段12は、入力領域20にカーソルが達するまでの軌跡(入力軌跡)を検知する。また、拡大領域算出手段15が、入力領域20にカーソル30が達した後、入力軌跡の示す移動方向に入力領域20を拡大させた領域を拡大領域として算出する。そして、実行手段14が、カーソル30が拡大領域内にある場合に、拡大領域に拡大させる前の入力領域20に定義された動作を実行する。
As described above, according to the present embodiment, the
以上のような構成により、操作者のジェスチャに応じて画面上の所定の位置へカーソルを移動させることにより入力動作を行う場合に、その位置へのカーソル移動を容易に行うことができる。すなわち、ジェスチャ入力によりカーソル操作を行う際、そのカーソルがオーバーシュートした場合でも容易に目的とするカーソルを捕捉することができる。したがって、操作に不慣れな操作者や身体障害者などにとっても容易にジェスチャ入力が可能になる。 With the configuration described above, when an input operation is performed by moving the cursor to a predetermined position on the screen according to the gesture of the operator, the cursor can be easily moved to that position. That is, when a cursor operation is performed by a gesture input, the target cursor can be easily captured even when the cursor overshoots. Therefore, it is possible to easily input a gesture even for an operator who is unfamiliar with the operation or a disabled person.
また、本実施形態では、移動軌跡検知手段12が、拡大領域内のカーソルの軌跡(領域内軌跡)を検知し、入力領域表示手段13が、入力領域20をカーソル30が通過した後、領域内軌跡が拡大領域内で停止した場合に拡大領域を表示する。すなわち、カーソル30が入力領域20を通過し、さらに拡大領域を外れた場合には、拡大領域の表示を行わない。このようにすることで、操作者の意図しない範囲が選択されることを抑制できる。
Further, in the present embodiment, the movement trajectory detection means 12 detects the cursor trajectory (intra-area trajectory) in the enlarged area, and the input area display means 13 passes through the
次に、本実施形態の変形例を説明する。上記実施形態では、入力領域20をカーソル30が通過した後領域内軌跡が拡大領域内で停止した場合に、入力領域表示手段13が拡大領域を表示する方法を説明した。本変形例では、入力領域20をカーソル30が通過した後領域内軌跡が拡大領域内で停止した場合に拡大領域を表示せず、カーソル表示手段11が、もとの入力領域20にカーソル30を移動させて表示する。
Next, a modification of this embodiment will be described. In the above-described embodiment, the method in which the input
カーソル表示手段11がカーソル30を移動させる入力領域20内の位置は任意である。カーソル表示手段11は、例えば、入力領域20の中心にカーソル30を移動させてもよく、入力領域20を通過した箇所にカーソル30を移動させてもよい。また、予め入力領域20にカーソル30を移動させる位置を定めておいてもよい。
The position in the
図6は、拡大領域のカーソルを移動領域に移動させる例を示す説明図である。カーソル30が入力領域20を通過して拡大領域21で停止した場合、カーソル30は強制的に本来の入力領域20に移動する。その後、操作者によって入力動作が行われる。すなわち、本変形例では、拡大領域の計算のみ行われ、画面上に拡大領域が表示されずにカーソル30の移動のみ確認されることになる。
FIG. 6 is an explanatory diagram illustrating an example in which the cursor in the enlargement area is moved to the movement area. When the
図7は、入力システムの変形例の動作例を示すフローチャートである。図7に例示するフローチャートは、図5に例示するフローチャートにおけるステップS8およびステップS9の処理が、ステップS18およびステップS19に置き換わっている。以下、図7に例示するフローチャートについて、図5に例示するフローチャートと異なる部分のみ説明する。 FIG. 7 is a flowchart illustrating an operation example of a modification of the input system. In the flowchart illustrated in FIG. 7, the processes in steps S8 and S9 in the flowchart illustrated in FIG. 5 are replaced with steps S18 and S19. Hereinafter, only the parts different from the flowchart illustrated in FIG. 5 will be described with respect to the flowchart illustrated in FIG. 7.
カーソル30が拡大領域で停止した場合(ステップS7におけるY)、カーソル表示手段11は、カーソル30を入力領域20に移動させて表示する(ステップS18)。そして、実行手段14は、その入力領域20に定義された動作を実行する(ステップS19)。
When the
以上のように、本変形例によれば、移動軌跡検知手段12が、拡大領域内のカーソルの軌跡(領域内軌跡)を検知し、カーソル表示手段11が、入力領域20をカーソル30が通過した後、領域内軌跡が拡大領域内で停止した場合に、入力領域20内にカーソルを移動させて表示する。このようにすることによっても、上記実施形態と同様、操作者の意図しない範囲が選択されることを抑制できる。
As described above, according to the present modification, the movement trajectory detection means 12 detects the cursor trajectory (intra-area trajectory) in the enlarged area, and the cursor display means 11 passes the
10 画面
11 カーソル表示手段
12 移動軌跡検知手段
13 入力領域表示手段
14 実行手段
15 拡大領域算出手段
20 入力領域
30 カーソル
40 操作者
DESCRIPTION OF
Claims (5)
操作者の動作に応じて、当該動作に対応する前記画面の位置にカーソルを表示するカーソル表示手段と、
前記カーソルの移動軌跡を検知する移動軌跡検知手段と、
前記入力領域を拡大させた領域である拡大領域を算出する拡大領域算出手段と、
画面上に表示されるカーソルが前記入力領域内にある場合に、当該入力領域に定義された動作を実行する実行手段とを備え、
前記移動軌跡検知手段は、前記入力領域にカーソルが達するまでの軌跡である入力軌跡を検知し、
前記拡大領域算出手段は、前記入力領域にカーソルが達した後、前記入力軌跡の示す移動方向に当該入力領域を拡大させた領域を拡大領域として算出し、
前記実行手段は、カーソルが前記拡大領域内にある場合に、当該拡大領域に拡大させる前の入力領域に定義された動作を実行する
ことを特徴とする入力システム。 Input area display means for displaying one or more input areas for inputting operation instructions for the device on the screen;
Cursor display means for displaying a cursor at the position of the screen corresponding to the operation according to the operation of the operator,
A movement locus detecting means for detecting the movement locus of the cursor;
An enlarged area calculating means for calculating an enlarged area that is an area obtained by enlarging the input area;
An execution means for executing an operation defined in the input area when a cursor displayed on the screen is in the input area;
The movement trajectory detecting means detects an input trajectory that is a trajectory until the cursor reaches the input area,
The enlarged area calculation means calculates, as an enlarged area, an area obtained by enlarging the input area in the movement direction indicated by the input locus after the cursor reaches the input area.
When the cursor is in the enlargement area, the execution means executes an operation defined in the input area before being enlarged to the enlargement area.
入力領域表示手段は、入力領域をカーソルが通過した後、前記領域内軌跡が拡大領域内で停止した場合に当該拡大領域を表示する
請求項1記載の入力システム。 The movement trajectory detecting means detects an intra-region trajectory that is a trajectory of the cursor in the enlarged region,
The input system according to claim 1, wherein the input area display means displays the enlarged area when the intra-area trajectory stops in the enlarged area after the cursor passes through the input area.
カーソル表示手段は、入力領域をカーソルが通過した後、前記領域内軌跡が拡大領域内で停止した場合に、前記入力領域内にカーソルを移動させて表示する
請求項1記載の入力システム。 The movement trajectory detecting means detects an intra-region trajectory that is a trajectory of the cursor in the enlarged region,
The input system according to claim 1, wherein the cursor display means moves and displays the cursor within the input area when the intra-area trajectory stops within the enlarged area after the cursor passes through the input area.
操作者の動作に応じて、当該動作に対応する前記画面の位置にカーソルを表示し、
前記入力領域にカーソルが達するまでの軌跡である入力軌跡を検知し、
前記入力領域にカーソルが達した後、前記入力軌跡の示す移動方向に当該入力領域を拡大させた領域である拡大領域を算出し、
画面上に表示されるカーソルが前記拡大領域内にある場合に、当該拡大領域に拡大させる前の入力領域に定義された動作を実行する
ことを特徴とする入力方法。 Display one or more input areas on the screen for entering operation instructions for the device,
Depending on the operation of the operator, a cursor is displayed at the position of the screen corresponding to the operation,
Detecting an input trajectory that is a trajectory until the cursor reaches the input area,
After the cursor reaches the input area, calculate an enlarged area, which is an area obtained by enlarging the input area in the moving direction indicated by the input locus,
When the cursor displayed on the screen is in the enlargement area, an operation defined in the input area before being enlarged to the enlargement area is executed.
機器に対する動作指示を入力するための入力領域を画面に1つ以上表示する入力領域表示処理、
操作者の動作に応じて、当該動作に対応する前記画面の位置にカーソルを表示するカーソル表示処理、
前記カーソルの移動軌跡を検知する移動軌跡検知処理、
前記入力領域を拡大させた領域である拡大領域を算出する拡大領域算出処理、および、
画面上に表示されるカーソルが前記入力領域内にある場合に、当該入力領域に定義された動作を実行する実行処理を実行させ、
前記移動軌跡検知処理で、前記入力領域にカーソルが達するまでの軌跡である入力軌跡を検知させ、
前記拡大領域算出処理で、前記入力領域にカーソルが達した後、前記入力軌跡の示す移動方向に当該入力領域を拡大させた領域を拡大領域として算出させ、
前記実行処理で、カーソルが前記拡大領域内にある場合に、当該拡大領域に拡大させる前の入力領域に定義された動作を実行させる
ための入力用プログラム。 On the computer,
Input area display processing for displaying one or more input areas on the screen for inputting operation instructions to the device;
Cursor display processing for displaying a cursor at the position of the screen corresponding to the operation according to the operation of the operator,
A movement locus detection process for detecting the movement locus of the cursor;
An enlarged area calculation process for calculating an enlarged area that is an area obtained by enlarging the input area; and
When the cursor displayed on the screen is in the input area, the execution process for executing the operation defined in the input area is executed,
In the movement locus detection process, the input locus which is a locus until the cursor reaches the input area is detected,
In the enlarged area calculation process, after the cursor reaches the input area, an area obtained by enlarging the input area in the moving direction indicated by the input locus is calculated as an enlarged area.
An input program for executing an operation defined in an input area before being enlarged in the enlarged area when the cursor is in the enlarged area in the execution process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012245561A JP2014095943A (en) | 2012-11-07 | 2012-11-07 | Input system, input method and program for input |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012245561A JP2014095943A (en) | 2012-11-07 | 2012-11-07 | Input system, input method and program for input |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014095943A true JP2014095943A (en) | 2014-05-22 |
Family
ID=50938989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012245561A Pending JP2014095943A (en) | 2012-11-07 | 2012-11-07 | Input system, input method and program for input |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014095943A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015005327A1 (en) | 2014-05-07 | 2015-11-12 | Mitutoyo Corporation | Coordinate measuring system, a coordinate measuring method, a computer program product and a probe |
-
2012
- 2012-11-07 JP JP2012245561A patent/JP2014095943A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015005327A1 (en) | 2014-05-07 | 2015-11-12 | Mitutoyo Corporation | Coordinate measuring system, a coordinate measuring method, a computer program product and a probe |
DE102015005327B4 (en) | 2014-05-07 | 2021-10-07 | Mitutoyo Corporation | Coordinate measuring system, a coordinate measuring method, a computer program product and a probe |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9069386B2 (en) | Gesture recognition device, method, program, and computer-readable medium upon which program is stored | |
US8982045B2 (en) | Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device | |
US9529527B2 (en) | Information processing apparatus and control method, and recording medium | |
US9411418B2 (en) | Display device, display method, and program | |
RU2541852C2 (en) | Device and method of controlling user interface based on movements | |
US9665273B2 (en) | Information processing terminal and method, program, and recording medium | |
KR20150090840A (en) | Device and mathod for shielding region of display screen of device | |
US8866772B2 (en) | Information processing terminal and method, program, and recording medium | |
US20140028557A1 (en) | Display device, display control method and display control program, and input device, input assistance method and program | |
US20120154293A1 (en) | Detecting gestures involving intentional movement of a computing device | |
JP2009140368A (en) | Input device, display device, input method, display method, and program | |
US10514842B2 (en) | Input techniques for virtual reality headset devices with front touch screens | |
EP2685366A2 (en) | Tablet device, and operation receiving method | |
US20130229368A1 (en) | Method for displaying scale for enlargement and reduction operation, and device therefor | |
CN108733302B (en) | Gesture triggering method | |
EP2953017A1 (en) | Method, apparatus and terminal device for controlling movement of application interface | |
EP3096216A1 (en) | Information processing device, information processing program, and information processing method | |
JP2017091327A (en) | Pointing support device, pointing support method and pointing support program | |
CN109964202B (en) | Display control apparatus, display control method, and computer-readable storage medium | |
EP2646892B1 (en) | Instantaneous panning using a groove metaphor | |
CN105808129B (en) | Method and device for quickly starting software function by using gesture | |
US9367169B2 (en) | Method, circuit, and system for hover and gesture detection with a touch screen | |
KR101667425B1 (en) | Mobile device and method for zoom in/out of touch window | |
KR101503159B1 (en) | Method of controlling touch-screen detecting eyesight | |
US20140157118A1 (en) | Information processing apparatuses, non-transitory computer readable medium, and information processing method |