JP2016177658A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2016177658A5 JP2016177658A5 JP2015058545A JP2015058545A JP2016177658A5 JP 2016177658 A5 JP2016177658 A5 JP 2016177658A5 JP 2015058545 A JP2015058545 A JP 2015058545A JP 2015058545 A JP2015058545 A JP 2015058545A JP 2016177658 A5 JP2016177658 A5 JP 2016177658A5
- Authority
- JP
- Japan
- Prior art keywords
- virtual input
- input device
- predetermined
- virtual
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 11
- 230000001276 controlling effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 9
- 230000000875 corresponding Effects 0.000 description 7
- 238000003825 pressing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Description
従来より、メガネ型や頭部装着型などの情報通信端末において、視界の表示部に、外視野スルー像と重畳して、仮想キーボードを表示し、外視野カメラ映像から手指と仮想キーとの位置関係を検出し、手指が仮想キー相当位置に打鍵する姿勢動作を識別して、打鍵入力されたキーに対応する文字やコマンドを入力できるようにするとともに、入力結果を仮想表示部に表示し、入力に応じた処理を実行する技術が、特許文献１及び特許文献２に記載されている。 Conventionally, in information communication terminals such as glasses-type and head-mounted types, a virtual keyboard is displayed on the display section of the field of view, superimposed on the external view through image, and the positions of fingers and virtual keys from the external view camera image are displayed. Detecting the relationship, identifying the posture action in which the finger is keyed at the virtual key equivalent position, enabling the input of characters and commands corresponding to the key input key, and displaying the input result on the virtual display unit, techniques for performing a process corresponding to the input is described in US Pat.
しかしながら、特許文献１及び特許文献２に記載の技術では、仮想表示するキーボードは、個人の嗜好の違いなどにより、必ずしも使いやすいものではなかった。 However, with the techniques described in Patent Document 1 and Patent Document 2, a keyboard for virtual display is not always easy to use due to differences in personal preferences.
前記目的を達成するため、本発明の仮想入力装置の一態様は、
複数の仮想入力キーを有する仮想入力機器の仮想入力領域が所定の面に形成され、前記仮想入力領域への操作を行うことで情報を入力する仮想入力装置であって、
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像手段と、
前記撮像手段によって撮像される領域内で行う所定の形状又は所定の動作を検出する検出手段と、
前記検出手段によって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明の入力方法の一態様は、
複数の仮想入力キーを有する仮想入力機器の仮想入力領域が所定の面に形成され、前記仮想入力領域への操作を行うことで情報を入力する仮想入力装置において、
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像ステップと、
前記撮像ステップによって撮像される領域内で行う所定の形状又は所定の動作を検出する検出ステップと、
前記検出ステップによって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定ステップと、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明のプログラムの一態様は、
複数の仮想入力キーを有する仮想入力機器の仮想入力領域が所定の面に形成され、前記仮想入力領域への操作を行うことで情報を入力する仮想入力装置を制御するコンピュータを、
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像手段を制御する撮像制御手段、
前記撮像手段によって撮像される領域内で行う所定の形状又は所定の動作を検出する検出手段、
前記検出手段によって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定手段、
として機能させる、
ことを特徴とする。
In order to achieve the above object, one aspect of the virtual input device of the present invention is:
A plurality of virtual input region of the virtual input device having virtual input key is formed in a predetermined plane, the virtual input device for inputting information by performing an operation on the virtual input region,
Imaging means for imaging an area wider than the virtual input region including the virtual input region,
Detecting means for detecting a predetermined shape or a predetermined action performed in an area imaged by the imaging means;
Setting means for setting the specifications of the virtual input device in response to said detected predetermined shape or the predetermined operation by said detection means,
Equipped with a,
It is characterized by that.
In order to achieve the above object, one aspect of the input method of the present invention is:
In a virtual input device in which a virtual input area of a virtual input device having a plurality of virtual input keys is formed on a predetermined surface and information is input by performing an operation on the virtual input area,
An imaging step of imaging an area larger than the virtual input area including the virtual input area;
A detection step of detecting a predetermined shape or a predetermined operation performed in the region imaged by the imaging step;
A setting step for setting a specification of the virtual input device according to the predetermined shape or the predetermined operation detected by the detection step;
including,
It is characterized by that.
In order to achieve the above object, one aspect of the program of the present invention is:
A computer that controls a virtual input device that inputs information by performing an operation on the virtual input area in which a virtual input area of a virtual input device having a plurality of virtual input keys is formed on a predetermined surface,
An imaging control means for controlling an imaging means for imaging an area wider than the virtual input area including the virtual input area;
Detecting means for detecting a predetermined shape or a predetermined action performed in an area imaged by the imaging means;
Setting means for setting specifications of the virtual input device according to the predetermined shape or the predetermined operation detected by the detection means;
Function as
It is characterized by that.
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する際において必要なデータ等も適宜記憶される。
The
詳細には、仮想入力装置１では、仮想キーボードの動作として・起動（１）・打鍵入力（２）・仕様変更（３）・終了（４）を行うことができる。
図２は、姿勢動作に応じた仮想キーボードの選択／指定（表示）や仕様の変更の対応動作の具体例について説明するための模式図である。
Specifically, the virtual input device 1, it is possible to perform, starting (1) key entry (2) and specification changes as the operation of the virtual keyboard (3) and end (4).
FIG. 2 is a schematic diagram for explaining a specific example of the operation corresponding to the selection / designation (display) of the virtual keyboard and the change of the specification according to the posture operation.
（３−３）仮想キーボードの拡大・縮小
仮想キーボードの大きさを、増減や拡大縮小するように変更して、自由に設定できる。例えば、向い合わせた両手を左右に開く、すぼめる姿勢動作等で行う。
(3-3) The size of the scaling virtual keyboard virtual keyboard, to change so as to reduce decrease or expansion, can be freely set. For example, this is performed by opening and closing both hands facing each other, or by a squeezing posture.
（４）終了
打鍵の終了を示す所定の姿勢動作（ジェスチャー）により、仮想キーボードの処理を終了する。
仮想キーボードを終了するための姿勢や動作とは、以下の図２の例に示すようなものがある。
片手の掌を手前にして握ったような姿勢（キーボードを閉じる姿勢動作）から、手を広げたような姿勢にする。その結果、仮想キーボードが表示から消える（仮想キーボード表示の終了）。また、キーボードを閉じる姿勢動作に続けて、掌を上に開き、空中に捨てるようにしたり霧消したりさせたりする。
また、その他にも、「さよなら」を示す動作姿勢となるように手を振ったり、両手の掌を左右から近づけて、キーボードを縮め／畳み／つぶしたり、片手の掌を閉じたり（テンキーを終了）するように構成できる。
(4) End The processing of the virtual keyboard is ended by a predetermined posture action (gesture) indicating the end of keystroke.
The posture and action for ending the virtual keyboard are as shown in the example of FIG. 2 below.
Change the posture from holding the palm of one hand toward you (the posture action that closes the keyboard) to the posture that spreads your hand. As a result, the virtual keyboard disappears from the display (end of the virtual keyboard display). In addition, following the attitude the closing operation of the keyboard, open the palm to the above, you or to or off the fog or to throw away in the air.
In addition, you can wave your hand to the posture that shows “goodbye”, close the palms of both hands from the left and right, shrink / collapse / crush the keyboard, close the palm of one hand (end the numeric keypad) ) Can be configured.
仮想キーボード入力処理を実行する場合には、図３に示すように、ＣＰＵ１１において、撮像制御部５１と、手指検出処理部５２と、入力管理部５３と、ジェスチャー認識部５４と、仮想キーボード設定処理部５５と、出力制御部５６と、が機能する。
また、記憶部１９の一領域には、仮想キーボード情報記憶部７１が設定される。
仮想キーボード情報記憶部７１には、仮想キーボードの画像や仮想キーボードの設定に関する情報（以下、「仮想キーボード情報」という。）が記憶される。具体的には、仮想キーボード情報記憶部７１には、図２の例に示すような姿勢動作（ジェスチャー）に対応した仮想キーボード情報が記憶される。
When executing the virtual keyboard input process, as shown in FIG. 3, in the
A virtual keyboard information storage unit 71 is set in one area of the
The virtual keyboard information storage unit 71 stores information about the image and the virtual keyboard settings of the virtual keyboard (hereinafter, referred to as "virtual keyboard information".) It is stored. Specifically, the virtual keyboard information storage unit 71 stores virtual keyboard information corresponding to the posture action (gesture) as shown in the example of FIG.
仮想キーボード設定処理部５５は、仮想キーボードの入力の開始のジェスチャーが認識された場合には、画像を解析して、両手の掌の位置・幅、各手の指先の位置、ピッチを計測して、掌や指先の位置に応じたサイズの仮想キーボードを設定する。仮想キーボードの設定は、仮想キーボード情報記憶部７１に仮想キーボード情報として記憶される。
また、仮想キーボード設定処理部５５は、キー押し動作のジェスチャーが認識された場合には、キーの打鍵／離鍵に応じて、キー入力処理を実行する。その結果、対応するキーの入力が行われる。
また、仮想キーボード設定処理部５５は、仮想キーボードの仕様の変更のジェスチャーであった場合には、仮想キーボードの仕様の変更のジェスチャーの態様に応じて、ジェスチャーに対応するキー仕様（英字キー／カナキー／１０キー／電話キー等）に変更する。
また、仮想キーボード設定処理部５５は、仮想キーボードの位置、向き、サイズの変更のジェスチャーが認識された場合には、仮想キーボードの位置、向き、サイズの変更のジェスチャーの態様に応じて、ジェスチャーに対応する位置、向き、サイズに変更する。
The virtual keyboard setting processing unit 55 analyzes the image when the gesture of starting the input of the virtual keyboard is recognized, and measures the position / width of the palms of both hands, the position of the fingertips of each hand, and the pitch. Set a virtual keyboard of a size according to the position of your palm or fingertip. The virtual keyboard setting is stored as virtual keyboard information in the virtual keyboard information storage unit 71.
The virtual keyboard setting processing unit 55 executes key input processing in response to key pressing / key release when a key pressing gesture is recognized. As a result, the corresponding key is input.
In addition, when the virtual keyboard setting processing unit 55 is a gesture for changing the specification of the virtual keyboard, the key specification (alphabetic key / kana key) corresponding to the gesture according to the mode of the gesture for changing the specification of the virtual keyboard. / 10 key / telephone key).
In addition, when the gesture for changing the position, orientation, and size of the virtual keyboard is recognized, the virtual keyboard setting processing unit 55 uses the gesture according to the mode of the gesture for changing the position, orientation, and size of the virtual keyboard. Change to the corresponding position, orientation, and size.
ステップＳ１５において、手指検出処理部５２は、手指のジェスチャーの検出を容易にするために、ジェスチャー検出の前処理として、手指画像における背景画像の除去、手指以外の画像を除去し、両手画像の分離する処理を実行する。 In step S15, the finger detection processing unit 52 removes the background image from the finger image , removes the image other than the finger, and separates the two-handed image as preprocessing for gesture detection in order to facilitate the detection of the gesture of the finger. Execute the process.
ステップＳ４１において、ジェスチャー認識部５４は、ジェスチャー認識の結果、認識されたジェスチャーが仮想キーボード入力終了のジェスチャーが検出されたか否かを判定する。
仮想キーボード入力終了のジェスチャーでなかった場合には、ステップＳ４１においてＮＯと判定されて、処理はステップＳ４４に進む。ステップＳ４４以降の処理は後述する。
仮想キーボード入力終了のジェスチャーであった場合には、ステップＳ４１においてＹＥＳと判定されて、処理はステップＳ４２に進む。
Oite in step S41, the gesture recognition unit 54 as a result of the gesture recognition, the recognized gesture determines whether the gesture of the virtual keyboard input completion has been detected.
If it is not a virtual keyboard input end gesture, NO is determined in step S41, and the process proceeds to step S44. The processing after step S44 will be described later.
If it is a gesture for ending virtual keyboard input, YES is determined in step S41, and the process proceeds to step S42.
このように構成される仮想入力装置１は、複数の入力キーを備える仮想キーボードの仮想キーボード領域が所定の面に形成されており、手指による仮想キーボード設定領域への操作を行うことで情報を入力する装置であり、外視野用撮像部１６−１と、ジェスチャー認識部５４と、仮想キーボード設定処理部５５と、を備える。
外視野用撮像部１６−１は、仮想キーボード領域よりも広い領域を撮像する。
ジェスチャー認識部５４は、外視野用撮像部１６−１によって撮像される領域内で行う手指による所定の形状又は所定の動作姿勢を認識する。
仮想キーボード設定処理部５５は、ジェスチャー認識部５４によって検出された手指による所定の形状又は所定の動作に応じて仮想キーボードの仕様を設定する。
これにより、仮想入力装置１においては、仮想キーボードの仕様を、ユーザの手指の動作姿勢に応じて決定するために、手指の動作姿勢によって、ユーザの所望どおりに仮想キーボードの仕様を決定できる。
The virtual input device 1 configured as described above has a virtual keyboard area of a virtual keyboard having a plurality of input keys formed on a predetermined surface, and inputs information by operating the virtual keyboard setting area with fingers. And an external visual field imaging unit 16-1, a gesture recognition unit 54, and a virtual keyboard setting processing unit 55.
For external field imaging unit 16-1 captures a wider area than the virtual keyboard area.
The gesture recognizing unit 54 recognizes a predetermined shape or a predetermined movement posture by a finger performed in an area captured by the imaging unit for external visual field 16-1.
The virtual keyboard setting processing unit 55 sets the specification of the virtual keyboard in accordance with a predetermined shape or a predetermined operation with fingers detected by the gesture recognition unit 54.
Thereby, in the virtual input device 1, in order to determine the specification of the virtual keyboard according to the operation posture of the user's finger, the specification of the virtual keyboard can be determined as desired by the user according to the operation posture of the finger.
仮想キーボード設定処理部５５は、ジェスチャー認識部５４によって検出される手指の所定の動作姿勢と、あらかじめ対応づけされた条件と、に基づいて、仮想キーボードの仕様を設定する。
これにより、仮想入力装置１においては、仮想キーボードの仕様を、手指の所定の動作姿勢に対応付けて設定することができる。
Virtual keyboard setting processing unit 55, a predetermined operation position of the finger detected by the gesture recognition unit 54, a condition that is sub et beforehand correspondence, based on, sets the specifications of the virtual keyboard.
Thereby, in the virtual input device 1, the specification of the virtual keyboard can be set in association with the predetermined movement posture of the fingers.
仮想キーボード設定処理部５５は、仮想キーボードの種類、設定領域、形状、向き、キー配列の仕様のうちの少なくともいずれか一つを設定する。
これにより、仮想入力装置１においては、種々の仮想キーボードの仕様を変更することができる。
Virtual keyboard setting processing unit 55, the type of the virtual keyboard, setting area, shape, orientation, sets at least one of a specification of the key sequence.
Thereby, in the virtual input device 1, specifications of various virtual keyboards can be changed.
Claims (9)
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像手段と、
前記撮像手段によって撮像される領域内で行う所定の形状又は所定の動作を検出する検出手段と、
前記検出手段によって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定手段と、
を備える、
ことを特徴とする仮想入力装置。 A plurality of virtual input region of the virtual input device having virtual input key is formed in a predetermined plane, the virtual input device for inputting information by performing an operation on the virtual input region,
Imaging means for imaging an area wider than the virtual input region including the virtual input region,
Detecting means for detecting a predetermined shape or a predetermined action performed in an area imaged by the imaging means;
Setting means for setting the specifications of the virtual input device in response to said detected predetermined shape or the predetermined operation by said detection means,
Equipped with a,
A virtual input device characterized by that.
ことを特徴とする請求項１記載の仮想入力装置。 The sensor detects a different said predetermined shape or the predetermined operation of the operation of the normal data input,
The virtual input device according to claim 1.
ことを特徴とする請求項１又は２記載の仮想入力装置。 It said detecting means detects the predetermined shape or the predetermined operation in the wider region than the region to operate the normal data input includes a region for operating the normal data input,
The virtual input device according to claim 1, wherein the virtual input device is a virtual input device.
ことを特徴とする請求項１乃至３のいずれか１項に記載の仮想入力装置。 Said detecting means detects a normal and operating mode of the data input, said a setting operating mode of the specifications of the virtual input device, switching the predetermined shortcut operation to said virtual input device,
The virtual input device according to claim 1, wherein the virtual input device is a virtual input device.
ことを特徴とする請求項１乃至４のいずれか１項に記載の仮想入力装置。 Said detecting means, as said predetermined operation, change in shape, change in position, to detect at least any one of the operating speed,
The virtual input device according to claim 1, wherein the virtual input device is a virtual input device.
ことを特徴とする請求項１乃至５のいずれか１項に記載の仮想入力装置。 The setting means, wherein the predetermined shape or the predetermined operation is detected by said detecting means, and conditions that are sub et beforehand correspondence, based on, sets the specifications of the virtual input device,
The virtual input device according to claim 1, wherein the virtual input device is a virtual input device.
ことを特徴とする請求項１乃至６のいずれか１項に記載の仮想入力装置。 The setting means, the type of the virtual input device, sets at least one of a specification of the set area, shape, orientation, key sequence,
The virtual input device according to claim 1, wherein the virtual input device is a virtual input device.
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像ステップと、
前記撮像ステップによって撮像される領域内で行う所定の形状又は所定の動作を検出する検出ステップと、
前記検出ステップによって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定ステップと、
を含む、
ことを特徴とする入力方法。 Virtual input region of the virtual input device having a plurality of virtual input keys is formed in a predetermined plane, the virtual input device for inputting information by performing an operation on the virtual input region,
An imaging step of imaging an area larger than the virtual input area including the virtual input area;
A detection step of detecting a predetermined shape or a predetermined operation carried out in the area to be imaged by the imaging step,
A setting step of setting the specification of the virtual input device in response to said detected predetermined shape or the predetermined operation by said detection step,
Including,
An input method characterized by that.
前記仮想入力領域を含んで前記仮想入力領域よりも広い領域を撮像する撮像手段を制御する撮像制御手段、
前記撮像手段によって撮像される領域内で行う所定の形状又は所定の動作を検出する検出手段、
前記検出手段によって検出された前記所定の形状又は前記所定の動作に応じて前記仮想入力機器の仕様を設定する設定手段、
として機能させる、
ことを特徴とするプログラム。 Virtual input region of the virtual input device having a plurality of virtual input keys is formed on a predetermined surface, a computer for controlling the virtual input device for inputting information by performing an operation on the virtual input region,
An imaging control means for controlling an imaging means for imaging an area wider than the virtual input area including the virtual input area;
Detecting means for detecting a predetermined shape or a predetermined action performed in an area imaged by the imaging means;
Setting means for setting the specifications of the virtual input device in accordance with the predetermined shape or the predetermined operation is detected by said detecting means,
To function as,
A program characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015058545A JP2016177658A (en) | 2015-03-20 | 2015-03-20 | Virtual input device, input method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015058545A JP2016177658A (en) | 2015-03-20 | 2015-03-20 | Virtual input device, input method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016177658A JP2016177658A (en) | 2016-10-06 |
| JP2016177658A5 true JP2016177658A5 (en) | 2018-04-19 |
Family
ID=57070253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015058545A Pending JP2016177658A (en) | 2015-03-20 | 2015-03-20 | Virtual input device, input method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016177658A (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6776155B2 (en) * | 2017-02-28 | 2020-10-28 | 株式会社コロプラ | A method for providing virtual reality, a program for causing a computer to execute the method, and an information processing device for executing the program. |
| JP2018142168A (en) | 2017-02-28 | 2018-09-13 | セイコーエプソン株式会社 | Head mounted type display device, program, and control method for head mounted type display device |
| JPWO2018207235A1 (en) * | 2017-05-08 | 2020-03-12 | 株式会社ネットアプリ | Input / output system, screen set, input / output method, and program |
| JP2019012485A (en) * | 2017-07-01 | 2019-01-24 | 株式会社ラブ・ボート | User interface |
| CN110072046B (en) * | 2018-08-24 | 2020-07-31 | 北京微播视界科技有限公司 | Image synthesis method and device |
| JP2020034991A (en) * | 2018-08-27 | 2020-03-05 | オムロン株式会社 | Input device, portable terminal, input device control method, and input device control program |
| JP7179334B2 (en) * | 2019-05-07 | 2022-11-29 | コーデンシ株式会社 | GESTURE RECOGNITION DEVICE AND PROGRAM FOR GESTURE RECOGNITION DEVICE |
| KR20210138923A (en) | 2020-05-13 | 2021-11-22 | 삼성전자주식회사 | Electronic device for providing augmented reality service and operating method thereof |
| CN111860239B (en) * | 2020-07-07 | 2024-07-02 | 长春长光精密仪器集团有限公司 | Key recognition method, device, terminal equipment and computer readable storage medium |
| JP7472734B2 (en) | 2020-09-17 | 2024-04-23 | サクサ株式会社 | Image processing device and program |
| WO2024075544A1 (en) * | 2022-10-06 | 2024-04-11 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04352216A (en) * | 1991-05-30 | 1992-12-07 | Canon Inc | Data input device |
| JP2009527041A (en) * | 2006-02-16 | 2009-07-23 | エフティーケー テクノロジーズ エルティーディー． | System and method for entering data into a computing system |
| JP2007219966A (en) * | 2006-02-20 | 2007-08-30 | Sharp Corp | Projection input device, and information terminal and charger having projection input device |
| JP2013257686A (en) * | 2012-06-12 | 2013-12-26 | Sony Corp | Projection type image display apparatus, image projecting method, and computer program |
-
2015
- 2015-03-20 JP JP2015058545A patent/JP2016177658A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016177658A5 (en) | ||
| CN105824559B (en) | False touch recognition and processing method and electronic equipment | |
| KR101919169B1 (en) | Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device | |
| US9367202B2 (en) | Information processing method and electronic device | |
| WO2012070682A1 (en) | Input device and control method of input device | |
| RU2016129617A (en) | CAPTURE DETECTION | |
| JP6350261B2 (en) | Object operation system, object operation control program, and object operation control method | |
| US9354780B2 (en) | Gesture-based selection and movement of objects | |
| US9335925B2 (en) | Method of performing keypad input in a portable terminal and apparatus | |
| WO2009128064A2 (en) | Vision based pointing device emulation | |
| WO2014200544A1 (en) | Classification of user input | |
| KR20120096849A (en) | An apparatus and method for inputting command using gesture | |
| WO2006091753A2 (en) | Method and apparatus for data entry input | |
| US10372223B2 (en) | Method for providing user commands to an electronic processor and related processor program and electronic circuit | |
| WO2015100746A1 (en) | Application program display method and terminal | |
| TWI615747B (en) | System and method for displaying virtual keyboard | |
| TW201409286A (en) | Keyboard device and electronic device | |
| TW201741814A (en) | Interface control method and mobile terminal | |
| EP2690536A1 (en) | Information processing device, method for controlling information processing device, and program | |
| JP5888423B2 (en) | Character input device, character input method, character input control program | |
| CN105912158A (en) | Touch-screen photographing method, device for mobile terminal and mobile terminal | |
| JP6033061B2 (en) | Input device and program | |
| KR20080070930A (en) | Apparatus and method for inputing the korean alphabet in portable terminal | |
| US20140049515A1 (en) | Virtual mouse and operating method thereof | |
| JP2015230496A (en) | Electronic equipment |