JP2013015877A - Data input method by virtual mouse - Google Patents
Data input method by virtual mouse Download PDFInfo
- Publication number
- JP2013015877A JP2013015877A JP2011146109A JP2011146109A JP2013015877A JP 2013015877 A JP2013015877 A JP 2013015877A JP 2011146109 A JP2011146109 A JP 2011146109A JP 2011146109 A JP2011146109 A JP 2011146109A JP 2013015877 A JP2013015877 A JP 2013015877A
- Authority
- JP
- Japan
- Prior art keywords
- movement
- fingertip
- mouse
- hand
- fingertips
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、通信機器や情報機器において、物理的には実在しない仮想マウスを操作する、操作者の手の動きおよび指先の動きを検出して、表示されているポインタの移動操作やクリック操作等の画面操作を実行して、通常のマウスによる入力と同等のデータ入力を実現する方法に関する。 The present invention operates a virtual mouse that does not physically exist in a communication device or an information device, detects the movement of an operator's hand and the movement of a fingertip, and moves or clicks a displayed pointer. The present invention relates to a method for realizing data input equivalent to normal mouse input by executing the screen operation.
近年、半導体技術の進歩に伴い、小型軽量で高性能なモバイル用携帯型パーソナルコンピュータ(以下、モバイルパソコンと略す)等の普及が進展している。また、モバイルパソコンにインストールされるアプリケーションソフトウェアにおける画面操作やデータ入力手段は、キーボード以外にマウスによる、クリックやドラッグ等のグラフィカルユーザインタフェース(GUI)に基づく操作が一般的である。 2. Description of the Related Art In recent years, with the advancement of semiconductor technology, a portable personal computer for mobile use (hereinafter abbreviated as a mobile personal computer) having a small size, light weight and high performance has been spread. Further, screen operations and data input means in application software installed in a mobile personal computer are generally operations based on a graphical user interface (GUI) such as click and drag, etc., using a mouse in addition to a keyboard.
そのため、例えば、モバイルパソコンを使用する場合、自席や自宅では通常のマウスを有線または無線で接続してGUI操作し、出先ではジョイスティック,タッチパッド,トラックボール等のモバイルパソコン本体に付属しているポインティングデバイスを利用してGUI操作することが通例である。この理由は、出先へモバイルパソコン本体以外に別ユニットである通常のマウスを携帯することを忌避しているためであり、本来は通常のマウスにより操作する方が快適であると思われる。 For this reason, for example, when using a mobile PC, a normal mouse is wired or wirelessly connected at home or at home, and the GUI is operated, and a pointing device attached to the mobile PC body such as a joystick, touchpad, or trackball is used on the go. It is customary to operate the GUI using a device. This is because it avoids carrying a normal mouse as a separate unit in addition to the mobile personal computer to the destination, and it seems that it is originally more comfortable to operate with a normal mouse.
これを改善する方法として、カメラによる撮影画像から例えば手の動き方向などを解析して、その解析情報に基づいてコマンド入力処理を実行する技術がある(例えば、特許文献1)。この技術は、例えば、認識対象オブジェクトとしての手や指が認識領域(Hotspot)を横切る方向として、下から上、左から右、上から下、右から左の4種類を識別可能とし、該認識領域として3つの領域を設定した場合、64(=4×4×4)通りの識別が可能となるので、これらの動作を64個のGUI操作コマンドに対応付けるものである。これにより、ユーザはカメラに対して予め定められたジェスチャ動作することで、物理的なマウス等を用いることなく、画面を操作する所定のコマンド入力が可能となる。 As a method for improving this, there is a technique in which, for example, a hand movement direction is analyzed from an image captured by a camera, and command input processing is executed based on the analysis information (for example, Patent Document 1). This technology makes it possible to identify four types, for example, from bottom to top, from left to right, from top to bottom, and from right to left as directions in which a hand or finger as a recognition target object crosses the recognition area (hotspot). When three regions are set as regions, 64 (= 4 × 4 × 4) ways of identification are possible, and these operations are associated with 64 GUI operation commands. Thus, the user can perform a predetermined command to operate the screen without using a physical mouse or the like by performing a predetermined gesture operation on the camera.
しかしながら、特許文献1に記載されている技術は、例えば、視聴しているテレビの音量やチャンネルの操作を、リモコン機器無しにリモート操作するには適していると思われるが、手や指が認識領域を横切る方向を識別する程度の大きな動きが必要なジェスチャ入力なので、一般的なマウスを操作する感覚とは大きく異なっている。また、操作者は多くの予め定められたジェスチャ動作を覚える必要があり、物理的なマウスを代替する技術としては不充分である。
However, although the technique described in
そこで、本発明の課題は、モバイルパソコン等の通信機器や情報機器において、通常のマウスを操作する感覚で、物理的には実在しない仮想マウスを操作し、その手および指先の動きを検出して、表示されているポインタの移動操作やクリック操作等の画面操作を実行して、通常のマウスによる入力と同等のデータ入力を実現する方法を提供することにある。 Therefore, the problem of the present invention is to operate a virtual mouse that does not physically exist in a communication device or information device such as a mobile personal computer, and to detect the movement of its hand and fingertips. Another object of the present invention is to provide a method for realizing data input equivalent to normal mouse input by executing screen operations such as a moving operation and a click operation of a displayed pointer.
上記課題を解決するために、第1の本発明は、操作者の手および指先を撮影する所定の映像カメラからの映像データまたは指先の位置を検出するセンサからのデータを解析し、実体の無い仮想マウスに対する操作内容を判定して所定の画像表示装置に表示されているポインタの移動およびクリック操作に係るデータを入力するデータ入力方法であって、前記映像データまたはセンサからのデータを解析して前記仮想マウスを操作する操作者の手の移動を検出する移動検出ステップと、前記映像データまたはセンサからのデータを解析して前記仮想マウスを操作する1以上の指先の位置および動作を検出する指先検出ステップと、を有し、前記指先検出ステップが前記1以上の指先による予め定められた特定形状を検出している状態で前記移動検出ステップが手の移動を検出した場合に、前記手の移動に応じて表示中のポインタを移動させる移動コマンドを所定の情報処理ステップへ出力し、前記指先検出ステップが前記1以上の指先による予め定められた特定形状を検出している状態で前記1以上の指先のいずれかによる押下動作を検出した場合に、クリック操作が為されたことを通知するクリックコマンドを前記情報処理ステップへ出力することを特徴とする。 In order to solve the above problems, the first aspect of the present invention analyzes the video data from a predetermined video camera that captures the hand and fingertip of the operator or the data from the sensor that detects the position of the fingertip, and has no entity. A data input method for determining operation contents for a virtual mouse and inputting data related to a movement and click operation of a pointer displayed on a predetermined image display device, wherein the video data or data from a sensor is analyzed A movement detecting step for detecting movement of an operator's hand operating the virtual mouse; and a fingertip for detecting the position and movement of one or more fingertips operating the virtual mouse by analyzing the video data or data from the sensor And the movement in a state where the fingertip detection step detects a predetermined specific shape by the one or more fingertips. When the exiting step detects the movement of the hand, a movement command for moving the pointer being displayed according to the movement of the hand is output to a predetermined information processing step, and the fingertip detecting step is performed in advance by the one or more fingertips. Outputting a click command notifying that a click operation has been performed to the information processing step when a pressing operation by any one of the one or more fingertips is detected in a state where a predetermined specific shape is detected; It is characterized by.
また、第2の本発明は、上記第1の本発明において、前記指先検出ステップが前記1以上の指先による予め定められた特定形状を検出している状態で前記1以上の指先のいずれかの往復移動を検出している場合に、表示中の画面をスクロールするスクロールコマンドを前記情報処理ステップへ出力することを特徴とする。 In addition, according to a second aspect of the present invention, in the first aspect of the present invention, any one of the one or more fingertips in a state where the fingertip detection step detects a predetermined specific shape by the one or more fingertips. When reciprocal movement is detected, a scroll command for scrolling the screen being displayed is output to the information processing step.
本発明によれば、通常のマウスを操作する感覚で、物理的には実在しない仮想マウスを操作するので、特殊なジェスチャコマンドを覚える必要がない。従って、モバイルパソコンを出先で使用する場合で、通常のマウスを携帯していない状況であっても、通常のマウスと同等の快適な操作性を提供できる効果がある。 According to the present invention, since a virtual mouse that does not physically exist is operated as if a normal mouse was operated, it is not necessary to memorize a special gesture command. Therefore, even when the mobile personal computer is used at the destination and the normal mouse is not carried, there is an effect that the comfortable operability equivalent to that of the normal mouse can be provided.
以下、本発明の実施形態として、情報装置や通信装置のマウス入力部に適用した場合を例に、図面を用いて説明する。 Hereinafter, as an embodiment of the present invention, a case where the present invention is applied to a mouse input unit of an information device or a communication device will be described as an example with reference to the drawings.
図1は、本発明方法の全体説明図であって、1は本発明方法を適用した情報装置や通信装置(以下、本装置と略す)、2は本装置1に組み込まれている映像カメラ、30は本装置1に組み込まれている表示部、31は表示部30に表示されているポインタ、32および33は表示部30に表示されているクリック領域、40は仮想マウスを操作する操作者の手、41は手40の人差指の指先、42は手40の中指の指先、50は仮想マウス、51は仮想マウスの左クリックスイッチ、52は仮想マウスの右クリックスイッチである。なお、図示しないが、通常のマウスと同様に、仮想マウス50の左クリックスイッチ51と右クリックスイッチ52の間にスクロールキーがある。
FIG. 1 is an overall explanatory view of the method of the present invention, in which 1 is an information device or communication device (hereinafter abbreviated as this device) to which the method of the present invention is applied, 2 is a video camera incorporated in the
破線で示した50〜52は物理的には実在していない。操作者は、表示部30に表示されたポインタ31を見ながら、物理的には実在しない仮想マウス50を手40で握っているとイメージして、仮想マウス50を手40により机上で動かし、指先41,42によりクリック操作や画面のスクロール操作をする。このマウス操作している操作者の手40,指先41,42は、映像カメラ2により撮影されており、映像カメラ2からの映像データを画像処理して解析することにより、手40の移動および指先41,42による左クリックまたは右クリック操作を検出する。そして、それらの検出結果に応じて、ポインタ31は移動する。
50 to 52 indicated by broken lines are not physically present. While looking at the
なお、図1では、表示部30に表示されたポインタ31をYESのクリック領域32に移動してクリック操作した場合の例である。なお、ポインタ31が最初に表示される位置は、表示部30のセンタ,上下左右の端,所定のクリック領域のセンタ等、アプリケーションソフトの処理により適宜設定される。
FIG. 1 shows an example in which the
図2は、本装置1のブロック構成図であって、11は指先検出部、12は特定形状検出部、13は移動検出部、14はマウス設定部、15はクリック判定部、16はマウスインタフェース、17は情報処理部である。
FIG. 2 is a block diagram of the
指先検出部11は、映像カメラ2が撮影した仮想マウス50を操作する各指先の映像データを解析して、手や各指先が位置している座標を検出し、特定形状検出部12,移動検出部13,クリック判定部15へ検出したデータを通知する。
The
特定形状検出部12は、指先検出部11からのデータを解析して、各指による形状を判定し、予め登録されている特定形状(例えば、じゃんけんのチョキ)を検出した場合に、その旨をマウスインタフェース16へ通知する。
The specific
移動検出部13は、指先検出部11からのデータを解析して、仮想マウス50を操作する手40の移動を検出し、その移動方向と移動量をマウスインタフェース16へ通知する。
The
マウス設定部14は、仮想マウス50の左クリックスイッチ51および右クリックスイッチ52の機能や手40の移動量(即ち仮想マウス50の移動量)に対するポインタ31の移動比率等、仮想マウス50の動作に係るデータを設定する手段である。なお、マウス設定部14へ設定するデータは、キーボード等(図示せず)の仮想マウス50以外の入力機器で入力してもよいし、特定形状検出部12を介して、各指先による所定の形状に対応して予め定められたデータを入力するようにしてもよい。
The
クリック判定部15は、指先検出部11からのデータを解析して、指先41または指先42の押下動作を監視し、押下動作を検出した場合、仮想マウス50の左クリックスイッチ51または右クリックスイッチ52のいずれがクリックされたかを判定し、その判定結果をマウスインタフェース16へ通知する。例えば、指先41による押下動作を検出した場合は左クリックスイッチ51がクリックされたと判定し、指先42による押下動作を検出した場合は右クリックスイッチ52がクリックされたと判定する。
The
マウスインタフェース16は、特定形状検出部12,移動検出部13,クリック判定部15から入力したデータにより、ポインタ31の移動データ,クリックコマンド,スクロールコマンドを情報処理部17へ出力する。
The
例えば、じゃんけんのチョキの形は、仮想マウス50を手40でグリップすると共に、右手人差指の指先41および右手薬指の指先42が仮想マウス50の左クリックスイッチ51および右クリックスイッチ52の位置にセットされた状態を模しているので、この形での移動はポインタ31を移動させるべき仮想マウス50の移動もしくはドラッグと定義する。この場合、チョキ以外の形(例えば、パーまたはグー)での移動は、ポインタ31を移動させない仮想マウス50の空間移動(通常のマウス操作において、マウスを浮かせて元の位置に戻す操作に相当)となる。これにより、操作者は通常のマウスを操作する感覚で各指先を動かせばよいので、違和感が小さい。
For example, in the shape of Janken, the
情報処理部17は、マウスによる移動データ,クリックコマンド,スクロールコマンドの入力を伴うアプリケーションソフトウェア一般による情報処理手段である。
The
なお、情報処理部17に入力する移動データ,クリックコマンド,スクロールコマンドは、通常の物理的なマウスからのデータと同一であり、情報処理部17のマウス対応部(図示せず)は、マウスインタフェース16から入力した移動データ,クリックコマンドに応じて、表示中のポインタ31を移動処理すると共に、表示中のポインタ31の形状をクリック操作やドラッグ操作に対応した形状に変形させる。また,マウスインタフェース16から入力したスクロールコマンドに応じて表示中の画像をスクロールする。
The movement data, click command, and scroll command input to the
図3は、本装置1の動作フローチャートである。以下、図1および図2を併用して、本装置1の動作フローを説明する。なお、本フローは本装置1の電源が投入され、情報処理部17がマウスからのデータ入力待ちの状態でスタートする(S300)。この状態において、ポインタ31は、情報処理部17が起動しているアプリケーションソフトウェアが指定するホームポジションまたは特定のポジションに表示されている。
FIG. 3 is an operation flowchart of the
本装置1を操作している操作者の手40およびその指先の映像データ(映像カメラ2が撮影)が指先検出部11へ入力すると(S310)、指先検出部11は、その映像データを解析して手40および各指先の位置を検出する(S311)。
When the
特定形状検出部12は、指先検出部11が検出した各指先が位置する座標データから、予め定められた特定形状(例えば、チョキ)か否かを監視し、特定形状を検出すると(S320,YES)、操作者が仮想マウス50を掴んでいると判断してS330へ進む。特定形状を検出しなければ(S320,NO)、S310へ戻る。
The specific
S330において、移動検出部13は、指先検出部11から通知される手40が位置する座標データの履歴から手40の移動を監視し、手40の移動を検出した場合(S330,YES)、手40の移動方向と移動量を含む移動データを、マウスインタフェース16を介して、情報処理部17に出力し(S331)、S340へ進む。なお、この移動データに含まれる移動量の値は手40の移動量にマウス設定部14に設定されている移動に係るパラメータを乗じた値である。情報処理部17は入力した移動データに応じて、表示中のポインタ31を相対的に移動処理する。S330でNOであれば、S331をスキップしてS340へ進む。
In S330, the
S340において、クリック判定部15は、指先検出部11から通知される人差指41と中指42の指先が位置する座標データの履歴から各指先の押下動作を監視し、押下動作を検出すると(S340,YES)、マウスインタフェース16を介して、右クリックまたは左クリックに対応するクリックコマンドを情報処理部17へ出力し(S341)、S350へ進む。
In S340, the
なお、操作者が行うクリック操作には、シングルクリック操作,ダブルクリック操作やクリックスイッチを押したままのドラッグ操作があるが、これらの識別は情報処理部17が行う(図示せず)。また、右クリックと左クリックの識別は押下動作をした指先が指先41または指先42のいずれであるかにより識別すればよい。S340でNOであれば、S341をスキップしてS350へ進む。
Note that the click operation performed by the operator includes a single click operation, a double click operation, and a drag operation with the click switch held down, but these are identified by the information processing unit 17 (not shown). Further, the right click and the left click may be identified based on whether the fingertip that has been pressed is the
S350において、マウスインタフェース16が指先41または指先42により、仮想マウス50のスクロールキー(図示せず)の操作に対応する上下または前後方向の往復動作を検出すると(S350,YES)、マウスインタフェース16は、マウス設定部14を参照して、画面スクロールに係るコマンドを情報処理部17へ出力し(S351)、S310へ戻る。
In S350, when the
ここで、画面のスクロール方向は、例えば、指先41の往復動作を検出した場合は画面の上方スクロール、指先42の往復動作を検出した場合は画面の下方スクロールと定義すればよい。S350でNOであれば、S351をスキップしてS310へ戻り、S310以降を繰り返す。
Here, the scroll direction of the screen may be defined as, for example, upward scrolling of the screen when the reciprocating motion of the
以上、実在しない仮想マウスを操作する、操作者の手,指先を撮影した映像カメラからの映像データを画像処理技術により解析して、通常のマウスを操作したのと同様の移動データ,クリックコマンド,スクロールコマンドを情報処理部17へ出力する方法について説明した。
As described above, the video data from the video camera that shot the hand and fingertip of the operator who operates the virtual mouse that does not exist is analyzed by image processing technology, and the same movement data, click command, The method for outputting the scroll command to the
本方法において、操作者の各指先の位置を検出する具体的な方法は、例えば、画像認識処理技術を駆使して、爪の部位を抽出してそのセンタ位置を指先の位置と判定すればよい。また、手の位置は、例えば、前記検出した各指先の中心や重心の位置とすればよい。 In this method, as a specific method for detecting the position of each fingertip of the operator, for example, by using image recognition processing technology, a nail part may be extracted and the center position determined as the fingertip position. . Moreover, what is necessary is just to let the position of a hand be the position of the center of each detected said fingertip, or a gravity center, for example.
さらに、指先の位置を簡易な処理で判定する方法として、各指先の爪にネールアートのように特徴点を有する物を付着し、または特徴点を有する絵やマークを描き、または特徴点のある手袋や指サックを装着し、画像処理技術によりそれらの特徴点を検出するようにしてもよい。 Furthermore, as a method for determining the position of the fingertip by a simple process, an object having a feature point such as nail art is attached to each nail of each fingertip, a picture or mark having a feature point is drawn, or there is a feature point A glove or finger sack may be worn, and the feature points may be detected by image processing technology.
ところで、本発明の実施の形態において、各指先の位置および動作を検出する方法として、映像カメラ2からの映像データを分析(画像処理)して検出する方法を例に説明したが、本発明はこれに限定されない。詳細な説明は省略するが、例えば、映像カメラ2の代わりに、各指先の位置を直接的に検出するセンサからのデータによって、仮想マウス50への操作内容を検出する方法も適用可能である。例えば、各指先の爪または手袋に磁性体や無線タグを装着して、それらの位置や動作を所定のセンサ(例えばホール素子や無線タグリーダ)で検出するようにしてもよい。
By the way, in the embodiment of the present invention, as a method for detecting the position and movement of each fingertip, a method for analyzing and detecting video data from the
また、特定形状検出部12が識別する特定形状を自由に定義することも可能である(図示せず)。例えば、手40の各指先によるグー,チョキ,パー以外にも、親指と人差指によるOKサイン,グーの形から所定本数の指を伸ばした形状等、種々の形状もしくは動作により、ポインタ31のホームポジションへの移動,ポインタ31の表示/停止,表示部30に表示している画像の拡大/縮小等、各種の画面操作コマンドを定義できる。
It is also possible to freely define a specific shape identified by the specific shape detector 12 (not shown). For example, in addition to goo, choki, and par with each fingertip of the
1・・・本発明方法を適用した装置
2・・・映像カメラ
11・・・指先検出部
12・・・特定形状検出部
13・・・移動検出部
14・・・マウス設定部
15・・・クリック判定部
16・・・マウスインタフェース
17・・・情報処理部
30・・・表示部
31・・・ポインタ
32・・・クリック領域(YES)
33・・・クリック領域(NO)
40・・・仮想マウスを操作する手
41・・・仮想マウスを操作する人差指の指先
42・・・仮想マウスを操作する中指の指先
50・・・仮想マウス
51・・・仮想マウスの左クリックスイッチ
52・・・仮想マウスの右クリックスイッチ
DESCRIPTION OF
33 ... Click area (NO)
40 ... Hand for operating
Claims (2)
前記映像データまたはセンサからのデータを解析して前記仮想マウスを操作する操作者の手の移動を検出する移動検出ステップと、前記映像データまたはセンサからのデータを解析して前記仮想マウスを操作する1以上の指先の位置および動作を検出する指先検出ステップと、を有し、
前記指先検出ステップが前記1以上の指先による予め定められた特定形状を検出している状態で前記移動検出ステップが手の移動を検出した場合に、前記手の移動に応じて表示中のポインタを移動させる移動コマンドを所定の情報処理ステップへ出力し、
前記指先検出ステップが前記1以上の指先による予め定められた特定形状を検出している状態で前記1以上の指先のいずれかによる押下動作を検出した場合に、クリック操作が為されたことを通知するクリックコマンドを前記情報処理ステップへ出力することを特徴とする仮想マウスによるデータ入力方法。 Analyzes video data from a predetermined video camera that captures the operator's hand and fingertips or data from a sensor that detects the position of the fingertip, and determines the operation contents for the virtual mouse that does not exist, to the predetermined image display device A data input method for inputting data related to movement of a displayed pointer and click operation,
A movement detecting step for detecting movement of an operator's hand operating the virtual mouse by analyzing the video data or data from the sensor, and operating the virtual mouse by analyzing the video data or data from the sensor A fingertip detection step of detecting the position and movement of one or more fingertips,
When the movement detection step detects the movement of the hand in a state where the fingertip detection step detects a predetermined specific shape by the one or more fingertips, a pointer being displayed according to the movement of the hand The movement command to be moved is output to a predetermined information processing step,
Notifying that a click operation has been performed when the pressing operation by any one of the one or more fingertips is detected while the fingertip detection step detects a predetermined specific shape by the one or more fingertips. A data input method using a virtual mouse, wherein a click command is output to the information processing step.
前記指先検出ステップが前記1以上の指先による予め定められた特定形状を検出している状態で前記1以上の指先のいずれかの往復移動を検出している場合に、表示中の画面をスクロールするスクロールコマンドを前記情報処理ステップへ出力することを特徴とする仮想マウスによるデータ入力方法。 The data input method according to claim 1,
When the fingertip detecting step detects a reciprocating movement of the one or more fingertips in a state where a predetermined specific shape is detected by the one or more fingertips, the screen being displayed is scrolled. A data input method using a virtual mouse, wherein a scroll command is output to the information processing step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011146109A JP5733056B2 (en) | 2011-06-30 | 2011-06-30 | Data input method with virtual mouse |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011146109A JP5733056B2 (en) | 2011-06-30 | 2011-06-30 | Data input method with virtual mouse |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015072494A Division JP2015122124A (en) | 2015-03-31 | 2015-03-31 | Information apparatus with data input function by virtual mouse |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013015877A true JP2013015877A (en) | 2013-01-24 |
JP5733056B2 JP5733056B2 (en) | 2015-06-10 |
Family
ID=47688546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011146109A Expired - Fee Related JP5733056B2 (en) | 2011-06-30 | 2011-06-30 | Data input method with virtual mouse |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5733056B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014212419A (en) * | 2013-04-18 | 2014-11-13 | 株式会社野村総合研究所 | Character input apparatus, character input method and character input program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0863326A (en) * | 1994-08-22 | 1996-03-08 | Hitachi Ltd | Image processing device/method |
JP2006127488A (en) * | 2004-09-29 | 2006-05-18 | Toshiba Corp | Input device, computer device, information processing method, and information processing program |
WO2007097548A1 (en) * | 2006-02-20 | 2007-08-30 | Cheol Woo Kim | Method and apparatus for user-interface using the hand trace |
JP2009070370A (en) * | 2007-07-26 | 2009-04-02 | Konami Digital Entertainment:Kk | Virtual mouse device and gaming machine |
US20090284469A1 (en) * | 2008-05-16 | 2009-11-19 | Tatung Company | Video based apparatus and method for controlling the cursor |
JP2010113481A (en) * | 2008-11-05 | 2010-05-20 | Sharp Corp | Input device |
-
2011
- 2011-06-30 JP JP2011146109A patent/JP5733056B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0863326A (en) * | 1994-08-22 | 1996-03-08 | Hitachi Ltd | Image processing device/method |
JP2006127488A (en) * | 2004-09-29 | 2006-05-18 | Toshiba Corp | Input device, computer device, information processing method, and information processing program |
WO2007097548A1 (en) * | 2006-02-20 | 2007-08-30 | Cheol Woo Kim | Method and apparatus for user-interface using the hand trace |
JP2009070370A (en) * | 2007-07-26 | 2009-04-02 | Konami Digital Entertainment:Kk | Virtual mouse device and gaming machine |
US20090284469A1 (en) * | 2008-05-16 | 2009-11-19 | Tatung Company | Video based apparatus and method for controlling the cursor |
JP2010113481A (en) * | 2008-11-05 | 2010-05-20 | Sharp Corp | Input device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014212419A (en) * | 2013-04-18 | 2014-11-13 | 株式会社野村総合研究所 | Character input apparatus, character input method and character input program |
Also Published As
Publication number | Publication date |
---|---|
JP5733056B2 (en) | 2015-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2049976B1 (en) | Virtual controller for visual displays | |
US8432301B2 (en) | Gesture-enabled keyboard and associated apparatus and computer-readable storage medium | |
US8941600B2 (en) | Apparatus for providing touch feedback for user input to a touch sensitive surface | |
US8816964B2 (en) | Sensor-augmented, gesture-enabled keyboard and associated apparatus and computer-readable storage medium | |
WO2011142317A1 (en) | Gesture recognition device, method, program, and computer-readable medium upon which program is stored | |
US20150220150A1 (en) | Virtual touch user interface system and methods | |
US20090102809A1 (en) | Coordinate Detecting Device and Operation Method Using a Touch Panel | |
KR20080051459A (en) | Method and apparatus of processing a scroll | |
JP2010033158A (en) | Information processing apparatus and information processing method | |
JP2009140390A (en) | Instruction device and fingerprint authentication semiconductor circuit | |
JP2012027515A (en) | Input method and input device | |
KR20160097410A (en) | Method of providing touchless input interface based on gesture recognition and the apparatus applied thereto | |
JP2012252584A (en) | Virtual keyboard input method | |
Matlani et al. | Virtual mouse using hand gestures | |
JP2013114647A (en) | Gesture input system | |
JP2015135572A (en) | Information processing apparatus and control method of the same | |
JP2015122124A (en) | Information apparatus with data input function by virtual mouse | |
JP5733056B2 (en) | Data input method with virtual mouse | |
CN111367455A (en) | Touch screen human-computer interaction accurate positioning and measuring method | |
JP5928628B2 (en) | Virtual keyboard input method | |
KR20110033318A (en) | Virtual mouse system using image recognition | |
CN110007748B (en) | Terminal control method, processing device, storage medium and terminal | |
KR20120062053A (en) | Touch screen control how the character of the virtual pet | |
JP5456817B2 (en) | Display control apparatus, display control method, information display system, and program | |
Ranjith et al. | IMPLEMENTING A REAL TIME VIRTUAL MOUSE SYSTEM USING COMPUTER VISION |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5733056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |