JP2015064660A - Information processor and program - Google Patents
Information processor and program Download PDFInfo
- Publication number
- JP2015064660A JP2015064660A JP2013197072A JP2013197072A JP2015064660A JP 2015064660 A JP2015064660 A JP 2015064660A JP 2013197072 A JP2013197072 A JP 2013197072A JP 2013197072 A JP2013197072 A JP 2013197072A JP 2015064660 A JP2015064660 A JP 2015064660A
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- predetermined
- item
- range
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y02E40/647—
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ユーザの指示を装置へ入力する技術に関する。 The present invention relates to a technique for inputting a user instruction to an apparatus.
コンピュータに対してユーザの指示を入力するときには、ユーザは、キーボードおよびマウスなどの入力インターフェイスを用いる。銀行業務などで用いられるコンピュータには、日々大量の情報が、ユーザによって入力される。この入力において、入力すべき内容を確定させるために、ユーザは、キーボードのエンターキーの押下、マウスのクリックなどが行われる。しかし、ユーザは、このような動作を大量に行うことにより、その動作に対してストレスを感じるようになる。 When inputting a user instruction to the computer, the user uses an input interface such as a keyboard and a mouse. A large amount of information is input by a user every day into a computer used in banking operations. In this input, in order to determine the content to be input, the user performs pressing of the enter key of the keyboard, clicking of the mouse, or the like. However, the user feels stressed by performing such a large amount of operations.
そこで、近年ではユーザの指示の入力を容易にするため、ナチュラルインターフェイス(ナチュラルユーザインターフェイスといわれることもある)に関する技術が開発されている(例えば、特許文献1)。 Therefore, in recent years, a technique related to a natural interface (sometimes referred to as a natural user interface) has been developed in order to facilitate the input of user instructions (for example, Patent Document 1).
特許文献1に記載の技術によれば、キーボードによる文字入力をはじめ、ユーザの様々な指示を、指の動きなどのジェスチャによって装置に入力することができる。このように様々な入力がジェスチャによって可能となった一方、指示の種類によっては、さらに容易な入力が可能とならないか検討されている。 According to the technique described in Japanese Patent Application Laid-Open No. 2004-133620, various instructions from a user, including character input using a keyboard, can be input to the apparatus by gestures such as finger movements. As described above, various inputs can be performed by gestures, but it has been studied whether or not even easier input is possible depending on the type of instruction.
本発明の目的の一つは、装置に対して特定の種類の指示をする場合に、ジェスチャによりユーザが容易に指示を入力できるようにすることを目的とする。 One of the objects of the present invention is to enable a user to easily input an instruction by a gesture when giving a specific type of instruction to the apparatus.
本発明の別の目的の一つは、装置に対して特定の種類の指示をする場合に、所定形状を有する入力装置によりユーザが容易に指示を入力できるようにすることを目的とする。 Another object of the present invention is to allow a user to easily input an instruction using an input device having a predetermined shape when a specific type of instruction is given to the apparatus.
本発明の一実施形態によると、検知対象となる物体の少なくとも1箇所の座標を算出する座標算出手段と、所定の順番が規定された複数の項目のうち少なくとも1つの項目が選択対象であることを表示手段に表示させ、前記座標の変化に基づいて、前記選択対象の項目を前記所定の順番に従って変更し、前記座標の変化が所定の条件を満たすと、前記選択対象の項目に応じた処理を実行する制御手段と、を有する情報処理装置が提供される。 According to one embodiment of the present invention, the coordinate calculation means for calculating the coordinates of at least one location of an object to be detected, and at least one item among a plurality of items for which a predetermined order is defined is a selection target Is displayed on the display means, and based on the change in the coordinates, the item to be selected is changed according to the predetermined order, and when the change in the coordinates satisfies a predetermined condition, a process corresponding to the item to be selected is performed. And an information processing apparatus having control means for executing.
本発明の一実施形態によると、検知対象となる物体の少なくとも1箇所の座標を算出する座標算出手段と、特定方向に変化した量と、前記特定方向とは反対方向に変化した量との比または差が所定の範囲内になり、かつ、前記特定方向を法線方向とする面内に含まれる所定方向の成分の移動量が所定量以上になった場合には、予め決められた処理を実行する制御手段と、を有する情報処理装置が提供される。 According to an embodiment of the present invention, the ratio between the coordinate calculation means for calculating the coordinates of at least one location of the object to be detected, the amount changed in the specific direction, and the amount changed in the direction opposite to the specific direction. Alternatively, when the difference is within a predetermined range and the movement amount of the component in the predetermined direction included in the plane having the specific direction as the normal direction is equal to or larger than the predetermined amount, a predetermined process is performed. And an information processing apparatus having control means to execute.
本発明の一実施形態によれば、装置に対して特定の種類の指示をする場合に、ジェスチャによりユーザが容易に指示を入力できるようにすることができる。 According to an embodiment of the present invention, when a specific type of instruction is given to the apparatus, the user can easily input the instruction by a gesture.
本発明の一実施形態によれば、装置に対して特定の種類の指示をする場合に、所定形状を有する入力装置によりユーザが容易に指示を入力できるようにすることができる。 According to an embodiment of the present invention, when a specific type of instruction is given to the apparatus, the user can easily input the instruction using the input device having a predetermined shape.
以下、本発明の一実施形態に係る電子機器について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号(数字の後にA、Bなどを付しただけの符号)を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なったり、構成の一部が図面から省略されたりする場合がある。 Hereinafter, an electronic apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings. The following embodiments are examples of the embodiments of the present invention, and the present invention is not limited to these embodiments. Note that in the drawings referred to in this embodiment, the same portion or a portion having a similar function is denoted by the same reference symbol or a similar reference symbol (a reference symbol simply including A, B, etc. after a number) and repeated. The description of may be omitted. In addition, the dimensional ratio in the drawing may be different from the actual ratio for convenience of explanation, or a part of the configuration may be omitted from the drawing.
<第1実施形態>
本発明の第1実施形態に係る電子機器について、図面を参照しながら詳細に説明する。
<First Embodiment>
An electronic apparatus according to a first embodiment of the present invention will be described in detail with reference to the drawings.
[全体構成]
図1は、本発明の第1実施形態における電子機器1の構成を示す概略図である。電子機器1は、この例では、パーソナルコンピュータである。この電子機器1は、ユーザからの電子機器1に対する指示の入力を、キーボード13aまたはマウス13bによって受け付けるだけでなく、ユーザのジェスチャ(主に指を用いたジェスチャ)により受け付けることができるナチュラルインターフェイスを有する装置である。なお、電子機器1は、スマートフォン、携帯電話、テレビ、ゲーム機、セキュリティ装置など、ユーザの指示の入力を受け付けて、指示に応じた処理を実行する装置であればよい。
[overall structure]
FIG. 1 is a schematic diagram illustrating a configuration of an
電子機器1は、情報処理装置10を有する。また、電子機器1は、操作部13(この例では、キーボード13aおよびマウス13b)、表示装置14、物体検知装置20、視線測定装置30および入力装置50を有する。これらの各構成は、情報処理装置10に有線または無線で接続されている。なお、これらの各構成の少なくとも一部の構成が一体の装置として構成されていてもよいし、全体の構成が一体の装置として構成されていてもよい。また、この例では視線測定装置30および入力装置50がなくてもよい。
The
情報処理装置10は、CPU(Central Processing Unit)11およびメモリ等の記憶部12を有する。CPU11は、記憶部12に記憶されているプログラムを実行することにより、入力解析機能など、様々な機能を実現する。入力解析機能とは、表示装置14に表示された画面を用いて複数の選択対象から一つの選択対象を確定する際に、ユーザの指の動きを解析して、少なくとも1つの選択対象を確定するための機能である。入力解析機能の詳細については後述する。この入力解析機能の他、CPU11によって実現される様々な機能により、電子機器1の各構成が制御される。
The
情報処理装置10において実行されるプログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、各プログラムは、ネットワーク経由でダウンロードされてもよい。
The program executed in the
操作部13は、ユーザによる操作を受け付けて、受け付けられた操作に応じた信号をCPU11に出力する。表示装置14は、CPU11の制御により画面の表示態様が制御される。入力解析機能によっては、例えば、図4に示す画面が表示装置14に表示される。
The
物体検知装置20は、パターン投影方式により、物体を検知して、その物体の形状を3次元で測定し、測定した結果を示す測定信号を出力する。物体検知装置20は、所定の検知範囲に存在する物体を検知する検知センサ21を有する。この例では、検知センサ21は、所定のパターン(ドットパターン、メッシュパターン等)で赤外光を照射する発光素子と、物体で反射することにより歪んだパターンの赤外光を受光して受光信号を出力する赤外光用イメージセンサとを有する深度センサである。物体検知装置20は、赤外光用イメージセンサから出力される受光信号を用いて、測定信号を出力する。したがって、測定信号は、検知センサ21から見た場合の物体の形状を反映している。
The
この例では、物体検知装置20における物体の検知にはパターン投影方式を用いていたが、レーザ干渉計等で用いられるTOF(Time of Flight)方式を用いてもよいし、赤外線等可視光以外を検出するイメージセンサまたは可視光用イメージセンサ等を1つ又は複数用いて撮影した結果得られる画像データを解析して検出する方式を用いてもよく、様々な公知の技術を用いることができる。また、複数の方式を組み合わせて用いてもよい。いずれの方式であっても、物体検知装置20は、検知範囲に存在する物体の形状を3次元座標で測定した結果を示す測定信号を出力する。
In this example, the pattern projection method is used to detect an object in the
なお、この例では、物体検知装置20は、図1に示すように、電子機器1を使用するユーザからみて表示装置14の左側に設置され、矢印A1方向に検出センサ21が向けられている。そのため、ユーザの左側から右側(例えば、図1の左奥側から右手前側)に向けて赤外光が照射されて、電子機器1を使用するユーザと表示装置14との間の空間およびその周辺の空間が検知範囲となる。そのため、物体検知装置20の位置および検知センサ21の向きは、ユーザの右手を物体として検知するのに適した配置となっている。なお、この物体検知装置20の配置は一例であって、この配置に限定されるものではなく、検知すべき物体および後述するようにして座標が算出される物体の位置に応じて決められればよい。
In this example, as shown in FIG. 1, the
視線測定装置30は、ユーザの視線方向を測定するための撮影をする装置である。視線測定装置30は、プルキニエ像を取得するためにユーザの眼に向けて赤外光を照射する発光素子と、ユーザの眼を含む領域を撮影するイメージセンサとを有する視線センサ31を有し、イメージセンサによる撮影結果を示す撮影信号を情報処理装置10に出力する。この撮影信号は、情報処理装置10において、ユーザの視線方向を測定するために用いられる。この例では、視線測定装置30は、図1に示すように表示装置14の上部に取り付けられている。
The line-of-
なお、視線方向の測定には、この例では、プルキニエ像を用いる角膜反射法により視線方向を測定する公知の方法を用いるが、強膜トラッカー法、EOG(Electro-oculography)法、サーチコイル法など他の公知の方法を用いてもよい。他の方法を用いる場合、視線測定装置30においては、視線方向の測定に用いる方法に応じた構成で、ユーザの視線の情報を取得するようにすればよい。
In this example, for the measurement of the line-of-sight direction, a known method of measuring the line-of-sight direction by the corneal reflection method using a Purkinje image is used, but the sclera tracker method, EOG (Electro-oculography) method, search coil method, etc. Other known methods may be used. When using another method, the line-of-
[情報処理装置10の機能構成]
図2は、本発明の第1実施形態における指示入力機能100の構成を示すブロック図である。指示入力機能100は、検知部110、座標算出部120、予測範囲算出部130および制御部200の各構成により実現される。
[Functional configuration of information processing apparatus 10]
FIG. 2 is a block diagram showing the configuration of the
検知部110は、物体検知装置20から出力される測定信号に基づいて、検知対象となる物体に応じた検知データを出力する。検知データは、測定信号から検知範囲において検知された物体の形状(例えば輪郭)を認識可能なデータであれば、どのようなデータであってもよい。なお、検知部110は、物体検知装置20に含まれていてもよい。
The
座標算出部120は、検知部110から出力される検知データに基づいて、検知対象の物体の少なくとも一箇所の座標を算出する。この例では、座標算出部120は、手の少なくとも1本の指(人差し指)の先端部(指先)の3次元空間における座標(図3の座標Pf)を算出する。なお、座標が算出される指は、1本の指でなく、複数の指であってもよい。
The coordinate
予測範囲算出部130は、座標算出部120で算出された座標の変化に基づいて、以後にこの座標が変化すると予測される予測範囲を算出する。すなわち、予測範囲算出部130は、直前の所定の時間内において人差し指の指先が移動してきた軌跡の少なくとも一部を参照し、所定の演算を施して、今後に移動すると予測される範囲(図3の予測範囲ER)を算出する。
Based on the change in coordinates calculated by the coordinate
図3は、本発明の第1実施形態における情報処理装置10にユーザの指示を入力する方法の概要を説明する図である。図3に示すように、ユーザは、人差し指を立てた状態で手1000を動かす。手1000は、物体検知装置20により検知される。その結果、手1000の人差し指の指先の座標Pfが座標算出部120によって算出される。
FIG. 3 is a diagram illustrating an outline of a method for inputting a user instruction to the
手1000の移動により、図3に示すように、座標Pfが直前の所定時間内において軌跡TLのとおり変化した場合、この後に座標Pfが変化すると予測される予測範囲ERが予測範囲算出部130によって算出される。具体的には、予測範囲算出部130は、まず、軌跡TLを用いた所定の演算(例えば、最小二乗法等により得られる軌跡TLに近似した関数を算出し、その関数を用いた演算)により、以後に座標PFが移動する可能性の高い軌跡(予測軌跡)を算出する。そして、予測範囲算出部130は、予測軌跡から所定の距離までの範囲内を、予測範囲ERとして算出する。
As shown in FIG. 3, when the coordinate Pf changes according to the trajectory TL within the predetermined time just before the movement of the
この例では、予測範囲算出部130は、座標算出部120によって座標Pfが算出される度に予測範囲ERを算出するのではなく、座標Pfが複数回算出される時間が経過する度に予測範囲ERを算出する。
In this example, the prediction
制御部200は、座標算出部120によって算出された座標Pfと、予測範囲算出部130によって算出された予測範囲ERとに基づいて、ユーザによる装置に対する指示の内容(以下、単にユーザ指示という場合がある)を判断し、その指示に応じた処理を実行する。なお、この例では、制御部200は、操作部13から出力された信号(ユーザによる操作部13の操作)、および視線測定装置30から出力された信号(ユーザの視線)に基づいて、ユーザ指示を判断してもよい。
Based on the coordinates Pf calculated by the coordinate
また、制御部200は、記憶部12から各種情報を読み出して、各種処理を実行する。さらに、制御部200は、表示装置14に表示される画面をユーザ指示に基づいて決定する。ユーザは、表示装置14に表示される画面を見ながらユーザ指示を入力することができる。
In addition, the
図4は、本発明の第1実施形態における情報処理装置10にユーザの指示を入力する方法の概要を説明する図である。表示装置14には、選択すべき複数の項目のうち、少なくとも1つの項目が選択対象であることを示す画面が表示される。図4に示す例では、ウインドウW1、W2が表示されている。ウインドウW1には、複数の項目のうち、「2.BBB」が選択対象として中心に表示され、上下方向にスクロールして選択対象が変更される。ウインドウW2には、複数の項目のうち、「ABC」が選択対象として表示され、ラジオボタンにより選択対象が変更される。また、選択対象の項目が表示されるこれらのウインドウの組は、タブTabにより分類されて切り替えられるようになっている。この例では、タブTabは、様々なウインドウの組がT1〜T4で分類されて、ユーザ指示に基づいて切り替えられる。
FIG. 4 is a diagram illustrating an outline of a method for inputting a user instruction to the
また、VPは、視線測定装置30から出力された信号に基づいて得られるユーザの視線が向いている表示装置14上の位置(以下、視線位置VPという)を示している。この視線位置VPは表示装置14に表示されてもよいし、表示されなくてもよい。
Further, VP indicates a position on the
制御部200は、座標Pfの変化に基づいて、選択対象を所定の順番に従って変更し、座標Pfが予測範囲ERから外れた場合に、そのときの選択対象の項目をユーザが指示したものとして確定し、確定した項目に応じた処理を実行する。このように、制御部200は、ユーザの人差し指によるジェスチャ入力を解析して、選択対象の項目を変更したり確定したりするようなユーザ指示を判断する。この例では、制御部200は、視線位置VPに最も近いウインドウ、図4の例ではウインドウW1において、ユーザ指示に基づいて選択対象の項目を変更したり確定したりする。なお、操作部13へのユーザの操作によってウインドウを変更するようにしてもよい。
Based on the change in the coordinate Pf, the
図5は、本発明の第1実施形態におけるユーザの指示が入力されるときのジェスチャ入力解析例を説明する図である。制御部200が、図3において説明した状態の後の座標Pfの軌跡によってユーザ指示を判断する例を説明する。図5に示す座標Pf1に向かう軌跡TL1に示すように、座標Pfが次に予測範囲ERが算出するまでの間において現在の予測範囲ERの内側を移動し続けた場合、所定の移動量を超えて座標Pfが移動すると、選択対象の項目が変更される。一方、座標Pf2に向かう軌跡TL2に示すように座標Pfが移動した場合、予測範囲ERから外れたことが制御部200によって判定されると、そのときに選択対象として表示されていた項目が確定され、その項目に応じた処理が実行される。
FIG. 5 is a diagram for explaining an example of gesture input analysis when a user instruction is input according to the first embodiment of the present invention. An example in which the
図6は、本発明の第1実施形態における情報処理装置10へのユーザの指示に基づき選択対象が変更されるときの例を説明する図である。図4に示すウインドウW1の表示例が図6(a)に対応する。この状態で、ユーザの人差し指を動かして、座標Pfが予測範囲ERの内側を移動し続けると、所定の移動量を超えると、各項目が上側にスクロールして図6(b)の表示に切り替わり、選択対象の項目が「3.CCC」に変更される。なお、選択対象の項目が変更されるときには、この例で説明したとおり、座標Pfが所定の移動量を超えるてから項目のスクロールが開始するようになっていたが、座標Pfの移動と共に徐々にスクロールが実行されるようにしてもよい。
FIG. 6 is a diagram illustrating an example when the selection target is changed based on a user instruction to the
さらに、座標Pfが予測範囲ERの内側を移動し続けると、所定の移動量を超えると、各項目がさらに上側にスクロールして図6(c)の表示に切り替わり、選択対象の項目が「4.DDD」に変更される。この状態で、座標Pfが予測範囲ERから外れると、選択対象の「4.DDD」が確定され、この「4.DDD」に応じた処理が実行される。 Furthermore, if the coordinate Pf continues to move within the prediction range ER, when the predetermined movement amount is exceeded, each item scrolls further upward to switch to the display in FIG. 6C, and the item to be selected is “4”. .DDD ". In this state, when the coordinate Pf is out of the prediction range ER, “4. DDD” to be selected is determined, and processing according to “4. DDD” is executed.
この処理には、別の機能を実現するために別のプログラムを実行する処理、別の複数の項目から選択対象を確定するための画面に遷移する処理など、様々な処理が含まれる。なお、別の複数の項目から選択対象を確定するための画面に遷移する場合には、これまでに選択対象として確定した項目と、この画面において確定した項目との関係に応じた処理が実行されるようにしてもよい。 This process includes various processes such as a process for executing another program for realizing another function and a process for transitioning to a screen for determining a selection target from another plurality of items. When transitioning to a screen for confirming a selection target from a plurality of other items, processing according to the relationship between the items determined as selection targets so far and the items determined on this screen is executed. You may make it do.
[情報処理装置10の動作]
続いて、制御部200における上述した各処理(以下、入力解析処理という)の具体的な動作の一例について、図7を用いて説明する。
[Operation of Information Processing Apparatus 10]
Next, an example of a specific operation of each process described above (hereinafter referred to as input analysis process) in the
図7は、本発明の第1実施形態における入力解析処理を示すフローチャートである。ユーザ指示により複数の項目から一の項目を選択するためのウインドウが指定されると、入力解析処理が開始される。まず、制御部200は、複数の項目から、最初に選択対象となる項目を特定する(ステップS101)。例えば、図4に示すウインドウW1を例とすると、「2.BBB」が選択対象として特定されている。
FIG. 7 is a flowchart showing the input analysis processing in the first embodiment of the present invention. When a window for selecting one item from a plurality of items is designated by a user instruction, an input analysis process is started. First, the
制御部200は、座標算出部120によって算出された座標Pf(以下の説明において、算出座標という場合がある)を取得する(ステップS103)。制御部200は、予測範囲を算出させて取得した後、かつ、算出座標が、その予測範囲から外れたか否かを判定する(ステップS105)。処理が開始された最初の段階では、予測範囲が算出される前(ステップS105;No)であるから、予測カウントを増加させる(ステップS107)。また、予測範囲が算出されて取得した後であれば、算出座標がその予測範囲内である場合(ステップS105;No)には、ステップS107に進む。予測カウントとは、予測範囲を算出させる間隔を規定するためのカウントであり、しきい値を超えると、予測範囲算出部130により新たな予測範囲が算出される。
The
制御部200は、前の算出座標から今回の算出座標が所定量以上移動しているときには移動量カウントを増加させる(ステップS109)。「前の算出座標」とは、直前に移動量カウントを増加させたときに取得していた算出座標である。移動量カウントは、選択対象の項目を変更するためのカウントであり、しきい値を超えると、すなわち、算出座標の移動量が特定の移動量を越えると、選択対象の項目が次の順番の項目に変更される。
The
制御部200は、予測カウントがしきい値を超えたか否か判定する(ステップS111)。予測カウントがしきい値を超えた場合(ステップS111;Yes)、制御部200は、予測範囲算出部130に新たな予測範囲を算出させ、算出して得られた予測範囲を取得する(ステップS113)。そして、これまで増加してきた予測カウントは、リセットされ(ステップS115)、初期値に戻る。一方、予測カウントがしきい値を超えていない場合(ステップS111;No)、ステップS113、S115の処理は行われない。
The
続いて、制御部200は、移動量カウントがしきい値を超えたか否か判定する(ステップS117)。予測カウントがしきい値を超えていない場合(ステップS117;No)、ステップS103に戻る。一方、移動量カウントがしきい値を超えた場合(ステップS117;Yes)、制御部200は、選択対象の項目を変更する(ステップS119)。例えば、図6に示す例のように、変更前が図6(a)であれば、変更後は図6(b)に示すように選択対象の項目が変更される。そして、これまで増加してきた移動量カウントは、リセットされ(ステップS121)、初期値に戻る。なお、上述した移動量カウントの増加量によっては、最初に予測範囲が算出される前までの期間に、選択対象の項目が変更される場合もある。
Subsequently, the
一方、上記ステップS105において、算出座標が予測範囲から外れた場合(ステップS105;Yes)、制御部200は、そのときの選択対象の項目を確定し(ステップS131)、確定した項目に応じた処理を実行する(ステップS133)。
On the other hand, when the calculated coordinates are out of the predicted range in step S105 (step S105; Yes), the
以上、本発明の第1実施形態における入力解析処理によれば、ユーザが人差し指を特定の図形、曲線等に沿って動かすことにより、複数の項目から選択対象の項目を所定の順番で変更することができる。例えば、円を描くように、人差し指を動かすと、選択対象の項目を所定の順番で変更し、例えば、図6に示すように項目を変更することができる。このとき、円など始点と終点が明確でない閉曲線等の図形を描くようにした場合、人差し指を動かすことで、同じ図形を繰り返し描きながら、選択対象の項目を続けて変更していくこともできる。 As described above, according to the input analysis processing in the first embodiment of the present invention, the user changes the selection target items from a plurality of items in a predetermined order by moving the index finger along a specific figure, curve, or the like. Can do. For example, when the index finger is moved to draw a circle, the items to be selected can be changed in a predetermined order, for example, the items can be changed as shown in FIG. At this time, when a figure such as a closed curve whose start point and end point are not clear, such as a circle, is drawn, by moving the index finger, it is possible to continuously change the item to be selected while drawing the same figure repeatedly.
そして、人差し指の動きを今までの動きから急に変化させることで、選択対象の項目を確定することができる。例えば、円を描いていた人差し指を、急に円の径方向に移動させることにより、そのときの選択対象の項目を確定することができる。 Then, the item to be selected can be determined by suddenly changing the movement of the index finger from the previous movement. For example, the item to be selected at that time can be determined by suddenly moving the index finger that has drawn a circle in the radial direction of the circle.
なお、第1実施形態における別の例として、人差し指を例えば円を描くように動かして選択対象の項目を変更するときに、別の指をさらに立てて、同じ動きをすることにより、項目を変更する速さが変化するようにしてもよい。 As another example in the first embodiment, when changing the item to be selected by moving the index finger to draw, for example, a circle, the item is changed by raising another finger and making the same movement. You may make it change the speed to do.
図8は、本発明の第1実施形態におけるユーザの指示の入力方法について、別の例を説明する図である。図8に示す例では、さらに中指を立てて動かす場合を示している。この場合には、算出される座標には、人差し指の座標Pfだけでなく中指の座標Psも含まれる。そして、座標Pfと座標Psとの相対位置関係が所定の変速条件を満たす場合に、選択対象の項目を変更する速度を異ならせる。所定の変速条件とは、例えば、座標Pfと座標Psとが所定の距離より近い状態を維持して移動するという条件にすればよい。 FIG. 8 is a diagram illustrating another example of a method for inputting a user instruction according to the first embodiment of the present invention. The example shown in FIG. 8 shows a case where the middle finger is further raised and moved. In this case, the calculated coordinates include not only the index finger coordinate Pf but also the middle finger coordinate Ps. When the relative positional relationship between the coordinates Pf and the coordinates Ps satisfies a predetermined speed change condition, the speed at which the item to be selected is changed is changed. The predetermined speed change condition may be a condition that the coordinate Pf and the coordinate Ps move while maintaining a state closer than a predetermined distance, for example.
具体的には、2本の指を立てた状態で動かすことで2倍の速度で項目が変更され、3本の指を立てた状態で動かすことにより3倍の速度で項目が変更されるようにしてもよい。2v倍の速度で項目が変更される例としては、上述した移動量カウントのしきい値が半分になる場合であってもよいし、移動量カウントのしきい値は変わらずに変更量が2倍、すなわち図6(a)から図6(b)ではなく図6(c)に変更される場合であってもよい。 Specifically, the item is changed at a double speed by moving with two fingers raised, and the item is changed at a triple speed by moving with three fingers raised. It may be. An example in which the item is changed at a speed of 2v times may be a case where the threshold value of the movement amount count described above is halved, or the change amount is 2 without changing the threshold value of the movement amount count. In other words, it may be changed from FIG. 6A to FIG. 6C instead of FIG. 6B.
これとは逆に、2本の指を立てた状態で動かすことで1/2倍の速度で項目が変更されるようにしてもよい。すなわち、立てている指の本数により、項目を変更する速度が変化するようにすればよい。 On the contrary, the item may be changed at a speed of 1/2 times by moving with two fingers raised. That is, the speed of changing an item may be changed depending on the number of fingers that are standing.
このようにすれば、指を立てる本数を変化させて、目的とする項目に近づくまでは速く項目を変更しおおざっぱな制御し、目的とする項目に近づいた後にはゆっくりと項目を変更して精度の高い制御が可能となる。 In this way, you can change the number of fingers and change the item quickly until you get close to the target item, and roughly control it, and then change the item slowly after approaching the target item. High control is possible.
上述した例では、選択対象の項目を確定するのは、算出座標が予測範囲ERから外れた場合であったが、予測範囲ERから外れた後、再び予測範囲ERに戻った場合であってもよい。このとき、予測範囲ERから外れた後、再び戻るまでの時間が所定時間以下である場合に限ってもよい。 In the above-described example, the item to be selected is determined when the calculated coordinate is out of the prediction range ER, but even when the calculated coordinate is out of the prediction range ER and then returns to the prediction range ER again. Good. At this time, it may be limited to a case where the time until returning again after deviating from the prediction range ER is equal to or shorter than a predetermined time.
なお、座標Pfの移動方向が逆方向になり、これまでに描いてきた軌跡TLから所定範囲内を移動した場合、選択対象の項目を変更する向きを逆方向にしてもよい。また、移動するときの指を立てる本数を変化させることで、例えば2本の指を立てた状態で移動させた場合には、選択対象の項目を変更する向きを、1本の指を立てて移動した状態とは逆の方向にしてもよい。 Note that when the movement direction of the coordinate Pf is reversed and the movement is within a predetermined range from the locus TL drawn so far, the direction of changing the item to be selected may be reversed. Also, by changing the number of fingers that are raised when moving, for example, when moving with two fingers raised, the direction of changing the item to be selected can be changed with one finger raised. You may make it the direction opposite to the state which moved.
<第2実施形態>
第1実施形態における入力解析処理では予測範囲ERを順次算出して更新していたが、第2実施形態における入力解析処理では予測範囲ERを更新しない場合について説明する。
Second Embodiment
In the input analysis process in the first embodiment, the prediction range ER is calculated and updated sequentially, but the case where the prediction range ER is not updated in the input analysis process in the second embodiment will be described.
図9は、本発明の第2実施形態におけるユーザの指示が入力されるときのジェスチャ入力解析例を説明する図である。図9に示す例では、座標Pfの軌跡TLに基づき軌跡TLを多く含む面が算出され、その面からの所定の距離までの範囲内が予測範囲ERとして算出される。座標Pf1に向かう軌跡TL1に示すように、座標Pfが予測範囲ERの内側を移動し続けた場合、所定の移動量を超えて座標Pfが移動すると、選択対象の項目が変更される。一方、座標Pf2に向かう軌跡TL2に示すように座標Pfが移動した場合、予測範囲ERから外れたと判定されると、そのときに選択対象として表示されていた項目が確定され、その項目に応じた処理が実行される。 FIG. 9 is a diagram illustrating a gesture input analysis example when a user instruction is input according to the second embodiment of the present invention. In the example illustrated in FIG. 9, a surface that includes a lot of the trajectory TL is calculated based on the trajectory TL of the coordinates Pf, and the range up to a predetermined distance from the surface is calculated as the prediction range ER. As shown in the trajectory TL1 toward the coordinate Pf1, when the coordinate Pf continues to move inside the prediction range ER, the item to be selected is changed when the coordinate Pf moves beyond a predetermined movement amount. On the other hand, when the coordinate Pf moves as indicated by the trajectory TL2 toward the coordinate Pf2, if it is determined that the coordinate Pf is out of the prediction range ER, the item displayed as the selection target at that time is determined, and the item corresponding to the item is determined. Processing is executed.
続いて、制御部200における上述した入力解析処理の具体的な動作の一例について、図10を用いて説明する。なお、図7に示す第1実施形態におけるフローチャートにおいて、同じ処理を行うステップについては、同じ符号を付して、詳細な説明を省略する。
Next, an example of a specific operation of the input analysis process described above in the
図10は、本発明の第2実施形態における入力解析処理を示すフローチャートである。制御部200は、複数の項目から、最初に選択対象となる項目を特定する(ステップS101)と、座標算出部120によって算出された座標Pf(算出座標)を取得する(ステップS201)。制御部200は、所定期間に取得した算出座標に基づいて、予測範囲を算出させ、算出して得られた予測範囲を取得する(ステップS203)。なお、予測範囲を算出させるまでの算出座標の移動量によっては、選択対象の項目が変更されるようにしてもよい。
FIG. 10 is a flowchart showing the input analysis processing in the second embodiment of the present invention. When the
制御部200は、算出座標を取得し(ステップS103)、算出座標が予測範囲内である場合(ステップS205;No)、前の算出座標から今回の算出座標が所定量以上移動しているときには移動量カウントを増加させる(ステップS109)。制御部200は、移動量カウントがしきい値を超えたか否か判定する(ステップS117)。予測カウントがしきい値を超えていない場合(ステップS117;No)、ステップS103に戻る。一方、移動量カウントがしきい値を超えた場合(ステップS117;Yes)、制御部200は、選択対象の項目を変更する(ステップS119)。そして、これまで増加してきた移動量カウントは、リセットされ(ステップS121)、初期値に戻る。
The
上記ステップS205において、算出座標が予測範囲から外れた場合(ステップS205;Yes)、制御部200は、そのときに選択対象の項目を確定し(ステップS131)、確定した項目に応じた処理を実行する(ステップS133)。
In step S205, when the calculated coordinate is out of the prediction range (step S205; Yes), the
以上、本発明の第2実施形態における入力解析処理によれば、ユーザが人差し指で描く図形が単純なものである場合、予測範囲ERの算出を最初に行うだけにすることもできる。例えば、人差し指で描く図形が円である場合には、手首または指の付け根が固定された状態で円を描くように人差し指を動かす場合が多く、予想範囲ERの基準となる面が大きく変化する可能性は小さいため、予測範囲ERを途中で変更しなくてもよい。一方、指を曲げる等の動きにより座標Pfが予測範囲ERから外れることになる。このような入力解析処理によっても、ユーザによるジェスチャが簡易なものであっても、精度のよい制御が可能である。 As described above, according to the input analysis processing in the second embodiment of the present invention, when the figure drawn by the index finger is simple, the prediction range ER can be simply calculated first. For example, when the figure drawn with the index finger is a circle, the index finger is often moved to draw a circle with the wrist or finger base fixed, and the surface that is the basis of the expected range ER can change significantly. Therefore, the prediction range ER need not be changed midway. On the other hand, the coordinate Pf deviates from the predicted range ER due to a movement such as bending a finger. Even with such input analysis processing, accurate control is possible even if the user's gesture is simple.
<第3実施形態>
第1、2実施形態においては予測範囲ERから算出座標が外れた場合に選択対象の項目を確定していたが、第3実施形態においては、複数の指の動き(複数の指の相対位置関係)により項目を確定する。
<Third Embodiment>
In the first and second embodiments, the item to be selected is determined when the calculated coordinates deviate from the predicted range ER. However, in the third embodiment, a plurality of finger movements (relative positional relationship between a plurality of fingers). ) Confirm the item.
図11は、本発明の第3実施形態におけるユーザの指示が入力されるときのジェスチャ入力解析例を説明する図である。この例における入力解析処理においては、座標Pfの移動量に応じて選択対象の項目を変更する点については、上述した実施形態と同様である。一方、予測範囲ERは算出されず、親指の座標Ptと座標Pfとの相対位置関係が所定の関係、例えば、座標Ptと座標Pfとの距離が所定の距離以下になると、選択対象の項目が確定される。この場合、図11(a)に示す状態で座標Pfが移動すると、選択対象の項目を変更し、図11(b)に示すように親指を動かすと、項目を確定する。 FIG. 11 is a diagram illustrating a gesture input analysis example when a user instruction is input according to the third embodiment of the present invention. In the input analysis process in this example, the item to be selected is changed according to the movement amount of the coordinate Pf, as in the above-described embodiment. On the other hand, if the prediction range ER is not calculated and the relative positional relationship between the coordinate Pt and the coordinate Pf of the thumb is a predetermined relationship, for example, the distance between the coordinate Pt and the coordinate Pf is equal to or less than the predetermined distance, the item to be selected is Confirmed. In this case, when the coordinate Pf moves in the state shown in FIG. 11A, the item to be selected is changed, and when the thumb is moved as shown in FIG.
この例における指示入力機能100Aについて、図12を用いて説明する。なお、第1実施形態と同様な構成については同じ符号を付し、その説明を省略する。
The
図12は、本発明の第3実施形態における指示入力機能100Aの構成を示すブロック図である。指示入力機能100Aにおける座標算出部120Aは、手1000の人差し指の座標Pfに加え、親指の座標Ptを算出する。制御部200Aは、座標Pfの変化に基づいて、選択対象を所定の順番に従って変更し、座標Pfと座標Ptとの相対位置関係に基づいて、そのときの選択対象の項目をユーザが指示したものとして確定し、確定した項目に応じた処理を実行する。
FIG. 12 is a block diagram showing the configuration of the
続いて、制御部200Aにおける上述した入力解析処理の具体的な動作の一例について、図13を用いて説明する。なお、図7に示す第1実施形態におけるフローチャートにおいて、同じ処理を行うステップについては、同じ符号を付して、詳細な説明を省略する。
Next, an example of a specific operation of the input analysis process described above in the
図13は、本発明の第3実施形態における入力解析処理を示すフローチャートである。制御部200Aは、複数の項目から、最初に選択対象となる項目を特定する(ステップS101)と、座標算出部120Aによって算出された座標Pfおよび座標Ptを取得する(ステップS301)。
FIG. 13 is a flowchart showing the input analysis processing in the third embodiment of the present invention. When the
制御部200は、座標Pfと座標Ptとの距離が所定距離以上である場合(ステップS303;Yes)、前の算出座標(例えば、座標Pf、以下この例において同じ)から今回の算出座標が所定量以上移動している場合に移動量カウントを増加させる(ステップS109)。制御部200は、移動量カウントがしきい値を超えたか否か判定する(ステップS117)。予測カウントがしきい値を超えていない場合(ステップS117;No)、ステップS103に戻る。一方、移動量カウントがしきい値を超えた場合(ステップS117;Yes)、制御部200は、選択対象の項目を変更する(ステップS119)。そして、これまで増加してきた移動量カウントは、リセットされ(ステップS121)、初期値に戻る。
When the distance between the coordinates Pf and the coordinates Pt is equal to or greater than the predetermined distance (step S303; Yes), the
上記ステップS303において、座標Pfと座標Ptとの距離が所定距離以上でない場合(ステップS303;No)、制御部200は、そのときの選択対象の項目を確定し(ステップS131)、確定した項目に応じた処理を実行する(ステップS133)。
In step S303, when the distance between the coordinates Pf and the coordinates Pt is not equal to or greater than the predetermined distance (step S303; No), the
なお、この例では、親指の座標Ptと人差し指の座標Pfとの相対位置関係により、選択対象の項目を変更したり、確定したりしていたが、他の指の座標との相対位置関係により選択対象の項目の変更または確定をするようにしてもよい。 In this example, the item to be selected is changed or confirmed based on the relative positional relationship between the thumb coordinate Pt and the index finger coordinate Pf, but depending on the relative positional relationship with the coordinates of other fingers. You may make it change or confirm the item of selection object.
以上、本発明の第3実施形態における入力解析処理によれば、選択対象の項目を変更する際の人差し指の動きに自由度を持たせることができる。 As described above, according to the input analysis processing in the third embodiment of the present invention, it is possible to give a degree of freedom to the movement of the index finger when changing the item to be selected.
<第4実施形態>
第1、2実施形態においては予測範囲ERから算出座標が外れた場合に選択対象の項目を確定していたが、第4実施形態では、指の動きが特定の方向に動いた後に戻ってきた場合に選択対象の項目を確定するようにしてもよい。以下、この例における入力解析処理を説明する。
<Fourth embodiment>
In the first and second embodiments, the item to be selected is determined when the calculated coordinates deviate from the predicted range ER, but in the fourth embodiment, the finger moves back after moving in a specific direction. In this case, the item to be selected may be confirmed. The input analysis process in this example will be described below.
図14は、本発明の第4実施形態におけるユーザの指示が入力されるときのジェスチャ入力解析例を説明する図である。図14(a)は選択対象の項目を確定する場合の座標Pf(人差し指)の動きの例を示し、図14(b)、(c)は選択対象の項目を確定しない場合の座標Pfの動きの例を示している。また、第4実施形態の説明において、特定方向という場合には、図14におけるVaが指し示す方向、すなわち図の上方向を示す。この特定方向は、予め決められた方向であってもよいし、軌跡TLに基づいて決められた方向であってもよい。 FIG. 14 is a diagram illustrating an example of gesture input analysis when a user instruction is input according to the fourth embodiment of the present invention. FIG. 14A shows an example of the movement of the coordinate Pf (index finger) when the item to be selected is fixed. FIGS. 14B and 14C show the movement of the coordinate Pf when the item to be selected is not fixed. An example is shown. In the description of the fourth embodiment, the specific direction indicates the direction indicated by Va in FIG. 14, that is, the upward direction in the figure. This specific direction may be a predetermined direction or a direction determined based on the trajectory TL.
図14に示すように座標Pfの軌跡TLは、所定の方法で決められた開始点Sから終了点Eまでの所定期間Twにおいて、選択対象の項目を確定するか否かが判定される。開始点Sにおける軌跡TLの点を座標TLs、所定期間Twにおいて最も特定方向に移動した点を座標TLp、終了点Eにおける軌跡TLの点を座標TLeとする。座標TLeは、所定期間Twにおいて最も特定方向とは逆に移動した点であってもよい。 As shown in FIG. 14, the trajectory TL of the coordinate Pf is determined whether or not the item to be selected is determined in a predetermined period Tw from the start point S to the end point E determined by a predetermined method. A point of the trajectory TL at the start point S is a coordinate TLs, a point that has moved most in a specific direction in the predetermined period Tw is a coordinate TLp, and a point of the trajectory TL at the end point E is a coordinate TLe. The coordinate TLe may be a point that has moved most reversely to the specific direction in the predetermined period Tw.
まず、選択対象の項目を確定する場合の例について説明する。図14(a)に示すように、座標TLsから座標TLpまでの変化のうち、特定方向のベクトルの長さVaが第1しきい値Vth以上であること、および座標PLpから座標PLeまでの変化のうち特定方向とは逆方向のベクトルの長さVbが第2しきい値Vd以上であることを条件として、選択対象の項目が確定される。 First, an example in which the item to be selected is confirmed will be described. As shown in FIG. 14A, among the changes from the coordinates TLs to the coordinates TLp, the vector length Va in the specific direction is not less than the first threshold value Vth, and the changes from the coordinates PLp to the coordinates PLe. The item to be selected is determined on condition that the vector length Vb in the direction opposite to the specific direction is equal to or greater than the second threshold value Vd.
第1しきい値Vthは予め決められていてもよいし、所定期間Twの前における座標Pfの移動速度に応じて決められてもよい。例えば、所定期間Twの前における座標Pfの移動速度が速いほど、第1しきい値Vthが大きくなるようにしてもよい。また、第2しきい値Vdは、予め決められていてもよいし、Vaに応じて変化する値、例えば、Va−α、またはVa/βというように決められてもよい。Vd=Va−αとすれば、長さVaとVbとの差が所定範囲内であるときに選択対象の項目が確定される。一方、Vd=Va/βとすれば、長さVaとVbとの比が所定範囲内であるときに選択対象の項目が確定される。 The first threshold value Vth may be determined in advance, or may be determined according to the moving speed of the coordinate Pf before the predetermined period Tw. For example, the first threshold value Vth may increase as the moving speed of the coordinate Pf before the predetermined period Tw increases. Further, the second threshold value Vd may be determined in advance, or may be determined as a value that changes according to Va, for example, Va-α or Va / β. If Vd = Va−α, the item to be selected is determined when the difference between the lengths Va and Vb is within a predetermined range. On the other hand, if Vd = Va / β, the item to be selected is determined when the ratio of the lengths Va and Vb is within a predetermined range.
なお、座標PLpを越えた後、座標PLpから座標Pfまでの特定方向とは逆方向のベクトルの長さを長さVdとしてもよく、その場合には、長さVaが第1しきい値Vth以上であること、および長さVdが所定期間Tw内で第2しきい値Vd以上になったことを条件として、選択対象の項目を確定してもよい。 After exceeding the coordinate PLp, the length of the vector in the direction opposite to the specific direction from the coordinate PLp to the coordinate Pf may be the length Vd. In this case, the length Va is the first threshold value Vth. The item to be selected may be determined on the condition that the above is true and that the length Vd is equal to or greater than the second threshold value Vd within the predetermined period Tw.
続いて、選択対象の項目を確定しない場合の例について説明する。図14(b)に示すように、所定期間Twのうちに、長さVbが第2しきい値Vd以上にならなかった場合には、選択対象の項目が確定されない。また、図14(c)に示すように、長さVaが所定期間Twにおいて第1しきい値Vth以上にならなかった場合にも、選択対象の項目が確定されない。 Next, an example in which the item to be selected is not fixed will be described. As shown in FIG. 14B, if the length Vb does not become the second threshold value Vd or more within the predetermined period Tw, the item to be selected is not confirmed. Further, as shown in FIG. 14C, the item to be selected is not fixed even when the length Va does not become the first threshold value Vth or more in the predetermined period Tw.
図14(a)に示すように座標Pfが移動した場合には、選択対象の項目が確定される一方、それ以外の場合には、座標Pfの移動量に応じて選択対象の項目が変更される。そのときの変更方法は、上述した各実施形態と同様である。 As shown in FIG. 14A, when the coordinate Pf is moved, the item to be selected is fixed. In other cases, the item to be selected is changed according to the movement amount of the coordinate Pf. The The changing method at that time is the same as that of each embodiment mentioned above.
ここで、開始点Sおよび終了点Eの決定方法について説明する。上記の例では、最新の算出座標が終了点Eであるものとして、所定時間前の開始点Sとの間として所定期間Twが決めらる。この場合、最新の算出座標が算出される度に所定期間Twとして指定される軌跡TLの範囲が順次移動していく。 Here, a method for determining the start point S and the end point E will be described. In the above example, assuming that the latest calculated coordinate is the end point E, the predetermined period Tw is determined as being between the start point S and the predetermined time before. In this case, every time the latest calculated coordinates are calculated, the range of the trajectory TL designated as the predetermined period Tw is sequentially moved.
座標Pfの移動速度が第1の速度未満から第1の速度以上に変化したときの座標Pfを開始点Sとしてもよい。そして、その後に所定時間が経過した時の座標を終了点Eとしてその間を所定期間Twとしてもよい。また、開始点Sはこのままとし、座標Pfの移動速度が第1の速度以上になった後、第1の速度より低い第2の速度以下に所定時間維持されたときの座標Pfを終了点Eとしてもよい。 The starting point S may be the coordinate Pf when the moving speed of the coordinate Pf changes from less than the first speed to more than the first speed. Then, the coordinates when a predetermined time has passed thereafter may be set as the end point E, and the interval between them may be set as the predetermined period Tw. Further, the starting point S is left as it is, and after the moving speed of the coordinate Pf becomes equal to or higher than the first speed, the coordinate Pf when maintained at a second speed lower than the first speed for a predetermined time is set as the end point E. It is good.
なお、開始点Sと終了点Eとを含み特定方向を面内に含まないような面(以下、境界面という)を定義し、所定期間Twの軌跡TL(座標Pf)が境界面の一方側に存在する場合という条件をさらに満たした場合に、選択対象の項目が確定されるようにしてもよい。 Note that a surface that includes a start point S and an end point E and does not include a specific direction within the surface (hereinafter referred to as a boundary surface) is defined, and a trajectory TL (coordinate Pf) for a predetermined period Tw is one side of the boundary surface. The item to be selected may be determined when the condition that it exists is further satisfied.
また、所定期間Twにおける座標Pfの移動量のうち、特定方向を法線方向とする面内に含まれる所定方向の成分の移動量が、所定量以上になっている場合という条件を更に満たした場合に、選択対象の項目が確定されるようにしてもよい。この所定量は、所定期間Twにおける特定方向への座標Pfの移動量に基づいて決められてもよいし、予め決められていてもよい。 Further, among the movement amounts of the coordinates Pf in the predetermined period Tw, the condition that the movement amount of the component in the predetermined direction included in the plane having the specific direction as the normal direction is equal to or larger than the predetermined amount is further satisfied. In this case, the item to be selected may be confirmed. This predetermined amount may be determined based on the amount of movement of the coordinate Pf in the specific direction during the predetermined period Tw, or may be determined in advance.
第4実施形態における指示入力機能は、上述した図12に示す機能構成に類似した構成で実現可能であって、例えば、座標算出部120Aが座標Pfを算出し、制御部200Aが上記の入力解析処理を行うように、処理内容を変更すればよい。
The instruction input function in the fourth embodiment can be realized by a configuration similar to the functional configuration shown in FIG. 12 described above. For example, the coordinate
<入力装置50の構成>
続いて、本発明の第1、2、4実施形態において使用可能な入力装置50について説明する。この入力装置50は、ユーザの指の動きをサポートするための装置であり、この例では、選択対象の項目を変更する場合の指の動きを滑らかに行うための構造、および選択対象の項目を決定する場合の指の動きにクリック感を与えるための構造が設けられている。
<Configuration of
Next, the
図15は、本発明の第1、2、4実施形態において使用可能な入力装置50の全体の外観を説明する図である。入力装置50は、板状部材505の表面に形成された円状入力部500、および複数の直線状入力部600を備える。円状入力部500は、それぞれ径の異なる複数の凹部が、同心円状に形成されている。なお、複数の凹部は円でなくてもよく、楕円、曲線で囲まれた閉曲線等が相似形で形成されたであってもよく、それぞれの凹部は線状に形成されている。
FIG. 15 is a diagram for explaining the overall appearance of the
[円状入力部500の形状]
図16は、本発明の第1、2、4実施形態において使用可能な円状入力部500の形状を説明する図である。図16(a)は、円状入力部500を上方からみた図である。図16(b)は、図16(a)におけるA−A方向にみた断面図である。
[Shape of the circular input unit 500]
FIG. 16 is a diagram illustrating the shape of a
円状入力部500は、凹部515の周囲において、同心円状に凹部511、512、513、514が形成されている。凸部521は、隣接する凹部511と凹部512との間の境界部分を示す。同様に、凸部522は隣接する凹部512と凹部513との間の境界部分を示し、凸部523は隣接する凹部513と凹部514との間の境界部分を示し、凸部523は隣接する凹部513と凹部514との間の境界部分を示し、凸部524は隣接する凹部514と凹部515との間の境界部分を示す。
In the
入力装置50を上述の第1、2、4実施形態において使用する場合には、ユーザは、例えば、人差し指を凹部511に沿って移動(P1、P2、P3の順に移動)させて、選択対象の項目を変更していく。このとき、例えば、順方向Fに沿って移動させると選択対象の項目が進むように変更していき、逆方向Rに沿って移動させると選択対象の項目が戻るように変更していく。
When the
図17は、本発明の第1、2、4実施形態において使用可能な円状入力部500の使用例を説明する図である。図17に示すように、この例においては、ユーザの人差し指が凹部511に沿って移動している間は、指先端部csと指腹部chとが凹部511の内壁に接触し、その間の部分は内壁に接触していない。
FIG. 17 is a diagram illustrating an example of use of the
凹部と人差し指とがこのような接触をするように凹部が形成されていると、ユーザは、凹部511の内壁に人差し指を接触させながら移動させることで、凹部形状にガイドされながら、円周方向へ移動させることができ、ガイドされるときの接触抵抗が少なくなり滑らかに移動させることもできる。
When the concave portion is formed so that the concave portion and the forefinger make such contact, the user moves in the circumferential direction while being guided by the concave shape by moving the forefinger in contact with the inner wall of the
そして、ユーザは、凸部521を乗り越えて隣接する凹部512に人差し指を移動(図16:P3からP4に移動)させることにより、選択対象の項目が確定される。このとき、ユーザの指には凸部を乗り越えるというクリック感が与えられる。なお、図16に示すように、その部分からさらに凹部512に沿って人差し指が移動(P4、P5、P6の順に移動)することによって、別のウインドウ等において、選択対象の項目が変更される。
Then, the user moves over the
ここで、入力装置50を用いて、上述のように人差し指を動かすことで、選択対象の項目が変更、確定されることについて、各実施形態に対応してその原理を説明する。
Here, the principle of changing and confirming the item to be selected by moving the index finger as described above using the
まず、第1実施形態において入力装置50を用いた場合について説明する。第1実施形態において入力装置50を用いると、人差し指が円周方向に沿ってガイドされて移動するため、今後移動すると予測される範囲である予測範囲ERは、凹部が形成されている円周に沿った範囲として算出される。したがって、例えば、凹部511に沿って人差し指が移動すると選択対象の項目が変更される。そして、凹部511から凹部512に人差し指が移動すると、座標Pfが予測範囲ERから外れることとなり、選択対象の項目が確定されることになる。
First, the case where the
続いて、第2実施形態において入力装置50を用いた場合について説明する。第2実施形態において入力装置50を用いると、人差し指が円周方向に沿ってガイドされて移動するため、予測範囲ERは、例えば、凹部が形成されている平面に沿って形成され、高さ方向には、例えば少なくとも各凹部の底を含み、凸部の頂点を含まない範囲として算出される。したがって、例えば、凹部511に沿って人差し指が移動すると選択対象の項目が変更される。そして、凹部511から凹部512に人差し指が移動すると、人差し指が凸部の頂点を越えることにより、座標Pfが予測範囲ERから外れることとなり、選択対象の項目が確定されることになる。この場合には、座標Pfが予測範囲ERから外れてから再び予測範囲ERに戻る、すなわち、凹部511から凸部521を越えて凹部512に移動したときに、選択対象の項目が確定されるようにしてもよい。
Next, a case where the
続いて、第4実施形態において入力装置50を用いた例について説明する。第4実施形態において入力装置50を用いると、例えば、凹部511に沿って人差し指が移動すると選択対象の項目が変更され、人差し指が凸部521を乗り越えて隣接する凹部512に移動すると、選択対象の項目が確定される。このとき、第4実施形態で説明した特定方向は、凹部が形成された面(板状部材505の表面)の法線方向に対応している。したがって、人差し指が凸部を乗り越える動作は、座標Pfが特定方向に動いた後に戻ってきた場合に相当し、選択対象の項目が確定される条件を満たすことになる。
Next, an example using the
いずれの場合も、図16(a)に示すP1、P2、P3、P4、P5、P6の順に人差し指を移動させると、以下の通りに動作する。人差し指がP1からP2に移動したときに選択対象の項目が次の項目に変更され、P3まで移動したときにさらに次の項目に変更される。人差し指がP3からP4に移動するとその選択対象の項目で確定され、別のウインドウでの選択対象の項目の変更、確定に移る。人差し指がP4からP5、P6に移動していくと、そのウインドウの選択対象の項目が順に次の項目に変更されていく。この状態から、凹部512に隣接する凹部511または凹部513に人差し指を移動させることにより、変更後の選択対象の項目が確定される。
In either case, when the index finger is moved in the order of P1, P2, P3, P4, P5, and P6 shown in FIG. When the index finger moves from P1 to P2, the item to be selected is changed to the next item, and when moved to P3, the item is further changed to the next item. When the index finger moves from P3 to P4, the selection target item is confirmed, and the selection target item is changed and confirmed in another window. As the index finger moves from P4 to P5 and P6, the item to be selected in the window is changed to the next item in order. From this state, by moving the index finger to the
このように、ユーザは、人差し指を凹部に沿って移動させて選択対象の項目を変更する場合と、凸部を乗り越えて選択対象の項目を確定する場合とで、異なる触覚を得ることができる。すなわち、ユーザには、選択対象の項目を変更しているときには指を滑らせている感覚が与えられ、確定するときには指に対して滑らせる感覚に加えて凸部を乗り越えるという抵抗感(クリック感)が与えられる。 In this way, the user can obtain different tactile sensations between when the index finger is moved along the recess and the item to be selected is changed, and when the item to be selected is decided over the projection. In other words, the user is given a feeling of sliding his finger when changing the item to be selected, and when he / she confirms, he / she feels the resistance (click feeling) over the convex part in addition to the feeling of sliding with respect to the finger. ) Is given.
[直線状入力部600の形状]
続いて、直線状入力部600について説明する。上記の第4実施形態において入力装置50を用いるときに、直線状入力部600が使用可能である。
[Shape of linear input unit 600]
Next, the
図18は、本発明の第4実施形態において使用可能な直線状入力部600の形状を説明する図である。図18(a)は、直線状入力部600を上方からみた図である。図18(b)は、図18(a)におけるB−B方向にみた断面図である。図18(c)は、図18(a)におけるC−C方向にみた断面図である。
FIG. 18 is a diagram illustrating the shape of a
直線状入力部600は、凹部611、612、613、614が直線状に並んで形成されている。凸部621は、隣接する凹部611と凸部612との間の境界部分を示す。同様に、凸部622は隣接する凹部612と凸部613との間の境界部分を示し、凸部623は隣接する凹部613と凸部614との間の境界部分を示す。
The
また凸部621、622、623の頂点部分は、板状部材505の表面よりも下がって形成されている。また、凹部611、612、613、614が並ぶ方向に沿った内壁(図18(a)のける上辺と下辺)のうち、少なくとも一方(この例では下辺)側の内壁630は、曲面に形成されている。曲面に形成される内壁は、ユーザが使用する際のユーザに近い側の内壁であることが望ましい。
The apex portions of the
入力装置50を上述の第4実施形態において使用する場合には、ユーザは、例えば、人差し指を凹部611から凹部612、凹部613、凹部614というように、凸部を乗り越えながらスライドさせて移動させる。これにより、順次、確定する処理が行われることになるが、直線状入力部600を用いる場合においては、例えば、図4に示すタブTabの切り替えに用いられる。例えば、人差し指を凹部613から凹部614にスライドさせると、タブT2が選択された状態からタブT3が選択された状態に変更される。一方、人差し指を凹部613から凹部612にスライドさせると、タブT2が選択された状態からタブT1が選択された状態に変更される。
When the
図19は、本発明の第4実施形態において使用可能な直線状入力部600の使用例を説明する図である。図19に示すように、この例においては、ユーザの人差し指が凹部613にあるときには、指先端部csが凹部613の底面に接触し、指腹部chが内壁630に接触し、その間の部分は内壁に接触していない。
FIG. 19 is a diagram illustrating an example of use of the
凹部と人差し指とがこのような接触をするように内壁630が形成されていると、内壁630に凹部形状にガイドされながら、凹部が並ぶ方向へ移動させることができ、ガイドされるときの接触抵抗が少なくなり、また、角ではなく面で接触するため滑らかに移動させることもできる。
When the
<第5実施形態>
第5実施形態においては、上述した入力装置50を使用した場合において、第1、第2実施形態における予測範囲ERに相当する範囲を、円状入力部500の形状に基づいて算出する。
<Fifth Embodiment>
In the fifth embodiment, when the
図20は、本発明の第5実施形態における指示入力機能100Bの構成を示すブロック図である。指示入力機能100Bの説明においては、第1実施形態における指示入力機能100と異なる構成について詳細に説明し、同様な動作をする構成については、説明を省略する。
FIG. 20 is a block diagram showing a configuration of the
指示入力機能100Bは、物体検知装置20Bから測定信号が入力される。この測定信号は、第1実施形態においては検知範囲に存在する物体、具体的には手の形状を3次元座標で測定した結果を示していたが、この例では、さらに入力装置50の形状について測定された結果も含んでいる。
The
移動範囲算出部140は、物体検知装置20Bから出力される測定信号に基づいて、入力装置50の形状を解析し、特に円状入力部500の形状を解析する。そして、移動範囲算出部140は、円状入力部500の形状に基づいて、各凹部の形状に沿った移動予定範囲を算出する。その結果、上記の入力装置50を第2実施形態において使用した場合の例で説明した予測範囲ERと同様な範囲が、移動予定範囲として算出される。この移動予定範囲は、選択対象の項目を変更させるときの座標Pfの移動範囲を規定するものである。したがって、この移動予定範囲は、入力装置50を第2実施形態において使用した場合の例における予測範囲ERと類似した範囲になる。すなわち、移動予定範囲は、各凹部により形成される空間であり、高さ方向には少なくとも凹部の底を含み、凸部の頂点を含まない範囲として算出される。
The movement
また、移動範囲算出部140は、直線状入力部600についても、その形状に基づいて移動予定範囲を算出する。移動予定範囲は、円状入力部500に対応して算出された移動予定範囲と同様に、各凹部により形成される空間であり、高さ方向には少なくとも凹部の底を含み、凸部の頂点を含まない範囲として算出される。
The movement
制御部200Bは、座標算出部120によって算出された座標Pfと、移動範囲算出部140によって算出された移動予定範囲に基づいてユーザ指示を判断し、その指示に応じた処理を実行する。例えば、上述の入力装置50を第2実施形態において利用した場合の例と同様に、凹部511に沿って人差し指が移動すると選択対象の項目が変更される。そして、凹部511から凹部512に人差し指が移動すると、人差し指が凸部の頂点を越えることにより、座標Pfが移動予定範囲から外れることとなり、選択対象の項目が確定されることになる。この場合には、座標Pfが移動予定範囲から外れてから再び移動予定範囲に戻る、すなわち、凹部511から凸部521を越えて凹部512に移動したときに、選択対象の項目が確定されるようにしてもよい。
The
なお、この例では、移動範囲算出部140は、物体検知装置20Bからの測定信号に基づいて円状入力部500の形状を解析して、この形状に基づいて移動予定範囲を算出していた。一方、移動範囲算出部140は、入力装置50の種類別に移動予定範囲を定めたテンプレートを記憶する記憶手段からテンプレートを読み出し、テンプレートに基づいて移動予定範囲を算出するようにしてもよい。
In this example, the movement
この場合には、移動範囲算出部140は、物体検知装置20Bからの測定信号に基づいて、入力装置50の種類を判定し、この種類に対応するテンプレートを読み出す。また、移動範囲算出部140は、入力装置50の位置を算出する。入力装置50の位置は、入力装置50の外形から算出されてもよいし、入力装置50に設けられたマーカ等から算出されてもよい。そして、移動範囲算出部140は、算出した入力装置50の位置と、読み出したテンプレートとを用いて、移動予定範囲を算出する。
In this case, the movement
また、テンプレートを読み出して用いる場合には、選択対象の項目が確定されるのは、座標Pfが移動予定範囲から外れた場合ではなく、凸部の形状に沿って座標Pfが移動したことが検知された場合としてもよい。例えば、所定の範囲内の曲率の円弧に沿って、座標Pfが所定量の移動をした場合に、選択対象の項目が確定されるようにしてもよい。 Further, when the template is read and used, the item to be selected is determined not when the coordinate Pf is out of the planned movement range but when the coordinate Pf moves along the shape of the convex portion. It may be the case. For example, the item to be selected may be determined when the coordinate Pf moves a predetermined amount along an arc of curvature within a predetermined range.
<第6実施形態>
上記の実施形態においては、物体検知装置20により指先の位置が検知され、その指先の位置の変化に基づいてユーザ指示が判断されていた。第6実施形態では、指先の位置を検出するためのセンサが設けられている入力装置において指先の位置を検知する例について説明する。
<Sixth Embodiment>
In the above-described embodiment, the position of the fingertip is detected by the
図21は、本発明の第6実施形態における入力装置50Aの円状入力部500Aの構成を説明する図である。図21(a)は、円状入力部500Aを上方からみた図である。図21(b)は、図21(a)におけるD−D方向にみた断面図である。
FIG. 21 is a diagram illustrating the configuration of the
入力装置50Aは、上述した入力装置50に加えて、指先の接触を検知するセンサ550が円状入力部500Aおよび直線状入力部600Aが設けられている。この例では、円状入力部500Aには、各凹部(凹部511等)の底部においてそれぞれ同数のセンサ550が設けられている。これらのセンサ550は放射状に配置されている。そして、放射状に配置されたセンサ550は、直線状に並んでいる。すなわち、あるセンサ550から凸部を乗り越えて隣の凹部に移動すると、移動先の凹部にもセンサ550が設けられているようになっている。
In addition to the above-described
センサ550は、指の接触を検知できればよいため、電気抵抗の変化、温度変化、静電容量変化等、様々な方法での検知が可能であればよい。なお、センサ550は指の接触を検知するものでなくてもよく、指がセンサ550に所定の距離まで近づいたことを検知するものであってもよい。センサ550は、このようにしてセンサ550への接触を検知すると、検知したセンサ550を識別する情報および検知したことを示す検知信号を含む測定信号が入力装置50Aから出力される。
The
図22は、本発明の第6実施形態における指示入力機能100Cの構成を示すブロック図である。指示入力機能100Cは、信号受付部150および制御部200Cの各構成により実現される。この例では、指示入力機能100Cは、上述した各実施形態における物体検知装置20からの測定信号を用いる代わりに、入力装置50Aからの測定信号を用いる。
FIG. 22 is a block diagram showing a configuration of an
信号受付部150は、入力装置50Aからの測定信号を受け付けて、入力装置50Aに対してユーザの指示が入力されたことを認識する。
The
制御部200Cは、信号受付部150に入力された測定信号に基づいて、ユーザ指示を判断し、その指示に応じた処理を実行する。なお、制御部200Cは、操作部13から出力された信号、および視線測定装置30から出力された信号に基づいて、ユーザ指示を判断してもよい。
200 C of control parts judge a user instruction | indication based on the measurement signal input into the
また、制御部200Cは、記憶部12から各種情報を読み出して、各種処理を実行する。さらに、制御部200Cは、表示装置14に表示される画面をユーザ指示に基づいて決定する。ユーザは、表示装置14に表示される画面を見ながらユーザ指示を入力することができる。
The
制御部200Cにおいては、ユーザの指示を判断するために、上述したように信号受付部150に入力された測定信号に基づいて入力解析処理を行う。
In the
図23は、本発明の第6実施形態における入力解析処理を示すフローチャートである。まず、制御部200Cは、複数の項目から、最初に選択対象となる項目を特定する(ステップS101)。例えば、図4に示すウインドウW1を例とすると、「2.BBB」が選択対象として特定されている。
FIG. 23 is a flowchart showing input analysis processing according to the sixth embodiment of the present invention. First, the
制御部200Cは、入力受付部150に受け付けられた測定信号に基づいて、どのセンサ550において指の接触を検知したかを特定する。制御部200Cは、検知されたセンサ550の位置の変化が、順方向F、逆方向Rまたは放射方向のいずれであるかを判定する(ステップS401)。ここで、放射方向の移動とは、同心円の径に沿った移動を示し、内側方向であるか外側方向であるかは問わない。
Based on the measurement signal received by the
順方向Fであった場合(ステップS401;順方向)、制御部200Cは、選択対象の項目を進める方向(正方向)に変更(ステップS403)して、ステップS401に戻る。逆方向Rであった場合(ステップS401;逆方向)、制御部200Cは、選択対象の項目を戻す方向(負方向)に変更(ステップS405)して、ステップS401に戻る。一方、放射方向であった場合(ステップS401;放射方向)、制御部200Cは、そのときの選択対象の項目を確定し(ステップS131)、確定した項目に応じた処理を実行する(ステップS133)。そして、ステップS401に戻る
When the direction is the forward direction F (step S401; forward direction), the
この動作例を、図21を用いて具体的に説明する。まず、ユーザの指がセンサ550−1aに接触し、凹部511に沿って順方向Fにセンサ550−b1まで移動する。これにより、図23のステップS401において、2度、順方向に移動したと判定され、選択対象の項目が正方向に2つ移動する。図6に示すの例では、図6(a)から図6(b)、図6(c)へと選択対象の項目が変更される。そして、ユーザの指がセンサ550−2aに移動すると、ステップS401において、放射方向に移動したと判定され、その選択対象の項目が確定される。そして、選択対象の項目を変更するウインドウが別のウインドウに変更される。
This operation example will be specifically described with reference to FIG. First, the user's finger contacts the sensor 550-1a and moves in the forward direction F along the
ユーザの指がセンサ550−2aから凹部512に沿ってセンサ550−2bまで移動する。これにより、図23のステップS401において、3度逆方向に移動したと判定され、選択対象の項目が負方向に3つ移動する。そして、ユーザの指がセンサ550−3aに移動すると、ステップS401において、放射方向に移動したと判定され、その選択対象の項目が確定される。そして、選択対象の項目を変更するウインドウが別のウインドウに変更される。
The user's finger moves from the sensor 550-2a along the
続いて、入力装置50Aに設けられている直線状入力部600Aについて説明する。
Next, the
図24は、本発明の第6実施形態における入力装置50Aの直線状入力部600Aの構成を説明する図である。図24(a)は、直線状入力部600Aを上方からみた図である。図24(b)は、図24(a)におけるE−E方向にみた断面図である。図24(c)は、図24(a)におけるF−F方向にみた断面図である。
FIG. 24 is a diagram illustrating the configuration of the
直線状入力部600Aには、円状入力部500Aと同様に、各凹部(凹部611等)の底部において、それぞれセンサ550が設けられている。上述した入力装置50での直線状入力部を用いた例と同様に、ユーザは、例えば、人差し指を凹部611から凹部612、凹部613、凹部614というように、凸部を乗り越えながらスライドさせて移動させると、円状入力部500Aにおける操作のステップS401(図23)において、放射方向に移動した場合に相当する。これにより、順次、確定する処理が行われることになるが、直線状入力部600Aを用いる場合においては、例えば、図4に示すタブTabの切り替えに用いられる。
Similarly to the
第6実施形態における入力装置50Aを用いると、上述した入力装置50と同様に、ユーザは、指を凹部に沿って移動させて選択対象の項目を変更する場合と、凸部を乗り越えて選択対象の項目を確定する場合とで、異なる触覚を得ることができる。すなわち、ユーザには、選択対象の項目を変更しているときには指を滑らせている感覚が与えられ、確定するときには指に対して滑らせる感覚に加えて凸部を乗り越えるという抵抗感が与えられる。また、センサ550を用いているため、物体検知装置20を用いなくても、指の動きを検知することができる。
When the
<第7実施形態>
上述した円状入力部500、500Aは、同心円状に形成された凹部により、指の動きがガイドされるようになっていた。第7実施形態においては、複数の凹部が同心円に形成されているのではなく、凹部がらせん状に形成されているらせん状入力部500Bが入力装置に備えられている例を説明する。
<Seventh embodiment>
In the
図25は、本発明の第7実施形態におけるらせん状入力部500Bの構成を説明する図である。図25に示すように、らせん状入力部500Bには、らせん状の凹部510が形成されている。らせん状の凹部において隣接する境界部分には凸部520が形成されている。凸部520も凹部510と同様にらせん状に形成されることになる。
FIG. 25 is a diagram illustrating the configuration of the spiral input unit 500B according to the seventh embodiment of the present invention. As shown in FIG. 25, a
らせん状入力部500Bに設けられているセンサ550は、円状入力部500Aに設けられたセンサ550と同様に、放射状に配置されている。すなわち、あるセンサ550に接触した状態から凸部520を乗り越えると、その先にもセンサ550があるように、各センサ550が配置されている。
The
図25に示すように、ユーザの指がセンサ550aからセンサ550bへ、続いてセンサ550cに進んだ場合、選択対象の項目が2つ進むように変更され、その後に確定される。さらに、ユーザの指がセンサ550cからセンサ550dへ、続いてセンサ550eに進んだ場合、別のウインドウの選択対象の項目が2つ進むように変更され、その後に確定される。
As shown in FIG. 25, when the user's finger advances from the
<第8実施形態>
上述した実施形態において入力装置は、円状入力部500を備えていたが、円状でなく、矩形の入力部が備えられていてもよい。第8実施形態では、矩形状入力部700が備えられた入力装置50Dについて説明する。
<Eighth Embodiment>
In the embodiment described above, the input device includes the
図26は、本発明の第8実施形態における入力装置50Dの全体の外観を説明する図である。入力装置50Dは、板状部材505の表面に矩形状入力部700が備えられている。
FIG. 26 is a diagram for explaining the overall appearance of the
図27は、本発明の第8実施形態における入力装置50Dの矩形状入力部700の構成を説明する図である。図27(a)は、矩形状入力部700を上方からみた図である。図27(b)は、図27(a)におけるG−G方向にみた断面図である。
FIG. 27 is a diagram illustrating the configuration of the
矩形状入力部700は、直線状の凹部711、712、713、714、715、716が並んで配置されている。それぞれの凹部の境界部分には、直線状の凸部721、722、723、724、725が設けられている。センサ550は、各凹部(凹部711等)の底部に設けられている。各凹部には、複数のセンサ550が一定間隔で並べて配置されている。なお、同じ凹部に配置されたセンサ550間のそれぞれの距離は、一定でなくてもよく、場所によって異なっていてもよい。
In the
また、各センサ550は、凹部が並ぶ方向に沿って、直線状に並べられている。すなわち、あるセンサ550に接触した状態から凸部を乗り越えると、その先にもセンサ550があるように、各センサ550が配置されている。
The
図27に示すように、ユーザの指がセンサ550−1aからセンサ550−1bへ、続いてセンサ550−2aに進んだ場合、選択対象の項目が3つ進むように変更され、その後に確定される。さらに、ユーザの指がセンサ550−2aからセンサ550−2bへ、続いてセンサ550−3aに進んだ場合、別のウインドウの選択対象の項目が2つ戻るように変更され、その後に確定される。 As shown in FIG. 27, when the user's finger advances from the sensor 550-1a to the sensor 550-1b and then advances to the sensor 550-2a, the item to be selected is changed to advance three, and then confirmed. The Further, when the user's finger advances from the sensor 550-2a to the sensor 550-2b and then to the sensor 550-3a, the item to be selected in another window is changed so as to return two, and then confirmed. .
<隣接する凹部間の凸部の形状>
上述した入力装置において、凹部および凸部の形状について説明する。なお、いかに説明する例は、形状の一例である。したがって、この形状に限られるわけではない。
<The shape of the convex part between adjacent recessed parts>
In the input device described above, the shape of the concave portion and the convex portion will be described. In addition, the example demonstrated how is an example of a shape. Therefore, the shape is not limited to this.
図28は、本発明の実施形態における入力装置の2つの凹部に挟まれた凸部の形状の例を説明する図である。図28においては、凹部512の両側の凸部521、522の断面形状を示している。この断面形状は、複数のパラメータで表される。この例では、表面形状S1、S2、S3は、所定の剛性を有する伸縮部材の表面を想定している。
FIG. 28 is a diagram illustrating an example of the shape of a convex portion sandwiched between two concave portions of the input device according to the embodiment of the present invention. In FIG. 28, the cross-sectional shape of the
図28(a)は、凹部の底を結ぶ基準面Bから長さh1の軸Lが基準面Bに対して垂直に伸び、その先端を中心とした半径r1の円Cが取り付けられた状態を示している。この円Cによって表面S1が基準面Bから持ち上げられている状態を想定し、この表面形状S1が上記の断面形状に相当する。なお、凸部間の距離dごとに軸Lが想定されている。 FIG. 28A shows a state in which an axis L having a length h1 extends perpendicularly to the reference plane B from the reference plane B connecting the bottoms of the recesses, and a circle C having a radius r1 around the tip is attached. Show. Assuming that the surface S1 is lifted from the reference plane B by the circle C, the surface shape S1 corresponds to the cross-sectional shape described above. An axis L is assumed for each distance d between the convex portions.
図28(b)は、図28(a)の状態から一部のパラメータを変更したものであり、軸Lの長さがh1より長いh2、円Cの半径がr1からr2に長くなっている場合を示している。このようにすると、凸部521を乗り越える際に指に与える抵抗力が大きくなる。
In FIG. 28B, some parameters are changed from the state of FIG. 28A, the length of the axis L is h2 longer than h1, and the radius of the circle C is increased from r1 to r2. Shows the case. If it does in this way, the resistance force given to a finger when getting over the
図28(c)は、図28(a)の状態から一部のパラメータを変更したものであり、基準面Bに対して垂直な軸Lを角度θだけ傾けた場合を示している。この例では、便宜上、図28(c)に示す傾きのときに、角度θが正であるものとする。このように傾けると、凸部521を凹部511側から乗り越える方が、凹部512側から乗り越えるよりも、指に与える抵抗力が強くなる。
FIG. 28C shows a case where some parameters are changed from the state shown in FIG. 28A, and the axis L perpendicular to the reference plane B is inclined by an angle θ. In this example, for the sake of convenience, it is assumed that the angle θ is positive at the inclination shown in FIG. When tilted in this way, the resistance force applied to the finger is stronger when the
ここで、これらのパラメータを場所によって変化させることにより、凹凸形状が入力装置の位置によって異なるようになっていてもよい。例えば、センサ550が設けられた近傍において、凸部の高さが低くなっていてもよい。
Here, by changing these parameters depending on the location, the uneven shape may be different depending on the position of the input device. For example, the height of the convex portion may be low in the vicinity where the
図29は、本発明の実施形態における入力装置のセンサ550近傍の凸部の形状の例を説明する図である。図29は、図21におけるH−H方向にみた入力装置500Aの断面を示している。このように、センサ550の近傍において凸部522は、それ以外の部分より高さが低くなっている。上記のパラメータでいうと、センサ550の近傍において軸Lの長さが短くなっている。
FIG. 29 is a diagram illustrating an example of the shape of the convex portion in the vicinity of the
このようにセンサ550の近傍において凸部522の高さを低くしておくことで、ユーザは、凹部に沿って指を移動させているときに凸部522が指に与える感触が変化する部分が、センサ550の存在する位置であることを認識できる。また、センサ550以外の部分では凸部522の指に対する抵抗力が大きくなり、センサ550の近傍では指に対する抵抗力が小さくなるため、放射方向の指の移動が容易となる。
In this way, by reducing the height of the
その他にも、ユーザが使用するときの円状入力部500Aの奥側(図21の場合には図上方)において角度θが最も大きく、円状入力部500Aの手前側(図21の場合には図下方)において角度θが最も小さくなるようにしてもよい。このときの角度θは、例えば、最も大きい角度θが45度、最も小さい角度θが−45度となるようにすればよい。すなわち、円状入力部500Aの奥側では、凸部521の凹部511側の傾斜が急になり、円状入力部500Aの手前側では凸部521の凹部512側の傾斜が急になる。
In addition, the angle θ is the largest on the back side of the
このようにすると、ユーザが用いるときに手前側に指を移動させるときには指の移動の抵抗力が大きくなり、奥側に移動させるときには指の移動の抵抗力が小さくなる。一般的にユーザが手前側に指を移動させる方が奥側に移動させる場合よりも移動させやすい。したがって、手前側に移動させるときに指の移動の抵抗力が大きくなるようにすることが望ましい。 If it does in this way, when a user moves a finger to the near side when using it, the resistance of movement of a finger will become large, and when moving to the back side, the resistance of movement of a finger will become small. In general, it is easier for the user to move his / her finger to the front side than to move the finger to the back side. Therefore, it is desirable to increase the resistance of finger movement when moving to the near side.
このように、第6実施形態以降におけるセンサ550が設けられた入力装置は、以下のように概念できる。入力装置は、線状に延在する複数の凹部がそれぞれ並んで配置された表面と、前記凹部に沿って設けられ、物体の接触を検知して検知信号を出力するセンサと、を備える。
Thus, the input device provided with the
また、第6実施形態以降における入力装置を用いた情報処理装置は、以下のように概念できる。情報処理装置は、線状に延在する複数の凹部がそれぞれ並んで配置された表面、および前記凹部に沿って設けられ、物体の接触を検知して検知信号を出力するセンサを含む入力装置から検知信号を受け付ける信号受付手段と、所定の順番が規定された複数の項目から少なくとも1つの項目が選択対象であることを表示手段に表示させ、前記検出信号が前記凹部に沿った前記物体の移動を示す場合、当該移動に基づいて前記選択対象の項目を前記所定の順番に従って変更し、前記検知信号が前記凹部から別の前記凹部への前記物体の移動を示す場合、前記選択対象の項目に応じた処理を実行する制御手段と、を有する。 Further, the information processing apparatus using the input device in the sixth embodiment and later can be conceptualized as follows. The information processing device includes a surface on which a plurality of concave portions extending linearly are arranged side by side, and an input device including a sensor that is provided along the concave portion and detects a contact of an object and outputs a detection signal A signal receiving means for receiving a detection signal, and a display means for displaying that at least one item is selected from a plurality of items for which a predetermined order is defined, and the detection signal is a movement of the object along the recess. The selection target item is changed according to the predetermined order based on the movement, and the detection signal indicates the movement of the object from the concave portion to another concave portion, the selection target item And a control means for executing a corresponding process.
<変形例>
以上、本発明の実施形態およびその実施例について説明したが、本発明は以下のように、様々な態様で実施可能である。
<Modification>
As mentioned above, although embodiment and the Example of this invention were described, this invention can be implemented in various aspects as follows.
[変形例1]
上述した入力装置は、板状部材505の一方の表面に円状入力部等が形成されていたが、一方の表面に円状入力部、他方の表面にらせん状入力部等、板状部材505の両面にそれぞれ異なる形状の入力部を設けるようにしてもよい。
[Modification 1]
In the input device described above, a circular input portion or the like is formed on one surface of the plate-
[変形例2]
上述した入力装置の板状部材505の表面のうち、円状入力部および直線状入力部以外の面については、いわゆるトラックパッドなど、指の接触による操作手段として用いられるようにしてもよい。また、このトラックパッドの機能をオンまたはオフにできるようにしてもよい。オン、オフの切替については、切替スイッチを入力装置に設けてもよいし、所定の操作を円状入力部または直線状入力部に対して行うことによって、切り替えられるようにしてもよい。
[Modification 2]
Of the surface of the plate-
[変形例3]
上述した入力装置においてユーザの指が順方向Fまたは逆方向Rに移動すると、選択対象の項目を次に進める変更、または戻す変更をしていたが、選択対象の項目を確定後に最初に指を動かした方向を順方向として定めるようにしてもよい。
[Modification 3]
When the user's finger moves in the forward direction F or the reverse direction R in the input device described above, the selection target item is changed to advance or return, but after the selection target item is confirmed, the finger is first moved. The moved direction may be determined as the forward direction.
この場合には、例えば上述の第8実施形態の説明では、図27に示す例において指がセンサ550−2aからセンサ550−2bに移動するときには、逆方向の移動として説明した。一方、選択対象の項目を確定した後に最初に移動した方向を順方向とすれば、センサ550−2aからセンサ550−2bの移動が、逆方向の移動ではなく順方向の移動として制御される。 In this case, for example, in the description of the above-described eighth embodiment, when the finger moves from the sensor 550-2a to the sensor 550-2b in the example illustrated in FIG. On the other hand, if the direction first moved after the item to be selected is determined as the forward direction, the movement from the sensor 550-2a to the sensor 550-2b is controlled as a forward movement, not a reverse movement.
[変形例4]
第6実施形態における円状入力部500Aであれば、凹部は閉曲線を形成しているため、一方向に指を動かし続けることができる。一方、第8実施形態における矩形状入力部700のように、凹部が閉曲線ではない場合には、一方向に指を動かし続けることができない。例えば、図27に示す矩形状入力部700の場合には、一つの凹部には8個のセンサ550のみが存在するため、選択対象の項目は8回までしか変更できない。
[Modification 4]
In the
そのため、複数のセンサ550を通過するように指を動かした後に、凹部から指を離して元の位置に戻り、再び複数のセンサ550を通過するように指を動かすなどして、何度も繰り返すことで、選択対象の項目を8回より多く変更できるようにしてもよい。
Therefore, after moving the finger so as to pass through the plurality of
例えば、図27に示す例において、センサ550−1aから指を移動させてセンサ550−1bまで移動させると、選択対象の項目が3回進むように変更されるが、その後、再びセンサ550−1aから順方向に指を移動させることにより、さらに選択対象の項目の変更が進むようにしてもよい。 For example, in the example shown in FIG. 27, when the finger is moved from the sensor 550-1a to the sensor 550-1b, the item to be selected is changed to advance three times. The item to be selected may be further changed by moving the finger in the forward direction.
[変形例5]
第6実施形態以降において説明した入力装置においては、指が凸部を乗り越えたこのを判定は、隣接する凹部に設けられたセンサ550での検知することであったが、その途中における凸部の頂点近傍においてセンサ550が設けられるようにしてもよい。この場合には、凸部の頂点近傍におけるセンサ550が指の接触を検知した場合に、選択対象の項目が確定されるようにしてもよい。
[Modification 5]
In the input device described in the sixth and subsequent embodiments, the determination that the finger has climbed over the convex portion is to be detected by the
[変形例6]
第6実施形態以降において説明したセンサ550を用いた入力装置において、センサ550において指が検知される位置では、ユーザに対して何らかの感覚を与えるようになっていてもよい。例えば、センサ550を凹部の底面から露出させて、センサ550以外の部分との境界部分に段差が形成されるようにしてもよい。また、センサ550を凹部の底面から露出させなくとも、その底面に凹凸等の段差を設けることにより、ユーザの指がセンサ550を通過したことをユーザに対して知覚させるようにしてもよい。
[Modification 6]
In the input device using the
[変形例7]
上述した第3実施形態において人差し指を動かすと、選択対象の項目を変更するようになっていたが、指を動かさなくても選択項目の変更は自動的に行われるようにし、指を何本立てるかによって、その項目の変更スピードが変化するようにしてもよい。そして、確定させたい選択対象の項目が表示されているときに、図11(b)のように指を動かしたり、立てている指を曲げたり、立てている指を所定量以上移動させたりして、その選択対象の項目が確定するようにしてもよい。このような指の動作の検出は、上述したとおり、指の座標の算出によればよい。
[Modification 7]
In the third embodiment described above, when the index finger is moved, the item to be selected is changed. However, the selection item is automatically changed without moving the finger, and how many fingers are raised. Depending on how, the change speed of the item may be changed. Then, when the item to be selected to be confirmed is displayed, the finger is moved as shown in FIG. 11B, the standing finger is bent, or the standing finger is moved more than a predetermined amount. The item to be selected may be confirmed. Such detection of finger movement may be performed by calculation of finger coordinates as described above.
[変形例8]
上述した実施形態において、電子機器1をスマートフォンに適用した場合の例について説明する。
[Modification 8]
In the embodiment described above, an example in which the
図30は、本発明の変形例8に係る電気機器1Aの構成を示す概略図である。スマートフォンのような電子機器1Aにおいては、物体検知装置の検知センサ21は、表示装置14A側に設けられ、電子機器1Aの表示装置14A側のユーザの手1000を検知するようになっている。このような構成により、例えば、ユーザが一方の手で電子機器1Aを持ち、もう一方の手1000において、電子機器1Aに対して接触しない状態で、ユーザ指示の入力等をすることも可能である。
FIG. 30 is a schematic diagram showing a configuration of an electric apparatus 1A according to
1…電子機器、10…情報処理装置、11…CPU、12…記憶部、13…操作部、13a…キーボード、13b…マウス、14…表示装置、20…物体検知装置、21…検知センサ、30…視線測定装置、31…視線センサ、50…入力装置、100…指示入力機能、110…検知部、120…座標算出部、130…予測範囲算出部、140…制御部、150…信号受付部、200…制御部、500…円状入力部、500B…らせん状入力部、505…板状部材、511,512,513,514,515,611,612,613,614,711,712,713,714,715,716…凹部、521,522,523,524,621,622,623,721,722,723,724,725…凸部、630…内壁、600…直線状入力部、700…矩形状状入力部、1000…手
DESCRIPTION OF
Claims (17)
所定の順番が規定された複数の項目のうち少なくとも1つの項目が選択対象であることを表示手段に表示させ、
前記座標の変化に基づいて、前記選択対象の項目を前記所定の順番に従って変更し、
前記座標の変化が所定の条件を満たすと、前記選択対象の項目に応じた処理を実行する制御手段と、
を有する情報処理装置。 Coordinate calculating means for calculating coordinates of at least one location of the object to be detected;
Displaying on the display means that at least one item of a plurality of items in which a predetermined order is defined is a selection target;
Based on the change in the coordinates, the item to be selected is changed according to the predetermined order,
When the change in coordinates satisfies a predetermined condition, a control unit that executes processing according to the item to be selected;
An information processing apparatus.
前記制御手段は、前記予測範囲における前記座標の変化に基づいて、前記選択対象の項目を前記所定の順番に従って変更し、
前記所定の条件は、前記座標が前記予測範囲から外れたことである請求項1に記載の情報処理装置。 Based on the change in the coordinates, further comprising a prediction range calculation means for calculating a prediction range in which the coordinates are predicted to change thereafter;
The control means changes the item to be selected according to the predetermined order based on the change in the coordinates in the prediction range,
The information processing apparatus according to claim 1, wherein the predetermined condition is that the coordinates are out of the prediction range.
前記制御手段は、前記予測範囲における前記座標の変化に基づいて、前記選択対象の項目を前記所定の順番に従って変更し、
前記所定の条件は、前記座標が前記予測範囲から外れた後に前記予測範囲に戻ることである請求項1に記載の情報処理装置。 Based on the change in the coordinates, further comprising a prediction range calculation means for calculating a prediction range in which the coordinates are predicted to change thereafter;
The control means changes the item to be selected according to the predetermined order based on the change in the coordinates in the prediction range,
The information processing apparatus according to claim 1, wherein the predetermined condition is to return to the prediction range after the coordinates are out of the prediction range.
前記所定の条件は、複数の前記座標の相対位置関係が所定の関係になることである請求項1に記載の情報処理装置。 The coordinate calculation means calculates the coordinates of a plurality of locations of the object to be detected,
The information processing apparatus according to claim 1, wherein the predetermined condition is that a relative positional relationship between the plurality of coordinates is a predetermined relationship.
前記所定の条件は、複数の前記座標の相対位置関係が所定の関係になった後、所定の関係ではなくなることである請求項1に記載の情報処理装置。 The coordinate calculation means calculates the coordinates of a plurality of locations of the object to be detected,
The information processing apparatus according to claim 1, wherein the predetermined condition is that after the relative positional relationship between the plurality of coordinates becomes a predetermined relationship, the predetermined relationship does not exist.
前記入力装置の位置および前記所定形状に基づいて移動予定範囲を算出する移動範囲算出手段と、をさらに備え、
前記制御手段は、前記移動予定範囲における前記座標の変化に基づいて、前記選択対象の項目を前記所定の順番に従って変更し、
前記所定の条件は、前記座標が前記移動予定範囲から外れた後に前記移動予定範囲に戻ることである請求項1に記載の情報処理装置。 Detecting means for detecting the position of the input device having a surface of a predetermined shape;
A moving range calculating means for calculating a planned moving range based on the position of the input device and the predetermined shape;
The control means changes the item to be selected according to the predetermined order based on a change in the coordinates in the planned movement range,
The information processing apparatus according to claim 1, wherein the predetermined condition is that the coordinates return to the scheduled movement range after the coordinates deviate from the planned movement range.
前記移動範囲算出手段は、前記凹部に対応した前記移動予定範囲を算出する請求項12に記載の情報処理装置。 A recess is disposed on the surface of the input device,
The information processing apparatus according to claim 12, wherein the movement range calculation unit calculates the planned movement range corresponding to the recess.
前記制御手段は、前記選択対象の項目を前記所定の順番に従って変更するときにおいて、前記複数箇所の座標の相対位置関係が所定の変速条件を満たした状態である場合と、前記変速条件を満たしていない状態である場合とでは、前記座標の変化に基づいて前記選択対象の項目を変更するときの速度を異ならせる請求項1乃至請求項13のいずれかに記載の情報処理装置。 The coordinate calculation means calculates the coordinates of a plurality of locations of the object,
When the control unit changes the item to be selected according to the predetermined order, the relative positional relationship between the coordinates of the plurality of locations satisfies a predetermined speed change condition, and satisfies the speed change condition. The information processing apparatus according to claim 1, wherein a speed at which the item to be selected is changed is changed based on a change in the coordinates when there is no state.
特定方向に変化した量と、前記特定方向とは反対方向に変化した量との比または差が所定の範囲内になり、かつ、前記特定方向を法線方向とする面内に含まれる所定方向の成分の移動量が所定量以上になった場合には、予め決められた処理を実行する制御手段と、
を有する情報処理装置。 Coordinate calculating means for calculating coordinates of at least one location of the object to be detected;
A predetermined direction included in a plane in which the ratio or difference between the amount changed in a specific direction and the amount changed in a direction opposite to the specific direction is within a predetermined range, and the normal direction is the specific direction Control means for executing a predetermined process when the amount of movement of the component becomes equal to or greater than a predetermined amount;
An information processing apparatus.
検知対象となる物体の少なくとも1箇所の座標を算出する機能と、
所定の順番が規定された複数の項目のうち少なくとも1つの項目が選択対象であることを表示手段に表示させる機能と、
前記座標の変化に基づいて、前記選択対象の項目を前記所定の順番に従って変更する機能と、
前記座標の変化が所定の条件を満たすと、前記選択対象の項目に応じた処理を実行させる機能と、を実現させるためのプログラム。 On the computer,
A function for calculating coordinates of at least one location of an object to be detected;
A function for displaying on the display means that at least one item of the plurality of items in which a predetermined order is defined is a selection target;
A function of changing the item to be selected according to the predetermined order based on the change in the coordinates;
A program for realizing a function of executing processing corresponding to the item to be selected when the change in coordinates satisfies a predetermined condition.
検知対象となる物体の少なくとも1箇所の座標を算出する機能と、
特定方向に変化した量と、前記特定方向とは反対方向に変化した量との比または差が所定の範囲内になり、かつ、前記特定方向を法線方向とする面内に含まれる所定方向の成分の移動量が所定量以上になった場合には、予め決められた処理を実行する機能と、を実現させるためのプログラム。 On the computer,
A function for calculating coordinates of at least one location of an object to be detected;
A predetermined direction included in a plane in which the ratio or difference between the amount changed in a specific direction and the amount changed in a direction opposite to the specific direction is within a predetermined range, and the normal direction is the specific direction A program for realizing a function of executing a predetermined process when the amount of movement of the component exceeds a predetermined amount.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013197072A JP6282072B2 (en) | 2013-09-24 | 2013-09-24 | Information processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013197072A JP6282072B2 (en) | 2013-09-24 | 2013-09-24 | Information processing apparatus and program |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017118710A Division JP2017157245A (en) | 2017-06-16 | 2017-06-16 | Information processing unit and program |
JP2017219834A Division JP2018026179A (en) | 2017-11-15 | 2017-11-15 | Information processing device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015064660A true JP2015064660A (en) | 2015-04-09 |
JP6282072B2 JP6282072B2 (en) | 2018-02-21 |
Family
ID=52832503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013197072A Expired - Fee Related JP6282072B2 (en) | 2013-09-24 | 2013-09-24 | Information processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6282072B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170033656A (en) * | 2015-09-17 | 2017-03-27 | 삼성전자주식회사 | Electronic device and Method for processing a touch input of the same |
JP2019101826A (en) * | 2017-12-04 | 2019-06-24 | アイシン精機株式会社 | Gesture determination device and program |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1011208A (en) * | 1996-06-24 | 1998-01-16 | Sharp Corp | Coordinate input device |
JP2000222097A (en) * | 1996-10-18 | 2000-08-11 | Toshiba Corp | Solid state image pickup device |
JP2007207275A (en) * | 2007-04-27 | 2007-08-16 | Sony Corp | Information processor and information processing method |
JP2009059108A (en) * | 2007-08-30 | 2009-03-19 | Toshiba Corp | Information processor, program, and information processing method |
JP2010503130A (en) * | 2006-09-11 | 2010-01-28 | アップル インコーポレイテッド | Media player with image-based browsing |
JP2010079848A (en) * | 2008-09-29 | 2010-04-08 | Waseda Univ | Item selection method and apparatus |
JP2011248416A (en) * | 2010-05-24 | 2011-12-08 | Aisin Aw Co Ltd | Device, method and program for displaying information |
JP2012003742A (en) * | 2010-05-18 | 2012-01-05 | Panasonic Corp | Input device, input method, program and recording medium |
JP2012063824A (en) * | 2010-09-14 | 2012-03-29 | Sony Corp | Information processing equipment, information processing method and program |
JP2012137989A (en) * | 2010-12-27 | 2012-07-19 | Sony Computer Entertainment Inc | Gesture operation input processor and gesture operation input processing method |
JP2013069341A (en) * | 2013-01-10 | 2013-04-18 | Hitachi Ltd | Input method |
-
2013
- 2013-09-24 JP JP2013197072A patent/JP6282072B2/en not_active Expired - Fee Related
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1011208A (en) * | 1996-06-24 | 1998-01-16 | Sharp Corp | Coordinate input device |
JP2000222097A (en) * | 1996-10-18 | 2000-08-11 | Toshiba Corp | Solid state image pickup device |
JP2010503130A (en) * | 2006-09-11 | 2010-01-28 | アップル インコーポレイテッド | Media player with image-based browsing |
JP2007207275A (en) * | 2007-04-27 | 2007-08-16 | Sony Corp | Information processor and information processing method |
JP2009059108A (en) * | 2007-08-30 | 2009-03-19 | Toshiba Corp | Information processor, program, and information processing method |
JP2010079848A (en) * | 2008-09-29 | 2010-04-08 | Waseda Univ | Item selection method and apparatus |
JP2012003742A (en) * | 2010-05-18 | 2012-01-05 | Panasonic Corp | Input device, input method, program and recording medium |
JP2011248416A (en) * | 2010-05-24 | 2011-12-08 | Aisin Aw Co Ltd | Device, method and program for displaying information |
JP2012063824A (en) * | 2010-09-14 | 2012-03-29 | Sony Corp | Information processing equipment, information processing method and program |
JP2012137989A (en) * | 2010-12-27 | 2012-07-19 | Sony Computer Entertainment Inc | Gesture operation input processor and gesture operation input processing method |
JP2013069341A (en) * | 2013-01-10 | 2013-04-18 | Hitachi Ltd | Input method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170033656A (en) * | 2015-09-17 | 2017-03-27 | 삼성전자주식회사 | Electronic device and Method for processing a touch input of the same |
KR102412425B1 (en) * | 2015-09-17 | 2022-06-23 | 삼성전자 주식회사 | Electronic device and Method for processing a touch input of the same |
JP2019101826A (en) * | 2017-12-04 | 2019-06-24 | アイシン精機株式会社 | Gesture determination device and program |
Also Published As
Publication number | Publication date |
---|---|
JP6282072B2 (en) | 2018-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220261112A1 (en) | Systems, devices, and methods for touch-free typing | |
CN105765490B (en) | Systems and techniques for user interface control | |
KR102517425B1 (en) | Systems and methods of direct pointing detection for interaction with a digital device | |
US10635184B2 (en) | Information processing device, information processing method, and program | |
JP5926184B2 (en) | Remote control of computer equipment | |
US10437346B2 (en) | Wearable device and method of operating the same | |
US20120274550A1 (en) | Gesture mapping for display device | |
US20170068416A1 (en) | Systems And Methods for Gesture Input | |
JP5444482B2 (en) | Information processing apparatus, electronic device, and program | |
CN109643206B (en) | Control device, display device, program, and detection method | |
KR20090029670A (en) | Method and apparatus for selecting an object within a user interface by performing a gesture | |
US20180232106A1 (en) | Virtual input systems and related methods | |
US20150199020A1 (en) | Gesture ui device, gesture ui method, and computer-readable recording medium | |
JP6282072B2 (en) | Information processing apparatus and program | |
JP2019021338A (en) | Information processing device | |
TWI537771B (en) | Wearable device and method of operating the same | |
KR101559424B1 (en) | A virtual keyboard based on hand recognition and implementing method thereof | |
JP2018026179A (en) | Information processing device and program | |
JP2017157245A (en) | Information processing unit and program | |
EP2957998A1 (en) | Input device | |
KR101588021B1 (en) | An input device using head movement | |
JP5368618B2 (en) | Information processing apparatus, electronic device, information processing method, and program | |
KR102477006B1 (en) | Method, system and non-transitory computer-readable recording medium for supporting object control | |
KR101466941B1 (en) | Means for non-contact user interface, and device with the means | |
JP5148002B1 (en) | Information processing apparatus, electronic device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20131011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20131011 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6282072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |