JP2006235859A

JP2006235859A - Coordinate input device

Info

Publication number: JP2006235859A
Application number: JP2005047658A
Authority: JP
Inventors: Noriyuki Hata; 紀行畑; Takuya Tamaru; 卓也田丸
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2005-02-23
Filing date: 2005-02-23
Publication date: 2006-09-07

Abstract

PROBLEM TO BE SOLVED: To provide a coordinate input device for simplifying an accurate operation by intuitively and accurately knowing a destination approached by a fingertip or the like. SOLUTION: A control part 3 performs three-dimensional position detection processing 31 for detecting the three-dimensional position of the fingertip or the like existing in the neighboring space of the display surface of a display part 1 by a sensor 2, movement history update and analysis processing 32 for storing a movement history 4a of the three-dimensional position in a storage part 4 based on the detected three-dimensional position, and for seeking a destination on the display surface approached by the fingertip or the like by analyzing the movement history 4a and guide information output processing 33 for displaying guide information at the sought destination on the display surface. COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、人間の指先やスタイラスなどにより指示された２次元位置座標を検出する座標入力装置に関する。 The present invention relates to a coordinate input device that detects a two-dimensional position coordinate specified by a human fingertip or a stylus.

現在、この種の座標入力装置を備えたＰＤＡ（Personal Digital Assistant）などの各種の電子機器が提供されている。この種の電子機器では、表示パネルにソフトボタンなどの各種の指示対象物が表示される。ユーザが指先などにより表示パネルに表示された所望の指示対象物を指示した場合には、その指示位置の２次元座標値が座標入力装置により検出される。そして、この２次元座標値に基づき、ユーザによって指示された指示対象物が特定され、この指示対象物に対応付けられた情報処理が実行される。このような座標入力装置は、表示パネル上の任意の位置にソフトボタンなどを表示し、ユーザの選択指示を受け取ることができる。しかし、ユーザは、指などが表示パネルに触れるまで、自分がどの位置を指示しているのか分かり辛いため、操作が簡単でなく、誤った操作をすることもある。ユーザの操作を補助する機能を持たせた座標入力装置に関する文献として特許文献１がある。この特許文献１に開示された座標入力装置では、表示面からやや離れた位置に指先が達したときに表示面上の指先の接近位置にカーソルを表示する。
特開平６−１１０６１０号公報 Currently, various electronic devices such as a PDA (Personal Digital Assistant) equipped with this type of coordinate input device are provided. In this type of electronic device, various indication objects such as soft buttons are displayed on the display panel. When the user designates a desired pointing object displayed on the display panel with a fingertip or the like, the two-dimensional coordinate value of the pointing position is detected by the coordinate input device. Then, based on the two-dimensional coordinate value, the pointing object designated by the user is specified, and information processing associated with the pointing object is executed. Such a coordinate input device can display a soft button or the like at an arbitrary position on the display panel and receive a user's selection instruction. However, since it is difficult for the user to know which position he / she is pointing until the finger or the like touches the display panel, the operation is not easy and may be performed erroneously. Patent Document 1 is a document related to a coordinate input device having a function of assisting a user's operation. In the coordinate input device disclosed in Patent Document 1, when the fingertip reaches a position slightly away from the display surface, the cursor is displayed at the approach position of the fingertip on the display surface.
JP-A-6-110610

特許文献１に開示された技術によれば、指先を表示面に接近させたときにその接近位置にカーソルが表示されるので、ユーザはその時点における指先の位置を知ることができる。しかし、通常、ユーザは、指先を表示面から遠く離れたところから表示面に向けて移動させ、表示面に到達させるので、表示面上のある高さの位置においてカーソルを表示するだけでは、指先がどこに向かっているかを知り、正確な操作を行うのが依然として困難である。 According to the technique disclosed in Patent Literature 1, when the fingertip is brought close to the display surface, the cursor is displayed at the approaching position, so that the user can know the position of the fingertip at that time. However, since the user usually moves the fingertip from a position far from the display surface toward the display surface to reach the display surface, the user only needs to display the cursor at a certain height on the display surface. It is still difficult to know where it is heading and to perform accurate operations.

本発明は、以上説明した事情に鑑みてなされたものであり、指先などの向かっている目的地を直観的にかつ正確に知ることができ、正確な操作が容易な座標入力装置を提供することを目的としている。 The present invention has been made in view of the circumstances described above, and provides a coordinate input device that can intuitively and accurately know a destination that a fingertip or the like is facing and that can be easily operated accurately. It is an object.

この発明は、表示手段と、座標入力用操作子または指先の３次元位置を検出する３次元位置検出手段と、記憶手段と、前記３次元位置検出手段により検出される３次元位置に基づき、前記記憶手段に３次元位置の移動履歴を記憶させるとともに、前記移動履歴を解析することにより前記座標入力用操作子または指先が向かいつつある前記表示面上の目的地を求める移動履歴更新解析手段と、前記移動履歴更新解析手段により求められた前記表示面上の目的地に、前記座標入力用操作子または指先の操作を案内する案内情報を表示させる案内情報出力手段とを具備することを特徴とする座標入力装置を提供する。
かかる発明によれば、座標入力用操作子や指先の３次元位置の移動履歴に基づき、座標入力用操作子や指先が向かいつつある表示面上での目的地が求められ、表示面上のその目的地に案内情報が表示されるので、ユーザは座標入力用操作子や指先を正確に所望の位置に到達させることができる。 The present invention is based on the three-dimensional position detected by the display means, the three-dimensional position detection means for detecting the coordinate input operator or the fingertip three-dimensional position, the storage means, and the three-dimensional position detection means. A movement history update analyzing means for storing a movement history of a three-dimensional position in a storage means, and obtaining a destination on the display surface to which the coordinate input operator or a fingertip is facing by analyzing the movement history; Guiding information output means for displaying guidance information for guiding the operation of the coordinate input operator or the fingertip at the destination on the display surface obtained by the movement history update analysis means. A coordinate input device is provided.
According to this invention, based on the movement history of the coordinate input operator and the three-dimensional position of the fingertip, the destination on the display surface to which the coordinate input operator and the fingertip are facing is obtained, and the destination on the display surface is obtained. Since the guidance information is displayed at the destination, the user can accurately reach the desired position of the coordinate input operator and the fingertip.

以下、本発明を実施するための最良の形態について図面を参照しつつ説明する。
図１は、この発明の一実施形態である座標入力装置の構成を示す図である。なお、この座標入力装置は、ＰＤＡなどの各種の電子機器の一部を構成するものであっても良いし、それらの電子機器とは別体の独立した座標入力装置であっても良い。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a coordinate input device according to an embodiment of the present invention. The coordinate input device may constitute a part of various electronic devices such as a PDA, or may be an independent coordinate input device that is separate from the electronic devices.

図１において、表示部１は、例えば液晶表示パネルであり、ソフトボタンなどの各種のユーザインタフェースの表示を行う。センサ２は、表示部１の表示面近傍に人間の指先やスタイラスなどの標的の３次元位置の検出に必要な情報を外界から取得する装置である。どのようなセンサ２を用いるかは、３次元位置を検出すべき標的に合わせて選択すればよい。
例えば、人間の指先を標的とする場合には、ＣＭＯＳセンサなどのイメージセンサがセンサ２として好適である。また、永久磁石が埋め込まれたスタイラスの先端を標的とする場合には、スタイラスの先端から発生される磁界を検出可能な磁気センサがセンサ２として好適である。センサ２の個数は、必要とされる３次元位置検出の精度などに合わせて決定すればよい。なお、センサ２として、イメージセンサと磁気センサとを併設し、指先の位置を検出するときにはイメージセンサを用い、スタイラスの先端位置を検出するときには磁気センサを用いる、という具合に２種類のセンサを切り換えて使用するようにしてもよい。また、スタイラスの先端位置もＣＭＯＳセンサなどのイメージセンサにより検出するようにしてもよい。 In FIG. 1, a display unit 1 is a liquid crystal display panel, for example, and displays various user interfaces such as soft buttons. The sensor 2 is a device that acquires information necessary for detecting a three-dimensional position of a target such as a human fingertip or a stylus near the display surface of the display unit 1 from the outside. What kind of sensor 2 is used may be selected according to the target to be detected.
For example, when a human fingertip is targeted, an image sensor such as a CMOS sensor is suitable as the sensor 2. In addition, when targeting the tip of a stylus in which a permanent magnet is embedded, a magnetic sensor that can detect a magnetic field generated from the tip of the stylus is suitable as the sensor 2. The number of sensors 2 may be determined in accordance with the required accuracy of three-dimensional position detection. As the sensor 2, an image sensor and a magnetic sensor are provided together, and an image sensor is used when detecting the position of the fingertip, and a magnetic sensor is used when detecting the tip position of the stylus. May be used. The tip position of the stylus may also be detected by an image sensor such as a CMOS sensor.

制御部３は、制御プログラムを実行することによりこの座標入力装置の各部を制御する制御中枢である。記憶部４は、揮発性メモリと不揮発性メモリとにより構成されている。ここで、揮発性メモリは、制御部２によりワークエリアとして使用される。この揮発性メモリに記憶される情報のうち本実施形態に特有のものとして、移動履歴４ａがある。移動履歴４ａは、センサ２の出力信号に基づいて作成される人間の指先やスタイラスの先端などの標的の３次元位置座標を過去一定個数集めた時系列データである。不揮発性メモリには、制御部３により実行される制御プログラムと制御プログラムの実行の際に参照される固定の制御データが記憶される。不揮発性メモリに記憶される情報のうち本実施形態に特有の情報として、案内情報データベース４ｂがある。本実施形態では、指先やスタイラスの先端などの標的の移動履歴４ａを解析し、その解析結果に応じて、ユーザが所望の位置に指先またはスタイラスの先端を移動させるのに役立つ案内情報を出力する。案内情報データベース４ｂは、出力すべき案内情報を移動履歴４ａの解析結果から求めるための基礎となるデータの集合体である。音声発生部５は、音声信号を形成する音源と、この音声信号を音声として出力するスピーカにより構成されている。なお、案内情報およびその出力態様の詳細については後述する。 The control unit 3 is a control center that controls each unit of the coordinate input device by executing a control program. The storage unit 4 includes a volatile memory and a nonvolatile memory. Here, the volatile memory is used as a work area by the control unit 2. Among the information stored in the volatile memory, the movement history 4a is unique to the present embodiment. The movement history 4a is time-series data obtained by collecting a certain number of past three-dimensional position coordinates of targets such as a human fingertip and a stylus tip, which are generated based on the output signal of the sensor 2. The nonvolatile memory stores a control program executed by the control unit 3 and fixed control data referred to when the control program is executed. Among the information stored in the nonvolatile memory, there is a guidance information database 4b as information specific to the present embodiment. In the present embodiment, the movement history 4a of the target such as the fingertip or the tip of the stylus is analyzed, and guidance information useful for the user to move the fingertip or the tip of the stylus to a desired position is output according to the analysis result. . The guidance information database 4b is a collection of data that is the basis for obtaining guidance information to be output from the analysis result of the movement history 4a. The sound generation unit 5 includes a sound source that forms a sound signal and a speaker that outputs the sound signal as sound. Details of the guidance information and its output mode will be described later.

図１には、制御部３により実行される処理のうち本実施形態に特有のものが示されている。３次元位置検出処理３１は、センサ２の出力信号に基づき、標的の３次元位置を検出する処理であり、制御部３により繰り返し実行される。如何なる方法によりこの３次元位置の検出を行うか、センサ２の種類、配置などにより異なったものとなる。 FIG. 1 shows processing unique to this embodiment among the processes executed by the control unit 3. The three-dimensional position detection process 31 is a process for detecting the three-dimensional position of the target based on the output signal of the sensor 2 and is repeatedly executed by the control unit 3. Which method is used to detect the three-dimensional position depends on the type and arrangement of the sensor 2.

図２および図３は、センサ２として２個のイメージセンサ２１ａおよび２１ｂを用いた座標入力装置の構成例を示している。ここで、図２は同装置の平面図、図３は同装置の側面図である。この例では、矩形をなす表示部１の隣り合った２つの角部の各位置にイメージセンサ２１ａおよび２１ｂが配置されている。イメージセンサ２１ａおよび２１ｂは、表示部１の中央のやや上空の位置を視野の中心として撮像を行い、画像信号を出力する。この場合、３次元位置検出処理３１では、各イメージセンサ２１ａおよび２１ｂからの画像信号に基づき、イメージセンサ２１ａから見た標的たる指先の方角とイメージセンサ２１ｂから見た標的たる指先の方角とを求め、その結果に基づき指先の３次元位置座標を求める。 2 and 3 show a configuration example of a coordinate input device using two image sensors 21 a and 21 b as the sensor 2. Here, FIG. 2 is a plan view of the apparatus, and FIG. 3 is a side view of the apparatus. In this example, image sensors 21a and 21b are arranged at respective positions of two adjacent corners of the rectangular display unit 1. The image sensors 21a and 21b take an image with the position slightly above the center of the display unit 1 as the center of the visual field, and output an image signal. In this case, in the three-dimensional position detection process 31, the direction of the target fingertip viewed from the image sensor 21a and the direction of the target fingertip viewed from the image sensor 21b are obtained based on the image signals from the image sensors 21a and 21b. The three-dimensional position coordinates of the fingertip are obtained based on the result.

図４および図５は、センサ２として４個の磁気センサ２２ａ、２２ｂ、２２ｃおよび２２ｄを用いた座標入力装置の構成例を示している。ここで、図４は同装置の平面図、図５は同装置の側面図である。この例では、矩形をなす表示部１の４つの角部の各位置に各磁気センサが配置されている。座標入力用操作子であるスタイラス６の先端には、永久磁石が埋め込まれている。磁気センサ２２ａ、２２ｂ、２２ｃおよび２２ｄは、この永久磁石によって発生される磁界の各々の位置における磁界強度を検出し、磁界強度を示す信号を出力する。この場合、３次元位置検出処理３１では、磁気センサ２２ａ、２２ｂ、２２ｃおよび２２ｄからの出力信号に基づき、標的たるスタイラス６の先端位置の３次元位置座標を求める。なお、磁気センサを用いた位置検出の原理については、従来から行われている方法でよい。 4 and 5 show a configuration example of a coordinate input device using four magnetic sensors 22a, 22b, 22c and 22d as the sensor 2. FIG. 4 is a plan view of the apparatus, and FIG. 5 is a side view of the apparatus. In this example, each magnetic sensor is arranged at each of the four corners of the rectangular display unit 1. A permanent magnet is embedded at the tip of the stylus 6 that is a coordinate input operator. The magnetic sensors 22a, 22b, 22c and 22d detect the magnetic field strength at each position of the magnetic field generated by the permanent magnet, and output a signal indicating the magnetic field strength. In this case, in the three-dimensional position detection process 31, three-dimensional position coordinates of the tip position of the target stylus 6 are obtained based on output signals from the magnetic sensors 22a, 22b, 22c, and 22d. The position detection principle using a magnetic sensor may be a conventional method.

図１において、標的の移動履歴の更新および解析処理３２は、３次元位置検出処理３１により標的の３次元位置座標が一組得られる度に実行される。この処理３２では、３次元位置検出処理３１により新たに得られた標的の３次元位置座標が移動履歴４ａにおける最近の３次元位置座標と異なる場合に、新たに得られた３次元位置座標を移動履歴４ａに追加し、揮発性メモリの容量に応じて移動履歴４ａにおける最も古い3次元位置座標を廃棄する更新処理を行う。また、この処理３２では、移動履歴４ａを解析し、標的が向かいつつある表示部１の表示面上の位置、標的の表示面からの高さ、移動の速さなどの標的の状態を求める。 In FIG. 1, the target movement history update and analysis process 32 is executed each time a set of three-dimensional position coordinates of the target is obtained by the three-dimensional position detection process 31. In this process 32, when the three-dimensional position coordinates of the target newly obtained by the three-dimensional position detection process 31 are different from the latest three-dimensional position coordinates in the movement history 4a, the newly obtained three-dimensional position coordinates are moved. In addition to the history 4a, an update process for discarding the oldest three-dimensional position coordinates in the movement history 4a according to the capacity of the volatile memory is performed. Further, in this process 32, the movement history 4a is analyzed, and the target state such as the position on the display surface of the display unit 1 where the target is facing, the height of the target from the display surface, and the speed of movement is obtained.

案内情報出力処理３３では、記憶部４内の案内情報データベース４ｂと処理３２における移動履歴の解析結果とに基づき、ユーザに提供する案内情報を決定する。決定された案内情報は、表示部１に表示され、あるいは音声発生部５から音声として出力される。２次元位置検出処理３４は、３次元位置検出処理３１により検出される標的の３次元位置座標の高さ方向成分が所定の閾値以下となり、標的が表示面のソフトボタンを選択したとみなしてよい状態になったときに実行される。この２次元位置検出処理３４では、その実行時点における３次元位置座標から高さ方向成分を除いた２次元位置座標を標的により入力された座標として確定し、例えば押圧されたソフトボタンの判定を行うルーチンなど、座標を用いた処理を行うルーチンに引き渡す。なお、２次元位置検出処理３４を起動するための基準となる高さ方向成分の閾値をユーザが自由に設定し得るように構成してもよい。 In the guide information output process 33, the guide information provided to the user is determined based on the guide information database 4b in the storage unit 4 and the analysis result of the movement history in the process 32. The determined guidance information is displayed on the display unit 1 or output as a voice from the voice generation unit 5. The two-dimensional position detection process 34 may be considered that the height direction component of the three-dimensional position coordinates of the target detected by the three-dimensional position detection process 31 is equal to or less than a predetermined threshold value and the target has selected a soft button on the display surface. It is executed when a state is reached. In the two-dimensional position detection process 34, the two-dimensional position coordinates obtained by removing the height direction component from the three-dimensional position coordinates at the time of execution are determined as the coordinates input by the target, and for example, the pressed soft button is determined. It is handed over to a routine that performs processing using coordinates, such as a routine. In addition, you may comprise so that the user can set the threshold value of the height direction component used as the reference | standard for starting the two-dimensional position detection process 34 freely.

以上説明した各処理は、図６にそのフローを示すメインルーチンにおいて起動される。以下、図６のフローチャートを参照し、本実施形態の動作を説明する。まず、ステップＳ１において、制御部３は、表示部１の表示面の近くに標的があるか否かを判定する。センサ２としてイメージセンサを用いる態様では、例えばイメージセンサにより撮像された画像中に標的たる指先の画像があるか否かに基づいて、この判断が行われる。また、センサ２として磁気センサを用いる態様では、磁気センサにより検出される磁界強度が所定値以上か否かにより、この判断が行われる。この判断結果が「ＮＯ」である場合、制御部３は、再びこのステップＳ１を繰り返す。 Each process described above is started in the main routine whose flow is shown in FIG. The operation of this embodiment will be described below with reference to the flowchart of FIG. First, in step S 1, the control unit 3 determines whether there is a target near the display surface of the display unit 1. In an aspect in which an image sensor is used as the sensor 2, this determination is performed based on, for example, whether there is an image of a target fingertip in an image captured by the image sensor. Moreover, in the aspect which uses a magnetic sensor as the sensor 2, this judgment is performed by whether the magnetic field intensity detected by the magnetic sensor is a predetermined value or more. When the determination result is “NO”, the control unit 3 repeats Step S1 again.

標的たる指先またはスタイラス６の先端が表示部１の表示面に近づき、ステップＳ１の判断結果が「ＹＥＳ」となると、制御部３の処理はステップＳ２に進む。このステップＳ２において、制御部３は、上述した３次元位置検出処理３１を実行し、標的たる指先またはスタイラス６の先端の３次元位置座標を取得する。次にステップＳ３に進み、制御部３は、上述した標的の移動履歴の更新および解析処理３２を実行する。次にステップＳ４に進み、制御部３は、記憶部４に記憶された案内情報データベース４ｂを参照し、上述した案内情報出力処理３３を実行する。次にステップＳ５に進み、制御部３は、ユーザの指先またはスタイラス６によるタッチ操作が終了したか否かの判断を行う。この判断では、ステップＳ２において得られた３次元位置座標の高さ方向成分が所定値以下か否かに基づいて行われる。この判断結果が「ＮＯ」である場合、制御部３は、再びステップＳ１に戻って、以上説明した処理を繰り返す。また、この判断結果が「ＹＥＳ」である場合、制御部３は、上述した２次元位置検出処理を起動して、このメインルーチンを終了する。 When the target fingertip or the tip of the stylus 6 approaches the display surface of the display unit 1 and the determination result in step S1 is “YES”, the process of the control unit 3 proceeds to step S2. In step S 2, the control unit 3 executes the above-described three-dimensional position detection process 31 to obtain the three-dimensional position coordinates of the target fingertip or the tip of the stylus 6. In step S3, the control unit 3 executes the target movement history update and analysis process 32 described above. Next, it progresses to step S4, the control part 3 refers to the guidance information database 4b memorize | stored in the memory | storage part 4, and performs the guidance information output process 33 mentioned above. In step S5, the control unit 3 determines whether the touch operation by the user's fingertip or the stylus 6 has been completed. This determination is made based on whether or not the height direction component of the three-dimensional position coordinates obtained in step S2 is equal to or less than a predetermined value. When the determination result is “NO”, the control unit 3 returns to Step S1 again and repeats the processing described above. When the determination result is “YES”, the control unit 3 activates the above-described two-dimensional position detection process and ends the main routine.

図７〜図９は、以上のような処理により実現される第１の動作例、図１０および図１１は第２の動作例を示している。これらの例では、表示部１に表示された“ＰＵＳＨ”なるソフトボタンに向かって指先が移動しており、この移動の目的地および現在の指先の表示面からの高さが繰り返し求められ（図６におけるステップＳ２およびＳ３）、指先の目的地および表示面からの高さの変化に応じて、表示部１の表示に連続的な変化が与えられる（図６におけるステップＳ４）。 7 to 9 show a first operation example realized by the processing as described above, and FIGS. 10 and 11 show a second operation example. In these examples, the fingertip is moving toward the “PUSH” soft button displayed on the display unit 1, and the destination of the movement and the height from the display surface of the current fingertip are repeatedly obtained (see FIG. 6 in steps S2 and S3), the display 1 is continuously changed according to the change of the height of the fingertip from the destination and the display surface (step S4 in FIG. 6).

第１の例において、指先が表示面から少し離れた場所にあるときは、図７に示すように、大きくて薄い影が指先の目的地を示す案内情報として表示される。その後、指先が表示面に近づくに従い、この影は、連続的に範囲を狭めつつ濃度を増してゆく（図８参照）。そして、指先が表示面から所定距離内に入った場合には、図６におけるステップＳ５の判断結果が「ＹＥＳ」となり、ソフトボタンの選択が確定する。この結果、図９に示すように、選択が確定してソフトボタンが塗り潰し表示あるいは強調表示される。 In the first example, when the fingertip is slightly away from the display surface, as shown in FIG. 7, a large and thin shadow is displayed as guidance information indicating the destination of the fingertip. Thereafter, as the fingertip approaches the display surface, the shadow gradually increases in density while narrowing the range (see FIG. 8). When the fingertip enters within a predetermined distance from the display surface, the determination result in step S5 in FIG. 6 is “YES”, and the selection of the soft button is confirmed. As a result, as shown in FIG. 9, the selection is confirmed, and the soft button is filled or displayed in a highlighted manner.

第２の例において、指先が表示面から少し離れた場所にあるときは、図１０に示すように、目的地を示す案内情報として、大きな“×”形の照準が青色で表示される。その後、指先が表示面に近づくに従い、この照準は回転して“＋”形になってゆき、また、小さくなり、かつ、太さを増しながら色がピンク色に変化してゆく（図１１参照）。そして、指先が表示面に触れ、または表示面から所定距離内に入った場合には、第１の動作例と同様、選択が確定してソフトボタンが塗り潰し表示あるいは強調表示される（図９参照）。以上のように表示を変化させるためには、例えば指先の高さに応じて影や照準などの案内情報を変化させる関数を案内情報データベース４ｂに設けておき、この関数により求めた案内情報を指先の目的地に表示すればよい。 In the second example, when the fingertip is slightly away from the display surface, as shown in FIG. 10, a large “×” shaped aim is displayed in blue as guidance information indicating the destination. Thereafter, as the fingertip approaches the display surface, the aim rotates to become a “+” shape, becomes smaller, and changes its color to pink while increasing its thickness (see FIG. 11). ). When the fingertip touches the display surface or enters within a predetermined distance from the display surface, the selection is confirmed and the soft button is filled or displayed in a highlighted manner as in the first operation example (see FIG. 9). ). In order to change the display as described above, for example, a function for changing guide information such as a shadow and an aim according to the height of the fingertip is provided in the guide information database 4b, and the guide information obtained by this function is displayed on the fingertip. Display at the destination.

本実施形態では、ユーザが所定の設定操作をした場合に、図６のステップＳ４において効果音が音声発生部５から出力される。具体的には次の通りである。まず、例えば指先やスタイラスの先端が表示面から所定の距離の範囲内を移動しているときには効果音が発生される。この効果音は、指先やスタイラスの先端が表示面に近づくに従い、連続的に音量を増し、あるいは音高を増し、あるいは音色を変化させる。そして、指先やスタイラスの先端が表示面に到達し、選択が確定したときには、効果音が消え、クリック音が音声発生部５から出力される。なお、効果音の出力を行う場合には、効果音の変化により指先やスタイラスの先端の表示面からの高さが分かるので、ユーザによる所定の設定操作があった場合には、指先やスタイラスの先端の表示面からの高さが変わっても影や照準などの案内情報の表示態様を変化させないようにしてもよい。 In the present embodiment, when the user performs a predetermined setting operation, a sound effect is output from the sound generator 5 in step S4 of FIG. Specifically, it is as follows. First, for example, a sound effect is generated when the tip of a fingertip or stylus is moving within a predetermined distance from the display surface. This sound effect continuously increases the volume, increases the pitch, or changes the tone as the tip of the fingertip or stylus approaches the display surface. When the fingertip or the tip of the stylus reaches the display surface and the selection is confirmed, the sound effect disappears and a click sound is output from the sound generation unit 5. When outputting sound effects, the height of the tip of the fingertip or stylus from the display surface can be known by the change in the sound effects. Therefore, if there is a predetermined setting operation by the user, the fingertip or stylus Even if the height of the tip from the display surface changes, the display mode of the guidance information such as the shadow and the aim may not be changed.

以上説明した実施形態によれば、指先やスタイラスの先端が向かいつつある目的地が表示面に表示させるので、ユーザは、自分がどのソフトボタン等を指そうとしているのかを容易に把握することができ、正確な操作を容易に行うことができるという効果が得られる。 According to the embodiment described above, since the destination where the tip of the fingertip or the stylus is facing is displayed on the display surface, the user can easily grasp which soft button or the like he / she is pointing to. Thus, an effect that an accurate operation can be easily performed is obtained.

＜他の実施形態＞
以上、本発明の実施形態を説明したが、本発明にはこれ以外にも他の実施形態が考えられる。例えば次の通りである。
（１）ユーザが指先やスタイラスにより表示面上の空間内に四角や丸の軌跡を一定時間連続して描いた場合に、表示面におけるその直下の領域に所定の処理に対応したソフトボタンを表示させ、ユーザが指先やスタイラスによりこのソフトボタンにタッチした場合には、このソフトボタンに対応した処理を実行する機能を上記実施形態に追加してもよい。
（２）ユーザが所定の設定操作をした場合には、指先やスタイラスが向かっている目的地に案内情報を表示する代わりに、その目的地付近を他の領域よりも大きな倍率で拡大表示し、ソフトボタン等の選択操作を容易にする機能を上記実施形態に追加してもよい。
（３）表示部１を覆うように透明なタッチパネルを設けてもよい。この場合、制御部３による２次元位置検出処理３４は、このタッチパネルの出力信号を用いて実行される。 <Other embodiments>
As mentioned above, although embodiment of this invention was described, other embodiment can be considered besides this in this invention. For example:
(1) When a user draws a square or circle locus continuously in a space on the display surface with a fingertip or stylus for a certain period of time, a soft button corresponding to a predetermined process is displayed in an area immediately below the display surface When the user touches the soft button with a fingertip or stylus, a function for executing processing corresponding to the soft button may be added to the above embodiment.
(2) When the user performs a predetermined setting operation, instead of displaying the guidance information at the destination where the fingertip or stylus is facing, the vicinity of the destination is enlarged and displayed at a larger magnification than the other areas. A function that facilitates a selection operation such as a soft button may be added to the embodiment.
(3) A transparent touch panel may be provided so as to cover the display unit 1. In this case, the two-dimensional position detection process 34 by the control unit 3 is executed using the output signal of the touch panel.

この発明の一実施形態である座標入力装置の構成を示すブロック図である。It is a block diagram which shows the structure of the coordinate input device which is one Embodiment of this invention. 同実施形態におけるイメージセンサの設置例を示す平面図である。It is a top view which shows the example of installation of the image sensor in the embodiment. 同実施形態におけるイメージセンサの設置例を示す側面図である。It is a side view which shows the example of installation of the image sensor in the embodiment. 同実施形態における磁気センサの設置例を示す平面図である。It is a top view which shows the example of installation of the magnetic sensor in the embodiment. 同実施形態における磁気センサの設置例を示す側面図である。It is a side view which shows the example of installation of the magnetic sensor in the embodiment. 同実施形態の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the embodiment. 同実施形態の動作例を示す図である。It is a figure which shows the operation example of the same embodiment. 同実施形態の動作例を示す図である。It is a figure which shows the operation example of the same embodiment. 同実施形態の動作例を示す図である。It is a figure which shows the operation example of the same embodiment. 同実施形態の動作例を示す図である。It is a figure which shows the operation example of the same embodiment. 同実施形態の動作例を示す図である。It is a figure which shows the operation example of the same embodiment.

Explanation of symbols

１…表示部、２…センサ、３…制御部、４…記憶部、５…音声発生部。 DESCRIPTION OF SYMBOLS 1 ... Display part, 2 ... Sensor, 3 ... Control part, 4 ... Memory | storage part, 5 ... Sound generation part.

Claims

Display means;
Three-dimensional position detecting means for detecting a three-dimensional position of a coordinate input operator or a fingertip;
Storage means;
Based on the three-dimensional position detected by the three-dimensional position detection means, the movement history of the three-dimensional position is stored in the storage means, and the coordinate input operator or the fingertip is headed by analyzing the movement history. A movement history update analysis means for obtaining a destination on the display surface;
Guidance information output means for displaying the guidance information for guiding the operation of the coordinate input operator or the fingertip at the destination on the display surface obtained by the movement history update analysis means. Coordinate input device.

The coordinate input device according to claim 1, wherein the guidance information output unit changes a display mode of the guidance information according to a height direction component of the three-dimensional position.

The coordinate input device according to claim 1, wherein the guidance information output unit generates a sound effect corresponding to a height direction component of the three-dimensional position.

When the height direction component of the three-dimensional position detected by the three-dimensional position detection means falls below a predetermined value, the two-dimensional position is detected based on the three-dimensional position, and the two-dimensional position is output as a specific position. The coordinate input device according to claim 1, further comprising a two-dimensional position output unit.