JP3941773B2 - INPUT DEVICE, INFORMATION PROCESSING DEVICE, REMOTE CONTROL DEVICE, AND INPUT DEVICE CONTROL METHOD - Google Patents

INPUT DEVICE, INFORMATION PROCESSING DEVICE, REMOTE CONTROL DEVICE, AND INPUT DEVICE CONTROL METHOD Download PDF

Info

Publication number
JP3941773B2
JP3941773B2 JP2003389643A JP2003389643A JP3941773B2 JP 3941773 B2 JP3941773 B2 JP 3941773B2 JP 2003389643 A JP2003389643 A JP 2003389643A JP 2003389643 A JP2003389643 A JP 2003389643A JP 3941773 B2 JP3941773 B2 JP 3941773B2
Authority
JP
Japan
Prior art keywords
time
panel
pressing
contact
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003389643A
Other languages
Japanese (ja)
Other versions
JP2005149405A (en
Inventor
裕幸 井ノ川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003389643A priority Critical patent/JP3941773B2/en
Priority to EP04799764A priority patent/EP1691261A4/en
Priority to KR1020067008760A priority patent/KR101130150B1/en
Priority to PCT/JP2004/017224 priority patent/WO2005048094A1/en
Priority to US10/579,497 priority patent/US7728819B2/en
Priority to TW093135263A priority patent/TW200532570A/en
Publication of JP2005149405A publication Critical patent/JP2005149405A/en
Application granted granted Critical
Publication of JP3941773B2 publication Critical patent/JP3941773B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は入力装置、情報処理装置、リモートコントロール装置および入力装置の制御方法に関し、特にパネルの表面に対する押圧または接触操作の有無を検出することにより入力が行われる入力装置、このような入力装置を用いた情報処理装置並びにリモートコントロール装置、およびこのような入力装置の制御方法に関する。   The present invention relates to an input device, an information processing device, a remote control device, and an input device control method, and more particularly to an input device that performs input by detecting the presence or absence of a pressing or contact operation on the surface of a panel. The present invention relates to an information processing device and a remote control device used, and a method for controlling such an input device.

現在、金融機関の自動現金取扱機、切符や定期券等の自動券売機、コンビニエンスストアでチケット販売等のサービスの提供に用いられるいわゆるコンビニ端末、PDA(Personal Digital Assistant)等の情報処理装置など、タッチパネルを用いた入力装置が広く利用されている。このようなタッチパネル式の入力装置は、例えばLCD(Liquid Crystal Display)等の表示装置に表示されたボタンやアイコンと、パネル上の座標系とを対応付け、パネル上に指やペンなどの指示具が触れた位置を検出することで、装置利用者に対するGUI(Graphical User Interface)機能を実現するものである。   Currently, automatic cash handling machines of financial institutions, automatic ticket machines such as tickets and commuter passes, so-called convenience terminals used to provide services such as ticket sales at convenience stores, information processing devices such as PDA (Personal Digital Assistant), etc. Input devices using touch panels are widely used. Such a touch panel type input device associates a button or icon displayed on a display device such as an LCD (Liquid Crystal Display) with a coordinate system on the panel, and indicates an indicator such as a finger or a pen on the panel. By detecting the position touched by the user, a GUI (Graphical User Interface) function for the apparatus user is realized.

このようなタッチパネル式の入力装置の多くは、実物のスイッチボタンを用いたものとは異なり、操作の際、操作者に表示ボタン等を押したという感触(クリック感)が伝わりにくい。そのため、最近のタッチパネル式の入力装置では、操作者によって入力操作が行われたときに、ビープ音等の操作音を発生させたり、表示ボタンの形状を変化させたりして聴覚的、視覚的に入力操作が行われたことを知らせる工夫がなされている。   Many of such touch panel type input devices are unlikely to use a real switch button, and it is difficult for the operator to feel the feeling of clicking the display button or the like (click feeling) during operation. Therefore, in a recent touch panel type input device, when an input operation is performed by an operator, an operation sound such as a beep sound is generated, or the shape of a display button is changed auditorily and visually. A device has been devised to notify that an input operation has been performed.

ところが、このような入力装置を利用してみると、操作者が入力操作を行っても入力装置の応答が遅かったり、操作者が入力操作を行ったつもりでも入力装置が応答しなかったり、あるいは操作者が入力操作を間違えてしまったりと、依然、装置利用者にとっては操作性において不安を感じ易く、必ずしも使い易いものとは言えなかった。   However, when using such an input device, the response of the input device is slow even if the operator performs an input operation, the input device does not respond even if the operator intends to perform the input operation, or Even if the operator makes a mistake in the input operation, the user still feels uneasy about the operability and cannot always be said to be easy to use.

そこで、例えば、圧電素子をパネルに接触させて配置し、入力操作が行われた際、この圧電素子を駆動してパネルを変位させ、操作者に力覚を帰還するようにした機構が提案されている。それにより、操作が行われたときには、操作者にあたかもスイッチボタンが押されたかのようなクリック感を与えるようにしている。   Therefore, for example, a mechanism has been proposed in which a piezoelectric element is placed in contact with the panel, and when an input operation is performed, the piezoelectric element is driven to displace the panel and return a force sense to the operator. ing. Thus, when an operation is performed, the operator is given a click feeling as if the switch button had been pressed.

例えば、従来は、複数の可撓性電極シートをその電極面を対向させて一定の間隔を空けて配置した抵抗膜式タッチパネルを用い、タッチパネルが表面に固定された筐体にボビンコイルを嵌め込んだ構成を有する装置も提案されている(例えば特許文献1参照)。この入力装置では、操作者によってタッチパネルが押圧され、電極シート同士が接触して通電が起こると、ボビンコイルが作動し、タッチパネルを操作者側に押し戻す。これにより、操作者にクリック感を与えるようにしている。
特開2002−259059号公報(段落番号〔0037〕〜〔0040〕、図3,図6,図7)
For example, conventionally, a resistive film type touch panel in which a plurality of flexible electrode sheets are arranged with a certain interval with the electrode surfaces facing each other is used, and a bobbin coil is fitted into a casing with the touch panel fixed on the surface. An apparatus having a configuration has also been proposed (see, for example, Patent Document 1). In this input device, when the operator presses the touch panel and the electrode sheets come into contact with each other and energization occurs, the bobbin coil is activated to push the touch panel back to the operator side. Thereby, a feeling of clicking is given to the operator.
JP 2002-259059 (paragraph numbers [0037] to [0040], FIG. 3, FIG. 6, FIG. 7)

しかし、タッチパネル式の従来の入力装置では、操作者がパネルを押したときの強弱に関係なく、同じようにパネルを変位させ、操作者に力覚を帰還させる方法が一般的である。入力装置のパネルの押し方は人様々であり、特に入力操作に不慣れな操作者の場合には必要以上に強く押す傾向がある。それは、どのような押し方をしてもパネルからのフィードバックが同じであるためであり、操作者にはどの程度の押し方をすれば装置が応答してくれるかが判断しにくいためである。その結果、操作者に、タッチパネルは操作しづらいといった印象を与えてしまうことも少なくない。   However, in a conventional touch panel type input device, a method of displacing the panel in the same manner and returning a sense of force to the operator regardless of the strength when the operator presses the panel is common. There are various ways of pushing the panel of the input device, and in particular, an operator who is not familiar with the input operation tends to push more strongly than necessary. This is because the feedback from the panel is the same no matter how the button is pressed, and it is difficult for the operator to determine how much the device will respond. As a result, the operator often gives the impression that the touch panel is difficult to operate.

操作者は、パネルを押したときフィードバックが与えられれば、押したことへの安心感は得られるが、必要以上に強く押せば、その分指にかかる負担は大きい。入力操作に慣れてくればそれなりの軽さでパネルを押すことができるようになるが、それでもパネルからのフィードバックが一定であると、最適な押し方を習得することは難しく、特にパネル操作に不慣れな操作者の場合には誤操作の原因にもなりかねない。   If feedback is given when the operator presses the panel, the operator can feel at ease, but if he presses more strongly than necessary, the burden on the finger is greater. If you get used to the input operation, you will be able to press the panel with a light weight, but if the feedback from the panel is still constant, it is difficult to learn the optimal way to press, especially unfamiliar with panel operation In the case of an unsatisfactory operator, it may cause an erroneous operation.

本発明はこのような点に鑑みてなされたものであり、操作者のパネルに対する操作の仕方に応じてパネルを変位させ、操作者に力覚を帰還することのできる入力装置およびその制御方法を提供することを目的とする。   The present invention has been made in view of the above points, and provides an input device capable of displacing a panel in accordance with an operation method of the operator's panel and returning a force sense to the operator, and a control method thereof. The purpose is to provide.

また、本発明は、そのような入力装置を用いた情報処理装置およびリモートコントロール装置を提供することを目的とする。   Another object of the present invention is to provide an information processing device and a remote control device using such an input device.

本発明では上記課題を解決するために、パネルの表面に対する押圧操作または接触操作によって入力が行われる入力装置において、前記パネルの表面に対する押圧または接触によって変化する信号を検出データ値として検出することによって、前記パネルの表面に対する押圧または接触を検出する手段と、前記検出データ値が変化し始めた時点を押圧または接触の開始時点と判定し、前記検出データ値が変化し始めてから安定しあらかじめ設定された時間が経過した時点を押圧または接触の確定時点と判定する手段と、前記開始時点から前記確定時点までの時間を計測する手段と、計測された前記開始時点から前記確定時点までの時間を用いて出力信号を生成する手段と、生成された前記出力信号に従って前記パネルを振動させる手段と、を有し、前記出力信号は、計測された前記開始時点から前記確定時点までの時間の長さに基づいた大きさの振幅で前記パネルを振動させる信号であることを特徴とする入力装置が提供される。 In the present invention, in order to solve the above-described problem, in an input device in which an input is performed by a pressing operation or a contact operation on the surface of the panel, a signal that changes due to the pressing or the contact with the surface of the panel is detected as a detection data value. , Means for detecting pressure or contact on the surface of the panel, and the time when the detected data value starts to change is determined as the start time of pressure or contact, and is stable and preset after the detection data value starts to change. Means for determining a time point when a predetermined time has passed as a confirmation point of pressing or contact, means for measuring a time from the start time to the confirmation time, and a time from the measured start time to the confirmation time Means for generating an output signal and means for vibrating the panel in accordance with the generated output signal. And, wherein the output signal includes an input device is provided, characterized in that the magnitude of amplitude on the basis of measured the starting point to the length of time until the determined time is a signal for vibrating the panel .

このような入力装置によれば、パネルの表面に対する押圧または接触が検出されたときには、押圧または接触の開始時点から押圧または接触の確定時点までの時間が計測され、計測されたその時間の長さに基づいた大きさの振幅でパネルが振動する。 According to such an input device, when the pressing or contact touch to the surface of the panel is detected, is measured the time from the start of pressing or contact to determine the time of pressing or contact, measured the time The panel vibrates with an amplitude having a magnitude based on the length.

例えば、操作者がパネルを強く押圧したときには、弱く押圧したときに比べてより短い時間でその押圧が確定するようになるため、パネルを大きな振幅で振動させる。逆に、操作者がパネルを弱く押圧したときには、その押圧が確定するまでにはより長い時間がかかるようになるため、パネルを小さな振幅で振動させる。これにより、操作者に対し、入力操作時の押圧が強すぎるのか否かを認識させることができるようになる。 For example, when the operator strongly presses the panel, in order to become the pressing is established in a shorter time than when weakly pressed, it causes vibration of the panel at large amplitude. Conversely, when the operator has weakened pressed panel to become so takes longer time before the pressing is established, it causes vibration of the panel with small amplitude. This makes it possible for the operator to recognize whether or not the pressing during the input operation is too strong.

また、本発明では、パネルの表面に対する押圧操作または接触操作によって入力が行われる入力装置の制御方法において、前記パネルの表面に対する押圧または接触によって変化する信号を検出データ値として検出することによって、前記パネルの表面に対する押圧または接触を検出し、前記検出データ値が変化し始めた時点を押圧または接触の開始時点と判定し、前記検出データ値が変化し始めてから安定しあらかじめ設定された時間が経過した時点を押圧または接触の確定時点と判定し、前記開始時点から前記確定時点までの時間を計測し、計測された前記開始時点から前記確定時点までの時間を用いて出力信号を生成し、生成された前記出力信号に従って前記パネルを振動させ、前記出力信号を生成する際には、前記開始時点から前記確定時点までの時間の長さに基づいた大きさの振幅で前記パネルを振動させる前記出力信号を生成することを特徴とする入力装置の制御方法が提供される。 In the present invention, in the control method of the input device in which input is performed by a pressing operation or a contact operation on the surface of the panel, by detecting a signal that changes due to the pressing or the contact on the surface of the panel as a detection data value, Detects pressing or touching on the surface of the panel, determines the time when the detected data value starts to change as the starting time of pressing or touching, and stable and preset time has elapsed since the detection data value starts to change The determined time is determined as a pressing or contact determination time, the time from the start time to the determination time is measured, and an output signal is generated using the measured time from the start time to the determination time When the panel is vibrated according to the output signal generated and the output signal is generated, The method of the input device and generating said output signal for vibrating the panel by the magnitude of the amplitude based on the length of time until the constant time is provided.

このような入力装置の制御方法によれば、パネル表面に対する押圧または接触が検出されると、押圧または接触の開始時点から押圧または接触の確定時点までの時間が計測され、その時間の長さに基づいた大きさの振幅でパネルが振動する。 According to such an input device control method, when a press or contact with the panel surface is detected, the time from the start of the press or contact to the time when the press or contact is determined is measured, and the length of the time is determined. The panel vibrates with the amplitude of the base magnitude.

本発明の入力装置は、押圧または接触の開始時点から押圧または接触の確定時点までの時間を計測し、その時間の長さに基づいた大きさの振幅でパネルを振動させるようにしたので、例えば、パネルが強く操作され、その操作の確定までの時間が短いときには、パネルを大きく振動させ、逆にパネルが弱く操作され、その操作の確定までの時間が長いときには、パネルを小さく振動させることができる。このように操作者の操作の仕方に応じて操作者に異なるフィードバックを与えることにより、操作者は最適な操作方法を自然と習得でき、必要以上の力で操作することが少なくなる。それにより、タッチパネル式入力装置の操作時の疲れやストレスが軽減され、その使用感を向上させることができるようになる。
Since the input device of the present invention measures the time from the start of pressing or contact to the time of confirmation of pressing or contact , and vibrates the panel with an amplitude having a magnitude based on the length of the time, for example, When the panel is operated strongly and the time until the confirmation of the operation is short, the panel is vibrated greatly. Conversely, when the panel is operated weakly and the time until the confirmation of the operation is long, the panel is vibrated small. it can. Thus, by giving different feedback to the operator according to how the operator operates, the operator can naturally learn the optimum operation method, and the operation with less force than necessary is reduced. As a result, fatigue and stress during operation of the touch panel type input device are reduced, and the usability can be improved.

以下、本発明の実施の形態を、入力画像の切換えを行うスイッチャ装置等の放送機器を操作するためのコントロールパネルとして使用される、抵抗膜式タッチパネルを用いた入力装置を例に図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings, taking as an example an input device using a resistive touch panel used as a control panel for operating a broadcasting device such as a switcher device for switching an input image. Will be described in detail.

図1は本発明の実施の形態に係る入力装置の要部分解斜視図である。
図1に示す入力装置100は、液晶表示部1とその表示面側に配設されるタッチパネル部2を有し、液晶表示部1の表示面側には、圧電アクチュエータ3がマウントされたフレキシブル基板4が固定されている。
FIG. 1 is an exploded perspective view of main parts of an input device according to an embodiment of the present invention.
An input device 100 shown in FIG. 1 has a liquid crystal display unit 1 and a touch panel unit 2 disposed on the display surface side thereof, and a flexible substrate on which a piezoelectric actuator 3 is mounted on the display surface side of the liquid crystal display unit 1. 4 is fixed.

液晶表示部1は、画像が表示される表示パネル1a、およびこれを保持するためのフレーム1bを有している。表示パネル1aの内部には、図示しない液晶基板やバックライト等が設けられている。また、フレーム1bは、例えば金属製であって、表示パネル1aの表示面において画像の表示領域を遮らないように設けられている。   The liquid crystal display unit 1 includes a display panel 1a on which an image is displayed, and a frame 1b for holding the display panel 1a. A liquid crystal substrate, a backlight, etc. (not shown) are provided inside the display panel 1a. The frame 1b is made of, for example, metal, and is provided so as not to block the image display area on the display surface of the display panel 1a.

タッチパネル部2は、操作者による入力操作を検出するためのセンサを備え、ここでは抵抗膜方式のセンサを備えた抵抗膜式タッチパネルである。このタッチパネル部2は、操作者によって押圧される押圧部2a、およびこれを保持するためのフレーム2bによって構成される。押圧部2aは透明な樹脂シートによってなり、液晶表示部1の表示パネル1aに表示された画像が透過するようになっている。また、フレーム2bは、例えば金属製であって、表示パネル1aの表示領域を遮らないように設けられている。   The touch panel unit 2 includes a sensor for detecting an input operation by an operator, and here is a resistive film type touch panel including a resistive film type sensor. The touch panel unit 2 includes a pressing unit 2a pressed by an operator and a frame 2b for holding the pressing unit 2a. The pressing part 2a is made of a transparent resin sheet so that an image displayed on the display panel 1a of the liquid crystal display part 1 is transmitted. The frame 2b is made of metal, for example, and is provided so as not to block the display area of the display panel 1a.

このタッチパネル部2として用いる抵抗膜式タッチパネルは、透明電極が成膜された複数の電極シートを、電極面を対向させて一定の間隔を空けて配置した構造を有している。そして、図1中の押圧部2aが操作者の指やペン等の指示具で押圧されると、電極シート同士が接触し、このときの各電極シート上の抵抗変化を検出することにより、指示位置が座標値として特定されるようになっている。   The resistance film type touch panel used as the touch panel unit 2 has a structure in which a plurality of electrode sheets on which transparent electrodes are formed are arranged with a certain interval with the electrode surfaces facing each other. Then, when the pressing portion 2a in FIG. 1 is pressed with an indicator such as an operator's finger or pen, the electrode sheets come into contact with each other, and by detecting the resistance change on each electrode sheet at this time, The position is specified as a coordinate value.

圧電アクチュエータ3は、例えば圧電バイモルフ素子である。圧電バイモルフ素子は、複数の薄板状の圧電材を電極板を挟んで貼り合わせた構造を有しており、両面から電圧を印加すると全体が湾曲する性質を有している。入力装置100において、圧電アクチュエータ3は、フレキシブル基板4上に設けられた配線を通じて印加される駆動電圧に応じて湾曲変形する。   The piezoelectric actuator 3 is a piezoelectric bimorph element, for example. The piezoelectric bimorph element has a structure in which a plurality of thin plate-like piezoelectric materials are bonded to each other with an electrode plate interposed therebetween, and has a property that the whole is curved when a voltage is applied from both sides. In the input device 100, the piezoelectric actuator 3 is curved and deformed according to a driving voltage applied through a wiring provided on the flexible substrate 4.

フレキシブル基板4は、例えばポリイミド等の樹脂フィルム上に銅箔等の導電性金属箔を用いて配線を形成した可撓性の配線基板であり、圧電アクチュエータ3に対して駆動電圧を供給する電極が設けられているとともに、後述する貫通孔の対が設けられて、この貫通孔を使用して圧電アクチュエータ3を保持している。   The flexible substrate 4 is a flexible wiring substrate in which wiring is formed using a conductive metal foil such as copper foil on a resin film such as polyimide, and an electrode for supplying a driving voltage to the piezoelectric actuator 3 is provided. A pair of through holes, which will be described later, is provided, and the piezoelectric actuator 3 is held using the through holes.

この入力装置100では、液晶表示部1の表示面側に、フレキシブル基板4および圧電アクチュエータ3を挟み込むように、タッチパネル部2が配設される。タッチパネル部2の押圧部2aには、液晶表示部1の表示パネル1aにより表示されたアイコン等の操作機能項目の画像が透過し、押圧部2a上の画像表示位置を操作者が指等で押圧することで、表示画像に応じた入力操作が行われる。   In the input device 100, the touch panel unit 2 is disposed on the display surface side of the liquid crystal display unit 1 so as to sandwich the flexible substrate 4 and the piezoelectric actuator 3. An image of an operation function item such as an icon displayed on the display panel 1a of the liquid crystal display unit 1 is transmitted to the pressing unit 2a of the touch panel unit 2, and the operator presses the image display position on the pressing unit 2a with a finger or the like. Thus, an input operation corresponding to the display image is performed.

液晶表示部1やタッチパネル部2は、入力装置100の図示しない外部筐体に搭載される。このとき、タッチパネル部2は、液晶表示部1に対して、その表示面に垂直な方向に可動な状態で配設される。これにより、圧電アクチュエータ3が湾曲変形したときには、液晶表示部1に対するタッチパネル部2の距離が変化する。タッチパネル部2における押圧操作の検出や、その押圧操作に応じた圧電アクチュエータ3の駆動制御等を行う回路は、例えば外部筐体の内部に収納される。   The liquid crystal display unit 1 and the touch panel unit 2 are mounted on an external housing (not shown) of the input device 100. At this time, the touch panel unit 2 is disposed with respect to the liquid crystal display unit 1 so as to be movable in a direction perpendicular to the display surface. Thereby, when the piezoelectric actuator 3 is curved and deformed, the distance of the touch panel unit 2 to the liquid crystal display unit 1 changes. A circuit that performs detection of a pressing operation on the touch panel unit 2 and drive control of the piezoelectric actuator 3 according to the pressing operation is housed in, for example, an external housing.

図2は圧電アクチュエータのフレキシブル基板への実装状態を示す図であって、(A)はフレキシブル基板の要部平面図、(B)はX−X矢視断面図である。
図2に示すように、フレキシブル基板4には、圧電アクチュエータ3を実装するための貫通孔41a,41bの対からなる実装部41と、圧電アクチュエータ3に駆動電圧を供給するための配線パターン42a,42bが設けられている。
FIGS. 2A and 2B are diagrams showing a mounting state of the piezoelectric actuator on the flexible substrate, in which FIG. 2A is a plan view of a principal portion of the flexible substrate, and FIG. 2B is a cross-sectional view taken along line XX.
As shown in FIG. 2, the flexible substrate 4 has a mounting portion 41 composed of a pair of through holes 41 a and 41 b for mounting the piezoelectric actuator 3, and a wiring pattern 42 a for supplying a driving voltage to the piezoelectric actuator 3. 42b is provided.

実装部41では、各貫通孔41a,41bが例えば同一形状に並列されて形成される。また、貫通孔41a,41bの間は、フレキシブル基板4を構成する樹脂フィルムが橋状に残されて中央スペーサ部41cが形成される。本実施の形態では、例としてこのような実装部41が1つのフレキシブル基板4上に2箇所ずつ設けられる。   In the mounting portion 41, the through holes 41a and 41b are formed in parallel, for example, in the same shape. Moreover, between the through-holes 41a and 41b, the resin film which comprises the flexible substrate 4 is left in bridge shape, and the center spacer part 41c is formed. In the present embodiment, for example, such mounting portions 41 are provided at two locations on one flexible substrate 4.

配線パターン42a,42bは、実装部41の一端に対してそれぞれの配線が接続されるように設けられている。一方、圧電アクチュエータ3の一端には、配線端子31a,31bが設けられており、これらの配線端子31a,31bと、フレキシブル基板4上の配線パターン42a,42bとが接触することにより、図示しないドライバ回路から圧電アクチュエータ3に駆動電圧が供給される。   The wiring patterns 42 a and 42 b are provided so that each wiring is connected to one end of the mounting portion 41. On the other hand, wiring terminals 31a and 31b are provided at one end of the piezoelectric actuator 3, and when these wiring terminals 31a and 31b come into contact with the wiring patterns 42a and 42b on the flexible substrate 4, a driver (not shown). A drive voltage is supplied from the circuit to the piezoelectric actuator 3.

実装部41において、圧電アクチュエータ3は、一方の貫通孔41aに例えば表側から挿通された後、中央スペーサ部41cの下部を通して貫通孔41bに裏側から再び挿通されることにより、長手方向の両端部がフレキシブル基板4の表面に接触した状態で実装される。圧電アクチュエータ3は比較的剛性が高く、一方フレキシブル基板4は容易に変形することから、図2(B)に示すように、中央スペーサ部41cのみが表側方向に膨出した状態となって、圧電アクチュエータ3が保持される。また、このとき、圧電アクチュエータ3の一端に設けられた配線端子31a,31bと、フレキシブル基板4上の配線パターン42a,42bとが接触し、電気的に接続される。なお、好ましくは、これらを接触させた後に、半田等を用いて接点を固定し、圧電アクチュエータ3自体をフレキシブル基板4上に固定する。   In the mounting portion 41, the piezoelectric actuator 3 is inserted into one through hole 41a from the front side, for example, and then inserted again from the back side into the through hole 41b through the lower portion of the central spacer portion 41c, so that both ends in the longitudinal direction are Mounting is performed in contact with the surface of the flexible substrate 4. Since the piezoelectric actuator 3 has relatively high rigidity, while the flexible substrate 4 is easily deformed, only the central spacer portion 41c bulges in the front side direction as shown in FIG. The actuator 3 is held. At this time, the wiring terminals 31a and 31b provided at one end of the piezoelectric actuator 3 and the wiring patterns 42a and 42b on the flexible substrate 4 come into contact with each other and are electrically connected. Preferably, after making these contact, the contact is fixed using solder or the like, and the piezoelectric actuator 3 itself is fixed on the flexible substrate 4.

以上のように圧電アクチュエータ3が実装された後、このフレキシブル基板4が液晶表示部1のフレーム1bとタッチパネル部2のフレーム2bとの間に挟み込まれる。このとき、例えば、中央スペーサ部41cの図2中上面がタッチパネル部2のフレーム2bに接触し、フレキシブル基板4の図2中下面と圧電アクチュエータ3が接触した領域43a,43bが、液晶表示部1のフレーム1bと接触する。このような実装構造により、フレキシブル基板4の中央スペーサ部41cは、タッチパネル部2のフレーム2bと圧電アクチュエータ3との間のスペーサとして機能し、また、フレキシブル基板4の領域43a,43bは、液晶表示部1のフレーム1bと圧電アクチュエータ3との間のスペーサとして機能する。   After the piezoelectric actuator 3 is mounted as described above, the flexible substrate 4 is sandwiched between the frame 1 b of the liquid crystal display unit 1 and the frame 2 b of the touch panel unit 2. At this time, for example, the upper surface in FIG. 2 of the central spacer portion 41c is in contact with the frame 2b of the touch panel portion 2, and the regions 43a and 43b in which the lower surface in FIG. In contact with the frame 1b. With such a mounting structure, the central spacer portion 41c of the flexible substrate 4 functions as a spacer between the frame 2b of the touch panel portion 2 and the piezoelectric actuator 3, and the regions 43a and 43b of the flexible substrate 4 are liquid crystal display. It functions as a spacer between the frame 1 b of the part 1 and the piezoelectric actuator 3.

この状態で、圧電アクチュエータ3に駆動電圧が供給されると、その駆動電圧に応じて圧電アクチュエータ3が湾曲変形する。上述したように、圧電アクチュエータ3には2つの配線端子31a,31bが設けられており、これらの電位差が0のときには、圧電アクチュエータ3は湾曲せず、電位差を大きくすることで、その湾曲量は大きくなる。また、圧電アクチュエータ3の湾曲方向は、電圧の極性を反転させると逆転する。したがって、入力装置100では、駆動電圧の電圧(振幅)、周波数、波形(矩形波または正弦波)等を制御することにより、圧電アクチュエータ3の湾曲量、湾曲周期、湾曲方向等を変化させることができる。   In this state, when a driving voltage is supplied to the piezoelectric actuator 3, the piezoelectric actuator 3 is curved and deformed according to the driving voltage. As described above, the piezoelectric actuator 3 is provided with the two wiring terminals 31a and 31b. When the potential difference between them is 0, the piezoelectric actuator 3 does not bend, and by increasing the potential difference, the amount of bending is increased. growing. The bending direction of the piezoelectric actuator 3 is reversed when the polarity of the voltage is reversed. Therefore, in the input device 100, the amount of bending, the bending period, the bending direction, and the like of the piezoelectric actuator 3 can be changed by controlling the voltage (amplitude), frequency, waveform (rectangular wave or sine wave) of the drive voltage, and the like. it can.

圧電アクチュエータ3が湾曲すると、その中央部の変位に応じて、中央スペーサ部41cが液晶表示部1に対してその表示部に垂直な方向に移動する。この中央スペーサ部41cの変位に応じてタッチパネル部2が移動し、そのパネル表面が変位して、操作者に対して力覚が帰還されるようになっている。   When the piezoelectric actuator 3 is curved, the central spacer portion 41c moves in a direction perpendicular to the display unit with respect to the liquid crystal display unit 1 according to the displacement of the central portion. The touch panel portion 2 moves in accordance with the displacement of the central spacer portion 41c, the panel surface is displaced, and a force sense is returned to the operator.

なお、中央スペーサ部41cの表面、あるいはフレキシブル基板4において圧電アクチュエータ3の両端部が接触した部分の裏面に、セルロイド等の高剛性材料からなる補強板を貼付しておいてもよい。   A reinforcing plate made of a highly rigid material such as celluloid may be attached to the front surface of the central spacer portion 41c or the back surface of the portion of the flexible substrate 4 where both ends of the piezoelectric actuator 3 are in contact.

また、上記のような圧電アクチュエータ3の実装方法はあくまで例であり、圧電アクチュエータ3の一方の面の中央部付近にスペーサを設け、さらに他方の面において、その長手方向の両端部にもスペーサを設けた構造を有していれば、他の方法により圧電アクチュエータ3が実装されていてもよい。   The mounting method of the piezoelectric actuator 3 as described above is only an example, and a spacer is provided near the center of one surface of the piezoelectric actuator 3, and spacers are also provided at both ends in the longitudinal direction on the other surface. As long as it has the provided structure, the piezoelectric actuator 3 may be mounted by other methods.

次に、上記入力装置100のハードウェア構成について説明する。
図3は入力装置のハードウェアブロック図である。
入力装置100は、センサ部101、位置判定処理部102、制御部103および駆動部104を有している。
Next, the hardware configuration of the input device 100 will be described.
FIG. 3 is a hardware block diagram of the input device.
The input device 100 includes a sensor unit 101, a position determination processing unit 102, a control unit 103, and a drive unit 104.

センサ部101は、タッチパネル部2に内蔵され、操作者による入力装置100に対する押圧操作の有無を検出するためのセンサを備え、ここでは抵抗膜方式によってタッチパネル部2のパネル表面(押圧部2a)に対する押圧の有無を検出するようになっている。   The sensor unit 101 is incorporated in the touch panel unit 2 and includes a sensor for detecting the presence or absence of a pressing operation on the input device 100 by an operator. Here, the sensor unit 101 is applied to the panel surface (the pressing unit 2a) of the touch panel unit 2 by a resistance film method. The presence or absence of pressing is detected.

本実施の形態でタッチパネル部2として用いられているアナログ抵抗膜式タッチパネルのパネル表面を操作者が指等で押圧すると、一定間隔で対向配置されていた電極シート同士が接触して通電が起こり、その接触位置によって電極シート上のX方向およびY方向の抵抗値が変化し、X方向およびY方向に対応する電圧値が変化する。X方向およびY方向の電圧値は、抵抗膜式タッチパネルのパネル表面が指等で押されるまでは0Vまたは0Vに近い値であり、押され始めると次第に増加していき、押された状態がそのままある程度以上続くと飽和して安定するようになる。   When the operator presses the panel surface of the analog resistive film type touch panel used as the touch panel unit 2 in the present embodiment with a finger or the like, the electrode sheets that are arranged to face each other at regular intervals come into contact with each other, and energization occurs. The resistance values in the X direction and the Y direction on the electrode sheet change depending on the contact position, and the voltage values corresponding to the X direction and the Y direction change. The voltage values in the X direction and the Y direction are 0V or close to 0V until the panel surface of the resistive touch panel is pressed with a finger or the like, and gradually increases when starting to be pressed. If it continues for a certain amount of time, it becomes saturated and stable.

入力装置100においては、そのように電圧値が安定した状態で操作者による押圧が確定されるものとし、操作者による押圧開始時点からの電圧値の変化が所定の変動幅内におさまって安定してから一定時間経過後に、押圧を確定する。その場合、電圧値が安定してから押圧を確定するまでの時間は、入力装置100においてあらかじめ任意に設定しておくことができるようになっている。   In the input device 100, it is assumed that the pressure by the operator is fixed in such a state that the voltage value is stable, and the change in the voltage value from the point of time when the pressure is started by the operator is within a predetermined fluctuation range and is stable. After a certain period of time has passed, the pressing is confirmed. In that case, the time from the stabilization of the voltage value until the pressing is confirmed can be arbitrarily set in advance in the input device 100.

センサ部101は、X方向およびY方向の電圧値(アナログ信号)によってパネル表面に対する押圧の有無を検出し、電圧値はA/D変換した検出データ値(デジタル信号)とする。   The sensor unit 101 detects the presence or absence of pressure on the panel surface based on voltage values (analog signals) in the X direction and the Y direction, and the voltage value is a detection data value (digital signal) obtained by A / D conversion.

位置判定処理部102は、センサ部101で検出されたX方向およびY方向の検出データ値を定期的に読み込んでその変化を監視し、パネル表面の押圧開始時点や押圧確定時点を判定するようになっている。すなわち、検出データ値が変化し始めた時点を押圧開始時点と判定し、検出データ値が安定してから所定時間経過した時点を押圧確定時点と判定する。その際、位置判定処理部102は、例えば入力装置100に内蔵されたタイマ等を用いて、押圧開始時点から押圧確定時点までの時間を計測する。   The position determination processing unit 102 periodically reads the detected data values in the X direction and the Y direction detected by the sensor unit 101 and monitors changes thereof, so as to determine the pressing start time and the pressing confirmed time point on the panel surface. It has become. That is, the time point at which the detection data value starts to change is determined as the pressing start time point, and the time point after a predetermined time has elapsed after the detection data value has stabilized is determined as the pressing confirmation time point. At that time, the position determination processing unit 102 measures the time from the pressing start time to the pressing confirmation time using, for example, a timer built in the input device 100 or the like.

さらに、位置判定処理部102は、検出データ値が安定してから所定時間が経過し、押圧を確定したときには、その検出データ値から電極シート上の押圧位置のX−Y座標値を特定し、特定した座標値を位置情報として保存する。   Furthermore, the position determination processing unit 102 specifies the XY coordinate value of the pressed position on the electrode sheet from the detected data value when a predetermined time has elapsed after the detection data value is stabilized and the pressing is confirmed, The identified coordinate value is stored as position information.

そして、位置判定処理部102は、計測した押圧開始時点から押圧確定時点までの計測時間の長さに応じて制御信号を生成し、その制御信号に基づいて制御部103を制御するようになっている。あるいは、位置判定処理部102が、計測時間をあらかじめ定められている所定時間の値と比較し、計測時間がその所定時間よりも長いか否かを判定し、その判定結果に応じて制御信号を生成するようにしてもよい。   And the position determination process part 102 produces | generates a control signal according to the length of the measurement time from the press start time measured to the press confirmation time point, and controls the control part 103 based on the control signal. Yes. Alternatively, the position determination processing unit 102 compares the measurement time with a predetermined time value, determines whether the measurement time is longer than the predetermined time, and outputs a control signal according to the determination result. You may make it produce | generate.

この位置判定処理部102で生成される制御信号は、駆動部104を駆動する際の駆動電圧の信号波形を特定するための電圧(振幅)の条件を含んだデジタル信号である。この場合、押圧開始時点から押圧確定時点までの計測時間に応じて、振幅が異なる信号波形の駆動電圧が駆動部104に供給されるようになる。なお、計測時間に応じて、振幅のほか、周波数や波形(矩形波または正弦波)の異なる信号波形の駆動電圧を駆動部104に供給する場合には、それらの条件を制御信号に含めるようにしてもよい。   The control signal generated by the position determination processing unit 102 is a digital signal including a voltage (amplitude) condition for specifying a signal waveform of a driving voltage when driving the driving unit 104. In this case, a drive voltage having a signal waveform with a different amplitude is supplied to the drive unit 104 according to the measurement time from the pressing start time to the pressing confirmation time. In addition, in the case where a drive voltage having a signal waveform having a different frequency or waveform (rectangular wave or sine wave) in addition to the amplitude is supplied to the drive unit 104 according to the measurement time, these conditions are included in the control signal. May be.

制御部103は、波形生成装置であり、位置判定処理部102からの制御信号に基づいて電圧を制御し、駆動部104を駆動するための駆動電圧の信号波形を生成して出力信号として出力する。   The control unit 103 is a waveform generation device that controls a voltage based on a control signal from the position determination processing unit 102, generates a signal waveform of a driving voltage for driving the driving unit 104, and outputs the waveform as an output signal. .

図4は制御部の構成例を示す図である。
この図4に示すように、制御部103は、例えば、D/A変換部103aおよびドライバ回路103bを有する。D/A変換部103aは、位置判定処理部102から出力される制御信号に含まれている電圧をアナログ値に変換し、変換後の制御電圧をドライバ回路103bに出力する。ドライバ回路103bは、D/A変換部103aから出力される制御電圧に基づき、駆動部104に駆動電圧の信号波形を出力信号として出力する。
FIG. 4 is a diagram illustrating a configuration example of the control unit.
As shown in FIG. 4, the control unit 103 includes, for example, a D / A conversion unit 103a and a driver circuit 103b. The D / A conversion unit 103a converts the voltage included in the control signal output from the position determination processing unit 102 into an analog value, and outputs the converted control voltage to the driver circuit 103b. The driver circuit 103b outputs a signal waveform of the drive voltage to the drive unit 104 as an output signal based on the control voltage output from the D / A conversion unit 103a.

なお、制御部103は、駆動部104を制御するための出力信号を生成するものであるので、駆動部104に合わせた信号波形を生成できるものであれば、その構成は特に限定されない。   Since the control unit 103 generates an output signal for controlling the drive unit 104, the configuration is not particularly limited as long as it can generate a signal waveform matched to the drive unit 104.

駆動部104は、ここでは前述の圧電アクチュエータ3であり、圧電アクチュエータ3は、制御部103から出力される駆動電圧の信号波形に従って湾曲変形する。駆動部104には、交流矩形波電圧や交流正弦波電圧といった交流電圧を供給することができ、それによって圧電アクチュエータ3およびタッチパネル部2を細かく振動させることもできるようになっている。   Here, the drive unit 104 is the piezoelectric actuator 3 described above, and the piezoelectric actuator 3 is curved and deformed according to the signal waveform of the drive voltage output from the control unit 103. An AC voltage such as an AC rectangular wave voltage or an AC sine wave voltage can be supplied to the drive unit 104, whereby the piezoelectric actuator 3 and the touch panel unit 2 can be vibrated finely.

次に、上記構成を有する入力装置100を押圧確定までの計測時間に応じて制御する方法について説明する。
図5は長時間で押圧が確定するときのパネル押圧時間と圧電アクチュエータ駆動電圧の関係の説明図、図6は短時間で押圧が確定するときのパネル押圧時間と圧電アクチュエータ駆動電圧の関係の説明図である。この図5および図6においてそれぞれ、上図はタッチパネル部2のパネル押圧時間と検出データ値の関係を示し、下図は圧電アクチュエータ3に供給される駆動電圧の信号波形を示している。なお、図5上図および図6上図には、例として、X方向の検出データ値の変化を図示している。
Next, a method for controlling the input device 100 having the above configuration in accordance with the measurement time until the pressing is confirmed will be described.
FIG. 5 is an explanatory diagram of the relationship between the panel pressing time and the piezoelectric actuator driving voltage when the pressing is determined in a long time, and FIG. 6 is an explanatory diagram of the relationship between the panel pressing time and the piezoelectric actuator driving voltage when the pressing is determined in a short time. FIG. 5 and 6, the upper diagram shows the relationship between the panel pressing time of the touch panel unit 2 and the detected data value, and the lower diagram shows the signal waveform of the drive voltage supplied to the piezoelectric actuator 3. Note that, in the upper diagram of FIG. 5 and the upper diagram of FIG.

図5上図および図6上図に示すように、入力操作時に検出される検出データ値は、タッチパネル部2のパネル表面の押圧前は0または0に近い値であり、押圧開始と共に次第に増加していき、押圧がそのままある程度以上続くと安定する。入力装置100では、このように変化する検出データ値から決定される押圧開始時点から押圧確定時点までの時間に応じて、圧電アクチュエータ3に対して適当な信号波形の駆動電圧を供給することにより、押圧操作の仕方に応じたクリック感を操作者に体感させることができる。   As shown in FIG. 5 and FIG. 6, the detected data value detected during the input operation is 0 or a value close to 0 before pressing the panel surface of the touch panel unit 2 and gradually increases with the start of pressing. If it continues to be pressed to a certain extent, it stabilizes. In the input device 100, by supplying a driving voltage having an appropriate signal waveform to the piezoelectric actuator 3 according to the time from the pressing start time to the pressing confirmation time determined from the detection data value changing in this way, An operator can feel a click feeling according to the manner of pressing operation.

すなわち、入力装置100は、押圧開始から押圧確定までの時間が長いとき、すなわち検出データ値が安定するまでに長時間を要したときには、図5下図に示したように、押圧確定後、圧電アクチュエータ3に振幅の小さい所定周波数の交流矩形波電圧を供給して、圧電アクチュエータ3およびタッチパネル部2を小さく振動させる。これに対し、押圧開始から押圧確定までの時間が短いとき、すなわち検出データ値が短時間で安定したときには、入力装置100は、図6下図に示したように、押圧確定後、圧電アクチュエータ3に振幅の大きい所定周波数の交流矩形波電圧を供給して、圧電アクチュエータ3およびタッチパネル部2を大きく振動させる。   That is, when the time from the start of pressing to the confirmation of pressing is long, that is, when a long time is required until the detection data value is stabilized, the input device 100, as shown in the lower diagram of FIG. 3 is supplied with an AC rectangular wave voltage having a small amplitude and a predetermined frequency, and the piezoelectric actuator 3 and the touch panel unit 2 are vibrated small. On the other hand, when the time from the start of pressing until pressing is confirmed, that is, when the detected data value is stabilized in a short time, the input device 100 applies the piezoelectric actuator 3 after pressing is confirmed, as shown in the lower diagram of FIG. An AC rectangular wave voltage having a large amplitude and a predetermined frequency is supplied to vibrate the piezoelectric actuator 3 and the touch panel unit 2 greatly.

図7は入力装置の制御フローを示す図である。
上記のように押圧開始から押圧確定までの時間に応じてタッチパネル部2を振動させる入力装置100は、まず、操作者によってパネル表面が押圧されているか否かを検出データ値の変化から判断する(ステップS1)。
FIG. 7 is a diagram showing a control flow of the input device.
As described above, the input device 100 that vibrates the touch panel unit 2 in accordance with the time from the start of pressing to the confirmation of pressing first determines whether or not the panel surface is pressed by the operator from the change in the detected data value ( Step S1).

ステップS1において、パネル表面が押圧されていると判断した場合には、入力装置100は、この時点を押圧開始時点とし、時間の計測を開始する(ステップS2)。
次いで、入力装置100は、検出データ値を監視し、その検出データ値の安定状態から、押圧を確定するか否かを判断する(ステップS3)。
If it is determined in step S1 that the panel surface is being pressed, the input device 100 sets this time as the pressing start time and starts measuring time (step S2).
Next, the input device 100 monitors the detected data value, and determines whether or not to confirm the pressing from the stable state of the detected data value (step S3).

そして、ステップS3において、押圧確定と判断した場合には、入力装置100は、押圧開始時点からの時間の計測を終了する(ステップS4)。
入力装置100は、ステップS4で得られた計測時間に応じて駆動電圧を決定し(ステップS5)、その駆動電圧で圧電アクチュエータ3を駆動する(ステップS6)。例えば、計測時間の長さに反比例して信号波形の振幅を決定し、計測時間が短くなるほど大きな駆動電圧で圧電アクチュエータ3を駆動するようにする。
If it is determined in step S3 that pressing is confirmed, the input device 100 ends measuring time from the pressing start time (step S4).
The input device 100 determines a drive voltage according to the measurement time obtained in step S4 (step S5), and drives the piezoelectric actuator 3 with the drive voltage (step S6). For example, the amplitude of the signal waveform is determined in inverse proportion to the length of the measurement time, and the piezoelectric actuator 3 is driven with a larger drive voltage as the measurement time becomes shorter.

また、駆動電圧を決定する際に、計測時間とあらかじめ入力装置100に設定されている所定時間とを比較し、その比較結果に応じて駆動電圧を決定するようにすることもできる。すなわち、所定時間よりも計測時間が長ければ所定の小さな駆動電圧で圧電アクチュエータ3を駆動し、逆に、計測時間が短ければ所定の大きな駆動電圧で圧電アクチュエータ3を駆動する。   Further, when the drive voltage is determined, the measurement time can be compared with a predetermined time set in advance in the input device 100, and the drive voltage can be determined according to the comparison result. That is, if the measurement time is longer than the predetermined time, the piezoelectric actuator 3 is driven with a predetermined small drive voltage. Conversely, if the measurement time is short, the piezoelectric actuator 3 is driven with a predetermined large drive voltage.

なお、ステップS1において、入力装置100が、パネルが押圧されていると判断しなかった場合には、パネルが押圧されていると判断するまで、このステップS1の処理を繰り返す。また、ステップS3において、入力装置100が、押圧確定と判断しなかった場合には、押圧確定と判断するまで、このステップS3の処理を繰り返す。   If the input device 100 does not determine that the panel is pressed in step S1, the process of step S1 is repeated until it is determined that the panel is pressed. In step S3, if the input device 100 does not determine that the press is confirmed, the process of step S3 is repeated until it is determined that the press is confirmed.

上記図5,図6および図7において、押圧確定までに長時間を要することは、操作者による押圧操作が弱く行われたことに相当し、逆に、押圧確定までが短時間であることは、押圧操作が強く行われたことに相当する。このように、入力装置100では、入力操作時のパネル押圧の強弱を、押圧開始時点から変化する電圧値を基に、押圧開始時点から押圧確定時点までの時間を計測し、その計測時間の長短に対応させている。そして、その計測時間に応じた信号波形の駆動電圧を圧電アクチュエータ3に供給することにより、押圧操作の仕方に応じたクリック感を実現している。   5, 6, and 7, the fact that a long time is required until the pressing is confirmed corresponds to a weak pressing operation by the operator, and conversely, the time until the pressing is confirmed is short. This corresponds to a strong pressing operation. As described above, the input device 100 measures the time from the pressing start time to the pressing confirmation time based on the voltage value that changes from the pressing start time, and measures the length of the measurement time as the strength of the panel pressing during the input operation. It corresponds to. Then, by supplying a driving voltage having a signal waveform corresponding to the measurement time to the piezoelectric actuator 3, a click feeling corresponding to the way of pressing operation is realized.

なお、図5および図6の例では、圧電アクチュエータ3に交流矩形波電圧を供給する場合について述べたが、勿論、交流正弦波電圧を供給するようにしてもよい。
ところで、以上の説明では、抵抗膜方式のセンサ部101を有する抵抗膜式タッチパネルを入力装置100のタッチパネル部2として用いた場合を例にして述べたが、抵抗膜方式のほか、静電容量方式、光学方式、超音波方式、電磁誘導方式等を採用した各種タッチパネルを用いても、操作者にクリック感を体感させることが可能である。要するに、入力操作開始から入力操作確定までの間で検出される信号(検出データ値)に何らかの変化があることが分かるセンサを用いるものであれば、いずれの方式であっても用いることができる。
In the example of FIGS. 5 and 6, the case where the AC rectangular wave voltage is supplied to the piezoelectric actuator 3 has been described. Of course, an AC sine wave voltage may be supplied.
By the way, in the above description, the case where the resistive film type touch panel having the resistive film type sensor unit 101 is used as the touch panel unit 2 of the input device 100 has been described as an example. Even when various touch panels adopting an optical method, an ultrasonic method, an electromagnetic induction method, or the like are used, it is possible to make the operator feel a click feeling. In short, any method can be used as long as it uses a sensor that knows that there is some change in the signal (detected data value) detected between the start of the input operation and the input operation confirmation.

例えば、静電容量方式の場合には、透明な導電性パネルで操作者の指の接触部を形成するとともに、この接触部外縁のフレーム内に電圧印加および電流検知のための回路を設け、導電性パネルには一定の電圧を印加しておく。このようなタッチパネルを用いた入力装置では、操作者がパネルに指を接触させると、パネル上の静電容量が変化し、その変化が電流値として検出される。   For example, in the case of the electrostatic capacity method, a contact portion of an operator's finger is formed by a transparent conductive panel, and a circuit for voltage application and current detection is provided in a frame on the outer edge of the contact portion, thereby A certain voltage is applied to the sex panel. In an input device using such a touch panel, when the operator touches the panel with a finger, the capacitance on the panel changes, and the change is detected as a current value.

光学方式の場合には、ガラスやアクリル等の透明なパネルで接触部を形成する。そして、接触部外縁のフレーム内に、LED(Light Emitting Diode)等の発光素子および受光素子を配置して、接触部の表面にマトリクス状に赤外線を放射させ、その赤外線を対向する受光素子に受光させる。このようなタッチパネルを用いた入力装置では、操作者がパネル表面に指等を接触させると、光が遮られ、遮られる光の変化が電気信号として検出される。   In the case of the optical system, the contact portion is formed of a transparent panel such as glass or acrylic. Then, a light emitting element such as an LED (Light Emitting Diode) and a light receiving element are arranged in the frame on the outer edge of the contact part, and infrared rays are emitted in a matrix on the surface of the contact part, and the infrared light is received by the opposing light receiving element. Let In an input device using such a touch panel, when an operator brings a finger or the like into contact with the panel surface, light is blocked and a change in the blocked light is detected as an electrical signal.

超音波方式の場合には、透明なパネルで接触部を形成し、外縁のフレーム内には、発信器と受信器をX方向およびY方向にそれぞれ対向させて配置し、発振器により接触部の表面に表面弾性波を発生させる。このようなタッチパネルを用いた入力装置では、操作者がパネル表面に指を接触させると、接触部分の振動が指に吸収され、それによって生じる表面弾性波の伝達遅延が検出される。   In the case of the ultrasonic method, a contact portion is formed by a transparent panel, and a transmitter and a receiver are arranged facing each other in the X direction and the Y direction in the outer frame, and the surface of the contact portion is formed by an oscillator. Generate surface acoustic waves. In such an input device using a touch panel, when an operator brings a finger into contact with the surface of the panel, the vibration of the contact portion is absorbed by the finger, and a surface acoustic wave transmission delay caused thereby is detected.

電磁誘導方式の場合には、透明なパネルで形成された接触部に対し、磁界を発生させるための回路を搭載したペン型の指示具等を用いて入力操作が行われる。パネル背面側(操作面の裏面側)にはセンサ部として磁界を検出するための多数のセンサコイルが設けられている。このようなタッチパネルを用いた入力装置では、操作者がパネル表面に指示具を接触させるときに、センサ部で磁界の変化が検出される。   In the case of the electromagnetic induction method, an input operation is performed on a contact portion formed of a transparent panel using a pen-type indicator equipped with a circuit for generating a magnetic field. A large number of sensor coils for detecting a magnetic field are provided as sensor portions on the back side of the panel (the back side of the operation surface). In an input device using such a touch panel, a change in magnetic field is detected by a sensor unit when an operator brings an indicator into contact with the panel surface.

これらの各方式を用いる場合には、接触部となるパネルのフレームと液晶表示部のフレームとの間に、圧電アクチュエータを実装したフレキシブル基板を設けるようにする。いずれの方式であっても、操作者のパネル表面に対する接触の際に変化する信号を検出し、その接触開始時点から接触確定時点までの計測時間に応じて圧電アクチュエータに供給すべき駆動電圧の信号波形を生成し、接触確定後、その信号波形に従って圧電アクチュエータを駆動し、パネルを振動させればよい。   When each of these methods is used, a flexible substrate on which a piezoelectric actuator is mounted is provided between the frame of the panel serving as the contact portion and the frame of the liquid crystal display portion. Regardless of the method, a signal that changes when the operator touches the panel surface is detected, and a drive voltage signal to be supplied to the piezoelectric actuator according to the measurement time from the contact start time to the contact confirmation time After generating the waveform and confirming the contact, the piezoelectric actuator may be driven according to the signal waveform to vibrate the panel.

なお、以上の説明では、クリック感の実現のために、指等で押圧されたり指等が接触したりするパネルを圧電アクチュエータによって振動させるようにしたが、そのほかにもモータなど、適当な駆動信号が供給されることで、パネルに対して振動を与えることができるものであれば、入力装置に適用可能である。   In the above description, in order to realize the click feeling, the panel that is pressed by the finger or the like and is touched by the finger or the like is vibrated by the piezoelectric actuator. If it can supply a vibration with respect to a panel by being supplied, it is applicable to an input device.

以上説明したように、本発明では、タッチパネル式の入力装置において、入力操作が行われるパネル表面に対する押圧あるいは接触による入力操作開始から確定までの時間の長さに応じた大きさでパネルを振動させるようにした。すなわち、入力操作確定までの時間が長いときには、パネル表面に対して操作が弱く行われているとしてパネルを小さく振動させる。また、入力操作確定までの時間が短いときには、パネル表面に対して操作が強く行われているとしてパネルを大きく振動させ、操作者に対し、もっと弱く操作してもよいということを無意識に学習させることができる。   As described above, according to the present invention, in the touch panel type input device, the panel is vibrated with a size corresponding to the length of time from the start to the confirmation of the input operation by pressing or touching the panel surface where the input operation is performed. I did it. That is, when the time until the input operation is confirmed is long, the panel is vibrated small because the operation is performed weakly on the panel surface. In addition, when the time until the input operation is confirmed is short, it is assumed that the operation is strongly performed on the panel surface, and the panel is vibrated greatly so that the operator can unconsciously learn that the operation may be performed more weakly. be able to.

操作者は、最適な操作を自然と習得でき、必要以上の力で操作することが少なくなり、指の負担や操作時の疲れ、操作に伴うストレスなどが軽減され、より人に優しいユーザインタフェースが実現可能になる。タッチパネル式の入力装置は、その使い勝手の良し悪しがシステム全体の印象を大きく左右する重要なインタフェース部分であり、本発明により、タッチパネル式入力装置の使用感が向上し、入力操作に不慣れな操作者も安心して操作を行うことができるようになる。   The operator can learn the optimal operation naturally, and it is less likely to operate with more power than necessary, reducing the strain on the fingers, fatigue during operation, stress associated with the operation, etc., and a user-friendly user interface It becomes feasible. The touch panel type input device is an important interface part that the usability of the touch panel greatly influences the overall impression of the system. By the present invention, the usability of the touch panel type input device is improved and the operator is unfamiliar with the input operation. You will be able to operate with confidence.

なお、上記のような入力装置は、例えば、パーソナルコンピュータ(PC)等の情報処理装置、特に携帯電話機やPDA等の携帯型情報処理装置の入力装置として好適に使用することが可能である。また、前述のスイッチャ装置等の放送機器をはじめ、金融機関の現金自動支払機(CD)や現金自動預払機(ATM)、ゲーム機器といったあらゆる機器に対して、これらを操作するための入力装置として使用されてもよい。さらに、これらの機器を遠隔操作するためのリモートコントロール装置の入力装置として使用されてもよい。   The input device as described above can be suitably used as an input device for an information processing device such as a personal computer (PC), in particular, a portable information processing device such as a mobile phone or a PDA. Moreover, as an input device for operating these devices such as the above-mentioned switcher device and other devices such as a cash machine (CD), an automatic teller machine (ATM), and a game machine of a financial institution. May be used. Furthermore, it may be used as an input device of a remote control device for remotely operating these devices.

本発明の入力装置は、ノート型PCの入力操作部においてポインティングデバイスとして設けられる入力パッドや、図形描画ソフトウェア用のタブレット装置等、画像の表示部を持たない入力装置にも適用可能である。   The input device of the present invention is also applicable to an input device that does not have an image display unit, such as an input pad provided as a pointing device in an input operation unit of a notebook PC or a tablet device for graphic drawing software.

本発明の実施の形態に係る入力装置の要部分解斜視図である。It is a principal part exploded perspective view of the input device concerning an embodiment of the invention. 圧電アクチュエータのフレキシブル基板への実装状態を示す図であって、(A)はフレキシブル基板の要部平面図、(B)はX−X矢視断面図である。It is a figure which shows the mounting state to the flexible substrate of a piezoelectric actuator, Comprising: (A) is a principal part top view of a flexible substrate, (B) is XX arrow sectional drawing. 入力装置のハードウェアブロック図である。It is a hardware block diagram of an input device. 制御部の構成例を示す図である。It is a figure which shows the structural example of a control part. 長時間で押圧が確定するときのパネル押圧時間と圧電アクチュエータ駆動電圧の関係の説明図である。It is explanatory drawing of the relationship between the panel press time when a press is confirmed in a long time, and a piezoelectric actuator drive voltage. 短時間で押圧が確定するときのパネル押圧時間と圧電アクチュエータ駆動電圧の関係の説明図である。It is explanatory drawing of the relationship between the panel press time when a press is confirmed in a short time, and a piezoelectric actuator drive voltage. 入力装置の制御フローを示す図である。It is a figure which shows the control flow of an input device.

符号の説明Explanation of symbols

1……液晶表示部、1a……表示パネル、1b,2b……フレーム、2……タッチパネル部、2a……押圧部、3……圧電アクチュエータ、4……フレキシブル基板、31a,31b……配線端子、41……実装部、41a,41b……貫通孔、41c……中央スペーサ部、42a,42b……配線パターン、43a,43b……領域、100……入力装置、101……センサ部、102……位置判定処理部、103……制御部、103a……D/A変換部、103b……ドライバ回路、104……駆動部。   DESCRIPTION OF SYMBOLS 1 ... Liquid crystal display part, 1a ... Display panel, 1b, 2b ... Frame, 2 ... Touch panel part, 2a ... Pressing part, 3 ... Piezoelectric actuator, 4 ... Flexible substrate, 31a, 31b ... Wiring Terminals 41... Mounting portions 41 a and 41 b... Through holes 41 c. Center spacer portions 42 a and 42 b... Wiring patterns 43 a and 43 b. 102: Position determination processing unit, 103: Control unit, 103a: D / A conversion unit, 103b: Driver circuit, 104: Driving unit

Claims (6)

パネルの表面に対する押圧操作または接触操作によって入力が行われる入力装置において、
前記パネルの表面に対する押圧または接触によって変化する信号を検出データ値として検出することによって、前記パネルの表面に対する押圧または接触を検出する手段と、
前記検出データ値が変化し始めた時点を押圧または接触の開始時点と判定し、前記検出データ値が変化し始めてから安定しあらかじめ設定された時間が経過した時点を押圧または接触の確定時点と判定する手段と、
前記開始時点から前記確定時点までの時間を計測する手段と、
計測された前記開始時点から前記確定時点までの時間を用いて出力信号を生成する手段と、
生成された前記出力信号に従って前記パネルを振動させる手段と、
を有し、
前記出力信号は、計測された前記開始時点から前記確定時点までの時間の長さに基づいた大きさの振幅で前記パネルを振動させる信号であることを特徴とする入力装置。
In an input device in which input is performed by pressing operation or contact operation on the surface of the panel
Means for detecting pressure or contact on the surface of the panel by detecting a signal that changes due to pressure or contact on the surface of the panel as a detection data value;
The point in time when the detection data value starts to change is determined as the start point of pressing or contact, and the point in time when the preset time has stabilized after the detection data value has started to change is determined as the fixed point of pressing or contact. Means to
Means for measuring the time from the start time to the confirmation time;
Means for generating an output signal using the measured time from the start time to the determined time;
Means for vibrating the panel according to the generated output signal;
Have
The input device, wherein the output signal is a signal that vibrates the panel with an amplitude having a magnitude based on a measured length of time from the start time to the confirmation time .
前記出力信号を生成する手段は、計測された前記開始時点から前記確定時点までの時間の長さに反比例する大きさの振幅で前記パネルを振動させる信号を生成することを特徴とする請求項1記載の入力装置。 The means for generating the output signal generates a signal that vibrates the panel with an amplitude that is inversely proportional to the length of time from the measured start time to the determined time. The input device described. 前記出力信号を生成する手段は、計測された前記開始時点から前記確定時点までの時間の長さが所定の時間より短い場合には、計測された前記開始時点から前記確定時点までの時間の長さが前記所定の時間より長い場合よりも大きい振幅で前記パネルを振動させる信号を生成することを特徴とする請求項1記載の入力装置。 The means for generating the output signal, when the measured time from the start time to the determined time is shorter than a predetermined time, the measured time from the start time to the determined time The input device according to claim 1 , wherein a signal that vibrates the panel is generated with a larger amplitude than when the length is longer than the predetermined time . パネルの表面に対する押圧操作または接触操作によって入力が行われる入力装置を備える情報処理装置において、  In an information processing apparatus including an input device in which an input is performed by a pressing operation or a contact operation on the surface of the panel,
前記入力装置が、  The input device is
前記パネルの表面に対する押圧または接触によって変化する信号を検出データ値として検出することによって、前記パネルの表面に対する押圧または接触を検出する手段と、  Means for detecting pressure or contact on the surface of the panel by detecting a signal that changes due to pressure or contact on the surface of the panel as a detection data value;
前記検出データ値が変化し始めた時点を押圧または接触の開始時点と判定し、前記検出データ値が変化し始めてから安定しあらかじめ設定された時間が経過した時点を押圧または接触の確定時点と判定する手段と、  The point in time when the detection data value starts to change is determined as the start point of pressing or contact, and the point in time when the preset time has stabilized after the detection data value has started to change is determined as the fixed point of pressing or contact. Means to
前記開始時点から前記確定時点までの時間を計測する手段と、  Means for measuring the time from the start time to the confirmation time;
計測された前記開始時点から前記確定時点までの時間を用いて出力信号を生成する手段と、  Means for generating an output signal using the measured time from the start time to the determined time;
生成された前記出力信号に従って前記パネルを振動させる手段と、  Means for vibrating the panel according to the generated output signal;
を有し、  Have
前記出力信号は、計測された前記開始時点から前記確定時点までの時間の長さに基づいた大きさの振幅で前記パネルを振動させる信号であることを特徴とする情報処理装置。  The information processing apparatus according to claim 1, wherein the output signal is a signal that vibrates the panel with an amplitude having a magnitude based on a measured length of time from the start time to the confirmation time.
パネルの表面に対する押圧操作または接触操作によって入力が行われる入力装置を備えたリモートコントロール装置において、  In a remote control device provided with an input device in which input is performed by pressing operation or contact operation on the surface of the panel,
前記入力装置が、  The input device is
前記パネルの表面に対する押圧または接触によって変化する信号を検出データ値として検出することによって、前記パネルの表面に対する押圧または接触を検出する手段と、  Means for detecting pressure or contact on the surface of the panel by detecting a signal that changes due to pressure or contact on the surface of the panel as a detection data value;
前記検出データ値が変化し始めた時点を押圧または接触の開始時点と判定し、前記検出データ値が変化し始めてから安定しあらかじめ設定された時間が経過した時点を押圧または接触の確定時点と判定する手段と、  The point in time when the detection data value starts to change is determined as the start point of pressing or contact, and the point in time when the preset time has stabilized after the detection data value has started to change is determined as the fixed point of pressing or contact. Means to
前記開始時点から前記確定時点までの時間を計測する手段と、  Means for measuring the time from the start time to the confirmation time;
計測された前記開始時点から前記確定時点までの時間を用いて出力信号を生成する手段と、  Means for generating an output signal using the measured time from the start time to the determined time;
生成された前記出力信号に従って前記パネルを振動させる手段と、  Means for vibrating the panel according to the generated output signal;
を有し、  Have
前記出力信号は、計測された前記開始時点から前記確定時点までの時間の長さに基づいた大きさの振幅で前記パネルを振動させる信号であることを特徴とするリモートコントロール装置。  The remote control device according to claim 1, wherein the output signal is a signal that vibrates the panel with an amplitude having a magnitude based on a measured length of time from the start time to the confirmation time.
パネルの表面に対する押圧操作または接触操作によって入力が行われる入力装置の制御方法において、  In the control method of the input device in which input is performed by pressing operation or contact operation on the surface of the panel,
前記パネルの表面に対する押圧または接触によって変化する信号を検出データ値として検出することによって、前記パネルの表面に対する押圧または接触を検出し、  By detecting a signal that changes as a result of pressing or touching the surface of the panel as a detection data value, detecting pressing or touching the surface of the panel;
前記検出データ値が変化し始めた時点を押圧または接触の開始時点と判定し、前記検出データ値が変化し始めてから安定しあらかじめ設定された時間が経過した時点を押圧または接触の確定時点と判定し、  The point in time when the detection data value starts to change is determined as the start point of pressing or contact, and the point in time when the preset time has stabilized after the detection data value has started to change is determined as the fixed point of pressing or contact. And
前記開始時点から前記確定時点までの時間を計測し、  Measure the time from the start time to the confirmation time,
計測された前記開始時点から前記確定時点までの時間を用いて出力信号を生成し、  Generate an output signal using the measured time from the start time to the confirmation time,
生成された前記出力信号に従って前記パネルを振動させ、  Vibrate the panel according to the generated output signal;
前記出力信号を生成する際には、前記開始時点から前記確定時点までの時間の長さに基づいた大きさの振幅で前記パネルを振動させる前記出力信号を生成することを特徴とする入力装置の制御方法。  When generating the output signal, the output signal is generated to vibrate the panel with an amplitude having a magnitude based on a length of time from the start time to the fixed time. Control method.
JP2003389643A 2003-11-17 2003-11-19 INPUT DEVICE, INFORMATION PROCESSING DEVICE, REMOTE CONTROL DEVICE, AND INPUT DEVICE CONTROL METHOD Expired - Lifetime JP3941773B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003389643A JP3941773B2 (en) 2003-11-19 2003-11-19 INPUT DEVICE, INFORMATION PROCESSING DEVICE, REMOTE CONTROL DEVICE, AND INPUT DEVICE CONTROL METHOD
EP04799764A EP1691261A4 (en) 2003-11-17 2004-11-12 Input device, information processing device, remote control device, and input device control method
KR1020067008760A KR101130150B1 (en) 2003-11-17 2004-11-12 Input device, information processing device, remote control device, and input device control method
PCT/JP2004/017224 WO2005048094A1 (en) 2003-11-17 2004-11-12 Input device, information processing device, remote control device, and input device control method
US10/579,497 US7728819B2 (en) 2003-11-17 2004-11-12 Input device, information processing device, remote control device, and input device control method
TW093135263A TW200532570A (en) 2003-11-17 2004-11-17 Input device, information processing device, remote control device, and input device control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003389643A JP3941773B2 (en) 2003-11-19 2003-11-19 INPUT DEVICE, INFORMATION PROCESSING DEVICE, REMOTE CONTROL DEVICE, AND INPUT DEVICE CONTROL METHOD

Publications (2)

Publication Number Publication Date
JP2005149405A JP2005149405A (en) 2005-06-09
JP3941773B2 true JP3941773B2 (en) 2007-07-04

Family

ID=34696330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003389643A Expired - Lifetime JP3941773B2 (en) 2003-11-17 2003-11-19 INPUT DEVICE, INFORMATION PROCESSING DEVICE, REMOTE CONTROL DEVICE, AND INPUT DEVICE CONTROL METHOD

Country Status (1)

Country Link
JP (1) JP3941773B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256903A (en) * 2006-02-23 2007-10-04 Bridgestone Corp Information display apparatus with write display/reproduction display function
US8773373B2 (en) 2008-06-05 2014-07-08 Hokuriku Electric Industry Co., Ltd. Display apparatus with touch panel and piezoelectric actuator
KR101097332B1 (en) * 2010-02-10 2011-12-21 삼성모바일디스플레이주식회사 Display module having haptic function
JP5579583B2 (en) * 2010-08-11 2014-08-27 京セラ株式会社 Tactile sensation presentation apparatus and control method of tactile sensation presentation apparatus
JP5642474B2 (en) * 2010-09-24 2014-12-17 ミネベア株式会社 Input device, vibration device, and input detection method
JP5848189B2 (en) * 2012-05-09 2016-01-27 京セラ株式会社 Display device with input function and electronic device
JP6339311B2 (en) * 2012-06-27 2018-06-06 京セラ株式会社 Electronics

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082748Y2 (en) * 1989-11-28 1996-01-29 横河電機株式会社 Touch screen device
JPH08221173A (en) * 1995-02-09 1996-08-30 Hitachi Ltd Input device
JP3987182B2 (en) * 1998-01-26 2007-10-03 Idec株式会社 Information display device and operation input device
JP2000137576A (en) * 1998-10-30 2000-05-16 Nec Corp Touch panel type input device
JP2000228131A (en) * 1998-12-01 2000-08-15 Sony Corp Switch device
JP2001306259A (en) * 2000-04-20 2001-11-02 Nec Infrontia Corp Touch panel scan system
JP3949912B2 (en) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ Portable electronic device, electronic device, vibration generator, notification method by vibration and notification control method
DE10117956B4 (en) * 2001-04-10 2004-04-08 Schott Glas Touch switch with a control surface
JP2003272463A (en) * 2002-03-19 2003-09-26 Clarion Co Ltd Switch device
JP4478436B2 (en) * 2003-11-17 2010-06-09 ソニー株式会社 INPUT DEVICE, INFORMATION PROCESSING DEVICE, REMOTE CONTROL DEVICE, AND INPUT DEVICE CONTROL METHOD

Also Published As

Publication number Publication date
JP2005149405A (en) 2005-06-09

Similar Documents

Publication Publication Date Title
JP4478436B2 (en) INPUT DEVICE, INFORMATION PROCESSING DEVICE, REMOTE CONTROL DEVICE, AND INPUT DEVICE CONTROL METHOD
KR101130150B1 (en) Input device, information processing device, remote control device, and input device control method
US7663604B2 (en) Input device and electronic device using the input device
JP3867664B2 (en) Input device, portable information processing device, remote control device, and piezoelectric actuator drive control method in input device
US7215329B2 (en) Touch panel input device
JP4177142B2 (en) Coordinate input device and drive device
JP4424729B2 (en) Tablet device
EP1449058B1 (en) Method and device for generating feedback
TW200414003A (en) Input device and manufacturing method thereof and portable electronic machine with input device
JP2007034991A (en) Touch panel display device, electronic equipment with touch panel display device, and camera with touch panel display device
WO2012105273A1 (en) Electronic equipment
KR100980855B1 (en) Handheld providing haptic feedback with hybrid actuator and providing method thereof
JP3941773B2 (en) INPUT DEVICE, INFORMATION PROCESSING DEVICE, REMOTE CONTROL DEVICE, AND INPUT DEVICE CONTROL METHOD
KR100957005B1 (en) Haptic feedback providing module using hybrid actuator, handheld therewith and providing method thereof
JP4222160B2 (en) Input device and manufacturing method thereof
JP5225247B2 (en) Tactile transmission device and display device including the same
JP4100159B2 (en) Input device, portable information processing device, remote control device, and piezoelectric actuator drive control method in input device
JP2005266890A (en) Touch panel device, control method of touch panel device and pos terminal device
JP2006079135A (en) Tactile sense presentation device
JP5377253B2 (en) Tactile transmission device and display device including the same
JP5355432B2 (en) Input device and display device having the same
KR20070106147A (en) Method for recognizing input of information input apparatus and information input apparatus therefor
JP2014078050A (en) Electronic apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070326

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100413

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110413

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120413

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130413

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130413

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140413

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250