JP2011095925A - Input device - Google Patents

Input device Download PDF

Info

Publication number
JP2011095925A
JP2011095925A JP2009248161A JP2009248161A JP2011095925A JP 2011095925 A JP2011095925 A JP 2011095925A JP 2009248161 A JP2009248161 A JP 2009248161A JP 2009248161 A JP2009248161 A JP 2009248161A JP 2011095925 A JP2011095925 A JP 2011095925A
Authority
JP
Japan
Prior art keywords
tactile sensation
input
display
change
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009248161A
Other languages
Japanese (ja)
Inventor
Kazuhiro Yamamoto
和宏 山本
Tetsuya Takenaka
哲也 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2009248161A priority Critical patent/JP2011095925A/en
Publication of JP2011095925A publication Critical patent/JP2011095925A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an input device capable of diverting an existing application program configuring a user interface, and improving an operational feeling to be given to an operator. <P>SOLUTION: The input device 1 includes: a touch sensor 40; a load detection part 60 for detecting a pressing load to the touch face of the touch sensor 40; a display part 30; a display change detection part 16 for detecting the change of the display image of the display part 30; a tactile sensation presentation part 50 for vibrating the touch face of the touch sensor 40; and a control part 10 for, when the pressing load satisfying a load reference presenting a tactile sensation is detected by the load detection part 60 in a state where the change of the display image due to input to the touch face is detected by the display change detection part 16, controlling the tactile sensation presentation part 50 to present a tactile sensation to a pressurization object pressing the touch face. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、タッチセンサを備える入力装置に関するものである。   The present invention relates to an input device including a touch sensor.

近年、携帯電話等の携帯端末において、ユーザによる操作入力を受け付ける操作部やスイッチ等の入力装置として、タッチパネルやタッチスイッチ等のタッチセンサを備える入力装置が採用されているものがある。携帯端末以外に、電卓、券売機等の情報機器や、電子レンジ、テレビ、照明器具等の家電製品、産業用機器(FA機器)等にも、タッチセンサを備える入力装置は広く使用されている。   2. Description of the Related Art In recent years, in portable terminals such as mobile phones, there are some devices that employ an input device including a touch sensor such as a touch panel or a touch switch as an input device such as an operation unit or a switch that receives an operation input by a user. In addition to portable terminals, input devices equipped with touch sensors are widely used in information devices such as calculators and ticket machines, household appliances such as microwave ovens, televisions, and lighting equipment, and industrial equipment (FA devices). .

このようなタッチセンサには、抵抗膜方式、静電容量方式、光学式等の種々の方式が知られている。しかしながら、いずれの方式のタッチセンサにおいても、指やスタイラスペンによるタッチ入力を受け付けるものであって、タッチセンサ自体は、タッチされても、押しボタンスイッチのようには物理的に変位しない。   As such a touch sensor, various systems such as a resistive film system, a capacitance system, and an optical system are known. However, any type of touch sensor accepts a touch input by a finger or a stylus pen, and the touch sensor itself is not physically displaced like a push button switch even when touched.

このように、タッチセンサがタッチされても、タッチセンサ自体は物理的に変位しないので、操作者は、タッチ入力が受け付けられても、入力に対するフィードバックを得ることができない。このため、操作者は、操作入力を行う際の操作感が得られず、同じ位置を何度もタッチする等の繰り返し入力が生じ易く、操作者にストレスを与える場合がある。   As described above, even if the touch sensor is touched, the touch sensor itself is not physically displaced. Therefore, even if the touch input is accepted, the operator cannot obtain feedback for the input. For this reason, the operator cannot obtain an operational feeling when performing the operation input, and is likely to repeatedly input such as touching the same position many times, which may give stress to the operator.

このような不要な繰り返し入力を防止するものとして、例えば、タッチ入力を受け付けて、音を鳴らすようにしたものが知られている。また、例えば、当該入力位置に対応して表示部に画像表示されている入力ボタン等の入力用オブジェクトの表示色を変更するなど、表示態様を変更するようにしたものも知られている。これらのようなものを使用すれば、操作者は、聴覚や視覚によって入力操作を確認することができる。   As a device for preventing such unnecessary repeated input, for example, a device that receives a touch input and makes a sound is known. In addition, for example, a display mode is changed by changing the display color of an input object such as an input button displayed as an image on a display unit corresponding to the input position. If such a thing is used, the operator can confirm input operation by hearing or vision.

しかしながら、聴覚に働きかけるフィードバック方法の場合は、騒音環境下での確認が困難になるとともに、使用機器がマナーモード等の消音状態にあるときは、対応できない。また、視覚に働きかけるフィードバック方法の場合は、表示部に表示されている入力用オブジェクトのサイズが小さいと、特に指で入力を行う際に、指の下に入力用オブジェクトが隠れて表示態様の変化が確認できない場合がある。   However, the feedback method that works on hearing is difficult to confirm in a noisy environment and cannot be used when the device in use is in a mute state such as the manner mode. In addition, in the case of a feedback method that works visually, if the size of the input object displayed on the display unit is small, the input object is hidden under the finger and changes the display mode, especially when inputting with the finger. May not be confirmed.

そこで、聴覚や視覚によらず、タッチセンサが入力を受け付けると、タッチセンサを振動させて、操作者の指先に触感を呈示するようにしたフィードバック方法も提案されている(例えば、特許文献1および特許文献2参照)。   Therefore, a feedback method has also been proposed in which when the touch sensor accepts an input regardless of hearing or vision, the touch sensor is vibrated to present a tactile sensation to the fingertip of the operator (for example, Patent Document 1 and Patent Document 2).

特開2003−288158号公報JP 2003-288158 A 特開2008−130055号公報JP 2008-130055 A

上記特許文献1および特許文献2に開示の技術によれば、タッチセンサに対する操作入力を受け付けた際に、操作者の指先などに、振動による触感を呈示することができる。したがって、このような入力装置を用いて入力を行う操作者は、タッチセンサに対して行った操作入力が入力装置に適正に受け付けられたことを、触覚により認識することができる。   According to the techniques disclosed in Patent Literature 1 and Patent Literature 2, when an operation input to the touch sensor is received, a tactile sensation due to vibration can be presented to the fingertip of the operator. Therefore, an operator who performs input using such an input device can recognize by touch that the operation input performed on the touch sensor has been properly received by the input device.

しかしながら、このような入力装置を用いて操作入力を受け付けた際に触感を呈示するためには、所定の条件に応じて触感を呈示する処理が、予めアプリケーションプログラム(以下、単に「アプリケーション」と記す)に組み込まれている必要がある。すなわち、上述の入力装置においては、振動を発生させることを予め想定して開発されたアプリケーションを使用すれば、所定の条件に応じて触感を呈示することができる。しかしながら、上述の入力装置に、振動を発生させることを想定していないアプリケーションをそのまま適用しても、適切に触感を呈示することはできない。   However, in order to present a tactile sensation when an operation input is received using such an input device, a process of presenting a tactile sensation according to a predetermined condition is preliminarily described as an application program (hereinafter simply referred to as “application”). ) Must be included. In other words, in the above-described input device, if an application developed in advance for generating vibration is used, a tactile sensation can be presented according to a predetermined condition. However, even if an application that is not supposed to generate vibration is applied as it is to the above-described input device, the tactile sensation cannot be presented appropriately.

したがって、上述したような入力装置において所定の条件に応じて適切に触感を呈示するためには、新たにアプリケーションを開発するか、あるいは既存のアプリケーションに対して、触感を呈示するための処理を追加する改変を加える必要がある。   Therefore, in order to present a tactile sensation appropriately according to a predetermined condition in the input device as described above, a new application is developed or a process for presenting a tactile sensation is added to an existing application. Need to be modified.

具体的には、入力装置の表示部に画像表示されるキーまたはボタン等のオブジェクトの位置に対応するタッチセンサに対して入力がなされた際に、入力装置が所定の触感を呈示するための処理を追加する必要がある。また、表示部にキーまたはボタン等のオブジェクトが画像表示されていない位置に対応するタッチセンサに対して入力がなされても、入力装置が触感を呈示しないようにする必要もある。このように触感の呈示の有無を制御すれば、タッチセンサおよびGUI(Graphical User Interface)を入出力に用いたユーザインタフェースによって操作入力を受け付けた際に、操作者の指先などに、振動による触感を呈示することができる。すなわち、画像表示したキーまたはボタン等のオブジェクトに対する入力により、当該入力を受け付けたことを、触感を呈示することにより報知することができる。一方、キーまたはボタン等のオブジェクトのない位置に対する入力がなされても、フィードバックが発生しないようにできる。   Specifically, a process for the input device to present a predetermined tactile sensation when an input is made to a touch sensor corresponding to the position of an object such as a key or button displayed on the display unit of the input device. Need to be added. It is also necessary to prevent the input device from presenting a tactile sensation even when an input is made to a touch sensor corresponding to a position where an object such as a key or button is not displayed on the display unit. By controlling the presence or absence of the tactile sensation in this way, when an operation input is received by a user interface using a touch sensor and a GUI (Graphical User Interface) for input / output, the tactile sensation due to vibration is applied to the fingertip of the operator. Can be presented. That is, an input to an object such as an image-displayed key or button can be notified by presenting a tactile sensation that the input has been accepted. On the other hand, it is possible to prevent feedback even if an input is made to a position where there is no object such as a key or button.

このような制御を行う場合、入力装置は、タッチセンサに対して入力がなされた際のGUIの状態、すなわち表示部に表示されるキーまたはボタン等のオブジェクトの状態を管理しているアプリケーションと連携することが必要になる。   When performing such control, the input device cooperates with an application that manages the state of the GUI when an input is made to the touch sensor, that is, the state of an object such as a key or button displayed on the display unit. It becomes necessary to do.

以下、触感を呈示する際に想定される処理について説明する。図7は、想定される入力装置の概略構成を示すブロック図である。図7に示すように、入力装置100は、制御部110と、アプリケーション実行部120と、表示部130と、タッチセンサ140と、触感呈示部150と、を備えている。また、制御部110は、表示制御部112と、触感制御部114とを含んでいる。   Hereinafter, a process assumed when presenting a tactile sensation will be described. FIG. 7 is a block diagram showing a schematic configuration of an assumed input device. As illustrated in FIG. 7, the input device 100 includes a control unit 110, an application execution unit 120, a display unit 130, a touch sensor 140, and a tactile sensation providing unit 150. The control unit 110 includes a display control unit 112 and a tactile sensation control unit 114.

制御部110は、入力装置100の各機能部をはじめとして入力装置100の全体を制御する。アプリケーション実行部120は、図示しない記憶部から各種のアプリケーションを読み込んで、当該アプリケーションに基づく処理を実行する。なお、アプリケーション実行部120が実行しているアプリケーションは、以下の説明においては、表示部130に表示した入力用オブジェクトの位置に対応するタッチセンサ140に入力があった際に、所定の触感を呈示する処理が予め追加されているものとする。   The control unit 110 controls the entire input device 100 including each functional unit of the input device 100. The application execution unit 120 reads various applications from a storage unit (not shown) and executes processing based on the applications. In the following description, the application executed by the application execution unit 120 presents a predetermined tactile sensation when an input is made to the touch sensor 140 corresponding to the position of the input object displayed on the display unit 130. It is assumed that the processing to be performed is added in advance.

表示部130は、液晶ディスプレイや有機ELディスプレイ等で構成し、入力を行うためのキーまたはボタン等のオブジェクトの画像を表示する。タッチセンサ140は、通常は表示部130の前面に配置して、表示部130に表示したオブジェクトに対する操作者の指等によるタッチ入力を、対応するタッチセンサ140のタッチ面により受け付ける。また、タッチセンサ140は、タッチ面により受け付けたタッチ入力の位置を、制御部110を介してアプリケーション実行部120に通知する。触感呈示部150は、小型の偏心モータや圧電素子等で構成し、タッチセンサ140のタッチ面を振動させることにより、操作者の指等のタッチ対象に触感を呈示する。   The display unit 130 is configured by a liquid crystal display, an organic EL display, or the like, and displays an image of an object such as a key or button for inputting. The touch sensor 140 is normally disposed on the front surface of the display unit 130 and receives touch input by an operator's finger or the like on the object displayed on the display unit 130 from the touch surface of the corresponding touch sensor 140. The touch sensor 140 notifies the application execution unit 120 of the position of the touch input received through the touch surface via the control unit 110. The tactile sensation providing unit 150 is configured by a small eccentric motor, a piezoelectric element, or the like, and presents a tactile sensation to a touch target such as an operator's finger by vibrating the touch surface of the touch sensor 140.

制御部110の表示制御部112は、アプリケーション実行部120から供給される表示データに基づいて、表示部130にオブジェクトなどの画像を表示したり、あるいは当該画像の表示態様を変更したりする等、表示に係る制御を行う。触感制御部114は、アプリケーション実行部120の指示に基づいて、所定の条件に基づく振動パターンを、触感呈示部150に供給する。   Based on the display data supplied from the application execution unit 120, the display control unit 112 of the control unit 110 displays an image such as an object on the display unit 130, or changes the display mode of the image. Control the display. The tactile sensation control unit 114 supplies a vibration pattern based on a predetermined condition to the tactile sensation presentation unit 150 based on an instruction from the application execution unit 120.

図8は、入力装置100により触感の呈示を制御する動作の例を概略的に説明するフローチャートである。   FIG. 8 is a flowchart schematically illustrating an example of an operation for controlling the presentation of tactile sensation by the input device 100.

タッチセンサ140のタッチ面に対するタッチ入力が検知された時点で、入力装置100による触感の呈示を制御する動作は開始する。本動作が開始すると、まず、タッチセンサ140は、タッチ面に対するタッチ入力の位置をアプリケーション実行部120に通知する(ステップS100)。この通知を受けると、アプリケーション実行部120は、当該入力位置が表示部130にキーまたはボタン等のオブジェクトを画像表示している位置に対応するか否かを判定する(ステップS102)。ステップS102において、入力位置が表示部130にキーまたはボタン等のオブジェクトの画像を表示している位置に対応しない場合、アプリケーション実行部120は、表示または触感に関する指示は行わずに動作を終了する。   When a touch input to the touch surface of the touch sensor 140 is detected, an operation for controlling presentation of tactile sensation by the input device 100 is started. When this operation starts, first, the touch sensor 140 notifies the application execution unit 120 of the position of the touch input on the touch surface (step S100). Upon receiving this notification, the application execution unit 120 determines whether or not the input position corresponds to a position where an image such as a key or a button is displayed on the display unit 130 (step S102). In step S102, when the input position does not correspond to the position where an image of an object such as a key or a button is displayed on the display unit 130, the application execution unit 120 ends the operation without giving an instruction regarding display or touch.

一方、ステップS102において、入力の位置がキーまたはボタン等のオブジェクトの画像を表示している位置に対応する場合、アプリケーション実行部120は、表示制御部112に対して、入力を受け付けた旨の表示を行うための表示データを提供する。ここでいう入力を受け付けた旨の表示とは、例えばキーまたはボタン等のオブジェクトを一瞬だけ反転表示したり、キーまたはボタン等が押下された状態を示す画像を表示するなど、操作者が視認できるような表示にすることである。このような表示データを受信したら、表示制御部112は、当該表示データに基づいて、表示部130に表示される画像を変更する(ステップS104)。   On the other hand, in step S102, when the input position corresponds to a position where an image of an object such as a key or button is displayed, the application execution unit 120 displays to the display control unit 112 that the input has been accepted. Provide display data to perform The display indicating that the input has been accepted can be visually recognized by the operator, for example, by highlighting an object such as a key or a button for a moment or displaying an image showing a state where a key or a button is pressed. It is to display like this. When receiving such display data, the display control unit 112 changes the image displayed on the display unit 130 based on the display data (step S104).

続いて、アプリケーション実行部120は、触感制御部114に対して、入力を受け付けた旨を操作者に報知するため、所定の触感を呈示するように指示する。ここでいう所定の触感の呈示とは、タッチセンサ140のタッチ面を一瞬だけ振動させるなど、操作者の触覚により認識できるフィードバックを提供することである。このような触感の呈示の指示を受けたら、触感制御部114は、当該指示に従って触感呈示部150が所定の振動パターンを呈示するように制御する。これにより、触感呈示部150は、タッチセンサ140のタッチ面をタッチしているタッチ対象に対して所定の振動パターンによる触感を呈示する(ステップS106)。このような処理を行うことで、入力装置100は、入力の際にタッチセンサおよびGUIを採用するユーザインタフェースによって、入力を受け付けるオブジェクトに対する操作入力を受け付けた際にのみ、触感を呈示することができる。   Subsequently, the application execution unit 120 instructs the tactile sensation control unit 114 to present a predetermined tactile sensation in order to notify the operator that the input has been accepted. The presentation of a predetermined tactile sensation here means providing feedback that can be recognized by the tactile sense of the operator, such as vibrating the touch surface of the touch sensor 140 for a moment. Upon receiving such a tactile sensation presentation instruction, the tactile sensation control unit 114 controls the tactile sensation presentation unit 150 to present a predetermined vibration pattern in accordance with the instruction. Accordingly, the tactile sensation providing unit 150 presents a tactile sensation with a predetermined vibration pattern to the touch target touching the touch surface of the touch sensor 140 (step S106). By performing such processing, the input device 100 can present a tactile sensation only when an operation input for an object that accepts an input is received by a user interface that employs a touch sensor and a GUI when inputting. .

以下、想定する入力装置において、触感を呈示する際の動作の他の例について説明する。   Hereinafter, another example of the operation when presenting the tactile sensation in the assumed input device will be described.

上述した例においては、タッチセンサ140に入力があるたびに、当該入力がオブジェクトの位置に対応した入力であるか否かをアプリケーション実行部120が判定した。以下の例においては、入力受付開始前に(すなわち図8の動作の前提として)、アプリケーション実行部120が、触感制御部114に対して、所定の条件に応じて触感を呈示する動作を予め設定しておく。例えば、ボタンなどのオブジェクトが表示された位置に対応するタッチセンサに対する入力に応じて触感を呈示したり、オブジェクトの種別に応じて異なる態様の触感を呈示したりする等の各種条件を、予め触感制御部114に設定しておく。また、このような設定は、GUIの変化に伴って更新されるようにすることもできる。すなわち、ボタンのオブジェクトに対する入力がなされた後、さらに入力を受け付けた際に呈示すべき触感や、あるいは別のユーザインタフェースに変化した後に呈示すべき触感も、予め定義しておくことができる。   In the example described above, every time there is an input to the touch sensor 140, the application execution unit 120 determines whether or not the input is an input corresponding to the position of the object. In the following example, before the input reception is started (that is, as a premise of the operation in FIG. 8), the application execution unit 120 presets an operation for presenting a tactile sensation according to a predetermined condition to the tactile sensation control unit 114. Keep it. For example, various conditions such as presenting a tactile sensation in response to an input to a touch sensor corresponding to a position where an object such as a button is displayed, or presenting a tactile sensation in a different form depending on the type of the object, may It is set in the control unit 114. Also, such settings can be updated as the GUI changes. That is, after the input to the button object, the tactile sensation to be presented when the input is further received or the tactile sensation to be presented after changing to another user interface can be defined in advance.

このように設定することで、上述したステップS100およびステップS102の動作において、タッチセンサ140に入力があるたびに、当該入力がオブジェクトの位置に対応する入力であるか否かをアプリケーション実行部120が判定する必要はなくなる。この場合、ステップS100にてタッチセンサ140が入力位置を触感制御部114に通知して、ステップ102にて、触感制御部114は、当該入力がオブジェクトの位置に対応する入力であるか否かを、判定する。それ以外の動作は、上述した例と同様に行うことができる。このような動作により、触感の呈示の有無に関して、アプリケーション実行部120にかかる処理の負荷を軽減することができる。   With this setting, the application execution unit 120 determines whether or not the input corresponds to the position of the object each time the touch sensor 140 receives an input in the operations of Step S100 and Step S102 described above. There is no need to judge. In this case, in step S100, the touch sensor 140 notifies the tactile sensation control unit 114 of the input position. In step 102, the tactile sensation control unit 114 determines whether the input is an input corresponding to the position of the object. ,judge. Other operations can be performed in the same manner as in the above-described example. With such an operation, it is possible to reduce the processing load on the application execution unit 120 regarding whether or not a tactile sensation is presented.

以下、想定する入力装置において、触感を呈示する際の動作のさらに他の例について説明する。   Hereinafter, still another example of the operation when presenting the tactile sensation in the assumed input device will be described.

上述した例においては、触感制御部114に対して、所定の条件に応じて所定の触感を呈示する動作を予め設定することにより、入力のたびにアプリケーション実行部120が触感の呈示に関する判断を行わなくても済むようにした。しかしながら、図8のステップS104にて、表示制御部112が表示部130に表示するオブジェクトの画像を変更するためには、タッチ入力の位置がオブジェクトの位置に対応するか否かを、やはりアプリケーション実行部120が判定する必要がある。したがって、入力受付開始前に(すなわち図8の動作の前提として)、アプリケーション実行部120が、表示制御部112に対して、所定の条件に応じてオブジェクトの表示を変化させる動作も、予め設定しておくことが考えられる。   In the example described above, the application execution unit 120 makes a determination regarding the presentation of tactile sensation for each input by presetting the tactile sensation control unit 114 with an operation that presents a predetermined tactile sensation according to a predetermined condition. I didn't have to. However, in order to change the image of the object displayed on the display unit 130 by the display control unit 112 in step S104 of FIG. 8, whether or not the position of the touch input corresponds to the position of the object is also executed by the application. It is necessary for the unit 120 to determine. Therefore, before the input reception is started (that is, as a premise of the operation in FIG. 8), the application execution unit 120 also sets in advance an operation for changing the display of the object according to a predetermined condition with respect to the display control unit 112. It is possible to keep it.

この場合、上述したステップS100の動作において、タッチセンサ140に対する入力が検知されたら、タッチセンサ140は、入力の位置を、触感制御部114に通知するとともに、表示制御部112にも通知する。当該入力がオブジェクトの位置に対応した入力である場合、表示制御部112は、オブジェクトの表示を変化するように表示部130を制御する。それ以外の処理は、上述した例と同様に行うことができる。このような動作により、触感の呈示のみならず、表示に関しても、アプリケーション実行部120にかかる処理負荷を低減することができる。   In this case, when an input to the touch sensor 140 is detected in the operation of step S100 described above, the touch sensor 140 notifies the tactile sensation control unit 114 of the input position and also the display control unit 112. When the input is an input corresponding to the position of the object, the display control unit 112 controls the display unit 130 to change the display of the object. Other processing can be performed in the same manner as in the above-described example. With such an operation, not only the tactile sensation but also the display can reduce the processing load on the application execution unit 120.

以上説明したように、入力があるたびに対応する処理をアプリケーション実行部が指示する場合も、入力に対応する動作を予め他の機能部に設定しておく場合も、アプリケーションが触感の呈示の動作に対応していれば、問題なく上述の動作を行うことができる。すなわち、触感を呈示する処理を予め組み込んだアプリケーションであれば、上述の動作により、所定の触感を適切に呈示することができる。   As described above, even when the application execution unit instructs processing corresponding to each input, or when an operation corresponding to the input is set in another function unit in advance, the application presents a tactile sensation. The above-described operation can be performed without problems. In other words, if the application incorporates a process for presenting a tactile sensation in advance, a predetermined tactile sensation can be appropriately presented by the above-described operation.

しかしながら、上述した入力装置100においては、触感の呈示に対応していないアプリケーションを適用すると、そのままの状態では、入力に基づいてオブジェクトが変化しても、適切に触感を呈示することはできない。したがって、入力装置100において、現在までに開発されてきた種々のアプリケーション資源を無駄にせずに有効に活用するためには、それぞれのアプリケーションを改変して、所定の条件に応じて触感を呈示する処理を追加しなければならない。このような処理を追加する改変は、種々のアプリケーションごとに行わなければならず、膨大な手間とコストがかかることが懸念される。   However, in the input device 100 described above, when an application that does not support tactile sensation is applied, even if the object changes based on the input, the tactile sensation cannot be appropriately presented in the state as it is. Therefore, in order to effectively use various application resources developed so far without wasting them in the input device 100, a process of modifying each application and presenting a tactile sensation according to a predetermined condition Must be added. Such modification to add processing must be performed for each of various applications, and there is a concern that it takes enormous effort and cost.

このような事情の下では、今後、触感を呈示する入力装置に向けたアプリケーションの開発に各社ベンダが参入する阻害要因になったり、タッチセンサおよびGUIを採用したプラットフォームの普及が遅延する要因にもなり得る。   Under such circumstances, it may become a factor that hinders vendors from entering the development of applications for input devices that present tactile sensations, and delays in the spread of platforms that use touch sensors and GUIs. Can be.

また、例えば上記特許文献1および特許文献2に開示の技術は、単にタッチセンサが入力を受け付けると、当該入力に応じてタッチセンサを振動させているに過ぎない。このため、上記特許文献1および特許文献2に開示の技術において、触感の呈示に対応したアプリケーションを適用しても、そのままの状態では、触感を必要な場合にのみ適切に呈示することができないことも想定される。特に、機械式の押しボタンスイッチ(プッシュ式ボタンスイッチ)のようなボタンスイッチがタッチセンサ上部に描画されている場合、タッチセンサの入力を受け付ける閾値が低いと、タッチセンサに指などが軽く触れた(タッチした)だけで触感が呈示されてしまう。このため、操作者がタッチセンサをプッシュする前段階で軽く触れる動作(タッチ)に反応してしまうため、描画イメージ(押しボタン)の反応と異なり、誤操作を誘発するおそれがある。また、描画されたボタンスイッチを操作者がプッシュする意図はなくても(力を入れていなくても)、タッチセンサをプッシュする前段階の軽く触れる動作(タッチ)に応じて触感が呈示されるため、操作者に違和感を与えることにもなる。ここで、タッチセンサのタッチによる入力を受け付ける閾値とは、タッチセンサが反応する閾値で、例えば抵抗膜方式においては、上部導電膜が下部導電膜に接触する押圧力の閾値であり、静電容量方式においては、接触による電気的信号の検出閾値である。   For example, the techniques disclosed in Patent Document 1 and Patent Document 2 merely vibrate the touch sensor according to the input when the touch sensor accepts the input. For this reason, in the technologies disclosed in Patent Document 1 and Patent Document 2, even if an application corresponding to the tactile sensation is applied, the tactile sensation cannot be properly presented only when necessary in the state as it is. Is also envisaged. In particular, when a button switch such as a mechanical push button switch (push button switch) is drawn on the top of the touch sensor, a finger touches the touch sensor lightly when the threshold for accepting input from the touch sensor is low. A tactile sensation is presented just by touching. For this reason, since it reacts to the operation | movement (touch) lightly touched before an operator pushes a touch sensor, unlike the reaction of a drawing image (push button), there exists a possibility of inducing a misoperation. In addition, even if the operator does not intend to push the drawn button switch (even if no force is applied), a tactile sensation is presented according to the light touching operation (touch) before pushing the touch sensor. As a result, the operator feels uncomfortable. Here, the threshold value for accepting an input by touch of the touch sensor is a threshold value at which the touch sensor reacts. In the method, it is a detection threshold value of an electrical signal by contact.

さらに、従来の入力装置は、タッチセンサにより触感を呈示するための処理を予め組み込んだアプリケーションに基づくユーザインタフェースを採用したとしても、入力を受け付けた際に機械式の押しボタンスイッチのような操作感を提供することはできなかった。すなわち、従来の入力装置により呈示される触感は、あくまでも入力が受け付けられたことを操作者に報知するためのものであり、単にタッチ面を振動させる等の動作を行うのみである。したがって、従来の入力装置により呈示される触感は、機械式の押しボタンスイッチを操作する場合のような操作感を操作者に提供するものではなかった。   Furthermore, even if a conventional input device adopts a user interface based on an application in which processing for presenting a tactile sensation by a touch sensor is adopted in advance, an operation feeling like a mechanical push button switch is accepted when an input is received. Could not provide. That is, the tactile sensation presented by the conventional input device is only to notify the operator that the input has been accepted, and merely performs an operation such as vibrating the touch surface. Therefore, the tactile sensation presented by the conventional input device does not provide the operator with the operational feeling as when operating a mechanical push button switch.

しかしながら、タッチセンサおよびGUIを採用するユーザインタフェースにおいては、機械式の押しボタンスイッチなどに倣ったオブジェクトの画像を表示することが多い。したがって、そのようなオブジェクトに対する入力を受け付けた場合、やはり機械式の押しボタンスイッチに倣った触感を呈示するほうが、操作者に与える操作感としては好適である。表示されたオブジェクトに対して押圧入力を受け付けた際に、現実のキーまたはボタン等をクリックした場合のようなフィードバックを返すことができれば、操作者に与える操作感を向上することができる。   However, in a user interface that employs a touch sensor and a GUI, an image of an object following a mechanical push button switch or the like is often displayed. Therefore, when an input to such an object is received, it is more preferable as an operational feeling given to the operator to present a tactile sensation following the mechanical push button switch. When a pressing input is received for the displayed object, if feedback can be returned as if an actual key or button was clicked, the operational feeling given to the operator can be improved.

機械式の押しボタンスイッチの場合、操作者は、ある程度の押圧力を加えることにより、当該スイッチが押下されて、例えばメタルドームスイッチなどが坐屈する際の触感(以下、クリック触感という)を得ることができる。同様に、機械式の押しボタンスイッチの場合、操作者は、押下されていたスイッチに対する押圧力を、ある程度まで弱めることにより、メタルドームスイッチなどが元の押下されていない状態に戻る触感(以下、リリース触感という)を得ることができる。また、機械式の押しボタンスイッチの場合、操作者は、非常に弱い押圧力によって押圧位置に触れても(タッチしても)クリック触感は呈示されず、また、クリック触感が呈示されない状態からは、リリース触感も呈示されない。従来のタッチセンサおよびGUIを採用した入力装置においては、上述のようなクリック触感およびリリース触感を呈示することはできなかった。   In the case of a mechanical push button switch, an operator obtains a tactile sensation (hereinafter referred to as a click tactile sensation) when the switch is depressed and a metal dome switch or the like is buckled by applying a certain amount of pressing force. Can do. Similarly, in the case of a mechanical push button switch, the operator feels that the metal dome switch or the like returns to the original unpressed state by reducing the pressing force applied to the pressed switch to a certain extent (hereinafter referred to as the “down”). Release feel). In the case of a mechanical push button switch, even if the operator touches the pressed position with a very weak pressing force (even if touched), no click feeling is presented, and no click feeling is presented. , The release feel is not presented. In an input device that employs a conventional touch sensor and GUI, it has not been possible to present the click feel and release feel as described above.

したがって、かかる事情に鑑みてなされた本発明の目的は、ユーザインタフェースを構成する既存のアプリケーションを流用することができる入力装置であって、操作者に与える操作感を向上する入力装置を提供することにある。   Accordingly, an object of the present invention made in view of such circumstances is to provide an input device capable of diverting an existing application constituting a user interface and improving the operational feeling given to an operator. It is in.

上記目的を達成する第1の観点に係る入力装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面に対する押圧荷重を検出する荷重検出部と、
表示部と、
前記表示部の表示画像の変化を検知する表示変化検知部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
前記表示変化検知部が前記タッチ面に対する入力による表示画像の変化を検知している状態で、前記荷重検出部が触感を呈示する荷重基準を満たす押圧荷重を検出すると、前記タッチ面を押圧している押圧対象に対して触感を呈示するように前記触感呈示部を制御する制御部と、
を備えることを特徴とするものである。
The invention of the input device according to the first aspect to achieve the above object is as follows:
A touch sensor;
A load detection unit for detecting a pressing load on the touch surface of the touch sensor;
A display unit;
A display change detection unit for detecting a change in a display image of the display unit;
A tactile sensation providing unit that vibrates the touch surface of the touch sensor;
In a state where the display change detection unit detects a change in a display image due to an input to the touch surface, when the load detection unit detects a pressing load that satisfies a load standard for presenting tactile sensation, the touch surface is pressed. A control unit for controlling the tactile sensation providing unit so as to present a tactile sensation with respect to the pressed object;
It is characterized by providing.

第2の観点に係る発明は、第1の観点に係る入力装置において、
前記制御部は、前記表示変化検知部が前記入力から所定範囲内の表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御するものである。
The invention according to a second aspect is the input device according to the first aspect,
The control unit is configured to control the tactile sensation providing unit so as to present a tactile sensation to the pressing target when the display change detection unit detects a change in a display image within a predetermined range from the input.

第3の観点に係る発明は、第1または2の観点に係る入力装置において、
前記制御部は、前記表示変化検知部が前記入力から所定時間内に表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御するものである。
The invention according to a third aspect is the input device according to the first or second aspect,
The control unit is configured to control the tactile sensation providing unit so as to present a tactile sensation to the pressing target when the display change detecting unit detects a change in a display image within a predetermined time from the input.

第4の観点に係る発明は、第1乃至第3のいずれか1つの観点に係る入力装置において、
前記制御部は、前記表示画像の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御するものである。
The invention according to a fourth aspect is the input device according to any one of the first to third aspects,
The said control part controls the said tactile sensation presentation part so that the tactile sensation based on the change of the said display image is shown with respect to the said press target.

第5の観点に係る発明は、第4の観点に係る入力装置において、
前記制御部は、前記表示画像の色の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御するものである。
An invention according to a fifth aspect is the input device according to the fourth aspect,
The said control part controls the said tactile sensation presentation part so that the tactile sensation based on the change of the color of the said display image is shown with respect to the said press target.

第6の観点に係る発明は、第4の観点に係る入力装置において、
前記制御部は、前記表示画像の変化の速度に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御するものである。
The invention according to a sixth aspect is the input device according to the fourth aspect,
The said control part controls the said tactile sensation presentation part so that the tactile sensation based on the change speed of the said display image is shown with respect to the said press target.

本発明によれば、入力に対して触感を呈示する処理を予め想定していないアプリケーションを改変せずに流用しても、所定の条件に応じて適切な触感を呈示することができる。したがって、本発明によれば、既存のアプリケーションを無駄にすることなく利用することができるとともに、このようなアプリケーションを用いて、操作性の優れたユーザインタフェースを提供することができる。また、本発明によれば、タッチセンサに対する入力を受け付けた際に、機械式の押しボタンスイッチのような触感を呈示することができる。したがって、本発明によれば、操作者に与える操作感を向上することができる。   According to the present invention, an appropriate tactile sensation can be presented according to a predetermined condition even if an application that does not assume a process of presenting a tactile sensation in advance is used without modification. Therefore, according to the present invention, an existing application can be used without being wasted, and a user interface with excellent operability can be provided using such an application. In addition, according to the present invention, when an input to the touch sensor is received, a tactile sensation like a mechanical push button switch can be presented. Therefore, according to the present invention, the operational feeling given to the operator can be improved.

本発明の第1実施の形態に係る入力装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the input device which concerns on 1st Embodiment of this invention. 図1に示した入力装置の実装構造の一例を示す図である。It is a figure which shows an example of the mounting structure of the input device shown in FIG. 図1に示した入力装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the input device shown in FIG. 本発明の第2実施の形態に係る入力装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the input device which concerns on 2nd Embodiment of this invention. 本発明の第3実施の形態に係る入力装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the input device which concerns on 3rd Embodiment of this invention. 本発明の変形例に係る入力装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the input device which concerns on the modification of this invention. 従来技術による入力装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the input device by a prior art. 従来技術による入力装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the input device by a prior art.

以下、本発明の各実施の形態について、図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

本発明は、タッチセンサに対するタッチ入力により表示部に表示された(オブジェクトの)画像に変化があった際に、当該画像の変化に基づいて(つまりオブジェクトに対する入力がなされたものとみなして)、触感を呈示するものである。また、本発明は、このように触感を呈示する際、タッチセンサに対して軽く触れる(タッチする)程度の押圧に対しては触感を呈示せず、操作者が意図してタッチセンサを押圧する(プッシュする)動作に対して触感を呈示する。   In the present invention, when there is a change in an image (object) displayed on the display unit by a touch input to the touch sensor, based on the change in the image (that is, assuming that an input to the object has been made) It presents a tactile sensation. In addition, when presenting a tactile sensation, the present invention does not present a tactile sensation to a pressure that touches (touches) the touch sensor lightly, and the operator intentionally presses the touch sensor. Present a tactile sensation to the (push) action.

(第1実施の形態)
図1は、本発明の第1実施の形態に係る入力装置の概略構成を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram showing a schematic configuration of an input device according to the first embodiment of the present invention.

図1に示すように、入力装置1は、制御部10と、アプリケーション実行部20と、表示部30と、タッチセンサ40と、触感呈示部50と、荷重検出部60と、を備えている。また、制御部10は、表示制御部12と、触感制御部14と、表示変化検知部16と、を含んでいる。   As illustrated in FIG. 1, the input device 1 includes a control unit 10, an application execution unit 20, a display unit 30, a touch sensor 40, a tactile sensation providing unit 50, and a load detection unit 60. The control unit 10 includes a display control unit 12, a tactile sensation control unit 14, and a display change detection unit 16.

制御部10は、入力装置1の各機能部をはじめとして入力装置1の全体を制御するが、本実施の形態においては、特に、触感の呈示に係る動作を主とした制御を行うものとして説明する。アプリケーション実行部20は、図示しない記憶部から各種のアプリケーションを読み込んで、当該アプリケーションに基づく処理を実行する。なお、本実施の形態においては、アプリケーション実行部20が、触感の呈示に対応していないアプリケーションを実行する場合について説明する。   The control unit 10 controls the entire input device 1 including each functional unit of the input device 1. In the present embodiment, the control unit 10 is described as performing control mainly related to the tactile sensation. To do. The application execution unit 20 reads various applications from a storage unit (not shown) and executes processing based on the applications. In the present embodiment, a case will be described in which application execution unit 20 executes an application that does not support tactile sensation.

表示部30は、押しボタンスイッチ(プッシュ式ボタンスイッチ)のような入力用オブジェクトを画像表示する。なお、押しボタンスイッチとは、入力ボタンやキー等(以下、単に「キー等」と総称する)である。表示部30は、例えば、液晶表示パネルや有機EL表示パネル等を用いて構成する。   The display unit 30 displays an input object such as a push button switch (push button switch) as an image. Note that the push button switch is an input button, a key, or the like (hereinafter simply referred to as “key or the like”). The display unit 30 is configured using, for example, a liquid crystal display panel, an organic EL display panel, or the like.

タッチセンサ40は、通常は表示部30の前面に配置して、表示部30に表示したオブジェクトに対する操作者の指等(押圧対象)による押圧入力(タッチ入力)を、対応するタッチセンサ40のタッチ面により受け付ける。また、タッチセンサ40は、タッチ面に対するタッチ入力の位置を検出し、当該検出した入力の位置を、制御部10(表示変化検知部16)を介してアプリケーション実行部20等に通知する。このタッチセンサ40は、例えば抵抗膜方式、静電容量方式、光学式等の公知の方式のもので構成する。   The touch sensor 40 is usually arranged on the front surface of the display unit 30, and a touch input by the operator's finger or the like (press target) on the object displayed on the display unit 30 is touched by the corresponding touch sensor 40. Accept by surface. The touch sensor 40 detects the position of the touch input with respect to the touch surface, and notifies the application execution unit 20 or the like of the detected input position via the control unit 10 (display change detection unit 16). The touch sensor 40 is configured by a known method such as a resistive film method, a capacitance method, and an optical method.

触感呈示部50は、圧電振動子等を用いて構成し、タッチセンサ40のタッチ面に振動を発生させる。この触感呈示部50は、タッチセンサ40のタッチ面に振動を発生させることにより、タッチ面を押圧している押圧対象に対して触感を呈示する。荷重検出部60は、タッチセンサ40のタッチ面に対する押圧荷重を検出するもので、例えば、歪みゲージセンサや圧電素子等の荷重に対してリニアに反応する素子を用いて構成する。また、荷重検出部60は、検出したタッチセンサ40のタッチ面に対する押圧荷重を、触感制御部14に通知する。   The tactile sensation providing unit 50 is configured using a piezoelectric vibrator or the like, and generates vibration on the touch surface of the touch sensor 40. The tactile sensation providing unit 50 presents a tactile sensation to the pressing target pressing the touch surface by generating vibration on the touch surface of the touch sensor 40. The load detection unit 60 detects a pressing load on the touch surface of the touch sensor 40, and is configured using an element that reacts linearly with a load such as a strain gauge sensor or a piezoelectric element, for example. In addition, the load detection unit 60 notifies the tactile sensation control unit 14 of the detected pressing load on the touch surface of the touch sensor 40.

制御部10の表示制御部12は、アプリケーション実行部20から供給される表示データに基づいて、表示部30にオブジェクトなどを画像表示したり、あるいは当該画像表示を変更したりする等、表示に係る制御を行う。触感制御部14は、荷重検出部60により検出される押圧荷重が、触感を呈示する荷重基準を満たしているか否かを判定する。また、触感制御部14は、表示変化検知部16の指示と、上述の触感を呈示する荷重基準を満たす押圧荷重とを検出すると、所定の条件に基づく所定のパターンの振動を発生するように触感呈示部50を制御する。   Based on the display data supplied from the application execution unit 20, the display control unit 12 of the control unit 10 displays an object or the like on the display unit 30 or changes the image display. Take control. The tactile sensation control unit 14 determines whether or not the pressing load detected by the load detection unit 60 satisfies a load standard for presenting a tactile sensation. In addition, when the tactile sensation control unit 14 detects an instruction from the display change detection unit 16 and a pressing load that satisfies the load standard for presenting the tactile sensation described above, the tactile sensation control unit 14 generates a predetermined pattern of vibration based on a predetermined condition. The presenter 50 is controlled.

また、表示変化検知部16は、表示部30に表示される画像を解析して、当該画像の変化を検知する。この表示変化検知部16そのものは、例えば所定の時間間隔で画像を比較して経時的な変化を検知するなど、既存の種々の画像解析技術に基づくものを利用することができる。また、変化に係るパラメータは、特定領域または特定点の画素(ピクセル)における表示の有無、色の変化、輝度や明度の変化など、既存の種々のパラメータとすることができる。   The display change detection unit 16 analyzes an image displayed on the display unit 30 and detects a change in the image. As the display change detection unit 16 itself, for example, those based on various existing image analysis techniques such as comparing images at predetermined time intervals to detect changes with time can be used. Further, the parameters related to the change can be various existing parameters such as presence / absence of display in a specific region or pixel (pixel) at a specific point, a change in color, a change in luminance and brightness, and the like.

図2は、図1に示した入力装置1の実装構造の一例を示すもので、図2(A)は要部断面図、図2(B)は要部平面図である。表示部30は、筐体61内に収納保持する。表示部30上には、弾性部材からなるインシュレータ62を介して、タッチセンサ40を保持する。なお、本実施の形態に係る入力装置1は、表示部30およびタッチセンサ40を、平面視で矩形状としている。また、入力装置1は、タッチセンサ40を、図2(B)に仮想線で示す表示部30の表示領域Aから外れた4隅に配設したインシュレータ62を介して表示部30上に保持する。   2A and 2B show an example of the mounting structure of the input device 1 shown in FIG. 1, FIG. 2A is a cross-sectional view of the main part, and FIG. 2B is a plan view of the main part. The display unit 30 is housed and held in the housing 61. The touch sensor 40 is held on the display unit 30 via an insulator 62 made of an elastic member. In the input device 1 according to the present embodiment, the display unit 30 and the touch sensor 40 are rectangular in plan view. In addition, the input device 1 holds the touch sensor 40 on the display unit 30 via the insulators 62 disposed at the four corners deviated from the display area A of the display unit 30 indicated by virtual lines in FIG. .

また、筐体61には、表示部30の表示領域から外れたタッチセンサ40の表面領域を覆うようにアッパカバー63を設け、このアッパカバー63とタッチセンサ40との間に、弾性部材からなるインシュレータ64を配設する。なお、図2に示すタッチセンサ40は、タッチ面40aを有する表面部材を、例えば透明フィルムやガラスで構成し、裏面部材をガラスやアクリルで構成している。タッチセンサ40は、タッチ面40aが押圧されると、押圧部分が押圧力に応じて微少量撓む(歪む)、または構造体そのものが微少量撓む構造のものを用いる。   The casing 61 is provided with an upper cover 63 so as to cover the surface area of the touch sensor 40 that is out of the display area of the display unit 30, and is made of an elastic member between the upper cover 63 and the touch sensor 40. An insulator 64 is provided. In the touch sensor 40 shown in FIG. 2, the surface member having the touch surface 40a is made of, for example, a transparent film or glass, and the back member is made of glass or acrylic. The touch sensor 40 has a structure in which, when the touch surface 40a is pressed, the pressed portion is slightly bent (distorted) in accordance with the pressing force, or the structure itself is bent slightly.

タッチセンサ40の表面上には、アッパカバー63で覆われる各辺の近傍に、タッチセンサ40に加わる荷重(押圧力)を検出するための歪みゲージセンサ51をそれぞれ接着等により設ける。さらに、タッチセンサ40の裏面上には、対向する2つの辺の近傍に、タッチセンサ40を振動させるための圧電振動子52をそれぞれ接着等により設ける。すなわち、図2に示す入力装置1は、図1に示した荷重検出部60を4つの歪みゲージセンサ51を用いて構成し、触感呈示部50を、2つの圧電振動子52を用いて構成している。そして、触感呈示部50によりタッチセンサ40を振動させることにより、タッチ面40aを振動させるようにしている。なお、図2(B)は、図2(A)に示した筐体61、アッパカバー63およびインシュレータ64の図示を省略している。   On the surface of the touch sensor 40, a strain gauge sensor 51 for detecting a load (pressing force) applied to the touch sensor 40 is provided in the vicinity of each side covered with the upper cover 63 by adhesion or the like. Further, on the back surface of the touch sensor 40, piezoelectric vibrators 52 for vibrating the touch sensor 40 are provided by adhesion or the like in the vicinity of two opposing sides. That is, in the input device 1 shown in FIG. 2, the load detection unit 60 shown in FIG. 1 is configured using four strain gauge sensors 51, and the tactile sensation providing unit 50 is configured using two piezoelectric vibrators 52. ing. The touch surface 40a is vibrated by vibrating the touch sensor 40 by the tactile sensation providing unit 50. In FIG. 2B, the casing 61, the upper cover 63, and the insulator 64 shown in FIG. 2A are not shown.

次に、本実施の形態に係る入力装置の動作を説明する。   Next, the operation of the input device according to this embodiment will be described.

本実施の形態に係る入力装置1は、タッチセンサ40に対する入力により表示部30に表示された画像に変化があった状態で、タッチセンサ40に対する入力の押圧荷重が所定の基準を満たすと、触感を呈示するものである。これは、表示部30に表示されたオブジェクトの画像の位置に対応するタッチセンサ40にタッチ入力がなされた際、当該オブジェクトにタッチ入力が受け付けられている旨を操作者に視認させるため、通常、オブジェクトの画像を変化させて表示することに基づく。このようなオブジェクトの画像を変化させる表示は、アプリケーションに基づく設定により、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させて表示したり、アプリケーションによって種々の態様が考えられる。また、タッチセンサ40に対する入力の押圧荷重が所定の基準を満たす場合に触感を呈示するのは、このような場合に、操作者が意図してタッチセンサを押圧する(プッシュする)動作を行ったとみなせることに基づく。   The input device 1 according to the present embodiment has a tactile sensation when an input pressing load on the touch sensor 40 satisfies a predetermined standard in a state where an image displayed on the display unit 30 is changed by an input to the touch sensor 40. Is presented. This is because when an input is made to the touch sensor 40 corresponding to the position of the image of the object displayed on the display unit 30 to make the operator visually recognize that the touch input is accepted by the object, Based on changing and displaying the object image. Such an image that changes the image of the object can be displayed by changing the color or brightness of the object depending on the application. Embodiments are possible. Also, when the input pressing load on the touch sensor 40 satisfies a predetermined standard, the tactile sensation is presented in such a case where the operator intentionally presses (pushes) the touch sensor. Based on what can be seen.

図3は、本実施の形態に係る入力装置1の動作を示すフローチャートである。本実施の形態に係る入力装置1の動作は、アプリケーション実行部20が関与する動作と、アプリケーション実行部20が関与しない動作と、に分離して捉えることができる。図3において、図3(A)はアプリケーション実行部20が関与する動作を示し、図3(B)はアプリケーション実行部20が関与しない動作を示している。   FIG. 3 is a flowchart showing the operation of the input apparatus 1 according to the present embodiment. The operation of the input device 1 according to the present embodiment can be separated into an operation involving the application execution unit 20 and an operation not involving the application execution unit 20. 3, FIG. 3 (A) shows an operation involving the application execution unit 20, and FIG. 3 (B) shows an operation not involving the application execution unit 20.

本実施の形態に係る入力装置1の動作を行うにあたり、予め、表示部30には、操作者の指などによる入力を受け付けるために、キー等のオブジェクトの画像を表示しておくものとする。この際、アプリケーション実行部20は、GUIを構成する各オブジェクトの表示データを、表示変化検知部16を介して表示制御部12に供給する。そして、表示制御部12は、アプリケーション実行部20から供給されたオブジェクトの表示データに基づいて、各オブジェクトの画像を表示(描画)するように表示部30を制御する。上述したように、以下、本実施の形態に係る入力装置1の動作に用いるアプリケーションは、タッチセンサを使用してGUIを構成する既存のものであって、触感の呈示に対応していないものを用いる場合について説明する。なお、このアプリケーションは、表示部30に表示されたオブジェクトの画像の位置に対応するタッチセンサ40にタッチ入力がなされた際、オブジェクトの画像に何らかの変化を施して表示するものとする。   In performing the operation of the input apparatus 1 according to the present embodiment, it is assumed that an image of an object such as a key is displayed on the display unit 30 in advance in order to accept an input with an operator's finger or the like. At this time, the application execution unit 20 supplies display data of each object constituting the GUI to the display control unit 12 via the display change detection unit 16. Then, the display control unit 12 controls the display unit 30 to display (draw) an image of each object based on the display data of the object supplied from the application execution unit 20. As described above, the application used for the operation of the input device 1 according to the present embodiment is an existing application that configures a GUI using a touch sensor and does not support presentation of tactile sensation. The case of using will be described. It is assumed that this application displays the object image with some change when a touch input is made to the touch sensor 40 corresponding to the position of the object image displayed on the display unit 30.

本実施の形態に係る入力装置1の動作を開始する際には、まず、制御部10は、タッチセンサ40に対するタッチ入力の有無を監視する。また、これとともに、制御部10は、表示部30に表示された画像(表示画像)の変化を監視するように表示変化検知部16を制御する。   When starting the operation of the input device 1 according to the present embodiment, first, the control unit 10 monitors the presence or absence of touch input to the touch sensor 40. At the same time, the control unit 10 controls the display change detection unit 16 to monitor a change in an image (display image) displayed on the display unit 30.

上述のような準備が完了した状態で、操作者の指などによるタッチセンサ40のタッチ面に対するタッチ入力があった時点から、本実施の形態に係る入力装置1の動作は開始する。   The operation of the input device 1 according to the present embodiment starts from the point in time when the touch input of the touch sensor 40 by the operator's finger or the like is made in the state where the preparation as described above is completed.

まず、図3(A)に示すように、本実施の形態に係る入力装置1の動作が開始すると、タッチセンサ40は、タッチ面に対するタッチ入力の位置を制御部10に通知する(ステップS10)。このようにして検出した入力の位置を、制御部10は、表示変化検知部16を介してアプリケーション実行部20に通知する。   First, as shown in FIG. 3A, when the operation of the input device 1 according to the present embodiment starts, the touch sensor 40 notifies the control unit 10 of the position of the touch input with respect to the touch surface (step S10). . The control unit 10 notifies the application execution unit 20 via the display change detection unit 16 of the input position thus detected.

タッチセンサ40におけるタッチ入力の位置が通知されたら、アプリケーション実行部20は、当該入力の位置が、現在のGUIにおいてキー等のオブジェクトの画像が表示された位置に対応するか否かを判定する(ステップS12)。ステップS12において、入力の位置が、オブジェクトの画像が表示された位置に対応する場合、アプリケーション実行部20は、アプリケーションに基づく設定に従ってオブジェクトの画像を変更するための表示データを表示制御部12に送る。この表示データを受け取ったら、表示制御部12は、表示されるオブジェクトの画像を変更するように表示部30を制御する(ステップS14)。すなわち、キー等のオブジェクトに対するタッチ入力があった場合、当該オブジェクトの表示画像を変更する。オブジェクトの表示画像を変更する際、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させたりして、キー等に触れた(タッチした)ことを操作者が視認できるようにするのが好適である。   When the position of the touch input in the touch sensor 40 is notified, the application execution unit 20 determines whether or not the position of the input corresponds to a position where an image of an object such as a key is displayed in the current GUI ( Step S12). In step S12, when the input position corresponds to the position where the object image is displayed, the application execution unit 20 sends display data for changing the object image to the display control unit 12 according to the setting based on the application. . When receiving the display data, the display control unit 12 controls the display unit 30 to change the image of the displayed object (step S14). That is, when there is a touch input to an object such as a key, the display image of the object is changed. When changing the display image of an object, for example, the operator makes a display as if the object is selected, or changes the color or brightness of the object, so that the operator touches (touches) a key or the like. It is preferable to make it visible.

一方、ステップS12において、入力の位置がオブジェクトの画像が表示された位置に対応しない場合、アプリケーション実行部20は、オブジェクトの画像を変更する指示を行わずに処理を終了する。すなわち、キー等のオブジェクトに対するタッチ入力がない場合、またはタッチ入力がキー等のオブジェクトに対するものでない場合、アプリケーション実行部20は、オブジェクトの表示画像を変更せずに処理を終了する。この場合、表示部30に表示される画像(表示画像)は変化しない。   On the other hand, if the input position does not correspond to the position where the object image is displayed in step S12, the application execution unit 20 ends the process without giving an instruction to change the object image. That is, when there is no touch input for an object such as a key, or when the touch input is not for an object such as a key, the application execution unit 20 ends the process without changing the display image of the object. In this case, the image (display image) displayed on the display unit 30 does not change.

図3(B)は、図3(A)の後に続く動作を説明するフローチャートである。図3(A)に示した動作が終了した後、表示変化検知部16は、図3(B)に示すように、表示部30に表示された画像(表示画像)を解析して、表示画像の変化の有無を検知する(ステップS20)。あるいは、この際、表示変化検知部16は、アプリケーション実行部20から表示変化検知部16を介して表示制御部12に供給される表示データに基づいて、表示画像の変化の有無を判断してもよい。   FIG. 3B is a flowchart illustrating an operation subsequent to FIG. After the operation shown in FIG. 3A is completed, the display change detection unit 16 analyzes the image (display image) displayed on the display unit 30 as shown in FIG. The presence or absence of change is detected (step S20). Alternatively, at this time, the display change detection unit 16 may determine whether the display image has changed based on the display data supplied from the application execution unit 20 to the display control unit 12 via the display change detection unit 16. Good.

ステップS20において表示画像の変化が検知された場合(すなわちキー等のオブジェクトに対するタッチ入力があった場合)、ステップS22の動作に移行する。ステップS22において、触感制御部14は、荷重検出部60により検出される押圧荷重が、タッチセンサ40のタッチ面に対する押圧によって増加しながら所定の基準を満たしたか否かを判定する。なお、荷重検出部60は、例えば、4つの歪みゲージセンサ51の出力の平均値から荷重を検出する。ここで、所定の基準を満たす荷重は、操作者が通常の押圧操作を行う際の押圧荷重に基づいて、例えば1N(ニュートン)などの値を予め設定し、その後も設定変更できるようにするのが好適である。また、この所定の基準は、操作者の意図に基づく押圧入力の際の押圧荷重を考慮して(例えば平均値など)、過度に低い基準を設定しないようにする。これは、操作者が意図せずに軽く触れてしまったような場合の操作は押圧(プッシュ)入力として受け付けないようにするため、および後述するリアルな触感のための圧覚を操作者に与えるためである。   When a change in the display image is detected in step S20 (that is, when there is a touch input to an object such as a key), the process proceeds to step S22. In step S <b> 22, the tactile sensation control unit 14 determines whether or not the pressing load detected by the load detection unit 60 satisfies a predetermined criterion while increasing due to the pressing of the touch sensor 40 against the touch surface. For example, the load detection unit 60 detects the load from the average value of the outputs of the four strain gauge sensors 51. Here, the load satisfying the predetermined standard is set in advance to a value such as 1N (Newton) based on the pressing load when the operator performs a normal pressing operation, and the setting can be changed thereafter. Is preferred. In addition, the predetermined standard is set so as not to set an excessively low standard in consideration of a pressing load at the time of pressing input based on the operator's intention (for example, an average value). This is to prevent an operation when the operator touches lightly unintentionally as a push (push) input, and to give the operator a pressure sensation for realistic tactile sensation described later. It is.

ステップS22において押圧荷重が所定の基準を満たした場合、触感制御部14は、制御部10の制御により、タッチセンサ40のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部50を制御する(ステップS24)。すなわち、制御部10は、表示変化検知部16がタッチパネル40のタッチ面に対する入力による表示画像の変化を検知している状態で、荷重検出部60が触感を呈示する荷重基準を満たす押圧荷重を検出すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部50を制御する。この制御により、触感呈示部50は、タッチセンサ40のタッチ面を押圧している押圧対象に対して触感を呈示する。   When the pressing load satisfies a predetermined standard in step S22, the tactile sensation control unit 14 generates a predetermined vibration on the touch surface of the touch sensor 40 under the control of the control unit 10 so as to present a tactile sensation. The unit 50 is controlled (step S24). In other words, the control unit 10 detects a pressing load that satisfies a load standard that the load detection unit 60 presents a tactile sensation in a state where the display change detection unit 16 detects a change in the display image due to an input to the touch surface of the touch panel 40. Then, the tactile sensation providing unit 50 is controlled so as to present a tactile sensation with respect to the pressing target pressing the touch surface. By this control, the tactile sensation providing unit 50 presents a tactile sensation to the pressing target pressing the touch surface of the touch sensor 40.

なお、本実施の形態では、ステップS24において触感呈示部50が押圧対象に対して呈示する触感は、上述したクリック触感とすることができる。操作者に対してリアルなクリック触感を呈示するためには、入力装置1は、操作者の圧覚が刺激された状態で触覚を刺激する。すなわち、入力装置1は、タッチセンサ40に加わる荷重が、触感を呈示する基準(例えば1N)を満たすまでは、圧覚を刺激するようにし、荷重が当該基準を満たすと、圧電振動子52を所定の駆動信号で駆動してタッチ面40aを振動させて触覚を刺激する。これにより、入力装置1は、押しボタンスイッチ(プッシュ式ボタンスイッチ)のようなボタンスイッチを押した際に得られるのと同様なクリック触感を、操作者に呈示することができる。したがって、操作者は、タッチセンサ上部に描画された押しボタンスイッチであっても、押しボタンスイッチを操作した場合と同様のリアルなクリック触感を得ながら、タッチセンサ40に対して入力操作を行うことができるので、違和感を覚えることがない。また、タッチセンサ40を「押した」という意識との連動で入力操作を行うことができるので、単なる押圧による入力ミスも防止することができる。   In the present embodiment, the tactile sensation presented by the tactile sensation providing unit 50 to the pressed object in step S24 can be the click sensation described above. In order to present a realistic click tactile sensation to the operator, the input device 1 stimulates the tactile sense in a state where the operator's pressure sense is stimulated. That is, the input device 1 stimulates the pressure sense until the load applied to the touch sensor 40 satisfies a reference (for example, 1N) that provides tactile sensation. The touch surface 40a is vibrated by being driven by the drive signal to stimulate the sense of touch. Thereby, the input device 1 can present to the operator a click feeling similar to that obtained when a button switch such as a push button switch (push button switch) is pressed. Therefore, even if the push button switch is drawn on the upper part of the touch sensor, the operator can perform an input operation on the touch sensor 40 while obtaining a realistic click feeling similar to that when the push button switch is operated. Can not feel uncomfortable. Further, since the input operation can be performed in conjunction with the consciousness of “pressing” the touch sensor 40, an input error due to simple pressing can be prevented.

上述したクリック触感を呈示する際の駆動信号、すなわち触覚を刺激する一定周波数、周期(波長)、波形、振幅は、呈示するクリック触感に応じて適宜設定することができる。例えば、携帯端末に使用されているメタルドームスイッチに代表されるクリック触感を呈示する場合、例えば、170Hzの一定周波数のSin波からなる1周期分の駆動信号により触感呈示部50を駆動する。このような駆動信号により触感呈示部50を駆動させて、タッチ面40aを、基準の押圧荷重が加わった状態で、約15μm振動させる。これにより、実際のキーをクリックした場合のような、リアルなクリック触感を操作者に呈示することができる。   The drive signal when presenting the click sensation described above, that is, the constant frequency, period (wavelength), waveform, and amplitude for stimulating the sense of touch can be set as appropriate according to the click sensation presented. For example, when a tactile sensation represented by a metal dome switch used in a portable terminal is presented, for example, the tactile sensation providing unit 50 is driven by a drive signal for one cycle including a sine wave having a constant frequency of 170 Hz. The tactile sensation providing unit 50 is driven by such a drive signal, and the touch surface 40a is vibrated by about 15 μm in a state where a reference pressing load is applied. Thereby, it is possible to present the operator with a realistic click feeling as if the user had clicked on an actual key.

また、ステップS22において押圧荷重が所定の基準を満たしていない場合、触感制御部14は、タッチセンサ40のタッチ面に対する押圧が弱まることにより、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する(ステップS26)。ステップS26において荷重検出部60により検出される押圧荷重がまだゼロになっていない場合は、操作者のタッチセンサ40に対するタッチ入力が解除(リリース)されていないため、ステップS22に戻る。一方、ステップS26において荷重検出部60により検出される押圧荷重がゼロになった場合は、操作者がタッチセンサ40に対するタッチ入力を解除(リリース)していると判定できるため、本実施による動作を終了する。なお、ステップS26における動作は、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する動作に代えて、タッチパネル40に対する入力がまだ検知されているか否かを判定する動作とすることもできる。   When the pressing load does not satisfy the predetermined standard in step S22, the tactile sensation control unit 14 has zero pressing load detected by the load detection unit 60 due to weakening of the touch sensor 40 against the touch surface. It is determined whether or not (step S26). If the pressure load detected by the load detection unit 60 is not yet zero in step S26, the touch input to the touch sensor 40 by the operator has not been released (released), and the process returns to step S22. On the other hand, when the pressing load detected by the load detection unit 60 in step S26 becomes zero, it can be determined that the operator has released (released) the touch input to the touch sensor 40. finish. Note that the operation in step S26 is an operation for determining whether or not an input to the touch panel 40 is still detected, instead of an operation for determining whether or not the pressing load detected by the load detection unit 60 has become zero. You can also

一方、ステップS20において表示画像の変化が検知されない場合(すなわちキー等のオブジェクトに対するタッチ入力がない場合)、表示変化検知部16は、触感制御部14に触感を呈示する旨の指示を出さずに処理を終了する。このように、本実施の形態に係る入力装置1は、キー等のオブジェクト以外の位置に対する入力があっても、オブジェクトに対する押圧入力は受け付けられていないことを、触感が呈示されないことによって操作者に認識させることができる。また、ステップS20において表示画像の変化が検知されていても、ステップS22において、荷重検出部60により検出される押圧荷重が触感を呈示する荷重基準を満たしていない場合も、本実施の形態による動作は行わない。   On the other hand, when a change in the display image is not detected in step S20 (that is, when there is no touch input to an object such as a key), the display change detection unit 16 does not give an instruction to the tactile sensation control unit 14 to present tactile sensation. The process ends. As described above, the input device 1 according to the present embodiment provides the operator with no tactile sensation indicating that no pressing input to the object is accepted even if there is an input to a position other than the object such as a key. Can be recognized. In addition, even if a change in the display image is detected in step S20, the operation according to the present embodiment is performed even when the pressing load detected by the load detection unit 60 does not satisfy the load standard for presenting a tactile sensation in step S22. Do not do.

このように、本実施の形態によれば、タッチセンサに対する入力の検知から触感の呈示の有無までの動作を2段階に分離して考えることができ、特に、触感の呈示の有無については、アプリケーション実行部が関与しない動作とすることができる。そのため、実行中のアプリケーションが触感の呈示に係る動作に対応していない場合でも、制御部10は、表示部30に表示されたオブジェクトに対応するタッチセンサ40における押圧入力に基づいて、触感の呈示の有無を適切に制御することができる。したがって、本実施の形態に係る入力装置に1よれば、タッチセンサに対する入力を受け付ける際の触感を呈示することができるとともに、ユーザインタフェースを構成する既存のアプリケーションプログラムを改変せずに流用することができる。また、本実施の形態に係る入力装置1は、キー等のオブジェクトに対して押圧(プッシュ)する入力により、当該オブジェクトに対する入力が受け付けられたことを、リアルなクリック触覚によって操作者に認識させることができる。   As described above, according to the present embodiment, the operation from detection of input to the touch sensor to presence / absence of tactile sensation can be considered separately in two stages. An operation that does not involve the execution unit can be performed. Therefore, even when the running application does not support the operation related to the tactile sensation, the control unit 10 presents the tactile sensation based on the press input in the touch sensor 40 corresponding to the object displayed on the display unit 30. The presence or absence of can be controlled appropriately. Therefore, according to the input device 1 according to the present embodiment, it is possible to present a tactile sensation when accepting an input to the touch sensor, and it is possible to divert an existing application program constituting the user interface without modification. it can. In addition, the input device 1 according to the present embodiment allows the operator to recognize that an input to the object has been accepted by an input of pressing (pushing) the object such as a key by a real click tactile sense. Can do.

なお、上述した本実施の形態では、タッチセンサが押圧された際のクリック触感についてのみ言及したが、さらに、押圧されているタッチセンサの押圧が解除(リリース)される途中で、リリース触感を呈示するようにもできる。この場合、触感制御部14は、クリック触感を呈示した後で、荷重検出部60が検出する押圧荷重が所定の基準を満たしたら、リリース触感を呈示するように触感呈示部50を制御する。なお、ここで「押圧荷重が所定の基準を満たす」とは、リリース時においては、押圧荷重が所定の基準を超えている状態から当該所定の基準を下回ることを意味する。   In the above-described embodiment, only the touch feeling when the touch sensor is pressed has been described. However, the release touch feeling is presented in the middle of the release (release) of the pressed touch sensor. You can also In this case, the tactile sensation control unit 14 controls the tactile sensation providing unit 50 to present a release tactile sensation when the pressing load detected by the load detection unit 60 satisfies a predetermined standard after presenting the click tactile sensation. Here, “the pressing load satisfies a predetermined criterion” means that, at the time of release, the pressing load falls below the predetermined criterion from a state where it exceeds the predetermined criterion.

ここで、リリース触感を呈示する荷重基準は、押圧時にクリック触感を呈示する上記の荷重基準と同じに設定することもできるが、好ましくは、押圧時にクリック触感を呈示する荷重基準よりも50%〜80%低い値に設定する。このようにすれば、同一位置(入力用オブジェクト)を連続入力(連打)する場合に、順次の入力と触感呈示タイミングとが合致し、違和感のないリアルなクリック触感を呈示することができる。すなわち、リリース時に触感を呈示する基準の荷重を、押圧時に触感を呈示する基準の荷重よりも小さくすることにより、違和感を与えないようにし、かつ、リリース時に触感を呈示する基準の荷重を、押圧時に触感を呈示する基準の荷重のおよそ50%以上とすることにより、連続入力時の操作性を格段に向上できる。また、リリース時に触感を呈示する基準の荷重を、押圧時に触感を呈示する基準の荷重のおよそ80%以下とすることにより、連続入力時のホールド状態での微小な荷重変化にも対応できる。   Here, the load standard for presenting the release tactile sensation can be set the same as the above-described load standard for presenting the click tactile sensation at the time of pressing, but preferably 50% to the load standard for presenting the click tactile sensation at the time of pressing. Set to 80% lower value. In this way, when the same position (input object) is continuously input (sequentially hit), the sequential input and the tactile sensation presentation timing match, and a realistic click tactile sensation without discomfort can be presented. In other words, by making the standard load that presents a tactile sensation at the time of release smaller than the standard load that presents a tactile sensation at the time of pressing, the reference load that presents a tactile sensation at the time of release is pressed. Occasionally, the operability during continuous input can be significantly improved by setting the load to be approximately 50% or more of the reference load that sometimes presents tactile sensation. In addition, by making the reference load that presents a tactile sensation at the time of release approximately 80% or less of the reference load that presents a tactile sensation when pressed, it is possible to cope with minute load changes in the hold state during continuous input.

このようにすれば、押下時に「カッ」、リリース時に「チッ」と感じられるよりリアルなクリック触感を呈示することができる。勿論、リリース触感は、クリック触感と同一の駆動信号を用いることもできるが、必ずしもクリック触感と同一の駆動信号でなくてもよい。   In this way, it is possible to present a more realistic click tactile sensation that can be felt as “cut” when pressed and “click” when released. Of course, the release tactile sensation can use the same drive signal as the click tactile sensation, but does not necessarily have to be the same drive signal as the click tactile sensation.

(第2実施の形態)
上述した第1実施の形態においては、タッチセンサ40のタッチ面に対するタッチ入力により表示部30の表示画像が変化したまま、タッチ面に対する押圧荷重が所定の基準を満たした際、当該タッチ面を押圧している押圧対象に対して触感を呈示した。しかしながら、このように、表示部30の表示画像の変化およびタッチ面の押圧荷重のみに基づいて触感の呈示の有無を決定すると、表示変化検知部16が検知した表示画像の変化が、実際には操作者による入力に基づく変化ではない場合も考えられる。
(Second Embodiment)
In the first embodiment described above, when the pressing load on the touch surface satisfies a predetermined standard while the display image of the display unit 30 is changed by the touch input to the touch surface of the touch sensor 40, the touch surface is pressed. A tactile sensation was presented to the pressed object. However, when the presence / absence of the tactile sensation is determined based on only the change in the display image on the display unit 30 and the pressing load on the touch surface, the change in the display image detected by the display change detection unit 16 is actually There may be a case where the change is not based on an input by the operator.

すなわち、図3(A)のステップS12においては、オブジェクトの位置に対する入力が検知されない場合、ステップS14の処理を行わないため、表示部30におけるオブジェクトの表示画像は変化しない。しかしながら、入力用オブジェクト以外の位置に対する入力が検知された場合に、表示部30において、入力用オブジェクト以外の表示画像が入力とは関係なく変化することも想定される。例えば、入力用オブジェクト以外の位置に対する入力が検出された後、たまたま時刻表示の画像が変化する場合などが想定される。他にも、表示部30の入力用オブジェクトを表示している位置以外の箇所に、画像のアニメーションを表示したり、放送の再生動画を表示している場合、これらの画像は、通常、常に変化していると考えられる。   That is, in step S12 in FIG. 3A, if no input to the position of the object is detected, the process in step S14 is not performed, so the display image of the object on the display unit 30 does not change. However, when an input to a position other than the input object is detected, it is also assumed that the display image other than the input object changes on the display unit 30 regardless of the input. For example, it is assumed that the image of the time display happens to change after an input to a position other than the input object is detected. In addition, when an animation of an image or a broadcast playback moving image is displayed at a location other than the position where the input object is displayed on the display unit 30, these images usually change constantly. it seems to do.

このような場合にまで、表示画像に変化が生じたと表示変化検知部16が判断してしまうと、タッチセンサに対する入力を受け付けた際に触感の呈示の有無を適切に制御することはできない。したがって、第2実施の形態においては、表示変化検知部16が、オブジェクトに対するタッチ入力による表示画像の変化を一層正確に検知できるようにする。   Even in such a case, if the display change detection unit 16 determines that a change has occurred in the display image, it is not possible to appropriately control whether or not the tactile sensation is presented when an input to the touch sensor is received. Therefore, in the second embodiment, the display change detection unit 16 can detect the change in the display image due to the touch input to the object more accurately.

第2実施の形態に係る入力装置は、第1実施の形態にて説明した入力装置1と同じ構成により実施することができ、第1実施の形態における動作を一部変更するものである。したがって、第1実施の形態と同じ内容の説明は、適宜省略する。   The input device according to the second embodiment can be implemented with the same configuration as the input device 1 described in the first embodiment, and the operation in the first embodiment is partially changed. Therefore, the description of the same content as the first embodiment is omitted as appropriate.

第2実施の形態に係る入力装置1において、表示変化検知部16は、第1実施の形態と同様に、表示部30における表示画像を解析して、当該表示画像の変化の有無を検知する。しかしながら、第2実施の形態において、表示変化検知部16は、タッチセンサ40のタッチ面に対する入力から所定範囲内の表示部30における表示画像の変化の有無を検知する。したがって、本実施の形態においては、タッチセンサ40のタッチ面に対する入力のから所定範囲内に存在しない、例えば入力から離れた位置の表示画像が変化したまま、タッチ面に対する押圧荷重が所定の基準を満たしても、入力装置1は触感を呈示しない。このような場合の表示画像の変化は、操作者の入力による変化ではないと判断できるためである。   In the input device 1 according to the second embodiment, the display change detection unit 16 analyzes the display image on the display unit 30 and detects whether there is a change in the display image, as in the first embodiment. However, in the second embodiment, the display change detection unit 16 detects whether there is a change in the display image on the display unit 30 within a predetermined range from an input to the touch surface of the touch sensor 40. Therefore, in the present embodiment, the pressure applied to the touch surface does not exist within a predetermined range from the input to the touch surface of the touch sensor 40, for example, the display image at a position away from the input changes, and the pressure load on the touch surface satisfies a predetermined reference. Even if satisfy | filling, the input device 1 does not present a tactile sensation. This is because it can be determined that the change in the display image in such a case is not a change due to an input by the operator.

図4は、第2実施の形態に係る入力装置の動作のうち、第1実施の形態で説明した図3(B)の動作に相当する、アプリケーション実行部20が関与しない動作を説明するフローチャートである。なお、第2実施の形態において、アプリケーション実行部20が関与する動作は、図3(A)で説明したのと同様に行う。すなわち、タッチセンサ40は、タッチ面に対するタッチ入力の位置を検出すると、当該入力位置を、表示変化検知部16を介してアプリケーション実行部20に通知する(ステップS10)。アプリケーション実行部20は、当該入力の位置が、現在のGUIにおいてキー等のオブジェクトの画像が表示された位置に対応するか否かを判定する(ステップS12)。当該入力の位置が、オブジェクトの画像が表示された位置に対応する場合、表示制御部12は、表示されるオブジェクトの表示画像を変更する(ステップS14)。つまり、キー等のオブジェクトに対するタッチ入力があった場合、当該オブジェクトの表示画像を変更する。オブジェクトの表示画像を変更する際、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させたりして、キー等に触れた(タッチした)ことを操作者が視認できるようにするのが好適である。   FIG. 4 is a flowchart for explaining an operation not involving the application execution unit 20 corresponding to the operation of FIG. 3B described in the first embodiment, among the operations of the input device according to the second embodiment. is there. In the second embodiment, operations involving the application execution unit 20 are performed in the same manner as described with reference to FIG. That is, when the touch sensor 40 detects the position of the touch input on the touch surface, the touch sensor 40 notifies the application execution unit 20 of the input position via the display change detection unit 16 (step S10). The application execution unit 20 determines whether or not the input position corresponds to a position where an image of an object such as a key is displayed in the current GUI (step S12). When the input position corresponds to the position where the object image is displayed, the display control unit 12 changes the display image of the displayed object (step S14). That is, when there is a touch input to an object such as a key, the display image of the object is changed. When changing the display image of an object, for example, the operator makes a display as if the object is selected, or changes the color or brightness of the object, so that the operator touches (touches) a key or the like. It is preferable to make it visible.

一方、ステップS12において、入力の位置がオブジェクトの画像が表示された位置に対応しない場合、アプリケーション実行部20は、オブジェクトの画像を変更する指示を行わずに処理を終了する。すなわち、キー等のオブジェクトに対するタッチ入力がない場合、またはタッチ入力がキー等のオブジェクトに対するものでない場合、アプリケーション実行部20は、オブジェクトの表示画像を変更せずに処理を終了する。この場合、表示部30に表示される画像(表示画像)は変化しない。   On the other hand, if the input position does not correspond to the position where the object image is displayed in step S12, the application execution unit 20 ends the process without giving an instruction to change the object image. That is, when there is no touch input for an object such as a key, or when the touch input is not for an object such as a key, the application execution unit 20 ends the process without changing the display image of the object. In this case, the image (display image) displayed on the display unit 30 does not change.

図4は、図3(A)の後に続く動作を説明するフローチャートである。図3(A)に示した動作が終了した後、図4に示すように、表示変化検知部16は、タッチセンサ40のタッチ面に対する入力から所定範囲内の表示部30における表示画像が変化したか否かを検知する(ステップS30)。なお、この際、表示変化検知部16は、第1実施の形態と同様に、表示部30に表示される画像を解析して、表示画像の変化を検知する。   FIG. 4 is a flowchart for explaining the operation following FIG. After the operation shown in FIG. 3A is completed, as shown in FIG. 4, the display change detection unit 16 changes the display image on the display unit 30 within a predetermined range from the input to the touch surface of the touch sensor 40. Is detected (step S30). At this time, the display change detection unit 16 analyzes the image displayed on the display unit 30 and detects a change in the display image, as in the first embodiment.

タッチセンサ40のタッチ面に対する入力からの「所定範囲」とは、例えば「入力の位置から周囲5mmまで」など、入力の態様に応じて、また入力の位置の検出態様に応じて、好適な値を適切に設定する。この場合の「入力の位置」も、種々の態様で検出することができる。タッチセンサ40のタッチ面に対するタッチ入力が面積を有する状態で検出される場合は、例えば当該面積全体を「入力の位置」とすることができる。また、タッチ入力が点で検出される場合は、前記面積の例えば重心を算出したものを「入力の位置」とすることができる。このような所定範囲の設定により、入力の位置の周囲に存在する画像の変化のみを検知することができる。   The “predetermined range” from the input to the touch surface of the touch sensor 40 is a suitable value depending on the input mode, such as “from the input position to the surrounding 5 mm”, and the input position detection mode. Set appropriately. The “input position” in this case can also be detected in various ways. When the touch input on the touch surface of the touch sensor 40 is detected in a state having an area, for example, the entire area can be set as the “input position”. Further, when a touch input is detected by a point, a value obtained by calculating, for example, the center of gravity of the area can be set as an “input position”. By such setting of the predetermined range, it is possible to detect only a change in the image existing around the input position.

ステップS30において表示画像の変化が検知された場合(すなわちキー等のオブジェクトに対するタッチ入力があった場合)、ステップS32の動作に移行する。ステップS32において、触感制御部14は、荷重検出部60により検出される押圧荷重が、タッチセンサ40のタッチ面に対する押圧によって増加しながら所定の基準を満たしたか否かを判定する。   When a change in the display image is detected in step S30 (that is, when there is a touch input to an object such as a key), the process proceeds to step S32. In step S <b> 32, the tactile sensation control unit 14 determines whether or not the pressing load detected by the load detection unit 60 satisfies a predetermined criterion while increasing due to the pressing of the touch sensor 40 against the touch surface.

ステップS32において押圧荷重が所定の基準を満たした場合、触感制御部14は、制御部10の制御により、タッチセンサ40のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部50を制御する(ステップS34)。すなわち、制御部10は、表示変化検知部16がタッチパネル40のタッチ面に対する入力から所定範囲内の表示画像の変化を検知している状態で、荷重検出部60が触感を呈示する荷重基準を満たす押圧荷重を検出すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部50を制御する。この制御により、触感呈示部50は、タッチセンサ40のタッチ面を押圧している押圧対象に対して触感を呈示する。このように、本実施の形態に係る入力装置1は、キー等のオブジェクトに対するタッチ入力により、当該入力の位置付近の画像が変化した状態で、基準を満たす押圧荷重を検出した場合に、当該オブジェクトに対する押圧入力が受け付けられた旨の触感を呈示する。   When the pressing load satisfies a predetermined standard in step S32, the tactile sensation control unit 14 generates a predetermined vibration on the touch surface of the touch sensor 40 under the control of the control unit 10 so as to present the tactile sensation. The unit 50 is controlled (step S34). That is, the control unit 10 satisfies the load criterion that the load detection unit 60 presents a tactile sensation in a state where the display change detection unit 16 detects a change in a display image within a predetermined range from an input to the touch surface of the touch panel 40. When the pressing load is detected, the tactile sensation providing unit 50 is controlled so that a tactile sensation is presented to the pressing target pressing the touch surface. By this control, the tactile sensation providing unit 50 presents a tactile sensation to the pressing target pressing the touch surface of the touch sensor 40. As described above, when the input device 1 according to the present embodiment detects a pressing load satisfying the reference in a state where the image near the position of the input is changed by a touch input to the object such as a key, the object A tactile sensation indicating that a pressing input to is accepted is presented.

また、ステップS32において押圧荷重が所定の基準を満たしていない場合、触感制御部14は、タッチセンサ40のタッチ面に対する押圧が弱まることにより、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する(ステップS36)。ステップS36において荷重検出部60により検出される押圧荷重がまだゼロになっていない場合は、ステップS32に戻る。一方、ステップS36において荷重検出部60により検出される押圧荷重がゼロになった場合は、本実施による動作を終了する。なお、ステップS36における動作も、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する動作に代えて、タッチパネル40に対する入力がまだ検知されているか否かを判定する動作とすることもできる。   Further, when the pressing load does not satisfy the predetermined standard in step S32, the tactile sensation control unit 14 has zero pressing load detected by the load detecting unit 60 due to weakening of the touch sensor 40 against the touch surface. It is determined whether or not (step S36). If the pressing load detected by the load detection unit 60 in step S36 is not yet zero, the process returns to step S32. On the other hand, when the pressing load detected by the load detection unit 60 becomes zero in step S36, the operation according to the present embodiment is terminated. Note that the operation in step S36 is also an operation for determining whether or not an input to the touch panel 40 is still detected, instead of an operation for determining whether or not the pressing load detected by the load detection unit 60 has become zero. You can also

一方、ステップS30において表示部30における表示画像の変化が検知されない場合、表示変化検知部16は、触感制御部14に触感を呈示する旨の指示を出さずに処理を終了する。また、ステップS30において表示部30の表示画像の変化が検知されても、当該変化が、入力から所定範囲内の表示画像の変化でない場合も、触感を呈示する旨の指示を出さずに処理を終了する。さらに、ステップS30において表示画像の変化が検知されていても、ステップS32において、荷重検出部60により検出される押圧荷重が触感を呈示する荷重基準を満たしていない場合も、触感を呈示しない。   On the other hand, when a change in the display image on the display unit 30 is not detected in step S30, the display change detection unit 16 ends the process without giving an instruction to the tactile sensation control unit 14 to present tactile sensation. Even if a change in the display image of the display unit 30 is detected in step S30, the process is performed without giving an instruction to present a tactile sensation even when the change is not a change in the display image within a predetermined range from the input. finish. Furthermore, even if a change in the display image is detected in step S30, no tactile sensation is exhibited even if the pressing load detected by the load detection unit 60 does not satisfy the load standard for presenting tactile sensation in step S32.

このように、本実施の形態に係る入力装置1は、表示部30における表示画像が変化したとしても、当該変化が、入力の位置の付近(所定範囲内)ではない場合、操作者の入力による変化とは想定し難いため、触感を呈示しない。   As described above, in the input device 1 according to the present embodiment, even if the display image on the display unit 30 is changed, if the change is not in the vicinity of the input position (within a predetermined range), the input is performed by the operator. Since it is difficult to assume a change, no tactile sensation is presented.

(第3実施の形態)
第3実施の形態においては、上述した第2実施の形態と同様に、表示変化検知部16が、オブジェクトに対するタッチ入力による表示画像の変化を一層正確に判定できるようにする。
(Third embodiment)
In the third embodiment, similarly to the second embodiment described above, the display change detection unit 16 can more accurately determine the change in the display image due to the touch input to the object.

上述した第1および第2実施の形態においては、タッチセンサ40のタッチ面に対するタッチ入力がなされてから、当該入力により表示部30に表示される画像が変化するまでの時間については、特に考慮していない。しかしながら、入力の検知から、当該入力による表示画像の変化までの時間を考慮せずに触感の呈示の有無を決定すると、表示変化検知部16が検知した表示画像の変化が、実際には操作者による入力に基づく変化ではない場合も考えられる。   In the first and second embodiments described above, the time from when the touch input to the touch surface of the touch sensor 40 is performed until the image displayed on the display unit 30 is changed by the input is particularly considered. Not. However, if the presence or absence of the tactile sensation is determined without considering the time from the detection of the input to the change in the display image due to the input, the change in the display image detected by the display change detection unit 16 is actually the operator. It is also possible that the change is not based on the input by.

すなわち、例えば、第1および第2実施の形態で説明したように、図3(A)に示した動作に引き続き図3(B)に示した動作を行う場合には、入力の検知(ステップS10)の後すぐに表示部30の表示画像の変化が検知される(ステップS20)。このため、ステップS20で検知される表示画像の変化は、ステップS10で検知された入力に基づくものであると推定できる。しかしながら、例えば、図3(A)と(B)とをそれぞれ並存させて処理する場合のように、図3(B)の動作を独立したものとする場合などは、表示画像の変化が検知された際、当該変化が入力の検知に基づくものである必要がある。   That is, for example, as described in the first and second embodiments, when the operation shown in FIG. 3B is performed following the operation shown in FIG. 3A, the input is detected (step S10). ) Immediately after the change of the display image on the display unit 30 is detected (step S20). For this reason, it can be estimated that the change in the display image detected in step S20 is based on the input detected in step S10. However, for example, in the case where the operation of FIG. 3B is made independent, as in the case of processing with FIGS. 3A and 3B coexisting, a change in the display image is detected. The change needs to be based on input detection.

例えば、図3(B)のステップS20にて表示変化検知部16が表示部30の表示画像の変化を検知する時点が、図3(A)のステップS10にて入力位置を検出した時点から離れている場合、触感を呈示するタイミングが不自然になるおそれがある。また、図3(A)のステップS10から図3(B)のステップS20までに時間が経過している場合、その間に操作者の入力によるものではない表示画像の変化が発生しても、触感を呈示してしまう不都合も考えられる。このような触感の呈示は、操作者の入力に基づかないため、操作者にとっては、入力をしていないにもかかわらず触感の呈示を受けることになり、違和感のある動作になる。   For example, the point in time when the display change detection unit 16 detects a change in the display image on the display unit 30 in step S20 in FIG. 3B is different from the point in time when the input position is detected in step S10 in FIG. If present, the timing for presenting the tactile sensation may become unnatural. In addition, when time has elapsed from step S10 in FIG. 3A to step S20 in FIG. 3B, even if a change in the display image not caused by an operator input occurs during that time, the tactile sensation will occur. Inconvenience that presents. Such a tactile sensation is not based on the operator's input, so that the operator receives a tactile sensation even though the input is not performed, resulting in an uncomfortable operation.

このような場合にまで、表示変化検知部16が表示部30における表示画像の変化を検知してしまうと、タッチセンサ40のタッチ面に対する入力を受け付けた際に呈示する触感の有無を適切に制御することはできない。したがって、第3実施の形態においても、表示変化検知部16が、オブジェクトに対するタッチ入力による表示画像の変化を一層正確に検知できるようにする。   Even in such a case, if the display change detection unit 16 detects a change in the display image on the display unit 30, the presence or absence of the tactile sensation presented when the input to the touch surface of the touch sensor 40 is received is appropriately controlled. I can't do it. Therefore, also in the third embodiment, the display change detection unit 16 can detect the change in the display image due to the touch input to the object more accurately.

第3実施の形態に係る入力装置も、第2実施の形態と同様に、第1実施の形態にて説明した入力装置1と同じ構成により実施することができ、第1実施の形態における動作を一部変更するものである。したがって、第1および第2実施の形態と同じ内容の説明は、適宜省略する。   Similarly to the second embodiment, the input device according to the third embodiment can be implemented by the same configuration as the input device 1 described in the first embodiment, and the operation in the first embodiment can be performed. Some changes. Therefore, the description of the same content as the first and second embodiments will be omitted as appropriate.

第3実施の形態に係る入力装置1において、表示変化検知部16は、第1実施の形態と同様に、表示部30における表示画像を解析して、当該表示画像の変化の有無を検知する。しかしながら、第3実施の形態において、表示変化検知部16は、タッチセンサ40のタッチ面に対する入力が検知されてから所定時間内の表示画像の変化の有無を検知する。すなわち、タッチセンサ40のタッチ面に対するタッチ入力から所定時間内に、表示変化検知部16が表示部30の表示画像の変化を検知したまま、タッチ面に対する押圧荷重が所定の基準を満たした際、触感制御部14は、制御部10の制御により、触感を呈示するように触感呈示部50を制御する。したがって、本実施の形態においては、触感呈示部50は、タッチセンサ40に対する入力から所定時間が過ぎてから表示部30の表示画像が変化したまま、タッチ面に対する押圧荷重が所定の基準を満たしても、入力装置1は触感を呈示しない。ここで、上述の「所定時間」とは、表示部30の表示画像の変化が、タッチセンサ40に対するタッチ入力による変化として検知できるように、例えば0.2秒などの短い時間を設定するのが好適である。   In the input device 1 according to the third embodiment, the display change detection unit 16 analyzes the display image on the display unit 30 and detects the presence or absence of a change in the display image, as in the first embodiment. However, in the third embodiment, the display change detection unit 16 detects whether there is a change in the display image within a predetermined time after the input to the touch surface of the touch sensor 40 is detected. That is, when the pressing load on the touch surface satisfies a predetermined standard while the display change detection unit 16 detects the change in the display image of the display unit 30 within a predetermined time from the touch input to the touch surface of the touch sensor 40, The tactile sensation control unit 14 controls the tactile sensation providing unit 50 to present a tactile sensation under the control of the control unit 10. Therefore, in the present embodiment, the tactile sensation providing unit 50 satisfies the predetermined standard of the pressing load on the touch surface while the display image of the display unit 30 is changed after a predetermined time has elapsed from the input to the touch sensor 40. However, the input device 1 does not present a tactile sensation. Here, the above-mentioned “predetermined time” is to set a short time such as 0.2 seconds so that a change in the display image of the display unit 30 can be detected as a change due to a touch input to the touch sensor 40. Is preferred.

図5は、第3実施の形態に係る入力装置の動作のうち、第1実施の形態で説明した図3(B)の動作に相当する、アプリケーション実行部20が関与しない動作を説明するフローチャートである。なお、第2実施の形態において、アプリケーション実行部20が関与する動作は、図3(A)で説明したのと同様に行う。   FIG. 5 is a flowchart for explaining an operation not involving the application execution unit 20 corresponding to the operation of FIG. 3B described in the first embodiment, among the operations of the input device according to the third embodiment. is there. In the second embodiment, operations involving the application execution unit 20 are performed in the same manner as described with reference to FIG.

第3実施の形態においては、図3(A)に示した動作の後に、または図3(A)に示した動作と別個に、図5に示す動作を行う。すなわち、図5に示すように、表示変化検知部16は、タッチセンサ40のタッチ面に対する入力が検知されてから所定時間内に、表示部30の表示画像が変化したか否かを検知する(ステップS40)。なお、この際、表示変化検知部16は、第1実施の形態と同様に、表示部30の表示画像を解析して、当該表示画像の変化を検知する。また、所定時間については、制御部10が内蔵するタイマ(図示せず)を用いて計測することができる。   In the third embodiment, the operation shown in FIG. 5 is performed after the operation shown in FIG. 3A or separately from the operation shown in FIG. That is, as shown in FIG. 5, the display change detection unit 16 detects whether or not the display image of the display unit 30 has changed within a predetermined time after the input to the touch surface of the touch sensor 40 is detected ( Step S40). At this time, the display change detection unit 16 analyzes the display image of the display unit 30 and detects the change of the display image, as in the first embodiment. Further, the predetermined time can be measured using a timer (not shown) built in the control unit 10.

ステップS40において表示画像の変化が検知された場合(すなわちキー等のオブジェクトに対するタッチ入力があった場合)、ステップS42の動作に移行する。ステップS42において、触感制御部14は、荷重検出部60により検出される押圧荷重が、タッチセンサ40のタッチ面に対する押圧によって増加しながら所定の基準を満たしたか否かを判定する。   When a change in the display image is detected in step S40 (that is, when there is a touch input to an object such as a key), the process proceeds to step S42. In step S <b> 42, the tactile sensation control unit 14 determines whether or not the pressing load detected by the load detection unit 60 satisfies a predetermined criterion while increasing due to the pressing of the touch sensor 40 against the touch surface.

ステップS42において押圧荷重が所定の基準を満たした場合、触感制御部14は、制御部10の制御により、タッチセンサ40のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部50を制御する(ステップS44)。すなわち、制御部10は、表示変化検知部16がタッチパネル40のタッチ面に対する入力から所定時間内に表示画像の変化を検知している状態で、荷重検出部60が触感を呈示する荷重基準を満たす押圧荷重を検出すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部50を制御する。この制御により、触感呈示部50は、タッチセンサ40のタッチ面を押圧している押圧対象に対して触感を呈示する。このように、本実施の形態に係る入力装置1は、キー等のオブジェクトに対するタッチ入力により、当該入力から所定時間内に表示部30の画像が変化した状態で、基準を満たす押圧荷重を検出した場合に、当該オブジェクトに対するタッチ入力が受け付けられた旨の触感を呈示する。   When the pressing load satisfies a predetermined standard in step S42, the tactile sensation control unit 14 generates a predetermined vibration on the touch surface of the touch sensor 40 under the control of the control unit 10 so as to present the tactile sensation. The unit 50 is controlled (step S44). That is, the control unit 10 satisfies the load standard that the load detection unit 60 presents a tactile sensation in a state where the display change detection unit 16 detects a change in the display image within a predetermined time from an input to the touch surface of the touch panel 40. When the pressing load is detected, the tactile sensation providing unit 50 is controlled so that a tactile sensation is presented to the pressing target pressing the touch surface. By this control, the tactile sensation providing unit 50 presents a tactile sensation to the pressing target pressing the touch surface of the touch sensor 40. As described above, the input device 1 according to the present embodiment detects a pressing load that satisfies the reference in a state where the image of the display unit 30 has changed within a predetermined time from the input by touch input to an object such as a key. In this case, a tactile sensation that a touch input to the object has been accepted is presented.

また、ステップS42において押圧荷重が所定の基準を満たしていない場合、触感制御部14は、タッチセンサ40のタッチ面に対する押圧が弱まることにより、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する(ステップS46)。ステップS46において荷重検出部60により検出される押圧荷重がまだゼロになっていない場合は、ステップS42に戻る。一方、ステップS36において荷重検出部60により検出される押圧荷重がゼロになった場合は、本実施による動作を終了する。なお、ステップS46における動作も、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する動作に代えて、タッチパネル40に対する入力がまだ検知されているか否かを判定する動作とすることもできる。   Further, when the pressing load does not satisfy the predetermined standard in step S42, the tactile sensation control unit 14 has zero pressing load detected by the load detection unit 60 due to weakening of the touch sensor 40 against the touch surface. It is determined whether or not (step S46). If the pressing load detected by the load detection unit 60 in step S46 is not yet zero, the process returns to step S42. On the other hand, when the pressing load detected by the load detection unit 60 becomes zero in step S36, the operation according to the present embodiment is terminated. Note that the operation in step S46 is also an operation for determining whether or not an input to the touch panel 40 is still detected, instead of an operation for determining whether or not the pressing load detected by the load detection unit 60 has become zero. You can also

一方、ステップS40において表示部30における表示画像の変化が検知されない場合、表示変化検知部16は、触感制御部14に触感を呈示する旨の指示を出さずに処理を終了する。また、ステップS40において表示部30の表示画像の変化が検知されても、当該変化が、タッチ入力の検知から所定時間を経過してからの変化である場合も、触感を呈示する旨の指示を出さずに処理を終了する。さらに、ステップS40において表示画像の変化が検知されていても、ステップS42において、荷重検出部60により検出される押圧荷重が触感を呈示する荷重基準を満たしていない場合も、触感を呈示しない。   On the other hand, when a change in the display image on the display unit 30 is not detected in step S40, the display change detection unit 16 ends the process without giving an instruction to the tactile sensation control unit 14 to present tactile sensation. In addition, even if a change in the display image of the display unit 30 is detected in step S40, an instruction to present a tactile sensation is given even if the change is a change after a predetermined time has elapsed since the detection of the touch input. The process ends without issuing. Furthermore, even if a change in the display image is detected in step S40, no tactile sensation is presented even if the pressing load detected by the load detection unit 60 does not satisfy the load standard for presenting tactile sensation in step S42.

このように、本実施の形態に係る入力装置1は、表示部30における表示画像が変化したとしても、当該変化が、タッチ入力の検知から所定時間経過後の変化である場合、操作者による入力に基づく変化とは想定し難いため、触感を呈示しない。   As described above, in the input device 1 according to the present embodiment, even if the display image on the display unit 30 changes, if the change is a change after a predetermined time has elapsed since the detection of the touch input, the input by the operator Since it is difficult to assume a change based on, the tactile sensation is not presented.

なお、ステップS40は、ステップS30との組合せにより構成してもよい。   Note that step S40 may be configured in combination with step S30.

(第4実施の形態)
第4実施の形態は、上述した第1〜第3実施の形態において、検知された表示画像の変化の態様に応じて、呈示する触感の態様を変更するものである。
(Fourth embodiment)
In the first to third embodiments described above, the fourth embodiment changes the tactile sensation to be presented according to the detected change in the display image.

上述した第1〜第3実施の形態において、表示変化検知部16が表示部30における表示画像の変化を検知した際、触感呈示部50が呈示する触感の態様を、例えば所定の短時間の振動などの、全て同じ振動とすることもできる。しかしながら、例えば、オブジェクトに対する入力がなされた際に、表示部30においてオブジェクトの画像を変化させる表示は、当該入力がなされたオブジェクトの種別などに応じて、種々の異なる表示態様があると想定される。したがって、第4実施の形態においては、入力がなされた際の表示画像の変化の態様が、オブジェクトに応じて異なる場合、当該入力がなされた際に呈示する触感の態様にも差異を生じさせる。   In the first to third embodiments described above, when the display change detection unit 16 detects a change in the display image on the display unit 30, the tactile sensation presented by the tactile sensation presentation unit 50 is, for example, a predetermined short-time vibration. Etc., all can be the same vibration. However, for example, when an input is made on an object, the display that changes the image of the object on the display unit 30 is assumed to have various different display modes depending on the type of the object on which the input is made. . Therefore, in the fourth embodiment, when the manner of change of the display image when an input is made differs depending on the object, a difference is also caused in the manner of tactile sensation presented when the input is made.

第4実施の形態に係る入力装置も、第1実施の形態にて説明した入力装置1と同じ構成により実施することができ、第1実施の形態における動作を一部変更するものである。したがって、第1〜第3実施の形態と同じ内容になる説明は、適宜省略する。   The input device according to the fourth embodiment can also be implemented with the same configuration as the input device 1 described in the first embodiment, and the operation in the first embodiment is partially changed. Therefore, the description which becomes the same content as 1st-3rd embodiment is abbreviate | omitted suitably.

第4実施の形態に係る入力装置1において、表示変化検知部16は、第1実施の形態と同様に、表示部30に表示される画像を解析して、当該表示画像の変化を検知する(図3(B)のステップS20等)。しかしながら、第4実施の形態においては、表示変化検知部16は、タッチ面に対する入力により表示部30の表示画像が変化したことを検知する際、当該表示画像の変化の態様も共に検知する。ここで、「表示画像の変化の態様」とは、例えば、表示部30の表示画像の色が変化する際の変化量や、表示部30の表示画像が変化する際の変化の速度など、種々の態様が考えられる。   In the input device 1 according to the fourth embodiment, the display change detection unit 16 analyzes the image displayed on the display unit 30 and detects a change in the display image, as in the first embodiment ( Step S20 in FIG. 3B). However, in the fourth embodiment, when the display change detection unit 16 detects that the display image of the display unit 30 has changed due to an input to the touch surface, the display change detection unit 16 also detects the change mode of the display image. Here, the “change mode of the display image” includes various changes such as the amount of change when the color of the display image of the display unit 30 changes and the speed of change when the display image of the display unit 30 changes. The following embodiments are possible.

このようにして検知した結果に基づいて、基準を満たす押圧荷重を検出した場合に、触感制御部14は、制御部10の制御により、当該表示画像の変化の態様に応じた触感を呈示するように触感呈示部50を制御する(図3(B)のステップS24等)。すなわち、制御部10は、表示変化検知部16がタッチパネル40のタッチ面に対する入力による表示画像の変化を検知している状態で、荷重検出部60が触感を呈示する荷重基準を満たす押圧荷重を検出すると、表示部30における表示画像の変化に基づく触感を、タッチ面を押圧している押圧対象に対して呈示するように触感呈示部50を制御する。例えば、制御部10は、表示画像の色の変化に基づく触感を押圧対象に対して呈示するように触感呈示部50を制御する。また、例えば、制御部10は、表示画像の変化の速度に基づく触感を押圧対象に対して呈示するように触感呈示部50を制御する。このように、表示画像の変化の態様に応じた触感を呈示するため、触感制御部14には、複数の振動パターンを予め記憶しておく。   When a pressing load that satisfies the criterion is detected based on the result thus detected, the tactile sensation control unit 14 presents a tactile sensation according to the change mode of the display image under the control of the control unit 10. The tactile sensation providing unit 50 is controlled (step S24 in FIG. 3B, etc.). In other words, the control unit 10 detects a pressing load that satisfies a load standard that the load detection unit 60 presents a tactile sensation in a state where the display change detection unit 16 detects a change in the display image due to an input to the touch surface of the touch panel 40. Then, the tactile sensation providing unit 50 is controlled so that the tactile sensation based on the change in the display image on the display unit 30 is presented to the pressing target pressing the touch surface. For example, the control unit 10 controls the tactile sensation providing unit 50 so as to present a tactile sensation based on the color change of the display image to the pressed object. Further, for example, the control unit 10 controls the tactile sensation providing unit 50 so as to present a tactile sensation based on the change speed of the display image to the pressed object. Thus, in order to present a tactile sensation according to the mode of change of the display image, the tactile sensation control unit 14 stores a plurality of vibration patterns in advance.

表示部30に表示する画像により構成されるGUIにおいて、入力を受け付けたオブジェクトの表示画像は、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させる等、種々の態様が考えられる。あるいは、従来のアプリケーションにおいては、タッチセンサに触れる(タッチする)入力と、押圧による(プッシュする)入力とを区別していないものも多い。このようなアプリケーションでは、タッチ入力を受け付けた時点で、押圧による(プッシュする)入力を受け付ける前であっても)、例えばキー等が押下された(凹んだ)ような表示をしたりする態様も考えられる。   In the GUI configured by the image displayed on the display unit 30, the display image of the object that has received the input is displayed in various ways, such as displaying the object as selected or changing the color or brightness of the object. The following embodiments are possible. Alternatively, many conventional applications do not distinguish between an input that touches (touches) a touch sensor and an input that occurs by pressing (pushing). In such an application, when a touch input is received, even before an input by pressing (pushing) is received, for example, a display in which a key or the like is pressed (dented) is also possible. Conceivable.

したがって、例えば、タッチ入力がなされることにより、キー等のオブジェクトが大きく凹んだように表示される画像に変化する場合、基準を満たす押圧荷重を検出した際に、当該入力に応じて大きな触感を呈示することが考えられる。あるいは、入力がなされることにより、キー等のオブジェクトの色(色差)や輝度が大きく変化する態様で表示される場合、基準を満たす押圧荷重を検出した際に、当該入力に応じて大きな触感を呈示させることも考えられる。また、入力がなされることにより、キー等のオブジェクトの画像がゆっくり変化する態様で表示される場合、基準を満たす押圧荷重を検出した際に、緩やかな変化を暗示させるような態様の触感(例えば所定の時間間隔で微弱な振動を発する等)を呈示することも考えられる。逆に、キー等のオブジェクトの画像が急激に変化する態様で表示される場合、基準を満たす押圧荷重を検出した際に、激しい変化を暗示する強い触感などを発生させることも考えられる。   Therefore, for example, when an image such as an object such as a key is displayed to be greatly depressed due to a touch input, when a pressing load satisfying the standard is detected, a large tactile sensation is applied according to the input. It is possible to present. Alternatively, when the input (input) is displayed in such a manner that the color (color difference) or brightness of an object such as a key changes greatly, when a pressing load that satisfies the standard is detected, a large tactile sensation is provided according to the input. It can also be presented. In addition, when an image of an object such as a key is displayed in a mode that changes slowly as a result of input, a tactile sensation in a mode that implies a gradual change when detecting a pressing load that satisfies a standard (for example, It is also conceivable to present weak vibrations at predetermined time intervals. On the other hand, when an image of an object such as a key is displayed in such a manner that it changes suddenly, it may be possible to generate a strong tactile sensation that implies a drastic change when a pressing load that satisfies the criteria is detected.

その他の動作については、上述した第1〜第3実施の形態で説明した動作と同様に行うことができる。   Other operations can be performed similarly to the operations described in the first to third embodiments.

このように、本実施の形態に係る入力装置1は、タッチ面に対する入力により表示部30の表示画像が変化したままの状態で、基準を満たす押圧荷重を検出した場合に、当該表示画像の変化の態様に応じた触感を呈示する。したがって、本実施の形態に係る入力装置1は、触感の態様を適切に設定することにより、実際のキー等により構成されたユーザインタフェースに一層近い操作感を操作者に提供することができる。また、入力装置1は、入力を受け付けるオブジェクトに応じて、入力がなされた際に呈示する触感の態様を種々変更することができるため、より違和感のない操作感を提供することができる。   As described above, when the input device 1 according to the present embodiment detects a pressing load that satisfies the reference in a state where the display image of the display unit 30 remains changed by an input to the touch surface, the change of the display image is performed. The tactile sensation according to the aspect is presented. Therefore, the input device 1 according to the present embodiment can provide the operator with a feeling of operation closer to a user interface configured with actual keys and the like by appropriately setting the tactile sensation. Moreover, since the input device 1 can variously change the manner of tactile sensation that is presented when an input is made in accordance with the object that receives the input, it is possible to provide a more comfortable operation feeling.

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した各実施の形態では、表示変化検知部16が、制御部10に含まれる構成について説明した。しかしながら、本発明による入力装置は、このような構成に限定されるものではなく、設計の際の要求に応じて種々の構成を採ることができる。例えば、図6に示すように、制御部10は表示変化検知部16を含まずに、アプリケーション実行部20の側に表示変化検知部70を設けることもできる。このように、表示変化検知部と制御部との構成上の関係は、適宜変更して設計することができる。   In addition, this invention is not limited only to the said embodiment, Many deformation | transformation or a change is possible. For example, in the above-described embodiments, the configuration in which the display change detection unit 16 is included in the control unit 10 has been described. However, the input device according to the present invention is not limited to such a configuration, and various configurations can be adopted in accordance with a design requirement. For example, as illustrated in FIG. 6, the control unit 10 may include a display change detection unit 70 on the application execution unit 20 side without including the display change detection unit 16. Thus, the structural relationship between the display change detection unit and the control unit can be changed and designed as appropriate.

また、上記実施の形態では、タッチセンサ40を用いて、当該タッチパネルのタッチ面に対するタッチ入力を検出したが、荷重センサ(荷重検出部)を用いて、所定の押圧荷重の基準を満たした場合に、入力がなされたものと判定することもできる。このような荷重検出部は、上述した各実施の形態の荷重検出部と同様に、任意の個数の歪みゲージセンサ等を用いて構成することができる。   Moreover, in the said embodiment, although the touch input with respect to the touch surface of the said touch panel was detected using the touch sensor 40, when the reference | standard of a predetermined pressing load was satisfy | filled using the load sensor (load detection part). It can also be determined that an input has been made. Such a load detection unit can be configured by using an arbitrary number of strain gauge sensors and the like, similarly to the load detection unit of each embodiment described above.

また、上述した各実施の形態において、荷重検出部は、タッチセンサにおける入力検出方式に応じて構成することができる。例えば、抵抗膜方式の場合には、接触面積による抵抗変化に基づく出力信号の変化から荷重が検出できれば、歪みゲージセンサを用いることなく構成することができる。あるいは、静電容量方式の場合には、静電容量の変化に基づく出力信号の変化から荷重が検出できる場合も、歪みゲージセンサを用いることなく構成することができる。   Moreover, in each embodiment mentioned above, a load detection part can be comprised according to the input detection system in a touch sensor. For example, in the case of the resistance film method, if a load can be detected from a change in an output signal based on a change in resistance due to a contact area, it can be configured without using a strain gauge sensor. Alternatively, in the case of the electrostatic capacity method, even when the load can be detected from the change in the output signal based on the change in the electrostatic capacity, it can be configured without using the strain gauge sensor.

また、触感呈示部は、任意の個数の圧電振動子を用いて構成したり、タッチセンサの全面に透明圧電素子を設けて構成したり、触感を呈示する振動を表現できるのであれば、偏心モータを駆動信号の1周期で1回転させるようにして構成したり、することもできる。さらに、荷重検出部および触感呈示部は、圧電素子を用いて構成する場合は、圧電素子を共用して荷重検出部および触感呈示部を構成することもできる。   In addition, the tactile sensation providing unit may be configured using an arbitrary number of piezoelectric vibrators, or may be configured by providing a transparent piezoelectric element on the entire surface of the touch sensor, or can express vibration that presents tactile sensation. Can be configured to rotate once in one cycle of the drive signal. Furthermore, when the load detection unit and the tactile sensation providing unit are configured using a piezoelectric element, the load detection unit and the tactile sensation providing unit can be configured by sharing the piezoelectric element.

上述した各実施の形態においては、タッチセンサを表示部の上面に重ねて配置した構成を想定して説明した。しかしながら、本発明による入力装置は、必ずしもこのような構成にする必要はなく、タッチセンサと表示部とを離間した構成にしてもよい。   In each of the above-described embodiments, the description has been made assuming the configuration in which the touch sensor is disposed so as to overlap the upper surface of the display unit. However, the input device according to the present invention does not necessarily have such a configuration, and the touch sensor and the display unit may be separated.

また、本発明は、タッチセンサがオン・オフ動作を行うタッチスイッチとして機能する入力装置にも有効に適用することができる。   The present invention can also be effectively applied to an input device that functions as a touch switch in which a touch sensor performs an on / off operation.

また、本発明に係る入力装置は、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する荷重基準を満たした際に、当該圧電素子を駆動する。ここで、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する荷重基準を満たした際とは、検出される押圧荷重が触感を呈示する基準値に達した際であってもよいし、検出される押圧荷重が触感を呈示する基準値を超えた際でもよいし、圧電素子の出力に基づいて触感を呈示する基準値が検出された際でもよい。   Further, the input device according to the present invention drives the piezoelectric element when the pressing load detected based on the output of the piezoelectric element satisfies a load standard for presenting a tactile sensation. Here, the case where the pressing load detected based on the output of the piezoelectric element satisfies the load standard for presenting a tactile sensation may be when the detected pressing load reaches a reference value for presenting a tactile sensation. Then, it may be when the detected pressing load exceeds a reference value for presenting tactile sensation, or when a reference value for presenting tactile sensation is detected based on the output of the piezoelectric element.

1 入力装置
10 制御部
12 表示制御部
14 触感制御部
16 表示変化検知部
20 アプリケーション実行部
30 表示部
40 タッチセンサ
40a タッチ面
50 触感呈示部
60 荷重検出部
52 圧電振動子
61 筐体
62 インシュレータ
63 アッパカバー
64 インシュレータ
DESCRIPTION OF SYMBOLS 1 Input device 10 Control part 12 Display control part 14 Touch control part 16 Display change detection part 20 Application execution part 30 Display part 40 Touch sensor 40a Touch surface 50 Touch display part 60 Load detection part 52 Piezoelectric vibrator 61 Case 62 Insulator 63 Upper cover 64 insulator

Claims (6)

タッチセンサと、
前記タッチセンサのタッチ面に対する押圧荷重を検出する荷重検出部と、
表示部と、
前記表示部の表示画像の変化を検知する表示変化検知部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
前記表示変化検知部が前記タッチ面に対する入力による表示画像の変化を検知している状態で、前記荷重検出部が触感を呈示する荷重基準を満たす押圧荷重を検出すると、前記タッチ面を押圧している押圧対象に対して触感を呈示するように前記触感呈示部を制御する制御部と、
を備えることを特徴とする入力装置。
A touch sensor;
A load detection unit for detecting a pressing load on the touch surface of the touch sensor;
A display unit;
A display change detection unit for detecting a change in a display image of the display unit;
A tactile sensation providing unit that vibrates the touch surface of the touch sensor;
In a state where the display change detection unit detects a change in a display image due to an input to the touch surface, when the load detection unit detects a pressing load that satisfies a load standard for presenting tactile sensation, the touch surface is pressed. A control unit for controlling the tactile sensation providing unit so as to present a tactile sensation with respect to the pressed object;
An input device comprising:
前記制御部は、前記表示変化検知部が前記入力から所定範囲内の表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御する、請求項1に記載の入力装置。   The said control part controls the said tactile sensation presentation part so that a tactile sensation may be shown with respect to the said press target, if the said display change detection part detects the change of the display image within the predetermined range from the said input. The input device described. 前記制御部は、前記表示変化検知部が前記入力から所定時間内に表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御する、請求項1または2に記載の入力装置。   The control unit controls the tactile sensation providing unit to present a tactile sensation to the pressing target when the display change detection unit detects a change in a display image within a predetermined time from the input. The input device according to 2. 前記制御部は、前記表示画像の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御する、請求項1乃至3のいずれか一項に記載の入力装置。   The input device according to any one of claims 1 to 3, wherein the control unit controls the tactile sensation providing unit to present a tactile sensation based on a change in the display image to the pressing target. 前記制御部は、前記表示画像の色の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御する、請求項4に記載の入力装置。   The input device according to claim 4, wherein the control unit controls the tactile sensation providing unit to present a tactile sensation based on a change in color of the display image to the pressing target. 前記制御部は、前記表示画像の変化の速度に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御する、請求項4に記載の入力装置。   The input device according to claim 4, wherein the control unit controls the tactile sensation providing unit to present a tactile sensation based on a speed of change of the display image to the pressing target.
JP2009248161A 2009-10-28 2009-10-28 Input device Pending JP2011095925A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009248161A JP2011095925A (en) 2009-10-28 2009-10-28 Input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009248161A JP2011095925A (en) 2009-10-28 2009-10-28 Input device

Publications (1)

Publication Number Publication Date
JP2011095925A true JP2011095925A (en) 2011-05-12

Family

ID=44112776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009248161A Pending JP2011095925A (en) 2009-10-28 2009-10-28 Input device

Country Status (1)

Country Link
JP (1) JP2011095925A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013151039A (en) * 2012-01-25 2013-08-08 Amada Co Ltd Working machine allowing angle of workpiece machining to be input and set, and angle input setting method in working machine

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974575A (en) * 1995-07-06 1997-03-18 Hitachi Ltd Method for displaying feature scene of moving image and device therefor
JP2001212351A (en) * 2000-01-31 2001-08-07 Sankyo Kk Monitoring device in game parlor
JP2004302551A (en) * 2003-03-28 2004-10-28 Kansai Tlo Kk Operation monitoring program
JP2005092472A (en) * 2003-09-17 2005-04-07 Hitachi Ltd Display device equipped with touch panel
JP2005141284A (en) * 2003-11-04 2005-06-02 Canon Inc Storage/reproduction method and device
JP2005328236A (en) * 2004-05-13 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> Video monitoring method, device, and program
JP2008053987A (en) * 2006-08-24 2008-03-06 Funai Electric Co Ltd Information recording/reproducing device
JP2008104130A (en) * 2006-10-23 2008-05-01 Hitachi Ltd Apparatus and system for monitoring video
JP2009005198A (en) * 2007-06-25 2009-01-08 Hitachi Ltd Image monitoring system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974575A (en) * 1995-07-06 1997-03-18 Hitachi Ltd Method for displaying feature scene of moving image and device therefor
JP2001212351A (en) * 2000-01-31 2001-08-07 Sankyo Kk Monitoring device in game parlor
JP2004302551A (en) * 2003-03-28 2004-10-28 Kansai Tlo Kk Operation monitoring program
JP2005092472A (en) * 2003-09-17 2005-04-07 Hitachi Ltd Display device equipped with touch panel
JP2005141284A (en) * 2003-11-04 2005-06-02 Canon Inc Storage/reproduction method and device
JP2005328236A (en) * 2004-05-13 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> Video monitoring method, device, and program
JP2008053987A (en) * 2006-08-24 2008-03-06 Funai Electric Co Ltd Information recording/reproducing device
JP2008104130A (en) * 2006-10-23 2008-05-01 Hitachi Ltd Apparatus and system for monitoring video
JP2009005198A (en) * 2007-06-25 2009-01-08 Hitachi Ltd Image monitoring system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013151039A (en) * 2012-01-25 2013-08-08 Amada Co Ltd Working machine allowing angle of workpiece machining to be input and set, and angle input setting method in working machine

Similar Documents

Publication Publication Date Title
JP5529663B2 (en) Input device
US20190138100A1 (en) Input apparatus and control method for input apparatus
JP5654114B2 (en) Electronic device with touch sensor
US9952705B2 (en) Input apparatus
JP2011048669A (en) Input device
JP5718475B2 (en) Tactile presentation device
JP2011048686A (en) Input apparatus
JP2011048832A (en) Input device
JP2011048692A (en) Input device
JP2011048848A (en) Input device and method for controlling the same
JP5766398B2 (en) Tactile presentation device
WO2013046670A1 (en) Tactile presentation device
JP5539788B2 (en) Tactile presentation device
JP5497893B2 (en) Tactile sensation presentation apparatus and control method
JP5243379B2 (en) Input device
WO2011077687A1 (en) Force-feedback device and control method for a force-feedback device
JP5292244B2 (en) Input device
JP5398640B2 (en) Tactile presentation device
JP2011187087A (en) Input device and control method for the same
JP2011095925A (en) Input device
JP5706676B2 (en) Tactile presentation device
JP2011095928A (en) Input device
JP5143881B2 (en) Tactile sensation presentation apparatus and control method of tactile sensation presentation apparatus
JP2011048833A (en) Input apparatus
JP2011095926A (en) Input device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140218