JP6585431B2

JP6585431B2 - INPUT DEVICE, INTEGRATED INPUT SYSTEM, INPUT DEVICE CONTROL METHOD, AND PROGRAM

Info

Publication number: JP6585431B2
Application number: JP2015171161A
Authority: JP
Inventors: 修久木元; 将嘉伊井野; 寛松涛; 斉津田; 輝沢田
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2015-08-31
Filing date: 2015-08-31
Publication date: 2019-10-02
Anticipated expiration: 2035-08-31
Also published as: JP2017049699A

Description

開示の実施形態は、入力装置、統合入力システム、入力装置の制御方法およびプログラムに関する。 Embodiments disclosed herein relate to an input device, an integrated input system, an input device control method, and a program.

従来、ユーザに触覚を与えることで入力を受け付けたことを知らせる入力装置が知られている。かかる入力装置では、例えばユーザによる押圧力に応じて振動を発生させることで、ユーザに対して入力を受け付けたことを知らせている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, there is known an input device that notifies a user that an input has been accepted by giving a tactile sensation. In such an input device, for example, vibration is generated according to the pressing force by the user, thereby informing the user that the input has been accepted (see, for example, Patent Document 1).

特開２０１３−２３５６１４号公報JP 2013-235614 A

しかしながら、従来の入力装置では、接触位置におけるユーザの押圧力に応じて振動を発生させているに過ぎず、例えばユーザが操作面に対して接触位置を移動させる操作を行った場合に、どのように触覚をフィードバックするか考慮されていなかった。このように、従来の入力装置では、ユーザの操作性を向上させるうえで更なる改善の余地がある。 However, in the conventional input device, only vibration is generated according to the pressing force of the user at the contact position. For example, what happens when the user performs an operation of moving the contact position with respect to the operation surface. The tactile feedback was not considered. Thus, in the conventional input device, there is room for further improvement in improving user operability.

また、例えば多様な機器が搭載され、これら機器や各機器の有するモード等をユーザが制御対象とする必要のある車載システム等においては、これら多様な制御対象をより操作性高くユーザに操作させたいというニーズがある。 In addition, for example, in an in-vehicle system in which various devices are mounted and the user needs to control the modes of these devices and the devices, etc., the user wants to operate these various control targets with higher operability. There is a need.

実施形態の一態様は、上記に鑑みてなされたものであって、多様な制御対象を操作性高く操作することができる入力装置、統合入力システム、入力装置の制御方法およびプログラムを提供することを目的とする。 One aspect of the embodiments has been made in view of the above, and provides an input device, an integrated input system, an input device control method, and a program capable of operating various control objects with high operability. Objective.

実施形態の一態様に係る入力装置は、一つの操作面と、選択部と、検出部と、少なくとも一つの振動素子と、設定部と、振動制御部とを備える。前記選択部は、操作面を用いた制御対象をユーザの挙動に基づいて選択する。前記検出部は、前記操作面に対する前記ユーザの所定の接触操作を検出する。前記振動素子は、前記操作面を振動させる。前記設定部は、前記検出部によって前記接触操作が検出された場合の該接触操作に対応する前記振動素子の振動状態を、前記選択部によって選択された前記制御対象に応じて設定する。前記振動制御部は、前記検出部によって前記接触操作が検出された場合に、前記設定部によって設定された前記振動状態となるように前記振動素子を制御する。また、前記接触操作は、前記操作面への接触を含む数個の平易なジェスチャ操作であって、前記設定部は、前記ジェスチャ操作のそれぞれに対応する前記振動状態の組み合わせが前記制御対象によって異なるように規定された組み合わせ情報に基づき、前記選択部によって選択された前記制御対象へ向けて前記ジェスチャ操作のそれぞれが行われた場合における前記振動状態を設定する。 An input device according to an aspect of an embodiment includes one operation surface, a selection unit, a detection unit, at least one vibration element, a setting unit, and a vibration control unit. The said selection part selects the control object using an operation surface based on a user's behavior. The detection unit detects a predetermined contact operation of the user with respect to the operation surface. The vibration element vibrates the operation surface. The setting unit sets a vibration state of the vibration element corresponding to the contact operation when the contact operation is detected by the detection unit according to the control target selected by the selection unit. The vibration control unit controls the vibration element to be in the vibration state set by the setting unit when the contact operation is detected by the detection unit. Further, the contact operation is several simple gesture operations including a contact with the operation surface, and the setting unit has a combination of the vibration states corresponding to each of the gesture operations depending on the control target. Based on the combination information defined as described above, the vibration state is set when each of the gesture operations is performed toward the control target selected by the selection unit.

実施形態の一態様によれば、多様な制御対象を操作性高く操作することができる。 According to one aspect of the embodiment, various control objects can be operated with high operability.

図１Ａは、実施形態に係る入力装置の制御方法の概要を示す図（その１）である。FIG. 1A is a diagram (part 1) illustrating an overview of a method for controlling an input device according to an embodiment. 図１Ｂは、実施形態に係る入力装置の制御方法の概要を示す図（その２）である。FIG. 1B is a diagram (part 2) illustrating an overview of the control method of the input device according to the embodiment. 図１Ｃは、実施形態に係る入力装置の制御方法の概要を示す図（その３）である。FIG. 1C is a diagram (part 3) illustrating an overview of the control method of the input device according to the embodiment. 図２は、実施形態に係る統合入力システムのブロック図である。FIG. 2 is a block diagram of the integrated input system according to the embodiment. 図３Ａは、触覚のフィードバックの具体例を示す図（その１）である。FIG. 3A is a diagram (part 1) illustrating a specific example of tactile feedback. 図３Ｂは、触覚のフィードバックの具体例を示す図（その２）である。FIG. 3B is a second diagram illustrating a specific example of tactile feedback. 図３Ｃは、触覚のフィードバックの具体例を示す図（その３）である。FIG. 3C is a third diagram illustrating a specific example of tactile feedback. 図３Ｄは、触覚のフィードバックの具体例を示す図（その４）である。FIG. 3D is a diagram (part 4) illustrating a specific example of tactile feedback. 図４Ａは、ジェスチャ操作の具体例を示す図（その１）である。FIG. 4A is a diagram (part 1) illustrating a specific example of the gesture operation. 図４Ｂは、ジェスチャ操作の具体例を示す図（その２）である。FIG. 4B is a second diagram illustrating a specific example of the gesture operation. 図４Ｃは、ジェスチャ操作の具体例を示す図（その３）である。FIG. 4C is a diagram (No. 3) illustrating a specific example of the gesture operation. 図５Ａは、組み合わせ情報の具体例を示す図である。FIG. 5A is a diagram illustrating a specific example of combination information. 図５Ｂは、振動状態情報の具体例を示す図である。FIG. 5B is a diagram illustrating a specific example of vibration state information. 図６は、実施形態に係る入力装置が実行する処理手順を示すフローチャートである。FIG. 6 is a flowchart illustrating a processing procedure executed by the input device according to the embodiment. 図７は、実施形態に係る統合入力システムの機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 7 is a hardware configuration diagram illustrating an example of a computer that realizes the functions of the integrated input system according to the embodiment.

以下、添付図面を参照して、本願の開示する入力装置、統合入力システム、入力装置の制御方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 Hereinafter, embodiments of an input device, an integrated input system, an input device control method, and a program disclosed in the present application will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by embodiment shown below.

また、以下では、本実施形態に係る入力装置１０の制御方法の概要について図１Ａ〜図１Ｃを用いて説明した後に、入力装置１０およびこれを含む統合入力システム１について、図２〜図７を用いて説明することとする。なお、本実施形態では、統合入力システム１が車載用のシステムとして構成される例を挙げる。 Moreover, below, after describing the outline | summary of the control method of the input device 10 which concerns on this embodiment using FIG. 1A-FIG. 1C, FIG. 2-7 is demonstrated about the input device 10 and the integrated input system 1 containing this. It will be explained using. In the present embodiment, an example in which the integrated input system 1 is configured as an in-vehicle system is given.

まず、本実施形態に係る入力装置１０の制御方法の概要について、図１Ａ〜図１Ｃを用いて説明する。図１Ａ〜図１Ｃは、実施形態に係る入力装置１０の制御方法の概要を示す図（その１）〜（その３）である。 First, the outline | summary of the control method of the input device 10 which concerns on this embodiment is demonstrated using FIG. 1A-FIG. 1C. 1A to 1C are diagrams (No. 1) to (No. 3) illustrating an outline of a control method of the input device 10 according to the embodiment.

図１Ａに示すように、統合入力システム１は、入力装置１０を備える。入力装置１０は、操作面Ｐを有する。操作面Ｐは、例えば静電容量方式の情報入力機能を有するタッチパッドを用いて構成され、ユーザＤの制御対象となる各種機器６０（図２にて後述）を制御するための接触操作をユーザＤから受け付ける。 As shown in FIG. 1A, the integrated input system 1 includes an input device 10. The input device 10 has an operation surface P. The operation surface P is configured by using, for example, a touch pad having a capacitive information input function, and the user performs contact operations for controlling various devices 60 (described later in FIG. 2) to be controlled by the user D. Accept from D.

入力装置１０は、かかる操作面Ｐが、例えば運転席のシフトレバー近傍の、運転中のユーザＤから届く位置に配置されるように設けられる。 The input device 10 is provided such that the operation surface P is disposed at a position that can be reached from the driving user D, for example, in the vicinity of the shift lever of the driver's seat.

より具体的に、入力装置１０は、図１Ｂの（ａ）に示すように、操作面Ｐを振動させる振動素子１３ａを少なくとも一つ備える。なお、ここでは、振動素子１３ａを二つ備えた例を図示している。 More specifically, the input device 10 includes at least one vibration element 13a that vibrates the operation surface P, as shown in FIG. Here, an example in which two vibration elements 13a are provided is illustrated.

振動素子１３ａは、例えば圧電素子であり、操作面Ｐを高周波振動させることができる。例えばユーザＤの指Ｕ１が操作面Ｐを押下した状態で振動素子１３ａを振動させると、指Ｕ１と操作面Ｐとの間の摩擦力を変化させることができる。 The vibration element 13a is, for example, a piezoelectric element, and can vibrate the operation surface P at high frequency. For example, when the vibration element 13a is vibrated in a state where the finger U1 of the user D presses the operation surface P, the frictional force between the finger U1 and the operation surface P can be changed.

かかる状態で指Ｕ１を動かすと、変化した摩擦力に応じた触覚を指Ｕ１にフィードバックすることができる。また、振動素子１３ａの振動状態を変化させることで、指Ｕ１と操作面Ｐとの間の摩擦力の大きさを変化させることができ、指Ｕ１にフィードバックする触覚を変化させることができる。 When the finger U1 is moved in such a state, a tactile sensation according to the changed frictional force can be fed back to the finger U1. Also, by changing the vibration state of the vibration element 13a, the magnitude of the frictional force between the finger U1 and the operation surface P can be changed, and the tactile sensation fed back to the finger U1 can be changed.

例えば、図１Ｂの（ａ）および（ｂ）に示すように、Ｘ軸方向に沿って指Ｕ１を左右にスライドさせる場合に、区間Ｄ１において摩擦力をその他の区間よりも大きくなるように変化させることによって、ユーザＤに対し、操作面Ｐに例えばボタンＢ１があるような触覚をフィードバックすることができる。なお、かかる触覚の態様はあくまで一例であって、その他の具体的な例については、図３Ａ〜図３Ｄを用いて後述する。 For example, as shown in FIGS. 1B and 1B, when the finger U1 is slid to the left and right along the X-axis direction, the frictional force is changed to be larger in the section D1 than in the other sections. Thus, a tactile sensation such as the button B1 on the operation surface P can be fed back to the user D. Note that such a tactile aspect is merely an example, and other specific examples will be described later with reference to FIGS. 3A to 3D.

また、図１Ａに示すように、統合入力システム１は、マイク２０と、撮像部３０とを備える。マイク２０および撮像部３０は、例えばステアリングコラムの上部に配置される。マイク２０は、ユーザＤが発話する音声を集音し、入力する。撮像部３０は、運転席に着座したユーザＤの例えば顔画像を撮像する。 As shown in FIG. 1A, the integrated input system 1 includes a microphone 20 and an imaging unit 30. The microphone 20 and the imaging unit 30 are disposed, for example, at the top of the steering column. The microphone 20 collects and inputs the voice uttered by the user D. The imaging unit 30 captures, for example, a face image of the user D seated in the driver's seat.

また、統合入力システム１は、表示部４０（図２にて後述）として、例えばセンターディスプレイ４１と、ＨＵＤ（ヘッドアップディスプレイ）４２とを備える。 Further, the integrated input system 1 includes, for example, a center display 41 and a HUD (head-up display) 42 as a display unit 40 (described later in FIG. 2).

センターディスプレイ４１は、例えば各種機器６０の一つとして搭載されるＡＶ一体型のナビ装置の表示部として用いられ、ナビモードやオーディオモードといった選択中のモードごとにおける各種情報出力を行う。ＨＵＤ４２は、運転中のユーザＤの視野内において、例えば車速やエンジンの回転数といった運転状況に関する各種情報出力を行う。 The center display 41 is used as a display unit of an AV-integrated navigation device mounted as one of the various devices 60, for example, and outputs various information for each selected mode such as a navigation mode and an audio mode. The HUD 42 outputs various information related to the driving situation such as the vehicle speed and the engine speed within the field of view of the user D who is driving.

また、統合入力システム１は、その他の各種機器６０の一つとして、エアコン６１を備える。また、統合入力システム１は、スピーカ７０を備える。 The integrated input system 1 includes an air conditioner 61 as one of the other various devices 60. The integrated input system 1 includes a speaker 70.

このように多様な機器を搭載するシステムにおいては、ユーザＤの制御対象となる各種機器６０やその各モードへ向けた操作態様もまた多様となりがちである。このため、これら多様な制御対象を操作性高く操作できることが、ユーザＤに対する利便性の向上や安全性の確保の観点から望まれていた。 In such a system in which various devices are mounted, the various devices 60 to be controlled by the user D and the operation modes for the respective modes tend to be diverse. For this reason, it has been desired that these various control objects can be operated with high operability from the viewpoint of improving convenience for the user D and ensuring safety.

そこで、本実施形態に係る統合入力システム１では、基本的に１つの操作面Ｐにおける接触操作によって、多様な各種機器６０やその各モード等を集中的に操作可能とするようにした。また、このとき、操作面Ｐに対しては、ユーザＤの所望する制御対象となる各種機器６０およびその各モードに応じた異なる触覚をフィードバックすることとした。 Therefore, in the integrated input system 1 according to the present embodiment, various devices 60, their modes, and the like can be operated intensively by contact operation on one operation surface P basically. In addition, at this time, for the operation surface P, various tactile sensations according to various devices 60 to be controlled by the user D and their respective modes are fed back.

なお、異なる制御対象の選択については、操作面Ｐにおける接触操作以外の手法、例えば音声入力操作等を複合的に組み合わせることができる。 In addition, about selection of a different control object, methods other than contact operation in the operation surface P, for example, audio | voice input operation etc., can be combined combining.

これにより、例えば制御対象をユーザＤが視認することなく、ブラインドタッチ操作のみで制御することも可能になる。具体的には、図１Ｃに示すように、ユーザＤは、制御対象としたい各種機器６０やその各モードを例えば発話する。図１Ｃに示す例では、ユーザＤは「オーディオ！」と発話したものとする。 Thereby, for example, it becomes possible to control only the blind touch operation without the user D visually recognizing the control target. Specifically, as shown in FIG. 1C, the user D utters, for example, various devices 60 to be controlled and their modes. In the example shown in FIG. 1C, it is assumed that the user D utters “audio!”.

かかる場合、本実施形態では、入力装置１０が、かかるユーザＤの発話内容をマイク２０を介して入力して受け付け、操作面Ｐによる制御対象がカーナビゲーションのオーディオモードとなるように選択する（図中のステップＳ１参照）。 In this case, in the present embodiment, the input device 10 receives and accepts the utterance content of the user D via the microphone 20, and selects the control target by the operation surface P to be the audio mode of the car navigation (FIG. Step S1 in the middle).

そして、入力装置１０は、選択された制御対象であるオーディオモードに応じた振動素子１３ａの振動状態の設定を行う（図中のステップＳ２参照）。これにより、入力装置１０には、オーディオモードにおいてユーザＤの指Ｕ１により操作面Ｐへの接触操作が行われた場合の、オーディオモードに固有の振動素子１３ａの振動状態が設定される。 Then, the input device 10 sets the vibration state of the vibration element 13a according to the audio mode that is the selected control target (see step S2 in the figure). Thereby, the vibration state of the vibration element 13a unique to the audio mode when the contact operation to the operation surface P is performed with the finger U1 of the user D in the audio mode is set in the input device 10.

そして、かかる設定状態において、入力装置１０は、ユーザＤによる操作面Ｐへの接触操作を検出したならば、ステップＳ２において設定された振動状態となるように振動素子１３ａを制御することによって、制御対象であるオーディオモードに応じた触覚をフィードバックする（図中のステップＳ３参照）。 In this setting state, when the input device 10 detects a contact operation on the operation surface P by the user D, the input device 10 controls the vibration element 13a so as to be in the vibration state set in step S2. A tactile sensation corresponding to the target audio mode is fed back (see step S3 in the figure).

これにより、一つの操作面Ｐによって多様な制御対象を操作することが可能となる。なお、ここで、接触操作は、平易な数個のジェスチャ操作であって、そのそれぞれに対応する振動状態の組み合わせが制御対象によって異なるように設定される。 Thereby, it becomes possible to operate various control objects by one operation surface P. Here, the contact operation is a few simple gesture operations, and the combination of vibration states corresponding to each of the gesture operations is set to be different depending on the control target.

すなわち、本実施形態では、異なる制御対象の間で共通に用いることができる平易なジェスチャ操作のセットによって制御対象をそれぞれ操作できるが、制御対象が異なれば、その各ジェスチャ操作にはそれぞれ異なる触覚がフィードバックされるようにした。 That is, in this embodiment, each control object can be operated by a set of simple gesture operations that can be used in common among different control objects. However, if the control objects are different, each gesture operation has a different tactile sensation. Added feedback.

これにより、ユーザＤは、数個の平易なジェスチャ操作を覚えるだけで、多様な制御対象を同様のブラインドタッチ操作で操作することが可能となる。すなわち、操作性高く多様な制御対象を操作することができる。 Thereby, the user D can operate various control objects with the same blind touch operation only by learning several simple gesture operations. That is, various control objects can be operated with high operability.

なお、制御対象ごとの各ジェスチャ操作の組み合わせの具体例については、図５Ａおよび図５Ｂを用いて後述する。また、制御対象の選択手法は、ユーザＤの挙動に基づくものであればよく、上述した音声入力によるものに限られない。この点については、図２を用いた説明で補足することとする。 A specific example of a combination of gesture operations for each control target will be described later with reference to FIGS. 5A and 5B. Moreover, the selection method of a control object should just be based on the behavior of the user D, and is not restricted to the thing by the audio | voice input mentioned above. This point will be supplemented by the description using FIG.

このように、本実施形態では、ユーザＤの挙動に基づいて制御対象を選択し、選択された制御対象に応じた振動状態を設定し、ユーザＤによる操作面Ｐへの接触操作が検出されたならば、設定された振動状態となるように振動素子１３ａを制御することによって、制御対象に応じた触覚をフィードバックすることとした。したがって、本実施形態によれば、多様な制御対象を操作性高く操作することができる。 As described above, in this embodiment, the control object is selected based on the behavior of the user D, the vibration state corresponding to the selected control object is set, and the contact operation on the operation surface P by the user D is detected. Then, the tactile sensation according to the controlled object is fed back by controlling the vibration element 13a so as to be in the set vibration state. Therefore, according to this embodiment, various control objects can be operated with high operability.

なお、ここでは、入力装置１０の操作面Ｐが例えばタッチパッドである場合について説明したが、これに限られない。例えばセンターディスプレイ４１と一体になったタッチパネルなどであってもよい。以下、上述した制御方法によって制御される入力装置１０を含む統合入力システム１についてさらに具体的に説明する。 In addition, although the case where the operation surface P of the input device 10 is, for example, a touch pad has been described here, the present invention is not limited to this. For example, a touch panel integrated with the center display 41 may be used. Hereinafter, the integrated input system 1 including the input device 10 controlled by the above-described control method will be described more specifically.

図２は、実施形態に係る統合入力システム１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。 FIG. 2 is a block diagram of the integrated input system 1 according to the embodiment. In FIG. 2, only components necessary for explaining the features of the present embodiment are represented by functional blocks, and descriptions of general components are omitted.

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。 In other words, each component illustrated in FIG. 2 is functionally conceptual and does not necessarily need to be physically configured as illustrated. For example, the specific form of distribution / integration of each functional block is not limited to the one shown in the figure, and all or a part thereof is functionally or physically distributed in arbitrary units according to various loads or usage conditions.・ It can be integrated and configured.

図２に示すように、統合入力システム１は、入力装置１０と、マイク２０と、撮像部３０と、表示部４０と、表示制御部５０と、各種機器６０と、スピーカ７０と、記憶部８０とを備える。 As shown in FIG. 2, the integrated input system 1 includes an input device 10, a microphone 20, an imaging unit 30, a display unit 40, a display control unit 50, various devices 60, a speaker 70, and a storage unit 80. With.

マイク２０は、ユーザＤの発話する音声を集音し、入力装置１０へ入力する。撮像部３０は、例えば赤外線ＬＥＤと赤外線カメラとを含んで構成され、赤外線ＬＥＤによってユーザＤを照らしつつ赤外線カメラによってユーザＤの例えば顔画像を撮像し、入力装置１０へ入力する。 The microphone 20 collects the voice spoken by the user D and inputs it to the input device 10. The imaging unit 30 includes, for example, an infrared LED and an infrared camera. The imaging unit 30 captures, for example, a face image of the user D with the infrared camera while illuminating the user D with the infrared LED, and inputs the image to the input device 10.

表示部４０は、例えば上述したセンターディスプレイ４１やＨＵＤ４２等であって、表示制御部５０が出力する視覚情報としての画像をユーザＤへ提示する。 The display unit 40 is, for example, the center display 41 or the HUD 42 described above, and presents an image as visual information output from the display control unit 50 to the user D.

表示制御部５０は、例えば入力装置１０がユーザＤから受け付けた操作内容に基づき、表示部４０に表示させる画像を生成し、表示部４０へ出力する。また、表示制御部５０は、表示部４０を制御して、ユーザＤに画像を提示させる。 For example, the display control unit 50 generates an image to be displayed on the display unit 40 based on the operation content received by the input device 10 from the user D, and outputs the image to the display unit 40. In addition, the display control unit 50 controls the display unit 40 to cause the user D to present an image.

各種機器６０は、例えば上述したナビ装置やエアコン６１等であって、入力装置１０を介したユーザＤの制御対象である。スピーカ７０は、例えば入力装置１０がユーザＤから受け付けた操作内容に基づき、聴覚情報としての音声をユーザＤへ提示する。 The various devices 60 are, for example, the above-described navigation device, the air conditioner 61, and the like, and are objects to be controlled by the user D via the input device 10. The speaker 70 presents audio as auditory information to the user D based on, for example, the operation content received by the input device 10 from the user D.

記憶部８０は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、組み合わせ情報８０ａと、振動状態情報８０ｂとを記憶する。 The storage unit 80 is a storage device such as a hard disk drive, a nonvolatile memory, or a register, and stores combination information 80a and vibration state information 80b.

入力装置１０は、既に述べたように例えばタッチパッドやタッチパネル等を含む情報入力デバイスであって、ユーザＤからの入力操作を受け付け、その操作内容に応じた信号を表示制御部５０や各種機器６０、スピーカ７０へ出力する。 As described above, the input device 10 is an information input device including, for example, a touch pad, a touch panel, and the like. The input device 10 receives an input operation from the user D and outputs a signal corresponding to the operation content to the display control unit 50 and various devices 60. And output to the speaker 70.

入力装置１０は、操作部１１と、制御部１２と、振動部１３とを備える。まず、操作部１１と振動部１３について説明する。操作部１１は、例えば上述のタッチパッドやタッチパネル等の平板状のセンサであり、ユーザＤによる入力操作を受け付ける操作面Ｐ（例えば図１Ａ参照）を備える。ユーザＤが操作面Ｐに対し接触動作を行うと、操作部１１はユーザＤの接触操作に応じたセンサ値を制御部１２へ出力する。 The input device 10 includes an operation unit 11, a control unit 12, and a vibration unit 13. First, the operation unit 11 and the vibration unit 13 will be described. The operation unit 11 is, for example, a flat plate sensor such as the touch pad or the touch panel described above, and includes an operation surface P (see, for example, FIG. 1A) that receives an input operation by the user D. When the user D performs a contact operation on the operation surface P, the operation unit 11 outputs a sensor value corresponding to the contact operation of the user D to the control unit 12.

振動部１３は、少なくとも一つの振動素子１３ａ（例えば図１Ｂの（ａ）参照）を備える。振動素子１３ａは、例えば圧電素子（ピエゾ素子）等の圧電アクチュエータであって、制御部１２から与えられた電圧信号に応じて伸縮することで操作部１１を振動させる。振動素子１３ａは、例えば操作部１１の端部など、ユーザＤが視認できない位置に、操作部１１と接するように配置される。 The vibration unit 13 includes at least one vibration element 13a (for example, see FIG. 1B (a)). The vibration element 13 a is a piezoelectric actuator such as a piezoelectric element (piezo element), for example, and vibrates the operation unit 11 by expanding and contracting according to a voltage signal given from the control unit 12. The vibration element 13a is disposed so as to be in contact with the operation unit 11 at a position where the user D cannot visually recognize, such as an end of the operation unit 11, for example.

なお、既に図１Ｂの（ａ）に示した例では、振動素子１３ａは、操作面Ｐの左右外側の領域であって、操作面Ｐと対向する面に配置される場合を示したが、かかる配置は一例であり、これに限られるものではない。 In the example shown in (a) of FIG. 1B, the vibration element 13a is a region on the left and right outer sides of the operation surface P and is disposed on the surface facing the operation surface P. The arrangement is an example, and the present invention is not limited to this.

例えば一つの振動素子１３ａのみで操作面Ｐを振動させてもよい。このように、振動素子１３ａの個数や配置は任意であるが、操作面Ｐの全体を均一に振動させるような個数および配置とすることが好ましい。また、振動素子１３ａは圧電素子に限られず、例えば操作面Ｐを超音波周波数帯で振動させることが可能な素子であればよい。 For example, the operation surface P may be vibrated with only one vibration element 13a. As described above, the number and arrangement of the vibration elements 13a are arbitrary, but the number and arrangement are preferable so as to vibrate the entire operation surface P uniformly. The vibration element 13a is not limited to a piezoelectric element, and may be any element that can vibrate the operation surface P in an ultrasonic frequency band, for example.

つづいて制御部１２について説明する。図２に示すように、制御部１２は、音声受付部１２ａと、視線検出部１２ｂと、選択部１２ｃと、設定部１２ｄと、検出部１２ｅと、振動制御部１２ｆと、操作処理部１２ｇとを備える。 Next, the control unit 12 will be described. As shown in FIG. 2, the control unit 12 includes a voice reception unit 12a, a line-of-sight detection unit 12b, a selection unit 12c, a setting unit 12d, a detection unit 12e, a vibration control unit 12f, and an operation processing unit 12g. Is provided.

制御部１２は、入力装置１０の各部を制御する。音声受付部１２ａは、マイク２０から入力される音声を受け付けて音声内容を解析し、解析結果を選択部１２ｃへ渡す。 The control unit 12 controls each unit of the input device 10. The voice reception unit 12a receives the voice input from the microphone 20, analyzes the voice content, and passes the analysis result to the selection unit 12c.

視線検出部１２ｂは、撮像部３０によって撮像された顔画像中の、例えば眼球上に生じる赤外照明反射像（角膜反射）と瞳孔との位置関係によりユーザＤの視線方向を検出し、検出結果を選択部１２ｃへ渡す。 The line-of-sight detection unit 12b detects the direction of the line of sight of the user D based on the positional relationship between, for example, an infrared illumination reflection image (corneal reflection) generated on the eyeball in the face image captured by the imaging unit 30, and the detection result. To the selection unit 12c.

選択部１２ｃは、音声受付部１２ａの解析結果を受け取った場合、かかる解析結果に基づいてユーザＤの所望する制御対象を選択する。また、選択部１２ｃは、視線検出部１２ｂの検出結果を受け取った場合、かかる検出結果に基づいてユーザＤの所望する制御対象を選択する。 When receiving the analysis result of the voice reception unit 12a, the selection unit 12c selects a control target desired by the user D based on the analysis result. Further, when receiving the detection result of the line-of-sight detection unit 12b, the selection unit 12c selects a control target desired by the user D based on the detection result.

すなわち、選択部１２ｃは、ユーザＤの注視している方向から制御対象を選択することができる。また、選択部１２ｃは、選択した制御対象を設定部１２ｄへ通知する。 That is, the selection unit 12c can select a control target from the direction in which the user D is gazing. The selection unit 12c notifies the selected control target to the setting unit 12d.

設定部１２ｄは、ユーザＤの接触操作が検出された場合のこの接触操作に対応する振動素子１３ａの振動状態を、選択部１２ｃによって選択された制御対象に応じて設定する。 The setting unit 12d sets the vibration state of the vibration element 13a corresponding to the contact operation when the contact operation of the user D is detected according to the control target selected by the selection unit 12c.

具体的に、設定部１２ｄは、上述のジェスチャ操作のそれぞれに対応する振動素子１３ａの振動状態の組み合わせが制御対象によって異なるように規定された組み合わせ情報８０ａに基づき、選択部１２ｃによって選択された制御対象へ向けてジェスチャ操作のそれぞれが行われた場合における各制御対象に固有の振動素子１３ａの振動状態を設定する。組み合わせ情報８０ａの一例については図５Ａを用いて後述する。 Specifically, the setting unit 12d selects the control selected by the selection unit 12c based on the combination information 80a that is defined so that the combination of vibration states of the vibration element 13a corresponding to each of the gesture operations described above varies depending on the control target. The vibration state of the vibration element 13a unique to each control object when each gesture operation is performed toward the object is set. An example of the combination information 80a will be described later with reference to FIG. 5A.

また、設定部１２ｄは、設定された設定内容を振動状態情報８０ｂとして記憶部８０へ記憶させる。例えば、振動状態情報８０ｂは、振動素子１３ａの制御値を含む情報である。振動状態情報８０ｂの一例については図５Ｂを用いて後述する。 The setting unit 12d stores the set content in the storage unit 80 as vibration state information 80b. For example, the vibration state information 80b is information including a control value of the vibration element 13a. An example of the vibration state information 80b will be described later with reference to FIG. 5B.

検出部１２ｅは、操作部１１が出力するセンサ値に基づき、操作面Ｐに対するユーザＤの所定のジェスチャ操作を検出し、検出結果を振動制御部１２ｆおよび操作処理部１２ｇへ渡す。 The detection unit 12e detects a predetermined gesture operation of the user D with respect to the operation surface P based on the sensor value output from the operation unit 11, and passes the detection result to the vibration control unit 12f and the operation processing unit 12g.

振動制御部１２ｆは、検出部１２ｅによってジェスチャ操作が検出された場合に、設定部１２ｄによって設定された振動状態となるように、振動状態情報８０ｂに基づいて振動部１３の振動素子１３ａを制御する。振動制御部１２ｆの振動素子１３ａの制御による触覚のフィードバックの具体例については図３Ａ〜図３Ｄを用いて後述する。 The vibration control unit 12f controls the vibration element 13a of the vibration unit 13 based on the vibration state information 80b so that the vibration state set by the setting unit 12d is obtained when a gesture operation is detected by the detection unit 12e. . A specific example of tactile feedback by the control of the vibration element 13a of the vibration control unit 12f will be described later with reference to FIGS. 3A to 3D.

操作処理部１２ｇは、検出部１２ｅによって検出されたジェスチャ操作に対応する操作内容を、表示制御部５０に視覚的に表示部４０へフィードバックさせる。また、操作処理部１２ｇは、かかるジェスチャ操作に対応する操作内容を各種機器６０へ反映させる処理を行う。 The operation processing unit 12g causes the display control unit 50 to visually feed back the operation content corresponding to the gesture operation detected by the detection unit 12e to the display unit 40. In addition, the operation processing unit 12g performs a process of reflecting the operation content corresponding to the gesture operation on the various devices 60.

また、操作処理部１２ｇは、かかるジェスチャ操作に対応する例えばガイダンス音声をスピーカ７０から出力させる。すなわち、ユーザＤへ操作面Ｐから触覚をフィードバックする場合に、このようにスピーカ７０からのガイダンス音声を併用することによって、ユーザＤの例えばブラインドタッチ操作を聴覚的に支援し、操作性を高めることができる。 In addition, the operation processing unit 12g causes the speaker 70 to output, for example, a guidance voice corresponding to the gesture operation. That is, when a tactile sensation is fed back to the user D from the operation surface P, the guidance voice from the speaker 70 is used in this manner, thereby assisting the user D for example in a blind touch operation and enhancing operability. Can do.

次に、制御対象ごとの触覚のフィードバックの具体例について、図３Ａ〜図３Ｄを用いて説明する。図３Ａ〜図３Ｄは、触覚のフィードバックの具体例を示す図（その１）〜（その４）である。 Next, a specific example of tactile feedback for each control target will be described with reference to FIGS. 3A to 3D. 3A to 3D are diagrams (part 1) to (part 4) illustrating specific examples of tactile feedback.

まず図３Ａおよび図３Ｂでは、制御対象がオーディオモードにおけるボリュームＵＰ／ＤＯＷＮの機能である場合について説明する。したがって、ユーザＤが、例えば「ボリューム」といった発話を行い、制御対象として選択済みであるものとする。 First, in FIGS. 3A and 3B, a case where the control target is the function of volume UP / DOWN in the audio mode will be described. Therefore, it is assumed that the user D has made an utterance such as “volume” and has been selected as a control target.

かかる場合、図３Ａに示すように、例えば入力装置１０の操作面Ｐには、ボリューム調整ダイヤルに見立てた触覚のフィードバックが可能となるように、振動素子１３ａの振動状態が設定される。 In this case, as shown in FIG. 3A, for example, the vibration state of the vibration element 13a is set on the operation surface P of the input device 10 so as to enable tactile feedback as if it were a volume adjustment dial.

具体的には、かかる場合、例えば操作面Ｐに円形の軌跡を描くような領域Ｒ１が設定される。また、これ以外の領域は、領域Ｒ２として設定される。そして、領域Ｒ１は、摩擦力の小さい領域として設定され、領域Ｒ２は、相対的に摩擦力の大きい領域として設定される。 Specifically, in such a case, for example, a region R1 that draws a circular locus on the operation surface P is set. The other area is set as the area R2. The region R1 is set as a region where the frictional force is small, and the region R2 is set as a region where the frictional force is relatively large.

摩擦力の大小は、振動制御部１２ｆによる振動素子１３ａの振動状態の制御によって実現される。すなわち、振動制御部１２ｆは、指Ｕ１の接触位置が領域Ｒ１内である場合においては、例えば振動素子１３ａが高周波（例えば超音波周波数帯）で振動する電圧信号を生成し、かかる電圧信号によって振動素子１３ａを振動させる。 The magnitude of the frictional force is realized by controlling the vibration state of the vibration element 13a by the vibration control unit 12f. That is, when the contact position of the finger U1 is within the region R1, the vibration control unit 12f generates a voltage signal that causes the vibration element 13a to vibrate at a high frequency (for example, an ultrasonic frequency band), and vibrates using the voltage signal. The element 13a is vibrated.

また、これに対し、振動制御部１２ｆは、指Ｕ１の接触位置が領域Ｒ２内である場合においては、領域Ｒ１の場合よりも低い周波数帯で振動する電圧信号を生成し、かかる電圧信号によって振動素子１３ａを振動させる。 On the other hand, when the contact position of the finger U1 is in the region R2, the vibration control unit 12f generates a voltage signal that vibrates in a lower frequency band than in the region R1, and the vibration is generated by the voltage signal. The element 13a is vibrated.

これにより、領域Ｒ１においては、指Ｕ１が滑りやすい触覚をユーザＤへフィードバックすることができる（図中の矢印３０１参照）。また、領域Ｒ１から逸れた領域Ｒ２においては、指Ｕ１が滑りにくい触覚をユーザＤへフィードバックすることができる（図中の矢印３０２参照）。 Thereby, in area | region R1, the tactile sense that finger | toe U1 is easy to slip can be fed back to the user D (refer arrow 301 in a figure). Further, in the region R2 deviating from the region R1, a tactile sensation in which the finger U1 is difficult to slip can be fed back to the user D (see arrow 302 in the figure).

したがって、ユーザＤは、滑りやすい触覚のフィードバックによって領域Ｒ１に沿って案内されつつ、指Ｕ１で操作面Ｐに実際のダイヤル調整のイメージに近い円形の軌跡を描くことによって、ボリュームＵＰ／ＤＯＷＮの機能の操作入力を行うことができる。なお、このとき、表示部４０には、図３Ａに示すように例えばボリューム調整ダイヤルの画像が視覚的にフィードバックされていてもよい。 Accordingly, the user D is guided along the region R1 by slippery tactile feedback, and draws a circular locus close to the image of actual dial adjustment on the operation surface P with the finger U1, so that the function of the volume UP / DOWN The operation input can be performed. At this time, for example, an image of a volume adjustment dial may be visually fed back to the display unit 40 as shown in FIG. 3A.

これは、例えば視線検出部１２ｂによってユーザＤがセンターディスプレイ４１を継続して注視していることが明らかである場合等に有効である。すなわち、この場合には、ユーザＤが運転動作にないことが想定されるので、触覚に視覚のフィードバックを併用することによって確実な制御対象の操作が可能になる。 This is effective, for example, when it is clear that the user D is continuously gazing at the center display 41 by the line-of-sight detection unit 12b. That is, in this case, since it is assumed that the user D is not in the driving operation, the operation of the controlled object can be surely performed by using visual feedback together with the sense of touch.

一方、例えば視線検出部１２ｂによってユーザＤがＨＵＤ４２を注視していることが明らかである場合は、ユーザＤが運転動作にあることが想定されるので、安全性の観点から表示部４０への視覚的なフィードバックは限定的にとどめ、操作面Ｐからの例えばブラインドタッチ操作のみ受け付けることが好ましい。 On the other hand, for example, when it is clear that the user D is gazing at the HUD 42 by the line-of-sight detection unit 12b, it is assumed that the user D is in the driving operation. It is preferable that the feedback is limited and only a blind touch operation from the operation surface P is accepted.

そのようなブラインドタッチ操作を支援する触覚のフィードバックの例としては、例えば図３Ｂに示すように、指Ｕ１に円形の軌跡を描かせた場合に（図中の矢印３０３参照）、ボリューム調整ダイヤルの目盛りに対応する位置で「カチッ！」とした境界を乗り越える触覚を与えられるように摩擦力を変化させる制御を行ってもよい。 As an example of tactile feedback that supports such a blind touch operation, for example, as shown in FIG. 3B, when a circular locus is drawn on the finger U1 (see arrow 303 in the figure), the volume adjustment dial Control may be performed to change the frictional force so as to give a tactile sensation over the boundary “click” at the position corresponding to the scale.

このとき、例えばスピーカ７０を介して「カチッ！」という音を出力してもよく、あるいは振動制御部１２ｆによって振動部１３の振動素子１３ａを可聴領域で振動させることで音を出力するようにしてもよい。 At this time, for example, a “click!” Sound may be output via the speaker 70, or the sound may be output by vibrating the vibration element 13a of the vibration unit 13 in the audible region by the vibration control unit 12f. Also good.

次に図３Ｃおよび図３Ｄでは、制御対象がエアコン６１の設定温度調整の機能である場合について説明する。したがって、ユーザＤが、例えば「エアコン温度」といった発話を行い、制御対象として選択済みであるものとする。 Next, with reference to FIGS. 3C and 3D, a case where the control target is a function of adjusting the set temperature of the air conditioner 61 will be described. Therefore, it is assumed that the user D has made a speech such as “air conditioner temperature” and has been selected as a control target.

かかる場合、図３Ｃに示すように、例えば入力装置１０の操作面Ｐには、温度調整のＵＰ／ＤＯＷＮボタンに見立てた触覚のフィードバックが可能となるように、振動素子１３ａの振動状態が設定される。 In this case, as shown in FIG. 3C, for example, the vibration state of the vibration element 13a is set on the operation surface P of the input device 10 so as to enable tactile feedback as if it were an UP / DOWN button for temperature adjustment. The

具体的には、かかる場合、例えば操作面ＰにＵＰボタンに対応する領域Ｒ１１とＤＯＷＮボタンに対応する領域Ｒ１２とが設定される。これら領域Ｒ１１，Ｒ１２は、摩擦力の大きい領域として設定される。また、領域Ｒ１１，Ｒ１２以外の領域は、相対的に摩擦力の小さい領域として設定される。 Specifically, in this case, for example, an area R11 corresponding to the UP button and an area R12 corresponding to the DOWN button are set on the operation surface P. These regions R11 and R12 are set as regions having a large frictional force. In addition, regions other than the regions R11 and R12 are set as regions having relatively small frictional forces.

これにより、領域Ｒ１１においては、ＵＰボタンが存在する触覚をユーザＤへフィードバックすることができる。また、領域Ｒ１２においては、ＤＯＷＮボタンが存在する触覚をユーザＤへフィードバックすることができる。 Thereby, in area | region R11, the tactile sense in which an UP button exists can be fed back to the user D. In the region R12, the sense of touch where the DOWN button exists can be fed back to the user D.

そして、ユーザＤは、図３Ｄに示すように、例えば領域Ｒ１１を押下することによって、エアコン６１の設定温度を上げる操作を行うことができる。このとき、例えばユーザＤが領域Ｒ１１から指Ｕ１を離したタイミングで（図中の矢印３０４参照）、スピーカ７０から「設定温度はＸＸ℃です」といったガイダンス音声を出力することによって、上述したブラインドタッチ操作を操作性高く確実に行うのに資することができる。 Then, as shown in FIG. 3D, the user D can perform an operation of increasing the set temperature of the air conditioner 61 by pressing the region R11, for example. At this time, for example, at the timing when the user D releases the finger U1 from the region R11 (see the arrow 304 in the figure), the blind touch described above is output from the speaker 70 such as “the set temperature is XX ° C.”. It can contribute to performing the operation with high operability and reliability.

なお、図３Ｃおよび図３Ｄでは、温度調整のＵＰ／ＤＯＷＮボタンに対応する例を示したが、あくまで一例であって、例えば上下に延びる直線状のスライドバーに見立てた領域を設定し、かかる領域の摩擦力を小さくして、指Ｕ１をかかる領域で上げ下げすることで操作してもよい。 3C and 3D show an example corresponding to the temperature adjustment UP / DOWN button. However, the example is just an example, and for example, an area resembling a linear slide bar extending up and down is set. May be operated by raising and lowering the finger U1 in such a region.

次に、ジェスチャ操作について、図４Ａ〜図４Ｃを用いて説明する。これまでは、例えば指Ｕ１で円形の軌跡を描く場合や、上下に上げ下げする場合を説明したため、ここではそれ以外の場合を説明する。 Next, the gesture operation will be described with reference to FIGS. 4A to 4C. So far, for example, a case where a circular locus is drawn with the finger U1 and a case where it is raised and lowered up and down have been described, and the other cases will be described here.

図４Ａ〜図４Ｃは、ジェスチャ操作の具体例を示す図（その１）〜（その３）である。ジェスチャ操作は、上述したように、ユーザＤの覚えやすい平易な態様であることが操作性を高めるうえで好ましい。 4A to 4C are diagrams (part 1) to (part 3) illustrating specific examples of the gesture operation. As described above, the gesture operation is preferably a simple mode that is easy for the user D to remember in order to improve operability.

その一つとして、例えば図４Ａに示すように、指Ｕ１を操作面Ｐにおいて、左右方向にスライドさせるジェスチャ操作を挙げることができる。 As one of them, for example, as shown in FIG. 4A, a gesture operation of sliding the finger U1 on the operation surface P in the left-right direction can be exemplified.

また、他の一つとして、例えば図４Ｂに示すように、指Ｕ１を操作面Ｐにおいて、三角形の軌跡を描くようにスライドさせるジェスチャ操作を挙げることができる。 As another example, as shown in FIG. 4B, for example, a gesture operation in which the finger U1 is slid on the operation surface P so as to draw a triangular trajectory can be given.

また、他の一つとして、例えば図４Ｃに示すように、指Ｕ１を操作面Ｐにおいて、×印の軌跡を描くようにスライドさせるジェスチャ操作を挙げることができる。 As another example, as shown in FIG. 4C, for example, a gesture operation in which the finger U1 is slid on the operation surface P so as to draw a trajectory of an X mark can be given.

本実施形態では、これら平易で覚えやすい数個のジェスチャ操作のそれぞれに対応する振動状態の組み合わせを、制御対象によって異なるように設定する。 In the present embodiment, the combination of vibration states corresponding to each of these simple and easy-to-remember gesture operations is set to be different depending on the control target.

言い換えれば、本実施形態の入力装置１０では、異なる制御対象の間で共通に用いることができる平易なジェスチャ操作のセットによって制御対象をそれぞれ操作し、制御対象が異なれば、その各ジェスチャ操作にはそれぞれ異なる触覚がフィードバックされることとなる。 In other words, in the input device 10 according to the present embodiment, each control object is operated by a set of simple gesture operations that can be used in common among different control objects. Different tactile sensations will be fed back.

これにより、ユーザＤは、数個の平易なジェスチャ操作を覚えるだけで、多様な制御対象を同様のジェスチャ操作で操作でき、しかも異なる制御対象ごとに異なる触覚のフィードバックを受けることができるので、多様な制御対象を操作性高く操作することができる。 Thereby, the user D can operate various control objects with the same gesture operation only by learning several simple gesture operations, and can receive feedback of different tactile sensations for each different control object. It is possible to operate a simple control target with high operability.

これを実現するための、組み合わせ情報８０ａおよび振動状態情報８０ｂの具体例について、図５Ａおよび図５Ｂを用いて説明する。図５Ａは、組み合わせ情報８０ａの具体例を示す図である。図５Ｂは、振動状態情報８０ｂの具体例を示す図である。 Specific examples of the combination information 80a and the vibration state information 80b for realizing this will be described with reference to FIGS. 5A and 5B. FIG. 5A is a diagram illustrating a specific example of the combination information 80a. FIG. 5B is a diagram illustrating a specific example of the vibration state information 80b.

まず、組み合わせ情報８０ａは、既に述べたように、ジェスチャ操作のそれぞれに対応する振動素子１３ａの振動状態の組み合わせが制御対象によって異なるように規定された情報である。 First, the combination information 80a is information that is defined so that the combination of vibration states of the vibration element 13a corresponding to each gesture operation varies depending on the control target, as described above.

具体的には、図５Ａに示すように、組み合わせ情報８０ａは、例えば制御対象項目と、ジェスチャ操作項目と、機能項目と、振動状態項目とを含んでいる。制御対象項目は例えばさらに機器項目とかかる機器の有するモード項目とに内訳される。 Specifically, as illustrated in FIG. 5A, the combination information 80a includes, for example, a control target item, a gesture operation item, a function item, and a vibration state item. Control target items are further broken down into, for example, device items and mode items possessed by such devices.

例えばナビ装置は、制御対象としてナビモード、オーディオモードといった複数のモードを有する。各モードには、共通のジェスチャ操作のセットが割り当てられる。例えばここでは、先に示した「上下」、「左右」、「円形」、「三角形」、「×印」の五つのジェスチャ操作のセットを想定している。 For example, the navigation apparatus has a plurality of modes such as a navigation mode and an audio mode as control targets. Each mode is assigned a common set of gesture operations. For example, here, the above-described set of five gesture operations “upper and lower”, “left and right”, “circular”, “triangle”, and “x” is assumed.

そして、ナビ装置のナビモードにおいては、例えば「上下」のジェスチャ操作に地図スクロール（上下）の機能が割り当てられ、振動状態項目にはこれに固有に対応する第１の振動状態が対応付けられる。 In the navigation mode of the navigation device, for example, a map scroll (up / down) function is assigned to the “up / down” gesture operation, and the vibration state item is associated with a first vibration state corresponding to the map state.

一方、ナビ装置のオーディオモードにおいては、同じ「上下」のジェスチャ操作にトラック切替の機能が割り当てられ、振動状態項目にはこれに固有に対応する第６の振動状態が対応付けられる。 On the other hand, in the audio mode of the navigation device, a track switching function is assigned to the same “up / down” gesture operation, and a sixth vibration state corresponding to the vibration state item is associated with the vibration state item.

同様に、ナビモードおよびオーデイオモードにおける「左右」、「円形」、「三角形」、「×印」の各ジェスチャ操作にもそれぞれ個別の機能が割り当てられ、振動状態項目にはこれらにそれぞれ固有に対応する第２〜５および７〜１０の振動状態が対応付けられる。 Similarly, separate functions are assigned to each gesture operation of “Left / Right”, “Circle”, “Triangle”, and “X” in the navigation mode and audio mode, and the vibration state items correspond to these individually. The 2nd to 5th and 7th to 10th vibration states are associated.

エアコン６１については、例えば「上下」のジェスチャ操作に対し設定温度ＵＰ／ＤＯＷＮの機能が割り当てられ、これに固有に対応する例えば第１１の振動状態が対応付けられる。 For the air conditioner 61, for example, the function of the set temperature UP / DOWN is assigned to the “up / down” gesture operation, and, for example, the eleventh vibration state corresponding to the function is uniquely associated.

ところで、制御対象となる各種機器６０およびその各モードは、未接続であったり故障中であったりすることで選択自体が無効である場合がある。かかる場合のため、組み合わせ情報８０ａは、例えば「共通」的に、振動素子１３ａを振動させない第１２の振動状態を含むことができる。 By the way, various devices 60 to be controlled and their modes may be invalid because they are not connected or are in failure. For such a case, the combination information 80a can include a twelfth vibration state in which the vibration element 13a is not vibrated, for example, “in common”.

上述した設定部１２ｄは、例えば図５Ａのように規定された組み合わせ情報８０ａを参照し、検出部１２ｅによってジェスチャ操作が検出された場合のこのジェスチャ操作に対応する振動素子１３ａの振動状態を、選択部１２ｃによって選択された制御対象に応じて設定することとなる。かかる設定は、例えば振動状態情報８０ｂにいずれの振動状態が選択されたかを示す情報を設定部１２ｄが書き込むことによって行われる。 The setting unit 12d described above refers to, for example, the combination information 80a defined as illustrated in FIG. 5A, and selects the vibration state of the vibration element 13a corresponding to the gesture operation when the gesture operation is detected by the detection unit 12e. This is set according to the control target selected by the unit 12c. Such setting is performed, for example, when the setting unit 12d writes information indicating which vibration state is selected in the vibration state information 80b.

振動状態情報８０ｂは、各振動状態における振動素子１３ａの制御値を含む情報である。具体的には、図５Ｂに示すように、振動状態情報８０ｂは、例えば設定中項目と、振動状態項目と、接触位置座標項目と、振動周波数項目とを含んでいる。 The vibration state information 80b is information including a control value of the vibration element 13a in each vibration state. Specifically, as shown in FIG. 5B, the vibration state information 80b includes, for example, a setting item, a vibration state item, a contact position coordinate item, and a vibration frequency item.

振動状態項目は、各振動状態を識別する情報であり、各振動状態には、操作面Ｐにおける指Ｕ１の接触位置座標が定義されている。そして、各接触位置座標には、例えば振動素子１３ａを振動させる振動周波数が対応付けられる。 The vibration state item is information for identifying each vibration state, and the contact position coordinates of the finger U1 on the operation surface P are defined for each vibration state. Each contact position coordinate is associated with a vibration frequency for vibrating the vibration element 13a, for example.

そして、設定中項目には、いずれの振動状態が選択されたかを示す情報が設定部１２ｄにより書き込まれる。例えば図５Ｂには、第１の振動状態にチェックマークが付いている例を示しているが、設定部１２ｄがチェックマークを付けたことにより、第１の振動状態が設定中であることを示すものである。 In the setting item, information indicating which vibration state has been selected is written by the setting unit 12d. For example, FIG. 5B shows an example in which a check mark is added to the first vibration state, but the setting unit 12d adds a check mark to indicate that the first vibration state is being set. Is.

なお、図５Ｂには、例えば図５Ａで振動素子１３ａを振動させないとした第１２の振動状態に関する例も示している。かかる第１２の振動状態では、接触位置座標や振動周波数といった制御値は、例えば定義されない。 FIG. 5B also shows an example relating to the twelfth vibration state in which the vibration element 13a is not vibrated in FIG. 5A, for example. In the twelfth vibration state, control values such as contact position coordinates and vibration frequency are not defined, for example.

振動制御部１２ｆは、このような振動状態情報８０ｂを参照し、設定中である振動状態に対応付けられた接触位置座標および振動周波数といった制御値を用いることによって、振動素子１３ａを制御することとなる。 The vibration control unit 12f refers to such vibration state information 80b and controls the vibration element 13a by using control values such as contact position coordinates and vibration frequency associated with the vibration state being set. Become.

なお、図５Ａおよび図５Ｂに示した組み合わせ情報８０ａおよび振動状態情報８０ｂはあくまで一例であって、その構成を限定するものではない。 Note that the combination information 80a and the vibration state information 80b illustrated in FIGS. 5A and 5B are merely examples, and the configurations thereof are not limited.

次に、実施形態に係る入力装置１０が実行する処理手順について、図６を用いて説明する。図６は、実施形態に係る入力装置１０が実行する処理手順を示すフローチャートである。 Next, a processing procedure executed by the input device 10 according to the embodiment will be described with reference to FIG. FIG. 6 is a flowchart illustrating a processing procedure executed by the input device 10 according to the embodiment.

図６に示すように、入力装置１０は、まず選択部１２ｃが、ユーザＤの挙動に基づいて制御対象を選択する（ステップＳ１０１）。つづいて、設定部１２ｄが、選択部１２ｃの選択した制御対象に応じた振動素子１３ａの振動状態を設定する（ステップＳ１０２）。 As illustrated in FIG. 6, in the input device 10, the selection unit 12 c first selects a control target based on the behavior of the user D (Step S <b> 101). Subsequently, the setting unit 12d sets the vibration state of the vibration element 13a corresponding to the control target selected by the selection unit 12c (step S102).

つづいて、検出部１２ｅが、操作面Ｐに対するユーザＤの接触操作を検出する（ステップＳ１０３）。 Subsequently, the detection unit 12e detects the contact operation of the user D with respect to the operation surface P (step S103).

そして、振動制御部１２ｆが、設定された振動状態情報８０ｂに基づき、振動部１３の振動素子１３ａを制御する。 Then, the vibration control unit 12f controls the vibration element 13a of the vibration unit 13 based on the set vibration state information 80b.

このとき振動制御部１２ｆは、操作が有効である場合（ステップＳ１０４，Ｙｅｓ）、すなわち制御対象が選択部１２ｃによって有効に選択されていれば、振動状態情報８０ｂに基づいて振動素子１３ａを振動させることによって制御対象に応じた触覚をフィードバックし（ステップＳ１０５）、処理を終了する。 At this time, the vibration control unit 12f vibrates the vibration element 13a based on the vibration state information 80b if the operation is valid (Yes in step S104), that is, if the control target is effectively selected by the selection unit 12c. Thus, the tactile sensation according to the controlled object is fed back (step S105), and the process is terminated.

なお、ステップＳ１０５にて上述の各ジェスチャ操作に応じた振動状態とするためには、ユーザＤが所望するジェスチャ操作に対応する振動状態を選択する必要があるが、例えば上述のマイク２０からの音声認識等によって選択すればよい。 Note that in order to obtain a vibration state corresponding to each gesture operation described above in step S105, it is necessary to select a vibration state corresponding to the gesture operation desired by the user D. For example, the sound from the microphone 20 described above is selected. It may be selected by recognition or the like.

音声認識の場合、具体的には、次のような手順を踏むこととなる。まずユーザＤが、「円形」のジェスチャ操作を行いたければ、例えば「円」との発話を行い、音声受付部１２ａがこのときの音声を受け付けて解析結果を選択部１２ｃへ渡す。 In the case of speech recognition, specifically, the following procedure is taken. First, if the user D wants to perform a “circular” gesture operation, he / she utters “circle”, for example, and the voice reception unit 12a receives the voice at this time and passes the analysis result to the selection unit 12c.

選択部１２ｃは、解析結果に基づいて「円形」のジェスチャ操作を選択し、設定部１２ｄへ通知する。設定部１２ｄは、かかる通知を受けて、選択中の制御対象におけるこの「円形」のジェスチャ操作に応じた振動状態を組み合わせ情報８０ａから選択し、かかる振動状態を「設定中」であると振動状態情報８０ｂへ設定する。 The selection unit 12c selects a “circular” gesture operation based on the analysis result, and notifies the setting unit 12d of the gesture operation. Upon receiving the notification, the setting unit 12d selects a vibration state corresponding to the “circular” gesture operation on the control target being selected from the combination information 80a, and if the vibration state is “setting”, the vibration state Information 80b is set.

そして、その設定結果に基づき、振動制御部１２ｆが、ユーザＤの所望の「円形」のジェスチャ操作に対応する振動状態となるように振動部１３の振動素子１３ａを制御する。後はユーザＤは、例えば既に図３Ａで示した領域Ｒ１に沿って案内されつつ、指Ｕ１を動かして「円形」のジェスチャ操作を行えばよい。 Then, based on the setting result, the vibration control unit 12f controls the vibration element 13a of the vibration unit 13 so as to be in a vibration state corresponding to the desired “circular” gesture operation of the user D. Thereafter, for example, the user D may perform a “circular” gesture operation by moving the finger U1 while being guided along the region R1 shown in FIG. 3A.

また、図６に示すように、振動制御部１２ｆは、操作が無効である場合（ステップＳ１０４，Ｎｏ）、すなわち選択部１２ｃによる制御対象の選択が無効であれば、振動状態情報８０ｂに基づいて振動素子１３ａを振動させないことによって制御対象に応じた触覚をフィードバックせずに（ステップＳ１０６）、処理を終了する。 Further, as shown in FIG. 6, the vibration control unit 12f is based on the vibration state information 80b when the operation is invalid (No at Step S104), that is, when the selection of the control target by the selection unit 12c is invalid. By not vibrating the vibration element 13a, the process is terminated without feeding back the tactile sensation according to the control target (step S106).

本実施形態に係る統合入力システム１は、図７に一例として示す構成のコンピュータ６００で実現することができる。図７は、実施形態に係る統合入力システム１の機能を実現するコンピュータの一例を示すハードウェア構成図である。 The integrated input system 1 according to the present embodiment can be realized by a computer 600 having a configuration shown as an example in FIG. FIG. 7 is a hardware configuration diagram illustrating an example of a computer that realizes the functions of the integrated input system 1 according to the embodiment.

コンピュータ６００は、ＣＰＵ（Central Processing Unit）６１０と、ＲＯＭ（Read Only Memory）６２０と、ＲＡＭ（Random Access Memory）６３０と、ＨＤＤ（Hard Disk Drive）６４０とを備える。また、コンピュータ６００は、メディアインターフェイス（Ｉ／Ｆ）６５０と、通信インターフェイス（Ｉ／Ｆ）６６０と、入出力インターフェイス（Ｉ／Ｆ）６７０とを備える。 The computer 600 includes a CPU (Central Processing Unit) 610, a ROM (Read Only Memory) 620, a RAM (Random Access Memory) 630, and an HDD (Hard Disk Drive) 640. The computer 600 also includes a media interface (I / F) 650, a communication interface (I / F) 660, and an input / output interface (I / F) 670.

なお、コンピュータ６００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ６４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ６４０に代えてＳＳＤを設けることとしてもよい。 The computer 600 may include an SSD (Solid State Drive), and the SSD may execute a part or all of the functions of the HDD 640. Further, an SSD may be provided instead of the HDD 640.

ＣＰＵ６１０は、ＲＯＭ６２０およびＨＤＤ６４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６２０は、コンピュータ６００の起動時にＣＰＵ６１０によって実行されるブートプログラムや、コンピュータ６００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ６４０は、ＣＰＵ６１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。 The CPU 610 operates based on a program stored in at least one of the ROM 620 and the HDD 640 and controls each unit. The ROM 620 stores a boot program executed by the CPU 610 when the computer 600 starts up, a program depending on the hardware of the computer 600, and the like. The HDD 640 stores a program executed by the CPU 610, data used by the program, and the like.

メディアＩ／Ｆ６５０は、記憶媒体６８０に格納されたプログラムやデータを読み取り、ＲＡＭ６３０を介してＣＰＵ６１０に提供する。ＣＰＵ６１０は、かかるプログラムを、メディアＩ／Ｆ６５０を介して記憶媒体６８０からＲＡＭ６３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ６１０は、かかるデータを用いてプログラムを実行する。記憶媒体６８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。 The media I / F 650 reads programs and data stored in the storage medium 680 and provides them to the CPU 610 via the RAM 630. The CPU 610 loads such a program from the storage medium 680 onto the RAM 630 via the media I / F 650, and executes the loaded program. Alternatively, the CPU 610 executes a program using such data. The storage medium 680 is, for example, a magneto-optical recording medium such as a DVD (Digital Versatile Disc), an SD card, or a USB memory.

通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からデータを受信してＣＰＵ６１０に送り、ＣＰＵ６１０が生成したデータを、ネットワーク６９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からプログラムを受信してＣＰＵ６１０に送り、ＣＰＵ６１０がかかるプログラムを実行する。 The communication I / F 660 receives data from other devices via the network 690 and sends the data to the CPU 610, and transmits the data generated by the CPU 610 to other devices via the network 690. Alternatively, the communication I / F 660 receives a program from another device via the network 690, sends the program to the CPU 610, and the CPU 610 executes the program.

ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、ディスプレイ等の表示部４０、スピーカ７０等の出力部、キーボードやマウス、ボタン、操作部１１等の入力部を制御する。ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、入力部からデータを取得する。また、ＣＰＵ６１０は、生成したデータを入出力Ｉ／Ｆ６７０を介して表示部４０や出力部に出力する。 The CPU 610 controls a display unit 40 such as a display, an output unit such as a speaker 70, and an input unit such as a keyboard, a mouse, a button, and an operation unit 11 via the input / output I / F 670. The CPU 610 acquires data from the input unit via the input / output I / F 670. In addition, the CPU 610 outputs the generated data to the display unit 40 and the output unit via the input / output I / F 670.

例えば、コンピュータ６００が統合入力システム１として機能する場合、コンピュータ６００のＣＰＵ６１０は、ＲＡＭ６３０上にロードされたプログラムを実行することにより、音声受付部１２ａと、視線検出部１２ｂと、選択部１２ｃと、設定部１２ｄと、検出部１２ｅと、振動制御部１２ｆと、操作処理部１２ｇとを含む入力装置１０の制御部１２および表示制御部５０の各機能を実現する。 For example, when the computer 600 functions as the integrated input system 1, the CPU 610 of the computer 600 executes a program loaded on the RAM 630, so that the voice reception unit 12 a, the line-of-sight detection unit 12 b, the selection unit 12 c, Each function of the control unit 12 and the display control unit 50 of the input device 10 including the setting unit 12d, the detection unit 12e, the vibration control unit 12f, and the operation processing unit 12g is realized.

コンピュータ６００のＣＰＵ６１０は、例えばこれらのプログラムを記憶媒体６８０から読み取って実行するが、他の例として、他の装置からネットワーク６９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ６４０は、記憶部８０が記憶する情報を記憶することができる。 For example, the CPU 610 of the computer 600 reads these programs from the storage medium 680 and executes them, but as another example, these programs may be acquired from other devices via the network 690. Further, the HDD 640 can store information stored in the storage unit 80.

上述してきたように、実施形態に係る入力装置は、一つの操作面と、選択部と、検出部と、少なくとも一つの振動素子と、設定部と、振動制御部とを備える。選択部は、操作面を用いた制御対象をユーザの挙動に基づいて選択する。 As described above, the input device according to the embodiment includes one operation surface, a selection unit, a detection unit, at least one vibration element, a setting unit, and a vibration control unit. The selection unit selects a control target using the operation surface based on a user's behavior.

検出部は、操作面に対するユーザの所定の接触操作を検出する。振動素子は、操作面を振動させる。設定部は、検出部によって接触操作が検出された場合のかかる接触操作に対応する振動素子の振動状態を、選択部によって選択された制御対象に応じて設定する。 The detection unit detects a predetermined contact operation of the user with respect to the operation surface. The vibration element vibrates the operation surface. The setting unit sets the vibration state of the vibration element corresponding to the contact operation when the contact operation is detected by the detection unit according to the control target selected by the selection unit.

振動制御部は、検出部によって接触操作が検出された場合に、設定部によって設定された振動状態となるように振動素子を制御する。 The vibration control unit controls the vibration element so as to be in a vibration state set by the setting unit when a contact operation is detected by the detection unit.

したがって、実施形態に係る入力装置によれば、多様な制御対象を操作性高く操作することができる。 Therefore, according to the input device according to the embodiment, various control objects can be operated with high operability.

なお、上述した実施形態では、選択部１２ｃが、マイク２０からの音声入力や、ユーザＤの視線検出に基づいて制御対象を選択する場合を例に挙げたが、これに限られるものではない。例えば、入力装置１０が、制御対象を切り替えるスイッチを備えることとしたうえで、単にこれを押下して切り替えるユーザＤの挙動によって制御対象を選択してもよい。 In the above-described embodiment, the case where the selection unit 12c selects the control target based on the voice input from the microphone 20 or the detection of the line of sight of the user D is taken as an example, but the present invention is not limited to this. For example, the input device 10 may include a switch for switching the control target, and the control target may be selected based on the behavior of the user D who simply presses the switch to switch.

また、上述した実施形態では、操作面Ｐが一つである場合を例に挙げたが、かかる一つの操作面Ｐを複数の領域に分割し、各領域で異なる触覚をフィードバックするように、振動制御部１２ｆが振動素子１３ａを制御してもよい。 In the above-described embodiment, the case where there is one operation surface P has been described as an example. However, the single operation surface P is divided into a plurality of regions, and vibration is performed so that different haptics are fed back in each region. The control unit 12f may control the vibration element 13a.

この場合、各領域に、例えばナビ装置の各モードを割り当て、ユーザＤがその各領域を触覚のフィードバックに従って選択することによって、選択部１２ｃが操作面Ｐの制御対象とするモードを選択することとしてもよい。これにより、ユーザＤは、音声認識や視線検出によることなく容易に、制御対象とするモード選択操作を行うことができる。 In this case, for example, each mode of the navigation device is assigned to each region, and the user D selects each region according to tactile feedback, so that the selection unit 12c selects a mode to be controlled by the operation surface P. Also good. Thereby, the user D can easily perform a mode selection operation to be controlled without using voice recognition or line-of-sight detection.

具体的には、操作面Ｐは、複数の分割領域を有し、分割領域のそれぞれには異なるモードが割り当てられ、振動制御部１２ｆは、分割領域のそれぞれで異なる振動状態となるように振動素子１３ａを制御する。選択部１２ｃは、ユーザＤが分割領域それぞれからの触覚のフィードバックに従って選択した分割領域に対応するモードを選択することとなる。 Specifically, the operation surface P has a plurality of divided areas, and a different mode is assigned to each of the divided areas, and the vibration control unit 12f causes the vibration element to be in a different vibration state in each of the divided areas. 13a is controlled. The selection unit 12c selects the mode corresponding to the divided area selected by the user D according to the tactile feedback from each of the divided areas.

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further effects and modifications can be easily derived by those skilled in the art. Thus, the broader aspects of the present invention are not limited to the specific details and representative embodiments shown and described above. Accordingly, various modifications can be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents.

１統合入力システム
１０入力装置
１１操作部
１２制御部
１２ａ音声受付部
１２ｂ視線検出部
１２ｃ選択部
１２ｄ設定部
１２ｅ検出部
１２ｆ振動制御部
１２ｇ操作処理部
１３振動部
１３ａ振動素子
２０マイク
３０撮像部
４０表示部
５０表示制御部
６０各種機器
７０スピーカ
８０記憶部
Ｄユーザ
Ｐ操作面
Ｕ１指 DESCRIPTION OF SYMBOLS 1 Integrated input system 10 Input device 11 Operation part 12 Control part 12a Audio | voice reception part 12b Eye-gaze detection part 12c Selection part 12d Setting part 12e Detection part 12f Vibration control part 12g Operation processing part 13 Vibration part 13a Vibration element 20 Microphone 30 Imaging part 40 Display unit 50 Display control unit 60 Various devices 70 Speaker 80 Storage unit D User P Operation surface U1 Finger

Claims

One operating surface,
A selection unit that selects a control target using the operation surface based on a user's behavior;
A detection unit for detecting a predetermined contact operation of the user on the operation surface;
At least one vibration element for vibrating the operation surface;
A setting unit for setting a vibration state of the vibration element corresponding to the contact operation when the contact operation is detected by the detection unit according to the control target selected by the selection unit;
A vibration control unit that controls the vibration element so as to be in the vibration state set by the setting unit when the contact operation is detected by the detection unit ;
The contact operation is a number of simple gesture operations including contact with the operation surface,
The setting unit
Each of the gesture operations is performed toward the control target selected by the selection unit based on combination information that is defined so that combinations of the vibration states corresponding to the gesture operations differ depending on the control target. input apparatus characterized that you set the vibration state when the.

The input device according to claim 1 , wherein the control target is one of a plurality of devices.

The controlled object, an input apparatus according to claim 1 or 2, characterized in that one of a plurality of modes having the one device.

A voice reception unit for receiving voice input;
The selection unit includes:
The input device according to claim 1 , wherein the control target is selected based on the content of the voice input received by the voice receiving unit.

A line-of-sight detection unit that detects a line-of-sight direction of the user based on a captured image from an imaging unit that captures the user;
The selection unit includes:
The input device according to any one of claims 1 to 4 , wherein the control target is selected based on a detection result of the line-of-sight detection unit.

The vibration control unit
When the control unit is effectively selected by the selection unit, if the contact operation toward the control target is detected by the detection unit, a vibration state that feeds back a tactile sensation from the operation surface to the user input device according to any one of claims 1-5, characterized in that for controlling the vibration element such that.

The vibration control unit
When it is invalid to select the control target by the selection unit, if the contact operation toward the control target is detected by the detection unit, a tactile sensation is not fed back to the user from the operation surface. input device according to any one of claims 1-6, characterized by controlling the vibration element such that the vibration state.

The operation surface has a plurality of divided areas, and each of the divided areas is assigned a different control target,
The vibration control unit
Controlling the vibrating element to be in different vibration states in each of the divided regions;
The selection unit according to any one of claims 1-7, characterized in that selecting the control target corresponding to the divided area selected the user in accordance with tactile feedback from each of said divided areas Input device.

The input device according to any one of claims 1 to 8 , wherein when a tactile sensation is fed back to the user from the operation surface, a guidance voice output by a voice output unit is used together.

The vibration control unit
If the detection unit detects the contact operation deviating from one region set on the operation surface as a predetermined locus corresponding to the predetermined gesture operation to another region other than the one region, the other Controlling the vibration element so as to be in a vibration state that feeds back a tactile sensation having a frictional force larger than that in the one region.
The input device according to any one of claims 1 to 9.

An input device according to any one of claims 1 to 10,
An integrated input system comprising: a display unit that displays an image corresponding to a predetermined contact operation of the user on the operation surface.

A method for controlling an input device having one operation surface,
A selection step of selecting a control target using the operation surface based on a user's behavior;
A detection step of detecting a predetermined contact operation of the user with respect to the operation surface;
A vibration step of vibrating the operation surface by at least one vibration element;
A setting step of setting a vibration state of the vibration element corresponding to the contact operation when the contact operation is detected in the detection step according to the control object selected in the selection step;
Wherein when the touch operation is detected in the detection step, seen including a vibration controlling process of controlling the vibration element such that the vibration state set by the setting step,
The contact operation is a number of simple gesture operations including contact with the operation surface,
The setting step includes
Each of the gesture operations is performed toward the control target selected in the selection step based on combination information that is defined so that combinations of the vibration states corresponding to the gesture operations differ depending on the control target. A control method for an input device, characterized in that the vibration state in the event of a failure is set .

A selection step of selecting a control target using one operation surface based on a user's behavior;
A detection step of detecting a predetermined contact operation of the user on the operation surface;
A vibration step of vibrating the operation surface by at least one vibration element;
A setting step for setting a vibration state of the vibration element corresponding to the contact operation when the contact operation is detected in the detection step, according to the control object selected in the selection step;
When the contact operation is detected in the detection step, the computer executes a vibration control step for controlling the vibration element so as to be in the vibration state set in the setting step ,
The contact operation is a number of simple gesture operations including contact with the operation surface,
The setting step includes
Each of the gesture operations is performed toward the control target selected in the selection step based on combination information that is defined so that combinations of the vibration states corresponding to the gesture operations differ depending on the control target. a program characterized by to set the vibration state when the.