JP2008257295A - Method for presenting tactile stimulus - Google Patents

Method for presenting tactile stimulus Download PDF

Info

Publication number
JP2008257295A
JP2008257295A JP2007095705A JP2007095705A JP2008257295A JP 2008257295 A JP2008257295 A JP 2008257295A JP 2007095705 A JP2007095705 A JP 2007095705A JP 2007095705 A JP2007095705 A JP 2007095705A JP 2008257295 A JP2008257295 A JP 2008257295A
Authority
JP
Japan
Prior art keywords
vibration
vibration generator
finger
movement
device body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007095705A
Other languages
Japanese (ja)
Inventor
Itsuo Kumazawa
逸夫 熊澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2007095705A priority Critical patent/JP2008257295A/en
Publication of JP2008257295A publication Critical patent/JP2008257295A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To introduce, for each finger, a vibration generator for stimulating the tactile sense of a plurality of fingers holding a mouse or a content viewer, so that, during a scroll, cursor and focus movements, i.e., the basic operations for GUI, touch information can be used as a clue. <P>SOLUTION: For each finger, a vibration generator for stimulating touch is introduced on the side face of a device with which a plurality of fingers retaining a mouse or a content viewer makes contact, so as to impart vibration pulses individually to each finger. The time differences between the vibration pulses are controlled to illude the movement of an object colliding with the fingers. Through the illusion, the user is allowed to recognize the amounts, speeds and directions of scroll, cursor and focus movements, i.e., the basic operations for GUI, thus assisting the user in operating a display system. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、手で保持するマウスや小型ディスプレイ等を動かして表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりする場合に、複数の振動生成器からユーザの手指に振動を加え、その振動パターンを通じて、ユーザがスクロールやカーソル移動の量と方向を明瞭に把握できるようにする触覚刺激提示方法に関する。   In the present invention, when a mouse or a small display held by a hand is moved to scroll display contents, a cursor is moved, or a menu focus is moved, a plurality of vibration generators can be moved to a user's finger. The present invention relates to a tactile stimulus presentation method that applies vibration and allows a user to clearly understand the amount and direction of scrolling and cursor movement through the vibration pattern.

近年のコンピュータは、マイクロソフト社のウィンドウズ(登録商標)のようにGUI(グラフィカル・ユーザインターフェイス)を基本とする操作体系を用いており、マウスなどのポインティングデバイスで、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりする操作でユーザの意図がコンピュータに伝達される。また近年、携帯電話等の小型の情報端末でもGUIを利用するようになり、小型のディスプレイでパソコンの大型画面を想定してデザインされたコンテンツを閲覧する上で適した表示システムが求められている。GUIの最大の欠点は視覚に過度の負担を強いることであり、視覚障害者には全く操作できないし、健常人にとってもディスプレイを常時注視しながら、カーソルを目標地点に移動する作業は疲労を伴う。   Recent computers use an operation system based on a GUI (graphical user interface), such as Microsoft Windows (registered trademark), and with a pointing device such as a mouse, the display contents can be scrolled or the cursor can be moved. The user's intention is transmitted to the computer by an operation of moving or moving the focus of the menu. In recent years, GUIs are also used in small information terminals such as mobile phones, and there is a need for a display system suitable for browsing content designed for a large screen of a personal computer with a small display. . The biggest drawback of the GUI is that it imposes an excessive burden on vision, and it is impossible for the visually impaired to operate at all. Also, the work of moving the cursor to the target point while constantly gazing at the display is also accompanied by fatigue. .

そこで視覚に触覚を援用することで、視覚障害者にも利用でき、健常人にも負荷を軽減できる新しいユーザインターフェイスとしてハプティック・ユーザインターフェイス(HUI)が研究されている。そこで基本となるのは、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりするGUIの操作を可能な限り触覚を通じて把握できるようにすることである。   Therefore, a haptic user interface (HUI) has been studied as a new user interface that can be used by visually impaired persons by using tactile sensation for vision and can also reduce the burden on healthy persons. Therefore, the basic is to make it possible to grasp the GUI operation for scrolling the display contents, moving the cursor, and moving the menu focus as much as possible through the sense of touch.

また前述したように小型ディスプレイを用いて大型ディスプレイ用にデザインされた画像コンテンツを閲覧する場合に、全体像を把握しやすくするためにディスプレイの奥に外界に対して仮想的に静止したコンテンツを想定し、小型ディスプレイを覗き窓のように動かすと、それに応じて仮想的に静止しているコンテンツの見える部位が変わるようにしたスクロール方式が提案されているが、小型ディスプレイで広いコンテンツを隈なく探るのには時間を要する。そこで、小型ディスプレイをゆっくり動かす場合には小型ディスプレイの移動量とスクロールの移動量を一対一に対応付けるが、速く動かす場合には小型ディスプレイの移動量を拡大してスクロールの移動量に対応付けるようにすると探索能率を向上できる。ところがこのように移動量の対応関係が変わると、ユーザはその時々の対応関係を把握できずに混乱して、スクロールを思い通りにコントロールできないことが問題であった。   In addition, as described above, when viewing image content designed for a large display using a small display, it is assumed that the content is virtually stationary to the outside of the display at the back of the display in order to make it easier to grasp the overall image. However, a scrolling method has been proposed in which the part where the content that is virtually stationary changes when the small display is moved like a viewing window has been proposed. It takes time. Therefore, when the small display is moved slowly, the movement amount of the small display and the movement amount of the scroll are associated with each other. However, when the movement is performed quickly, the movement amount of the small display is enlarged to correspond to the movement amount of the scroll. Search efficiency can be improved. However, when the correspondence relationship of the movement amount is changed in this way, the user is confused without being able to grasp the correspondence relationship at that time, and the scroll cannot be controlled as desired.

上述した問題に対処するために、本発明では、マウスや小型ディスプレイを保持するユーザの複数の指のそれぞれに独立の振動源を通じて振動を与えるようにしている。そして、スクロール時の表示内容やカーソル、メニュー中のハイライトの当たる項目を示すフォーカス等の移動量や移動速度、移動方向に応じて、各振動源の振動生成のタイミングを変えることにより、これらの移動量、移動速度、移動方向をユーザが触覚を通じて把握できるようにしている。あるいは従来から行われているように、カーソルやフォーカスが画面上の目標地点に到達したことを通知するために振動を生成する目的にもこれらの振動源を利用している。   In order to cope with the above-described problem, in the present invention, vibration is applied to each of a plurality of fingers of a user holding a mouse or a small display through independent vibration sources. And by changing the timing of vibration generation of each vibration source according to the movement amount, movement speed, movement direction of the focus etc. indicating the highlighted contents in the menu, the contents to be displayed when scrolling, and the focus, etc. The user can grasp the movement amount, the movement speed, and the movement direction through the sense of touch. Alternatively, as is conventionally done, these vibration sources are also used for the purpose of generating vibrations to notify that the cursor or focus has reached the target point on the screen.

本発明に関連する特許文献を以下に示す。
特開平7−271505号公報 特開平8−314629号公報 特開2000−148345号公報 特開2002−7027号公報 特開2002−297284号公報 特開平6−261738公報 特開平9−164858号公報 特開平11−150794公報 特開2003−199974公報
Patent documents related to the present invention are shown below.
JP 7-271505 A JP-A-8-314629 JP 2000-148345 A JP 2002-7027 A JP 2002-297284 A Japanese Patent Laid-Open No. 6-261738 JP-A-9-164858 JP-A-11-150794 JP 2003-199974 A

まず特許文献1から5までは、小型ディスプレイを手で保持して動かす際に、その動きを検出して、動きの量や速度、加速度、方向に基づいて表示内容をスクロールする方式に関連する。特に特許文献1には小型ディスプレイに加速度センサを搭載し、加速度センサによって検出されるディスプレイ本体の動きに基づいて表示画像をスクロール、拡大縮小する方法が示されている。また特許文献2には小型ディスプレイを机上で動かすときに机上に固定された仮想画像コンテンツを小型ディスプレイを小窓として覗いたときに見える部位を表示する表示システムが示されている。さらに特許文献4には、外界に仮想的に静止した対象があるものとして、小さなディスプレイを手で移動したときに移動位置でその対象の本来見えるべき部位を表示することによって、全体像を分かりやすく表示する技術が示されている。このようにディスプレイ自体の動きを検出して、その動きに基づいてスクロールを行う表示システムに関しては、古くから多数の特許が出願されているのにもかかわらず実用化に至っていない理由として、従来の方式には触覚的手掛かりが欠けており、視覚だけで画像の動きを確認しながらスクロールをコントロールすることが難しく、ユーザの思い通りにスクロールできなかったことが挙げられる。   First, Patent Documents 1 to 5 relate to a method in which when a small display is held and moved by hand, the movement is detected, and display contents are scrolled based on the amount, speed, acceleration, and direction of the movement. In particular, Patent Document 1 discloses a method of mounting an acceleration sensor on a small display, and scrolling and enlarging / reducing the display image based on the movement of the display body detected by the acceleration sensor. Patent Document 2 discloses a display system that displays a portion of a virtual image content that is fixed on a desk when the small display is moved on a desk and that is visible when the small display is viewed as a small window. Furthermore, in Patent Document 4, it is assumed that there is an object that is virtually stationary in the outside world, and when the small display is moved by hand, the part that should be originally visible at the moving position is displayed, thereby making it easy to understand the whole image. The technique to display is shown. As for the display system that detects the movement of the display itself and scrolls based on the movement, the conventional system has not been put into practical use even though many patents have been filed for a long time. The system lacks tactile cues, and it is difficult to control scrolling while confirming the movement of the image by visual observation alone.

次に特許文献6から9までは、複数の振動源が時間差あるいは位相差のある振動をユーザの触覚に加えることにより、ユーザに対して様々な情報を提供する方式に関連する。特許文献6では、操作部表面に振動の定在波または進行波を発生させて、その表面に触れる操作者に滑べり感や表面粗さ等の表面情報を伝達する装置を与えている。特許文献7では、呈示する情報の内容に対応して振動体の駆動タイミングや場所、駆動する振動体の数等を制御することによって車内の運転者に振動を通じて情報を伝達する方法を示している。また特許文献8では、皮膚表面に、それぞれが独立して駆動される複数の刺激源を近接させて配置して、近接した振動源の振動の位相差を制御することで各種の触感を生成する方法を示している。そして特許文献9では、ゲームコントローラに2つの振動モータを搭載し、その偏心錘の回転タイミングに差を持たせたり、強度を変えたりすることにより、ユーザに様々な慣性力を感じさせる方法を示している。以上の特許文献6,8,9では、位相差として振動波形(または偏心錘の回転運動)自体の位相差が使われており、そのような位相差によって作り出せる触感の変化を利用しているが、そうした触感によってGUIに関わるスクロールやカーソルの移動速度などを明瞭に伝達することは難しい。また特許文献7では、振動源を駆動するタイミングに時間差を持たせているが、各振動源の作り出す振動は別個の刺激として知覚されるように使われており、2つの振動源を近接した時刻に時間差をもって振動させたときに振動源の動きを感じる現象を利用しているわけではない。   Next, Patent Documents 6 to 9 relate to a method in which a plurality of vibration sources provide various information to the user by applying vibration having a time difference or a phase difference to the user's tactile sense. In Patent Document 6, a device is provided that generates a standing wave or a traveling wave of vibration on the surface of the operation unit and transmits surface information such as a slipperiness and surface roughness to an operator who touches the surface. Patent Document 7 shows a method of transmitting information to a driver in a vehicle through vibration by controlling the drive timing and location of the vibrator, the number of vibrators to be driven, and the like in accordance with the content of information to be presented. . Further, in Patent Document 8, various tactile sensations are generated by arranging a plurality of stimulation sources that are independently driven on the skin surface and controlling the phase difference of the vibrations of the adjacent vibration sources. Shows how. Patent Document 9 shows a method in which a user is made to feel various inertial forces by mounting two vibration motors in a game controller and making a difference in the rotation timing of the eccentric weight or changing the strength. ing. In the above Patent Documents 6, 8, and 9, the phase difference of the vibration waveform (or the rotational movement of the eccentric weight) itself is used as the phase difference, and the change in tactile sensation that can be created by such a phase difference is used. Therefore, it is difficult to clearly transmit the scroll related to the GUI, the moving speed of the cursor, etc. by such a tactile sensation. In Patent Document 7, a time difference is given to the timing of driving the vibration source, but the vibration generated by each vibration source is used to be perceived as a separate stimulus, and the time when the two vibration sources are close to each other is used. It does not use the phenomenon of feeling the movement of the vibration source when it is vibrated with a time difference.

本発明は、以上の状況に鑑みて考案されたものであり、比較的周波数の高い振動を短時間に集中的に発生することで、エネルギーが短時間に集中した振動波形の塊(以後、この振動波形の塊を振動パルスと呼ぶ)を作り出し、上述した先行技術に用いられていた振動波形自体の位相差ではなく、振動パルスの時間差を利用して、ユーザの触覚に振動源の移動に関する知覚を生じさせ、それにより、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりするGUIの操作を触覚を通じて把握できる触覚刺激提示方法を提供することを目的とする。   The present invention has been devised in view of the above situation, and by generating vibrations with relatively high frequency in a short time in a concentrated manner, a mass of vibration waveforms in which energy is concentrated in a short time (hereinafter referred to as this A block of vibration waveforms is called a vibration pulse), and the time difference of the vibration pulse is used instead of the phase difference of the vibration waveform itself used in the above-described prior art, and the perception of the movement of the vibration source in the user's tactile sense It is an object of the present invention to provide a tactile stimulus presentation method capable of grasping, through tactile sense, GUI operations for scrolling display contents, moving a cursor, and moving a menu focus.

本発明は、マウスや、小型ディスプレイを搭載した本体そのものの動きに基づいて小型ディスプレイの表示内容をスクロールするコンテンツビューアの操作性を向上するために利用することを目的としている。そこでマウスや上記コンテンツビューアを保持する際に、その側面に複数の指が接触することに着目して、これらの各指が接触する位置にそれぞれ独立に駆動される振動源を別個に配置する。そして、これらの振動源が発生する振動パルスに適当な時間差を持たせてユーザの指の触覚を刺激することにより、ユーザが指先の間で振動源が移動しているように感じるようにする。   An object of the present invention is to improve the operability of a content viewer that scrolls the display content of a small display based on the movement of a mouse or a main body itself equipped with a small display. Therefore, when holding the mouse and the content viewer, paying attention to the fact that a plurality of fingers come into contact with the side surfaces, vibration sources that are independently driven are arranged at positions where these fingers come into contact. Then, the user feels that the vibration source is moving between the fingertips by stimulating the tactile sensation of the user's finger with an appropriate time difference between the vibration pulses generated by these vibration sources.

これは視覚においては、アニメーションの原理を通じて知られるように、適当な時間差をもって提示される2つの画像に動きがあるかのように感じられる錯覚現象が、触覚においても生じることを想定したものである。   This is based on the assumption that, in visual sense, the illusion phenomenon in which two images presented with an appropriate time difference are felt as if there is movement, as known through the principle of animation, also occurs in tactile sensation. .

ただしこのような錯覚は振動波形のレベルで2つの波形に時間差(位相差)があっても感じることができない。そのような波形の位相差レベルの時間差は人が動きを感じる知覚限界以下の短い時間差であるため、人には動きとしては感じ得ないのである。   However, such an illusion cannot be felt even if there is a time difference (phase difference) between the two waveforms at the level of the vibration waveform. Since the time difference in the phase difference level of such a waveform is a short time difference that is less than the perceptual limit at which a person feels movement, the person cannot feel it as movement.

そこで本発明では、ユーザの2つの指に、人が動きを感じる上で適度な時間差でもって振動パルスを加えるようにする。振動パルスは、周波数の高い振動が短い期間にエネルギーを集中的に指に加えるため、ユーザはコツンと指に何かが当たったような感触を受けるが、その感触が短い時間差で指から指へ移動すると、ユーザは指にぶつかったものが瞬時に別の指へと移動したような印象を受ける。
なお振動パルスの具体的な振動数などは、共振体の重さや大きさにも依存するが、たとえば、アルプス電気社等が製品化している振動パルス生成用の振動源(例えば商品名はフォースリアクタ)等を用いた場合、振動パルスの振動数は2回から30回程度まで、振動波形の周期は1ミリ秒から10ミリ秒程度、継続時間は2ミリ秒から300ミリ秒程度が好ましい。
Therefore, in the present invention, vibration pulses are applied to the two fingers of the user with an appropriate time difference when a person feels movement. The vibration pulse applies energy to the finger in a short period when high-frequency vibration is short, so the user feels as if something has hit the finger and the finger, but the touch is a short time difference from finger to finger. When the user moves, the user feels as if something hitting the finger has moved to another finger instantly.
Although the specific frequency of the vibration pulse depends on the weight and size of the resonator, for example, a vibration source for generating a vibration pulse that has been commercialized by Alps Electric Co., Ltd. ) Etc., the frequency of the vibration pulse is preferably about 2 to 30 times, the period of the vibration waveform is preferably about 1 to 10 milliseconds, and the duration is preferably about 2 to 300 milliseconds.

こうして振動パルスによって作り出される動きに関する感触を利用して、GUIの基本操作である、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりする操作において、スクロール量やカーソルやフォーカスの移動量、あるいはこれらの速度、さらに目標に到達したかどうか、といったことまでをも、ユーザが触覚を通じて把握できるようにする。その具体的な手段は以下の通りである。   In this way, by using the feeling related to the movement created by the vibration pulse, in the basic GUI operations such as scrolling the display contents, moving the cursor, and moving the menu focus, the scroll amount, the cursor, The user can grasp through the sense of touch the amount of movement of the focus, these speeds, and even whether or not the target has been reached. The specific means is as follows.

まず本触覚刺激提示方法は、手で保持して前後左右に動かして操作するデバイスに搭載される。このデバイスの動きの方向と量または速さに基づき、このデバイス本体に設けられたディスプレイまたは別途設置されたディスプレイの表示内容をスクロールしたり、カーソルやフォーカスを移動したりする表示システムとともに利用され、この表示システムの操作を触覚を通じて支援することを目的とする。そのために、デバイス本体の側面上で手指が接する少なくとも2つの位置にそれぞれ独立に振動する振動生成器を設置し、これらの振動生成器は駆動信号が加えられると短い期間に集中的に振動することによって振動パルスを生成するようにする。ここで各振動生成器が生成する振動パルスに所定の時間差が生じるように振動パルスの生成タイミングを制御し、振動パルスの生成位置と時間差によって、前記スクロールの方向と量または速度、及び前記カーソルやフォーカスの移動方向と移動量または移動速度をユーザに通知する。   First, this tactile stimulus presentation method is mounted on a device that is held by hand and is operated by moving it back and forth and left and right. Based on the direction and amount or speed of movement of this device, it is used with a display system that scrolls the display content of the display provided on this device body or a separately installed display, and moves the cursor and focus, The purpose is to support the operation of this display system through the sense of touch. For this purpose, vibration generators that vibrate independently are installed in at least two positions on the side of the device body where the fingers touch, and these vibration generators vibrate intensively in a short period when a drive signal is applied. To generate vibration pulses. Here, the generation timing of the vibration pulse is controlled so that a predetermined time difference is generated in the vibration pulse generated by each vibration generator, and the scroll direction and amount or speed, the cursor, Informs the user of the moving direction and moving amount or moving speed of the focus.

ここで各指に独立に振動パルスが伝わることが望ましく、振動が本体を介在して他の指に伝わるクロストークを生じにくくする工夫が必要である。そこで振動生成器とデバイス本体の間には振動を吸収するインシュレータやダンパーとなる素材やバネのような弾性体を配置すると良い。あるいは電気的に振動生成器で生じた振動と逆位相の振動を生成し、両振動が打ち消しあってデバイス本体には振動が伝わらないようにしても良い。   Here, it is desirable that a vibration pulse is transmitted to each finger independently, and it is necessary to devise a technique for making it difficult for crosstalk to be transmitted to other fingers through the body. Therefore, an insulator that absorbs vibration, a material that becomes a damper, or an elastic body such as a spring is preferably disposed between the vibration generator and the device body. Alternatively, vibration having a phase opposite to that generated by the vibration generator may be generated so that both vibrations cancel each other and no vibration is transmitted to the device body.

GUIでは画面上にアイコンが表示されて、それをカーソルで指示して選択する操作が行われる。このときユーザはマウスやディスプレイ本体を動かしてカーソルを移動して目標のアイコンに到達させなければならないが、従来のGUIではこの作業を視覚でカーソルの動きを注視しながら進めなければならず、作業中に視線を他に向けることも許されなかったため、視覚に大きな負荷がかかっていた。この作業を少しでも触覚で把握できるようにして視覚を支援できれば、ユーザインターフェイスの操作性は大幅に改善すると予想される。従来の振動の利用法では、カーソルが目標地点に到達したら振動を生成して通知するくらいのことしか行っていなかったが、本発明では、目標に到達するまでの過程で触覚手掛かりを加えて、事前の過程から操作を支援することを考えている。そのために、カーソルが目標のアイコンに到達したとき、あるいは目標のメニュー項目の境界を横切るときなどに振動を生成するだけでなく、カーソル移動中に、複数の振動生成器から振動パルスを適当な時差で生成し、スクロールの量または速度、及びカーソルやフォーカスの移動量または移動速度に依存して、振動パルス生成のタイミングや周期を変更して指先に加えることによって、これらの速度や方向を感触として指先に伝えるようにする。具体的には、カーソルの移動方向に応じて複数の振動源の間の振動パルスの生成順と時差を変更して指に加え、動きの錯覚を作り出して、カーソルの移動方向を把握できるようにする。あるいは、振動パルスの生成周期を変えて、カーソルの移動速度を把握できるようにする。これと同様の手法がフォーカスを移動するときや表示画面をスクロールする場合にも適用できる。   In the GUI, an icon is displayed on the screen, and an operation of specifying the icon with a cursor is performed. At this time, the user has to move the cursor by moving the mouse or the display body to reach the target icon. However, in the conventional GUI, this work must be performed while visually observing the movement of the cursor. He was not allowed to turn his gaze inside. If this work can be grasped as much as possible by tactile sense and visual support can be provided, the operability of the user interface is expected to be greatly improved. In the conventional method of using the vibration, when the cursor has reached the target point, it has only been done to generate and notify the vibration, but in the present invention, a tactile cue is added in the process until the target is reached, We are thinking of supporting the operation from a prior process. To this end, not only generates vibration when the cursor reaches the target icon or crosses the boundary of the target menu item, but also generates an appropriate time difference from multiple vibration generators while the cursor is moving. Depending on the amount or speed of scrolling and the amount or speed of movement of the cursor or focus, the timing and period of vibration pulse generation can be changed and added to the fingertips to make these speeds and directions feel Tell your fingertips. Specifically, the generation order and time difference of vibration pulses between multiple vibration sources are changed according to the direction of movement of the cursor, and added to the finger to create an illusion of movement so that the direction of movement of the cursor can be grasped. To do. Alternatively, the moving speed of the cursor can be grasped by changing the generation period of the vibration pulse. A similar method can be applied when moving the focus or scrolling the display screen.

上記のカーソルやスクロールの移動速度や移動方向を通知するには、具体的には、2つの振動生成器を、デバイスを保持する2つの指が接する位置にそれぞれ設置し、第1の指が接する第1の振動生成器と第2の指が接する第2の振動生成器とが、次のように振動パルスを生成するようにすると良い。すなわち、デバイス本体を前後に動かすときには、第1の振動生成器が振動パルスを生成して第2の振動生成器は停止し、デバイス本体を左右に動かすときには、第1の振動生成器は停止して第2の振動生成器が振動パルスを生成する。この方法では、第1の振動生成器と第2の振動生成器のどちらが振動するかと言うことによって、左右と前後のどちらの動きなのかを識別できる。また振動パルスの生成周期によって、ユーザへ移動量や移動速度を伝えることはできる。しかしながら、2つの振動生成器が生成する振動パルスの時差によって動きの錯覚を生じていないので、前後の動きのうち前なのか後ろなのか、あるいは左右の動きのうち左なのか右なのかについては識別できない。この問題を改善するためには、振動生成器を1つ増やして次のような方法を用いる必要がある。   In order to notify the moving speed and direction of the cursor and scroll described above, specifically, two vibration generators are installed at positions where two fingers holding the device are in contact with each other, and the first finger is in contact with each other. It is preferable that the first vibration generator and the second vibration generator in contact with the second finger generate vibration pulses as follows. That is, when the device body is moved back and forth, the first vibration generator generates a vibration pulse and the second vibration generator is stopped. When the device body is moved left and right, the first vibration generator is stopped. The second vibration generator generates vibration pulses. In this method, it can be identified whether the movement is left and right or back and forth by saying which of the first vibration generator and the second vibration generator vibrates. In addition, the movement amount and movement speed can be transmitted to the user by the generation period of the vibration pulse. However, since there is no illusion of movement due to the time difference between the vibration pulses generated by the two vibration generators, whether it is the front or back of the front and rear movements, or the left or right of the left and right movements Cannot be identified. In order to improve this problem, it is necessary to add one vibration generator and use the following method.

第1の指が接する第1の振動生成器と第2の指が接する第2の振動生成器と第3の指が接する第3の振動生成器とを設置し、デバイス本体を前後に動かすときには、第1の振動生成器と第2の振動生成器が微小な時間差で振動パルスを生成し、デバイス本体を左右に動かすときには、第1の振動生成器と第3の振動生成器が微小な時間差で振動パルスを生成するようにする。そして上述した錯覚を通じて移動方向を把握するために、上述した微小な時間差を人が動きを錯覚するのに適した時間差とし、振動パルスの生成順序はデバイス本体の移動方向に依存して変わるようにする。   When the first vibration generator in contact with the first finger, the second vibration generator in contact with the second finger, and the third vibration generator in contact with the third finger are installed, and the device body is moved back and forth When the first vibration generator and the second vibration generator generate vibration pulses with a minute time difference and the device body is moved left and right, the first vibration generator and the third vibration generator have a minute time difference. To generate vibration pulses. In order to grasp the moving direction through the above-mentioned illusion, the minute time difference described above is set as a time difference suitable for humans to sense the movement, and the generation order of vibration pulses changes depending on the moving direction of the device body. To do.

上記の方法では、第1の振動生成器を前後左右の動きの錯覚を作り出す際に共用しているが、コスト的に余裕があれば、そして本体を保持するときに4本の指を同時に本体に接することができるようにデバイスを設計できるのであれば、さらにもう一つの振動生成器を導入し、次のような方法を取ると良い。すなわち、第1の指が接する第1の振動生成器と第2の指が接する第2の振動生成器と第3の指が接する第3の振動生成器と第4の指が接する第4の振動生成器とを設置し、デバイス本体を前後に動かすときには、第1の振動生成器と第2の振動生成器が微小な時間差で振動パルスを生成し、デバイス本体を左右に動かすときには、第3の振動生成器と第4の振動生成器が微小な時間差で振動パルスを生成する。これらの微小な時間差は人が動きを錯覚する上で適度な大きさとして、これらの振動パルスの生成順序をデバイス本体の移動方向に依存して変えることで、カーソルやスクロールがどちらからどちらへ動いたのかをユーザが錯覚を通じて把握できるようにする。   In the above method, the first vibration generator is shared when creating the illusion of back-and-forth and left-right movements. If it is possible to design the device so that it can come into contact with another, it is better to introduce another vibration generator and take the following method. That is, the first vibration generator in contact with the first finger, the second vibration generator in contact with the second finger, the third vibration generator in contact with the third finger, and the fourth finger in contact with the fourth finger. When the vibration generator is installed and the device body is moved back and forth, the first vibration generator and the second vibration generator generate vibration pulses with a minute time difference, and when the device body is moved left and right, the third The vibration generator and the fourth vibration generator generate vibration pulses with a minute time difference. These minute time differences are appropriate for humans to illusion of movement, and by changing the generation order of these vibration pulses depending on the movement direction of the device body, the cursor and scroll move from one to the other. So that the user can understand through the illusion.

近年のGUIでは操作能率を上げるために操作中にカーソルやスクロールの動きが加速される仕組みが導入されている。カーソルを遠くに動かすためにマウスを長距離動かすとユーザは疲れるし時間もかかる。そこでマウスをゆっくり動かすときには、その動きが増幅されずにカーソルやスクロールの動きに反映されるが、すばやく動かすときにはマウスの動きが増幅されてカーソルやスクロールの動きに反映される。こうしてマウスを狭い操作範囲内で限られた距離しか動かせない場合でも、マウスをすばやく動かせば、カーソルやスクロールを大きく動かして遠くの目標に到達できるようになっている。ところがこの仕組みはユーザが現時点の増幅度を把握できていないと大きな混乱を招く。特に前述した小型ディスプレイを備えたコンテンツビューアにおいては、増幅度を把握できないままスクロールを続けると、ディスプレイサイズが小さく全体像を把握できないため、ユーザは今自分がコンテンツのどこの部分を見ているのか分からなくなってしまう。   In recent GUIs, a mechanism for accelerating the movement of a cursor or scroll during operation is introduced in order to increase the operation efficiency. Moving the mouse long distances to move the cursor far away will make the user tired and time consuming. Therefore, when the mouse is moved slowly, the movement is reflected on the cursor and scroll movement without being amplified. However, when the mouse is moved quickly, the movement of the mouse is amplified and reflected on the cursor and scroll movement. Even when the mouse can only be moved within a narrow range of operation in this way, if the mouse is moved quickly, the cursor and scroll can be moved greatly to reach far targets. However, this mechanism causes great confusion if the user cannot grasp the current amplification degree. Especially in the content viewer with a small display mentioned above, if you continue scrolling without knowing the amplification level, the display size is small and you can not grasp the whole picture, so what part of the content you are looking at now? I don't know.

このように加速の仕組みが導入されたGUIの操作を支援するためには、振動パルスの発生周期を通じてユーザが前記スクロールの速度、または前記カーソルあるいはフォーカスの速度を把握できるようにすると良い。すなわちこれらの速度と振動パルスの生成周期が大よそ反比例するようにして、上記の増幅率が高ければ、振動パルスの生成周期が短くなり、マウスを少し動かしただけで振動パルスが高頻度に発生するようにし、逆に増幅率が低いとマウスをたくさん動かしても振動パルスが低頻度でしか生じないように、振動パルスの生成周期を長くすると良い。こうすれば、ユーザはマウスを動かしている最中の振動パルスの発生頻度や発生回数を通じて、カーソルやスクロールの移動速度や移動量を操作中に常に把握することができるようになる。   In order to support the operation of the GUI in which the acceleration mechanism is introduced as described above, it is preferable that the user can grasp the scroll speed or the cursor or focus speed through the generation period of the vibration pulse. In other words, these speeds and the generation period of vibration pulses are roughly inversely proportional, and if the above amplification factor is high, the generation period of vibration pulses will be shortened. On the contrary, if the amplification factor is low, the generation period of the vibration pulse may be increased so that the vibration pulse is generated only infrequently even if the mouse is moved a lot. By doing so, the user can always grasp the moving speed and moving amount of the cursor and scroll during the operation through the frequency and frequency of occurrence of the vibration pulses while moving the mouse.

なお上述した方法で、マウスやコンテンツビューアを斜めに移動する場合には、前後の動きを通知するための振動パルスと左右の動きを通知するための振動パルスをそれぞれの方向への移動量成分あるいは速度成分に応じて同時に生成するようにすれば良いが、振動生成器が3つしかなく、第1の振動生成器を両者の通知に共用する場合には、第1の振動生成器が発生する1つの振動パルスを両移動量成分の表現に共用できるように振動パルス生成タイミングの同期を取る必要が生じる。そこで斜め方向の移動については、前後方向の移動と左右方向の移動が交互に起きる(同時には起こらない)ものとしてそれぞれの移動を表す振動パルスを時間的にずらして生成しても良い。   When the mouse or the content viewer is moved obliquely by the above-described method, the vibration pulse for notifying the forward / backward movement and the vibration pulse for notifying the left / right movement are the movement amount components in the respective directions or It is only necessary to generate simultaneously according to the velocity component, but when there are only three vibration generators and the first vibration generator is shared for both notifications, the first vibration generator is generated. It is necessary to synchronize the generation timing of the vibration pulse so that one vibration pulse can be used for both movement amount components. Therefore, as for the movement in the oblique direction, it is possible to generate the vibration pulses representing the respective movements while shifting the movement in the front-rear direction and the movement in the left-right direction alternately (not simultaneously).

本発明では、マウスやコンテンツビューアを保持する複数の指に接する振動生成器を指別に設け、それらが生成する振動パルスの時差と周期を適切に制御して指に加えることによって、指の触覚を通じてスクロールやカーソル、フォーカスの動きの量や方向、速度を把握できるようになった。こうしてGUIの基本操作に触覚情報を援用できるようになったので、小さなディスプレイを備えたコンテンツビューアにおいてもGUIの操作性が格段に向上するようになった。   In the present invention, a vibration generator that is in contact with a plurality of fingers holding a mouse and a content viewer is provided for each finger, and the time difference and period of vibration pulses generated by the fingers are appropriately controlled and applied to the finger, thereby allowing the finger to sense The amount, direction, and speed of scrolling, cursor, and focus movements can now be grasped. In this way, tactile information can be used for basic GUI operations, and GUI operability is greatly improved even in a content viewer having a small display.

図1に本発明の触覚刺激提示方法をコンテンツビューア(デバイス)に適用した実施例を示す。図1(a)は斜視図、図1(b)は左側面図、図1(c)は右側面図である。各側面図には主要な内部構造を透視して描いている。図中の1はコンテンツを表示する小型ディスプレイであるが、このディスプレイとそれに関わる機能を除去すれば、本発明をマウスに実施した例にもなっている。このコンテンツビューアにはマウスと同様の入力機能が設けられており、2はマウスの左ボタン、3はスクロールホイール、4はマウスの右ボタン、そして15は現在のマウスで主流の光学式動き検出センサである。このセンサではデバイスの底から照射する光で照明された机などの表面の動きを計測することによって、デバイス本体のx軸方向とy軸方向の位置変化分を検出する。   FIG. 1 shows an embodiment in which the tactile stimulus presentation method of the present invention is applied to a content viewer (device). 1A is a perspective view, FIG. 1B is a left side view, and FIG. 1C is a right side view. Each side view shows the main internal structure in perspective. In the figure, reference numeral 1 denotes a small display for displaying contents. However, if the display and the functions related thereto are removed, the present invention is implemented in a mouse. This content viewer has the same input function as a mouse, 2 is a left mouse button, 3 is a scroll wheel, 4 is a right mouse button, and 15 is a current optical mouse mainstream motion sensor. It is. This sensor detects a change in the position of the device body in the x-axis direction and the y-axis direction by measuring the movement of the surface of a desk or the like illuminated with light emitted from the bottom of the device.

そして本実施例の要となるのが、5,6,7に示す振動生成器である。ここでは上述した各種の方法の中で、振動生成器の数を3つとする方法を示している。後に図3で示すように、振動生成器5には親指が、振動生成器6に薬指が、そして振動生成器7に中指が接触することを想定しているが、他の指を接触させても構わない。ただし本実施例では、これらの各指を各振動生成器の側面に接触したまま、デバイス本体を保持して、前後左右に動かすように操作することを想定しており、そのような操作中に指が触れやすいデバイスの側面に振動生成器を配置している。   The key to the present embodiment is the vibration generator shown in 5, 6 and 7. Here, among the various methods described above, a method in which the number of vibration generators is three is shown. As shown in FIG. 3 later, it is assumed that the vibration generator 5 is in contact with the thumb, the vibration generator 6 is in contact with the ring finger, and the vibration generator 7 is in contact with the middle finger. It doesn't matter. However, in this embodiment, it is assumed that each finger is in contact with the side surface of each vibration generator and the device body is held and operated to move back and forth and right and left. A vibration generator is placed on the side of the device that is easy to touch.

図2(a)には、図1のコンテンツビューアを上から見た図(上面図)を示す。図中のディスプレイ1には典型的なGUIで用いられる各種要素が表示されている。コンテンツビューア本体を動かすと、その動きの量と方向に応じてカーソル8やメニュー10内のフォーカス9(ハイライトが当たっている項目)が移動する。あるいはスクロールする場合にはコンテンツビューア本体の動きと共に画面に表示されている内容が移動する。例えばコンテンツビューア本体を矢印11の方向に移動するとカーソル8やフォーカス9あるいは表示内容は矢印11と同じ方向か、または設定によっては矢印11と逆方向に移動する。スクロールの場合にはコンテンツビューア本体の動きに対して画面の表示内容は逆方向に動く方が前述した覗き窓で外界の静止した対象を見ている状況と対応が取れるので直感的に分かり易い。   FIG. 2A shows a top view of the content viewer shown in FIG. Various elements used in a typical GUI are displayed on the display 1 in the figure. When the content viewer main body is moved, the focus 9 (the highlighted item) in the cursor 8 or the menu 10 moves according to the amount and direction of the movement. Alternatively, when scrolling, the content displayed on the screen moves with the movement of the content viewer body. For example, when the content viewer main body is moved in the direction of the arrow 11, the cursor 8, the focus 9, or the display content moves in the same direction as the arrow 11, or in the opposite direction to the arrow 11 depending on the setting. In the case of scrolling, the content displayed on the screen in the reverse direction with respect to the movement of the content viewer body can be easily understood intuitively because it corresponds to the situation in which the outside object is viewed through the viewing window.

図2(b)には、コンテンツビューア内部で3つの振動生成器5、6、7を設置されている様子を示す。各振動生成器とコンテンツビューア本体の間には、ダンパー、インシュレータあるいはサスペンションの役割をするバネ12、13、14が介在している。これによって各振動生成器の振動は本体に伝わりにくくなっており、ユーザがそれぞれの振動を干渉なく独立に感じられるようにしている。さらにバネの代わりに振動をキャンセルするように振動生成器と逆位相で振動する別の振動生成器を導入しても良い。   FIG. 2B shows a state in which three vibration generators 5, 6, and 7 are installed inside the content viewer. Between each vibration generator and the content viewer body, springs 12, 13, and 14 acting as dampers, insulators or suspensions are interposed. This makes it difficult for the vibration of each vibration generator to be transmitted to the main body, so that the user can feel each vibration independently without interference. Further, instead of the spring, another vibration generator that vibrates in the opposite phase to the vibration generator may be introduced so as to cancel the vibration.

図3には、図1のコンテンツビューアを手で保持して操作する様子を示す。この図のように保持するとちょうど本体側面に親指、中指、薬指が接するようになる。そこでこの接する位置に振動生成器を設置するのが本発明の大きなポイントになる。人の触覚の能力は限られており、また振動には拡散する性質があるため、皮膚の近接した位置に振動が加わってもそれらの位置を区別して知覚することは難しい。本発明では複数の振動源が異なる指の指先に接して振動を加えるようにして、敏感な指先で異なる振動源を区別できるようにしている。このように振動を感じるように指を当てながら本体を保持して前後左右に動かせるように、振動源を本体側面の指が当たる位置に配置していることに特徴がある。図中には前後左右の基準方向を定義する矢印も示している。   FIG. 3 shows how the content viewer of FIG. 1 is held and operated. When held as shown in this figure, the thumb, middle finger, and ring finger come into contact with the side of the main body. Therefore, it is a major point of the present invention to install a vibration generator at the contact position. Since humans have limited tactile abilities and vibrations have a property of diffusing, it is difficult to distinguish and perceive those positions even if vibrations are applied to close positions on the skin. In the present invention, a plurality of vibration sources are in contact with the fingertips of different fingers to apply vibrations so that different vibration sources can be distinguished with sensitive fingertips. As described above, the vibration source is arranged at a position where the finger on the side of the main body hits so that the main body can be held and moved back and forth and right and left while applying a finger so as to feel vibration. In the figure, arrows defining front, rear, left and right reference directions are also shown.

図4は、本実施例による制御回路20を含むコンテンツビューア30のブロック図である。ここで、コンテンツビューア30の制御回路20は、マウス左ボタン2、右ボタン4、スクロールホイール3、光学式動き検出センサ15から信号を入力して、CPU処理をするための信号に変換する入力回路21、データを記憶する記憶回路22、CPUによって演算処理を実行する演算回路25、演算回路25からの出力信号をもとに振動生成器5〜7を駆動するための信号に変換する出力回路23、およびディスプレイ1に表示出力するための信号を生成する表示出力回路24から構成されている。   FIG. 4 is a block diagram of the content viewer 30 including the control circuit 20 according to the present embodiment. Here, the control circuit 20 of the content viewer 30 inputs signals from the mouse left button 2, the right button 4, the scroll wheel 3, and the optical motion detection sensor 15, and converts them into signals for CPU processing. 21, a storage circuit 22 that stores data, an arithmetic circuit 25 that executes arithmetic processing by the CPU, and an output circuit 23 that converts the output signals from the arithmetic circuit 25 into signals for driving the vibration generators 5 to 7 , And a display output circuit 24 for generating a signal for display output on the display 1.

記憶回路22は、メモリ素子等で構成され、CPUが演算処理をするために必要なデータが保存されている。たとえば、振動パルス間の時間差Δ、振動生成器5〜7の振動の大きさを決めるためのデータとしてベースとなる基本刺激量およびコンテンツビューア1の移動加速度と振動の大きさとの関係を示すデータである加速度刺激量、振動周期、および、制御条件データが保存されている。制御条件としては、たとえばインパルスの幅(継続時間)を決定する条件として移動距離にするのか、あるいは時間にするのか、また、長い距離を移動させた場合刺激を繰り返すか否か等がある。   The storage circuit 22 includes a memory element and stores data necessary for the CPU to perform arithmetic processing. For example, the time difference Δ between vibration pulses, the basic stimulus amount as data for determining the magnitude of vibration of the vibration generators 5 to 7, and data indicating the relationship between the moving acceleration of the content viewer 1 and the magnitude of vibration. A certain acceleration stimulus amount, vibration cycle, and control condition data are stored. The control conditions include, for example, whether the impulse width (duration) is determined as a moving distance or a time, and whether or not stimulation is repeated when a long distance is moved.

次に、図5を用いて、上記の構成を有するコンテンツビューア1の演算処理を説明する。演算回路25は、光学式動き検出センサ15、左右ボタン2,4、スクロールホイール3からの信号を入力回路21を介して入力し、その信号をもとに動きの変化(たとえば、速度の変化あるいは位置の変化)を検出することによって起動する。   Next, the calculation processing of the content viewer 1 having the above configuration will be described with reference to FIG. The arithmetic circuit 25 inputs signals from the optical motion detection sensor 15, left and right buttons 2 and 4 and scroll wheel 3 via the input circuit 21, and changes in motion (for example, speed change or Start by detecting position change).

そして、入力信号から、デバイスの移動方向、移動量、移動速度、移動加速度を演算し(S101)、移動加速度から振動インパルスの大きさを計算し(S102)、移動方向と反対側の振動生成器を計算した大きさで振動させる(S103)。演算回路25から出力された制御信号は出力回路23を介して該当する振動生成器へ伝えられる。
そして、振動開始時点からΔ時間経過すると(S104で「Yes」)、他方、すなわち、移動方向の振動生成器を同じ大きさで振動させる(S105)。
Then, the movement direction, movement amount, movement speed, and movement acceleration of the device are calculated from the input signal (S101), the magnitude of the vibration impulse is calculated from the movement acceleration (S102), and the vibration generator opposite to the movement direction is calculated. Is vibrated at the calculated size (S103). The control signal output from the arithmetic circuit 25 is transmitted to the corresponding vibration generator via the output circuit 23.
Then, when Δ time elapses from the vibration start time (“Yes” in S104), the other vibration generator in the moving direction is vibrated with the same magnitude (S105).

次に、制御回路25は、記憶回路22から刺激継続条件を抽出して(S106)、その条件を判定し(S107)、刺激継続条件が移動量である場合は、デバイスの移動量が所定値に達したか否かを判定し(S108)、所定値以上ならば移動方向と逆方向の振動生成器の振動を停止す(S112)。一方、ステップS107で刺激継続条件が時間の場合は、振動生成器をONしてから所定時間経過したか否かを判定して(S110)、所定時間経過している場合は、移動方向と逆方向の振動生成器の振動を停止す(S112)。
そして、ステップS112の処理の後、Δ時間経過した場合は(S113で「Yes」)、他方すなわち移動方向の振動生成器の振動を停止する(S114)。
Next, the control circuit 25 extracts the stimulation continuation condition from the storage circuit 22 (S106), determines the condition (S107), and if the stimulation continuation condition is a movement amount, the movement amount of the device is a predetermined value. (S108), if it is equal to or greater than a predetermined value, the vibration of the vibration generator in the direction opposite to the moving direction is stopped (S112). On the other hand, if the stimulus continuation condition is time in step S107, it is determined whether or not a predetermined time has elapsed since the vibration generator was turned on (S110). The vibration of the direction vibration generator is stopped (S112).
If Δ time has elapsed after the process of step S112 (“Yes” in S113), the vibration of the vibration generator in the other direction, that is, the moving direction is stopped (S114).

次に移動が終了したか否かを移動方向および移動量等のデータによって判定して(S115)、移動が継続している場合は(S115で「No」)、記憶回路22の刺激繰り返し条件を参照して、この条件がONになっている場合は(S116で「Yes」)、所定値以上移動したか否かを判定して(S117)、所定値以上移動している場合は、ステップS101へ戻る。これによって再度、振動インパルスが生成される。
一方、ステップS116で刺激繰り返し条件がOFFになっている場合は(S116で「No」)、終了する。
Next, it is determined whether or not the movement is completed based on data such as a movement direction and a movement amount (S115). If the movement is continued ("No" in S115), the stimulus repetition condition of the storage circuit 22 is set. Referring to this condition, if it is ON (“Yes” in S116), it is determined whether or not it has moved a predetermined value or more (S117), and if it has moved a predetermined value or more, step S101. Return to. This again generates a vibration impulse.
On the other hand, if the stimulus repetition condition is OFF in step S116 (“No” in S116), the process ends.

図6に上記の処理で生成される振動インパルスの波形を示す。ここで横軸は時間軸、縦軸は振動の変異量(または圧力)を示す。通常の振動と異なり、振動インパルスは短い時間間隔にエネルギーが集中し、図6(a)に示すように時間的に局在した振動波形の塊となっている。また図6(b)には2つの振動インパルスが時間差をもって生成されている様子を示す。A波とB波の間にはΔの時間差がある。この時間差は波形の塊間の時間差であり、通常の波形の位相差とは異なることを指摘しておきたい。波形の位相差では、最大でも波形の1周期までの時間差までしか区別できないが(それ以上大きくしても波形の周期性により、周期の整数倍分の違いは区別できず、1周期以内の時間差と同等になってしまう)、振動インパルス間で図6(b)のように定義される時間差は任意の大きさを取る事ができるし、大きくしてもその違いを区別することができる。このΔの大きさを数十ミリ秒から数百ミリ秒の範囲で変更して、指から指に物体が触れて移動する錯覚を作り出すようにする。例えばA波を親指に加え、B波を薬指に加えると、親指にぶつかった物体がそのまま移動して薬指にぶつかるような錯覚が生じる。   FIG. 6 shows the waveform of the vibration impulse generated by the above processing. Here, the horizontal axis represents the time axis, and the vertical axis represents the amount of vibration variation (or pressure). Unlike normal vibrations, the vibration impulses concentrate energy at short time intervals, and form a cluster of vibration waveforms localized in time as shown in FIG. FIG. 6B shows a state where two vibration impulses are generated with a time difference. There is a time difference of Δ between the A wave and the B wave. It should be pointed out that this time difference is a time difference between waveform blocks and is different from the phase difference of a normal waveform. The phase difference of the waveform can be distinguished only up to the time difference up to one period of the waveform at the maximum (even if it is larger than this, the difference in the integral multiple of the period cannot be distinguished due to the periodicity of the waveform, and the time difference within one period The time difference defined between the vibration impulses as shown in FIG. 6B can take an arbitrary magnitude, and even if it is increased, the difference can be distinguished. The magnitude of Δ is changed in the range of several tens of milliseconds to several hundreds of milliseconds so as to create an illusion that an object touches and moves from finger to finger. For example, when an A wave is applied to the thumb and a B wave is applied to the ring finger, an illusion that an object hitting the thumb moves and hits the ring finger is generated.

本発明は、上述の実施例に限定されること無く、種々変形して実施することができる。たとえば、上記実施例では、入力デバイスにディスプレイを一体化コンテンツビューアを例に説明したが、ディスプレイを別に設けて入力デバイス単体として構成することも可能である。   The present invention is not limited to the above-described embodiments and can be implemented with various modifications. For example, in the above-described embodiment, the display is integrated with the input device as an example of the integrated content viewer.

本発明の「表示システムの操作を支援する触覚刺激提示方法」をコンテンツビューアに応用した一実施例を示す図である。この図からディスプレイを除けば、マウスに応用した例にもなっている。マウスと同様に底面に位置検出用のセンサが設けられており、デバイス本体の動きを検出する。It is a figure which shows one Example which applied the "tactile stimulus presentation method which supports operation of a display system" of this invention to the content viewer. If the display is removed from this figure, it is an example applied to a mouse. Similar to the mouse, a position detection sensor is provided on the bottom surface to detect the movement of the device body. 図1のコンテンツビューアを前面から見た図であり、ディスプレイにはGUIの基本となるカーソル、メニューとフォーカス(ハイライトの当たっている項目)が示されている。右側(図2(a))には振動生成器の振動がデバイス本体に伝わることを防ぐためのバネなどのインシュレータの内部の構造が示されている。FIG. 2 is a view of the content viewer of FIG. 1 as viewed from the front, and a display shows a cursor, menu, and focus (highlighted items) that are the basis of a GUI. On the right side (FIG. 2A), an internal structure of an insulator such as a spring for preventing the vibration of the vibration generator from being transmitted to the device body is shown. 図1のコンテンツビューアを手で保持する様子を示す図である。デバイス本体の側面を親指、中指、薬指で押さえて保持すると持ちやすい。また空いている人差し指でデバイス表面のボタンやホイールを操作できる。空中でデバイス裏側から手を廻して保持する場合にもこのように側面に指を当てて持つのが持ちやすいので、側面の指が接する位置に振動生成器を設置するようにする。It is a figure which shows a mode that the content viewer of FIG. 1 is hold | maintained by hand. It is easier to hold the device by holding the side of the device with your thumb, middle finger, and ring finger. You can also operate the buttons and wheels on the device surface with your free index finger. Even if you hold your hand from the back side of the device in the air, it is easy to hold it with your fingers against the side as described above, so install the vibration generator at the position where the fingers on the side touch. 本発明の一実施例によるコンテンツビューアのブロック図である。FIG. 3 is a block diagram of a content viewer according to an embodiment of the present invention. 図4の演算回路25の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the arithmetic circuit 25 of FIG. 振動生成器が生成する振動パルスの波形と、時間差をもって生成される二つの振動パルスの関係を示す図である。It is a figure which shows the relationship between the waveform of the vibration pulse which a vibration generator produces | generates, and two vibration pulses produced | generated with a time difference.

符号の説明Explanation of symbols

1 ディスプレイ
2 マウス左ボタン
3 スクロールホイール
4 マウス右ボタン
5 振動生成器
6 振動生成器
7 振動生成器
15 光学式動き検出センサ
20 制御回路
21 入力回路
22 記憶回路
23 出力回路
24 表示出力回路
25 演算回路
30 コンテンツビューア(デバイス)
DESCRIPTION OF SYMBOLS 1 Display 2 Mouse left button 3 Scroll wheel 4 Mouse right button 5 Vibration generator 6 Vibration generator 7 Vibration generator 15 Optical motion detection sensor 20 Control circuit 21 Input circuit 22 Memory circuit 23 Output circuit 24 Display output circuit 25 Arithmetic circuit 30 Content viewer (device)

Claims (7)

手で保持して前後左右に動かして操作するデバイスに適用され、前記デバイスの動きの方向と、量もしくは速さとに基づき、前記デバイス本体に設けられたディスプレイまたは別途設けられたディスプレイの表示内容をスクロールしたり、カーソルやフォーカスを移動したりする表示システムの操作を支援するための触覚刺激提示方法であって、
前記デバイス本体の側面上で手指が接する少なくとも2つの位置にそれぞれ独立に振動する振動生成器を設置し、
前記各振動生成器は駆動信号が加えられると短い期間に集中的に振動することによって振動パルスを生成し、
前記各振動生成器が生成する振動パルスに所定の時間差が生じるように振動パルスの生成タイミングを制御し、
振動パルスの生成位置と時間差によって、前記スクロールの方向と、量もしくは速度とをユーザに通知すると共に、前記カーソルあるいはフォーカスの移動方向と、移動量もしくは移動速度とをユーザに通知することを特徴とする触覚刺激提示方法。
Applies to devices that are held by hand and moved back and forth, left and right, and based on the direction and amount or speed of movement of the device, display contents of the display provided on the device body or a display provided separately A tactile stimulus presentation method for supporting the operation of a display system that scrolls or moves a cursor or focus,
A vibration generator that vibrates independently at at least two positions on the side of the device body where the fingers touch,
Each vibration generator generates a vibration pulse by oscillating intensively in a short period when a driving signal is applied,
Control the generation timing of the vibration pulse so that a predetermined time difference occurs in the vibration pulse generated by each vibration generator,
Notifying the user of the direction and amount or speed of the scroll according to the generation position and time difference of the vibration pulse, and notifying the user of the moving direction or moving speed of the cursor or focus To present a tactile stimulus.
前記振動生成器とデバイス本体の間に振動を吸収するかキャンセルする素材または機構を介在することを特徴とする請求項1に記載の触覚刺激提示方法。   The tactile stimulus presentation method according to claim 1, wherein a material or a mechanism for absorbing or canceling vibration is interposed between the vibration generator and the device body. 前記振動パルスは、前記スクロールの量または速度、及び前記カーソルやフォーカスの到達位置や移動量または移動速度に依存したタイミングあるいは周期で生成されることを特徴とする請求項1または請求項2に記載の触覚刺激提示方法。   3. The vibration pulse is generated at a timing or a period depending on an amount or speed of the scroll and an arrival position, movement amount or movement speed of the cursor or focus. Presentation method of tactile stimulation. 第1の指が接する第1の振動生成器と第2の指が接する第2の振動生成器とを備え、デバイス本体を前後に動かすときには、前記第1の振動生成器が前記振動パルスを生成して前記第2の振動生成器は停止し、デバイス本体を左右に動かすときには、前記第1の振動生成器は停止して前記第2の振動生成器が前記振動パルスを生成することを特徴とする請求項1乃至3のいずれか一に記載の触覚刺激提示方法。   A first vibration generator in contact with a first finger and a second vibration generator in contact with a second finger. When the device body is moved back and forth, the first vibration generator generates the vibration pulse. The second vibration generator is stopped, and when the device main body is moved to the left and right, the first vibration generator is stopped and the second vibration generator generates the vibration pulse. The tactile stimulus presentation method according to any one of claims 1 to 3. 第1の指が接する第1の振動生成器と第2の指が接する第2の振動生成器と第3の指が接する第3の振動生成器とを備え、デバイス本体を前後に動かすときには、前記第1の振動生成器と前記第2の振動生成器が微小な時間差で前記振動パルスを生成し、デバイス本体を左右に動かすときには、前記第1の振動生成器と前記第3の振動生成器が微小な時間差で前記振動パルスを生成し、これらの微小な時間差で生成される振動パルスの生成順序はデバイス本体の移動方向に依存して変わることを特徴とする請求項1乃至3のいずれか一に記載の触覚刺激提示方法。   A first vibration generator in contact with the first finger; a second vibration generator in contact with the second finger; and a third vibration generator in contact with the third finger; When the first vibration generator and the second vibration generator generate the vibration pulse with a minute time difference and move the device body from side to side, the first vibration generator and the third vibration generator 4 generates the vibration pulse with a minute time difference, and the generation order of the vibration pulses generated with the minute time difference changes depending on the moving direction of the device body. The tactile stimulus presentation method according to 1. 第1の指が接する第1の振動生成器と第2の指が接する第2の振動生成器と第3の指が接する第3の振動生成器と第4の指が接する第4の振動生成器とを備え、デバイス本体を前後に動かすときには、前記第1の振動生成器と前記第2の振動生成器が微小な時間差で前記振動パルスを生成し、デバイス本体を左右に動かすときには、前記第3の振動生成器と前記第4の振動生成器が微小な時間差で前記振動パルスを生成し、これらの微小な時間差で生成される振動パルスの生成順序はデバイス本体の移動方向に依存して変わることを特徴とする請求項1乃至3のいずれか一に記載の触覚刺激提示方法。   A first vibration generator in contact with the first finger, a second vibration generator in contact with the second finger, a third vibration generator in contact with the third finger, and a fourth vibration generation in contact with the fourth finger And when the device body is moved back and forth, the first vibration generator and the second vibration generator generate the vibration pulse with a minute time difference, and when the device body is moved left and right, the first vibration generator 3 and the fourth vibration generator generate the vibration pulse with a minute time difference, and the generation order of the vibration pulses generated with the minute time difference varies depending on the moving direction of the device body. The tactile stimulus presentation method according to claim 1, wherein the tactile stimulus is presented. 前記デバイス本体の移動量に対して、前記スクロールの量、または前記カーソルまたはフォーカスの移動量を対応付ける規則が、前記デバイス本体の速度または加速度に依存して変化するように構成された表示システムの操作を支援することを目的として、前記振動パルスの発生周期を前記スクロールの速度、または前記カーソルまたはフォーカスの速度に概反比例するように定めることを特徴とする請求項1乃至6のいずれか一に記載の触覚刺激提示方法。   Operation of a display system configured such that a rule that associates the amount of scrolling or the amount of movement of the cursor or focus with the amount of movement of the device body changes depending on the speed or acceleration of the device body 7. For the purpose of assisting, the generation period of the vibration pulse is determined so as to be approximately inversely proportional to the scroll speed or the cursor or focus speed. Presentation method of tactile stimulation.
JP2007095705A 2007-03-30 2007-03-30 Method for presenting tactile stimulus Pending JP2008257295A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007095705A JP2008257295A (en) 2007-03-30 2007-03-30 Method for presenting tactile stimulus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007095705A JP2008257295A (en) 2007-03-30 2007-03-30 Method for presenting tactile stimulus

Publications (1)

Publication Number Publication Date
JP2008257295A true JP2008257295A (en) 2008-10-23

Family

ID=39980836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007095705A Pending JP2008257295A (en) 2007-03-30 2007-03-30 Method for presenting tactile stimulus

Country Status (1)

Country Link
JP (1) JP2008257295A (en)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011107879A (en) * 2009-11-16 2011-06-02 Nec Corp Kinesthetic sense presentation device and mobile terminal apparatus
JP2012252398A (en) * 2011-05-31 2012-12-20 Sony Corp Pointing system, pointing device, and pointing control method
WO2013035587A1 (en) * 2011-09-07 2013-03-14 日本電気株式会社 Tactile presentation system
JP2013164845A (en) * 2012-02-10 2013-08-22 Samsung Electronics Co Ltd Apparatus and method for controlling vibration transfer between vibration devices
JP2014093091A (en) * 2012-11-02 2014-05-19 Immersion Corp Encoding dynamic haptic effects
WO2015096584A1 (en) * 2013-12-25 2015-07-02 乐视网信息技术(北京)股份有限公司 Method and system for setting position of moving cursor in display page with links
CN105892978A (en) * 2016-03-24 2016-08-24 南通艾利特自动化有限公司 Robot demonstrating device with keys on back
JPWO2014104007A1 (en) * 2012-12-28 2017-01-12 株式会社ニコン Data processing apparatus and data processing program
JP2017027294A (en) * 2015-07-21 2017-02-02 株式会社デンソー Display operation device
JP2017510923A (en) * 2014-03-21 2017-04-13 イマージョン コーポレーションImmersion Corporation System and method for a tactile responsive bending device
JP2017073100A (en) * 2015-10-05 2017-04-13 株式会社ミライセンス Tactile and force information providing system
WO2017169115A1 (en) * 2016-03-30 2017-10-05 ソニー株式会社 Control device, control method, and program
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
JPWO2018016107A1 (en) * 2016-07-21 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント Operation device and control system
US10850192B2 (en) 2016-03-04 2020-12-01 Sony Interactive Entertainment Inc. Control apparatus and control program
US10967253B2 (en) 2016-07-26 2021-04-06 Sony Interactive Entertainment Inc. Operation device and method for controlling the same
US11173393B2 (en) 2017-09-29 2021-11-16 Sony Interactive Entertainment Inc. Operation device and control apparatus therefor
US11344797B2 (en) 2016-07-26 2022-05-31 Sony Interactive Entertainment Inc. Information processing system, operation device, and operation device control method with multi-mode haptic feedback
US11511185B2 (en) 2017-10-27 2022-11-29 Sony Interactive Entertainment Inc. Operation device

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011107879A (en) * 2009-11-16 2011-06-02 Nec Corp Kinesthetic sense presentation device and mobile terminal apparatus
JP2012252398A (en) * 2011-05-31 2012-12-20 Sony Corp Pointing system, pointing device, and pointing control method
WO2013035587A1 (en) * 2011-09-07 2013-03-14 日本電気株式会社 Tactile presentation system
JP2013164845A (en) * 2012-02-10 2013-08-22 Samsung Electronics Co Ltd Apparatus and method for controlling vibration transfer between vibration devices
JP2014093091A (en) * 2012-11-02 2014-05-19 Immersion Corp Encoding dynamic haptic effects
US10248212B2 (en) 2012-11-02 2019-04-02 Immersion Corporation Encoding dynamic haptic effects
US9958944B2 (en) 2012-11-02 2018-05-01 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US10359851B2 (en) 2012-12-10 2019-07-23 Immersion Corporation Enhanced dynamic haptic effects
JPWO2014104007A1 (en) * 2012-12-28 2017-01-12 株式会社ニコン Data processing apparatus and data processing program
WO2015096584A1 (en) * 2013-12-25 2015-07-02 乐视网信息技术(北京)股份有限公司 Method and system for setting position of moving cursor in display page with links
JP2017510923A (en) * 2014-03-21 2017-04-13 イマージョン コーポレーションImmersion Corporation System and method for a tactile responsive bending device
JP2017027294A (en) * 2015-07-21 2017-02-02 株式会社デンソー Display operation device
JP2017073100A (en) * 2015-10-05 2017-04-13 株式会社ミライセンス Tactile and force information providing system
US11198060B2 (en) 2016-03-04 2021-12-14 Sony Interactive Entertainment Inc. Control apparatus and control program
US10850192B2 (en) 2016-03-04 2020-12-01 Sony Interactive Entertainment Inc. Control apparatus and control program
US11654353B2 (en) 2016-03-04 2023-05-23 Sony Interactive Entertainment Inc. Control apparatus and control program
CN105892978A (en) * 2016-03-24 2016-08-24 南通艾利特自动化有限公司 Robot demonstrating device with keys on back
WO2017169115A1 (en) * 2016-03-30 2017-10-05 ソニー株式会社 Control device, control method, and program
US10739856B2 (en) 2016-03-30 2020-08-11 Sony Corporation Control device and a control method to cause a user to perceive a tactile stimuli
JPWO2018016107A1 (en) * 2016-07-21 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント Operation device and control system
US11596858B2 (en) 2016-07-21 2023-03-07 Sony Interactive Entertainment Inc. Operating device and control system
US10881953B2 (en) 2016-07-21 2021-01-05 Sony Interactive Entertainment Inc. Operating device and control system
US10967253B2 (en) 2016-07-26 2021-04-06 Sony Interactive Entertainment Inc. Operation device and method for controlling the same
US11344797B2 (en) 2016-07-26 2022-05-31 Sony Interactive Entertainment Inc. Information processing system, operation device, and operation device control method with multi-mode haptic feedback
US11524226B2 (en) 2016-07-26 2022-12-13 Sony Interactive Entertainment Inc. Operation device and method for controlling the same
US11980810B2 (en) 2016-07-26 2024-05-14 Sony Interactive Entertainment Inc. Information processing system, operation device, and operation device control method
US11173393B2 (en) 2017-09-29 2021-11-16 Sony Interactive Entertainment Inc. Operation device and control apparatus therefor
US11511185B2 (en) 2017-10-27 2022-11-29 Sony Interactive Entertainment Inc. Operation device

Similar Documents

Publication Publication Date Title
JP2008257295A (en) Method for presenting tactile stimulus
US9134797B2 (en) Systems and methods for providing haptic feedback to touch-sensitive input devices
JP6591805B2 (en) System and method for a surface element providing an electrostatic haptic effect
US10191562B2 (en) Pointing system, pointing device, and pointing control method
JP4860625B2 (en) Haptic feedback for simulating buttons and scrolling motion on touch input devices
KR101618665B1 (en) Multi-touch device having dynamichaptic effects
US6211861B1 (en) Tactile mouse device
JP6761225B2 (en) Handheld information processing device
JP4445582B2 (en) Virtual sense presentation device
EP2947548A1 (en) Non-collocated haptic cues in immersive environments
JP2007331066A (en) Contact presenting device and method
JP2013058136A (en) User interface device allowing target on screen to be manipulated with pressing force, target manipulation method, and program
KR20100127207A (en) Apparatus and method for vibrotactile mobile device
JP2003337962A5 (en)
JP2016126422A (en) Handheld information processing device
JP6376886B2 (en) Input system and input method
JP3855561B2 (en) Tactile force sense presentation device and information input / output device
US20100214221A1 (en) Mouse
JP6809868B2 (en) Movement guidance device, panel device, control device and movement guidance method
JP6723380B2 (en) System and method for simulating reaction forces from virtual objects
JP2005078310A (en) Tactile presentation device, tactile presentation method and program thereof
JP3084433U (en) Tactile mouse device
WO2022149361A1 (en) Input device capable of providing tree-dimensional tactile information
JP2022105942A (en) Input device for operation in simulated virtual space
JP2021047897A (en) Movement guidance device and movement guidance method