JP2016170752A - Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon - Google Patents
Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon Download PDFInfo
- Publication number
- JP2016170752A JP2016170752A JP2015051812A JP2015051812A JP2016170752A JP 2016170752 A JP2016170752 A JP 2016170752A JP 2015051812 A JP2015051812 A JP 2015051812A JP 2015051812 A JP2015051812 A JP 2015051812A JP 2016170752 A JP2016170752 A JP 2016170752A
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- display
- information
- touch panel
- tactile sense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、タッチパネルに表示された表示対象情報上をユーザがタッチ操作したときに、操作した指と異なる指に、当該操作に対応する触覚を提示する、タッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末に関する。 The present invention provides a tactile presentation device corresponding to a touch panel operation and a tactile sensation that presents a tactile sensation corresponding to the operation to a finger different from the operated finger when the user performs a touch operation on display target information displayed on the touch panel. The present invention relates to a presentation method, a tactile presentation program, and a portable terminal equipped with a tactile presentation device.
スマートフォンやタブレット端末などのタッチパネルが搭載されたデバイスの普及に伴い、その操作の快適さや正確さの向上が重要な課題となっている。タッチパネルを用いることで、選択対象のアイコンが表示された部分を指で直接タッチ操作するなどの直観的操作が可能になり、操作の快適性が向上する一方、クリック感などの触覚フィードバックが欠如し、入力精度が低下することが知られている。 With the widespread use of devices equipped with touch panels such as smartphones and tablet terminals, improvements in the comfort and accuracy of operations have become important issues. By using the touch panel, intuitive operation such as direct touch operation with the finger on the part where the icon to be selected is displayed is possible, improving operational comfort, but lacking tactile feedback such as click feeling. It is known that the input accuracy decreases.
そこで、タッチパネル上でタッチ操作を行ったときに、パネルに触れた指(以降、「操作指」と称する)の指先にアイコンを操作した触覚をフィードバックさせることで、クリック感を提示する技術がある。例えば、タッチパネル上に透明電極を設置し、表示されたアイコンに対応する位置の電極に微弱電流を流すことで、タッチ操作時に操作指に電気刺激を与え、アイコン操作に対応した触覚を提示するものがある。 Therefore, when a touch operation is performed on the touch panel, there is a technique for presenting a click feeling by feeding back a tactile sense of operating an icon to the fingertip of a finger touching the panel (hereinafter referred to as “operation finger”). . For example, a transparent electrode is installed on the touch panel, and a weak current is applied to the electrode at a position corresponding to the displayed icon, so that an electrical stimulus is given to the operating finger during a touch operation and a tactile sensation corresponding to the icon operation is presented. There is.
しかし、上述した技術において触覚提示手段として用いる電極はタッチパネルの表面に設置されるため、視覚的に遮らないように透明なものにする必要があり、構成部品が限定されて製造上の制約が大きいという問題があった。 However, since the electrodes used as the tactile sensation presentation means in the above-described technology are installed on the surface of the touch panel, it is necessary to make them transparent so as not to obstruct them visually. There was a problem.
これに鑑み、タッチパネルの裏面全体を覆うように、触覚提示手段としての電極を敷き詰めた触覚ディスプレイを配置し、タッチパネルの持ち手に、操作したアイコン等の位置を触覚で提示するデバイスがある。このデバイスでは電極は透明である必要はなく、構成の自由度が高くなる。 In view of this, there is a device that arranges a tactile display with electrodes as tactile presentation means so as to cover the entire back surface of the touch panel and presents the position of an operated icon or the like to the handle of the touch panel with a tactile sense. In this device, the electrode does not need to be transparent, and the degree of freedom of configuration is high.
しかし、タッチパネルの裏面全体を覆うように電極を敷き詰めたデバイスは、製造コストがかかるという問題があった。またこのデバイスは、ユーザが操作したアイコンの位置を持ち手側に提示することはできるが、提示される触覚の感覚が、タッチパネル上での操作指の動きに追従していないため、持ち手側で表示物の形状等を認識することが困難であるという問題があった。 However, a device in which electrodes are laid so as to cover the entire back surface of the touch panel has a problem in that manufacturing costs are high. In addition, this device can present the position of the icon operated by the user to the hand side, but the tactile sensation presented does not follow the movement of the operating finger on the touch panel. Therefore, there is a problem that it is difficult to recognize the shape of the display object.
本発明は上記事情に鑑みてなされたものであり、タッチパネル上で行われた操作に追従して、ユーザが精度良く認識しやすい状態で触覚を提示することが可能な、タッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末を提供することを目的とする。 The present invention has been made in view of the above circumstances, and is capable of presenting tactile sensation in a state in which the user can easily recognize with high accuracy following the operation performed on the touch panel, and is responsive to touch panel operation. An object is to provide a presentation device, a tactile sense presentation method, a tactile sense presentation program, and a portable terminal equipped with the tactile sense presentation device.
上記の課題を解決するための、本発明のタッチパネル操作に対応する触覚提示装置は、所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルに接続され、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部とを備えることを特徴とする。 A tactile sensation presentation apparatus corresponding to a touch panel operation of the present invention for solving the above-mentioned problem is connected to a touch panel that displays predetermined display target information at a predetermined position and inputs information related to an operation by a user. Above, a cut-out processing unit that cuts out display information around the operation position, a tactile display in which a plurality of tactile stimulators for stimulating a tactile sense are arranged in a matrix, and a region around the operation position cut out by the cut-out processing unit A stimulator specifying information generating unit for generating a stimulator specifying information for specifying a corresponding tactile stimulator for displaying the display information in a tactile sense by reversing left and right, and the stimulator specifying information generating unit Operation to the display information by outputting a stimulus factor from the haptic stimulus specified by the generated stimulus specification information Characterized in that it comprises a tactile sense presentation controller that presents the corresponding tactile user.
また本発明のタッチパネル操作に対応する触覚提示方法は、所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置におけるタッチパネル操作に対応する触覚提示方法であって、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理ステップと、前記切り出し処理ステップで切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成ステップと、前記刺激子特定情報生成ステップで生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御ステップとを有することを特徴とする。
The tactile sense presentation method corresponding to the touch panel operation according to the present invention includes a touch panel that displays predetermined display target information at a predetermined position and inputs information related to an operation by the user, and a plurality of tactile stimulators for stimulating the tactile sense. A tactile presentation method corresponding to a touch panel operation in a tactile presentation device connected to a tactile display arranged in a shape, a cutout processing step of cutting out display information around an operation position on the touch panel, and the cutout processing step A stimulator specifying information generating step for generating stimulator specifying information for specifying the corresponding tactile stimulator for reversing the display information around the operation position cut out in
また本発明のタッチパネル操作に対応する触覚提示用プログラムは、所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置に、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理機能と、前記切り出し処理機能で切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成機能と、前記刺激子特定情報生成機能で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御機能とを実行させることを特徴とする。 The tactile presentation program corresponding to the touch panel operation of the present invention includes a touch panel that displays predetermined display target information at a predetermined position and inputs information related to an operation by the user, and a plurality of tactile stimulators for stimulating the tactile sense. A cutout processing function for cutting out display information around the operation position on the touch panel to a tactile display device connected to a tactile display arranged in a matrix, and display information around the operation position cut out by the cutout processing function Is generated by the stimulator specifying information generating function for generating the stimulator specifying information for specifying the corresponding tactile stimulator for recognizing the tactile sense by the tactile display and the stimulator specifying information generating function. Output the stimulus factor from the tactile stimulus specified by the stimulus specific information. And wherein the tactile corresponding to the operation of that to execute a tactile sense presentation control function to be presented to the user.
また本発明の触覚提示装置を搭載した携帯端末は、所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルと、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部とを備えることを特徴とする。 In addition, the portable terminal equipped with the tactile sense presentation device of the present invention displays predetermined display target information at a predetermined position, displays a touch panel for inputting information related to an operation by a user, and display information around the operation position on the touch panel. A tactile display unit for cutting out, a tactile display in which a plurality of tactile stimulators for stimulating tactile sensations are arranged in a matrix, and display information around the operation position cut out by the cutout processing unit is horizontally reversed to generate the tactile sense A stimulator specifying information generating unit for generating a stimulator specifying information for specifying a corresponding tactile stimulator to be presented by a tactile sense on a display, and a stimulator specifying information generated by the stimulator specifying information generating unit Tactile presentation that presents the user with a tactile sense corresponding to the operation on the display information by outputting a stimulus factor from the tactile stimulator Characterized in that it comprises a control unit.
本発明のタッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末は、タッチパネル上で行われた操作に対応して、ユーザが精度良く認識しやすい状態で触覚を提示することができる。 The tactile presentation device, the tactile presentation method, the tactile presentation program, and the portable terminal equipped with the tactile presentation device corresponding to the touch panel operation of the present invention are accurately recognized by the user corresponding to the operation performed on the touch panel. A tactile sensation can be presented in an easy state.
以下、本発明の一実施形態として、タッチパネル操作に対応する触覚提示装置を搭載したスマートフォンについて、詳細に説明する。 Hereinafter, as an embodiment of the present invention, a smartphone equipped with a tactile sense presentation device corresponding to a touch panel operation will be described in detail.
〈一実施形態による触覚提示装置を搭載したスマートフォンの構成〉
本実施形態による触覚提示装置を搭載したスマートフォンの構成を、図1を参照して説明する。図1は、スマートフォン1を裏面側から見た外観斜視図である。スマートフォン1には、端末本体2の裏面側の中央よりやや上の位置に、複数の電極がマトリックス状に配置された電気触覚ディスプレイ3が設置されている。端末本体2の表面側には、後述するタッチパネル21が設置されており、電気触覚ディスプレイ3は、端末本体2の裏面側に、タッチパネル21と逆方向を向くように設置されている。端末本体2と電気触覚ディスプレイ3とは、USBシリアル通信可能な状態で接続されている。
<Configuration of a smartphone equipped with a tactile presentation device according to an embodiment>
The configuration of a smartphone equipped with a tactile sense presentation device according to the present embodiment will be described with reference to FIG. FIG. 1 is an external perspective view of the smartphone 1 viewed from the back side. The smartphone 1 is provided with an
端末本体2および電気触覚ディスプレイ3の詳細な機能構成について、図2のブロック図を参照して説明する。端末本体2は、タッチパネル21と、入力情報取得部22と、表示制御部23と、キャプチャ処理部24と、切り出し処理部25と、刺激子特定情報生成部としての提示位置情報生成部26と、送信部27とを有する。
Detailed functional configurations of the
タッチパネル21は、所定形状の表示対象情報を表示するとともに、ユーザによるタッチ操作に関する情報を入力する。入力情報取得部22は、タッチパネル21から入力された情報を取得する。表示制御部23は、入力情報取得部22で取得された入力情報に基づいて指定された表示対象情報を、タッチパネル21上の所定位置に表示させる。キャプチャ処理部24は、表示対象情報が表示されたタッチパネル21の画面全体の表示情報をキャプチャする。
The
切り出し処理部25は、入力情報取得部22で取得された入力情報に基づいて、タッチパネル21上の、ユーザによるタッチ操作位置を特定する。そして、特定したタッチ操作位置周辺の表示情報を、キャプチャ処理部24でキャプチャされた画面全体の表示情報から切り出す。ここで「タッチ位置周辺の表示情報」とは、タッチ操作位置を含む所定領域の表示情報であり、「所定領域」とは、当該タッチ操作位置を中心として、人間がタッチパネル21をタッチ操作したときに押圧される範囲相当として予め設定される大きさの領域である。
The
提示位置情報生成部26は、切り出し処理部25で取得された所定領域の表示情報を、左右反転させて電気触覚ディスプレイ3により触覚で提示させるために、後述する電極群31内で通電させる電極を特定するための通電電極特定情報(本発明の刺激子特定情報)を生成する。
The presentation position
送信部27は、提示位置情報生成部26で生成された通電電極特定情報を、電気触覚ディスプレイ3に送信する。
The
電気触覚ディスプレイ3は、電極群31と、受信部32と、触覚提示制御部33とを有する。
The
電極群31は、人間の人差し指の末節を当てたときに当該人差し指が接触する程度の面積の平面に、複数の触覚刺激子としての電極がマトリックス状に並べられて構成されている。また電極群31は、各電極への通電(電極からの刺激要因である電気刺激の出力)をON/OFF操作するための複数のスイッチがそれぞれ設置されている。電極群31は、受信部32は、端末本体2から送信された通電電極特定情報を受信する。触覚提示制御部33は、受信部32で受信された通電電極特定情報で特定される電極に電気を流すように、電極群31のスイッチを制御する。
The
〈一実施形態による触覚提示装置を搭載したスマートフォンの動作〉
次に、本実施形態によるスマートフォン1を利用して、ユーザによるタッチパネル21への操作に追従して、電気触覚ディスプレイ3による触覚提示を行う場合の動作について説明する。本実施形態においてユーザは、図3に示すように、右手の人差し指の末節を電極群31に接触させつつスマートフォン1を把持し、図4に示すように当該右手の親指でタッチパネル21の操作を行う。ここで、タッチパネル21への操作を行う親指を「操作指」と称し、電気刺激による触覚提示を受ける人差し指を「提示指」と称する。
<Operation of Smartphone Equipped with Tactile Presentation Device According to One Embodiment>
Next, the operation in the case of performing tactile presentation on the
上述したようにスマートフォン1を把持したユーザがタッチパネル21の操作を行ったときに、端末本体2で実行される処理について、図5のフローチャートを参照して説明する。
As described above, when the user who holds the smartphone 1 performs an operation on the
まず、ユーザによりタッチパネル21の操作で表示対象情報が指定されると(S1の「YES」)、当該操作内容を示す情報が入力情報取得部22で取得される。そして、取得された情報に基づいて、指定された表示対象情報が表示制御部23の制御によりタッチパネル21の所定位置に表示される(S2)。ここでは、図6に示すように、左上から右下に向かう斜線Aが、表示対象情報として指定され、タッチパネル21の上部に表示されたものとする。
First, when display target information is designated by an operation on the
次に、キャプチャ処理部24により、斜線Aが表示されたタッチパネル21の、画面全体の表示情報がキャプチャされる(S3)。
Next, display information of the entire screen of the
次に、斜線Aが表示されたタッチパネル21上の斜線Aの表示近辺で、ユーザの操作指により新たにタッチ操作が行われると(S4の「YES」)、切り出し処理部25により、タッチパネル21上の当該タッチ操作位置(タッチ操作の中心座標)がタッチ操作位置として特定される(S5)。
Next, when a new touch operation is performed by the user's operation finger in the vicinity of the display of the oblique line A on the
さらに切り出し処理部25において、特定されたタッチ操作位置を含む所定領域内の表示情報が、キャプチャ処理部24でキャプチャされた画面全体の表示情報から切り出される(S6)。ここでは、ユーザが斜線Aの近辺でタッチ操作をしていることにより、当該所定領域内には、斜線Aの一部が含まれている。
Further, in the
次に、提示位置情報生成部26において、切り出し処理部25で切り出された表示情報を、左右反転させて電気触覚ディスプレイ3により触覚で提示させるために、該当する電極群31内の電極、つまり、電極群31内で通電させる電極を特定するための通電電極特定情報が生成される(S7)。生成された通電電極特定情報は、送信部27から電気触覚ディスプレイ3に送信される(S8)。
Next, in the presentation position
電気触覚ディスプレイ3では、端末本体2から送信された通電電極特定情報が受信部32で受信され、当該通電電極特定情報で特定される電極に電気を流すように、触覚提示制御部33により電極群31のスイッチが制御される。このように所定電極のスイッチが通電制御されることにより、ユーザの提示指に、斜線Aの該当部分の形状をした凹凸を触ったときのような感覚を提示することができる。
In the
次に端末本体2において、タッチパネル21への操作指のタッチ状態が継続されているときには(S9の「YES」)、ステップS5に戻り、ステップS5〜S8の処理が繰り返される。ここで、ユーザがタッチパネル21上の斜線Aの表示付近で操作指をタッチさせたままスライドさせたときの処理について説明する。
Next, in the terminal
例えば、図7(a)に示すように、タッチパネル21上に表示された斜線Aから離れた位置がタッチされ、タッチ位置情報を含む所定領域内に斜線Aの部分形状情報が存在しないときには、電気触覚ディスプレイ3の電極群31はいずれも通電されない(図7(b))。
For example, as shown in FIG. 7A, when a position away from the oblique line A displayed on the
その後、ユーザがタッチパネル21をタッチしたまま操作指をスライドさせ、図8(a)に示すように操作指の左下部分に斜線Aの表示が重なったときには、切り出された表示情報が左右反転された形状が提示指の右下部分に触覚提示されるために、電極群31の中の、図8(b)に黒丸で示す電極が通電される。
Thereafter, when the user slides the operation finger while touching the
さらに、ユーザが操作指をスライドさせ、図9(a)に示すように操作指の中心付近に斜線Aの表示が重なったときには、切り出された表示情報が左右反転された形状が提示指の中心部分に触覚提示されるように、電極群31の中の、図9(b)に黒丸で示す電極が通電される。
Further, when the user slides the operation finger and the display of the hatched line A overlaps with the vicinity of the center of the operation finger as shown in FIG. 9A, the shape obtained by horizontally inverting the clipped display information is the center of the presentation finger. The electrodes indicated by the black circles in FIG. 9B in the
さらに、ユーザが操作指をスライドさせ、図10(a)に示すように操作指の右上付近に斜線Aの表示が重なったときには、切り出された表示情報が左右反転された形状が提示指の左上部分に触覚提示されるように、電極群31の中の、図10(b)に黒丸で示す電極が通電される。
Further, when the user slides the operating finger and the display of the oblique line A overlaps with the vicinity of the upper right of the operating finger as shown in FIG. 10A, the shape obtained by horizontally flipping the cut out display information is the upper left of the presenting finger. The electrodes indicated by black circles in FIG. 10B in the
つまり、図7→図8→図9→図10のように、操作指で表示情報上を右上から左下に向かって斜め方向にスライド操作すると、電気触覚ディスプレイ3に接触した提示指に、左下から右上に向かって斜め方向に表示情報が移動するように順次接触提示される。同様にして、例えば操作指で表示情報上を左から右に向かって横方向にスライド操作したときには、操作指の押圧部分の右側から左側に向かって表示情報が移動するように接触していくことになり、この動作に追従して触覚ディスプレイにおいて右側から左側に向かって表示情報の左右反転した情報が移動するように順次触覚提示され、提示指でも操作指と同様に指の右側から左側に向かって表示情報が移動するように触覚が認識される。
That is, as shown in FIG. 7 → FIG. 8 → FIG. 9 → FIG. 10, when the display finger is slid on the display information in an oblique direction from the upper right to the lower left, the presentation finger in contact with the electric
このように、操作指による操作の動きに追従して提示指に触覚提示される情報が順次更新されることにより、提示指は固定されているにもかかわらず、あたかも提示指で表示情報の形状をした凹凸上をスライドしながら触っているかのような感覚を得ることができる。 In this way, by sequentially updating the information presented to the presentation finger by tactile movement following the movement of the operation by the operation finger, the shape of the display information is as if the presentation finger is fixed, even though the presentation finger is fixed. You can feel as if you are touching while sliding on the uneven surface.
つまり、画面に表示されている情報を触ることで当該情報の形状を触覚として認識することができるため、例えば視覚障害者がスマートフォンに表示された情報の形状を認識することができる。 In other words, since the shape of the information can be recognized as a tactile sensation by touching the information displayed on the screen, for example, a visually handicapped person can recognize the shape of the information displayed on the smartphone.
上述した実施形態において、タッチパネル21にユーザのタッチ操作による押圧の強さを検出する手段を搭載し、検出した押圧の強さの情報に基づいて、表示情報を切り出す領域の面積および提示する面積を変えるようにしてもよい。例えば、強くタッチ操作したときには表示情報を切り出す領域の面積および提示する面積を広くし、弱くタッチ操作したときには表示情報を切り出す領域の面積および提示する面積を狭くすることで、タッチ操作の強さにも追従して提示指への触覚提示を行うことができる。
In the above-described embodiment, the
また上述した実施形態においては、触覚ディスプレイを複数の電極で構成した場合について説明したが、ピエゾ素子等の圧電素子やMEMS(Micro Electro Mechanical Systems)技術を利用して構成し、触覚刺激を提示するようにしてもよい。 In the above-described embodiment, the case where the tactile display is configured by a plurality of electrodes has been described. However, the tactile display is configured using a piezoelectric element such as a piezoelectric element or MEMS (Micro Electro Mechanical Systems) technology, and presents a tactile stimulus. You may do it.
また、本実施形態の触覚提示装置の切り出し処理部、提示位置情報生成部、および触覚提示制御部の各機能をプログラム化してコンピュータに組み込むことにより、当該コンピュータを触覚提示装置として構築することも可能である。 In addition, each function of the cutout processing unit, the presentation position information generation unit, and the tactile presentation control unit of the tactile presentation device of the present embodiment can be programmed and incorporated into the computer, so that the computer can be constructed as a tactile presentation device. It is.
〈触覚ディスプレイにより触覚提示された形状の認識精度に関する検証実験〉
上述したように、操作指による操作に追従して電気触覚ディスプレイ3から提示指に触覚提示された情報により、タッチパネル21上に表示された情報の形状を認識する場合、ユーザは、操作指の動作と提示指の触知覚を融合して表示対象情報の形状を認識する必要がある。そこで、この認識処理の精度が十分であるかを検証するため、以下の実験を行った。
<Verification experiment on recognition accuracy of shape presented by tactile display on tactile display>
As described above, when recognizing the shape of the information displayed on the
[検証実験(1)]
検証実験(1)では、図11の(a)横線、(b)左下から右上に向かう斜線、(c)縦線、(d)左上から右下に向かう斜線、の角度が異なる4種類の図形情報を、表示対象情報として用いた。
[Verification experiment (1)]
In the verification experiment (1), four types of figures with different angles of (a) horizontal line, (b) diagonal line from lower left to upper right, (c) vertical line, (d) diagonal line from upper left to lower right in FIG. Information was used as display target information.
実験は2パターンの条件で行い、1つは上述した実施形態で説明したように、ユーザがスマートフォン1を把持した手の親指を操作指とし、同じ手の人差し指を提示指として、片手で操作、提示を行う片手実験であり、もう1つは、スマートフォン1を把持した手と異なる手の指を操作指とし、スマートフォン1を把持した手の人差し指を提示指として、両手を用いて操作、提示を行う両手実験である。 The experiment is performed under the conditions of two patterns, and one is operated with one hand using the thumb of the hand holding the smartphone 1 as the operation finger and the index finger of the same hand as the presentation finger, as described in the above-described embodiment. The one-hand experiment is to perform the presentation, and the other is to operate and present with both hands using the finger of the hand different from the hand holding the smartphone 1 as the operation finger and the index finger of the hand holding the smartphone 1 as the presentation finger. This is a two-handed experiment.
被験者は、22歳〜27歳(平均23歳)の男性6人であり、全員日常的にスマートフォンを扱っている。 The test subjects were six men aged 22 to 27 (average 23 years), and they all handle smartphones on a daily basis.
また、タッチパネル21上と電気触覚ディスプレイ3上とで、提示図形の物理的なサイズが一致するように調整し、例えば、タッチパネル21上で1cm操作指を動かしたときに、電気触覚ディスプレイ3上の提示図形も1cm動くようにした。
Further, the physical size of the presented figure is adjusted to be the same on the
そして、被験者が視覚的に認識できない状態で、タッチパネル21上の所定位置(電気触覚ディスプレイ3と同程度の面積を有するように提示した四角形の枠内)に上記の4種類の図形を順次提示させ、被験者がタッチパネル21上の当該枠内をスライド操作したときに、これに追従して電気触覚ディスプレイ3で行われた触覚提示により、被験者がどの図形を認識したかを回答させた。
Then, the above four types of figures are sequentially presented at predetermined positions on the touch panel 21 (inside a rectangular frame presented so as to have the same area as the electrotactile display 3) in a state where the subject cannot visually recognize. When the subject slides within the frame on the
電気触覚ディスプレイ3による触覚提示は、上記4種類の図形をランダムに5回行うことにより、1セットの実験で20回行った。
The tactile sensation presented by the
また順序効果による影響をなくすため、被験者ごとに片手実験と両手実験とで提示する図形の順序を変えた。 In order to eliminate the influence of the order effect, the order of the figures presented in the one-handed experiment and the two-handed experiment was changed for each subject.
当該検証実験(1)により得られた、図形情報ごとの、被験者の回答の正当率を図12および図13に示す。図12は片手実験により得られた検証結果であり、図13は両手実験により得られた検証結果である。 FIG. 12 and FIG. 13 show the validity rate of the test subject's answer for each graphic information obtained by the verification experiment (1). FIG. 12 shows the verification result obtained by the one-handed experiment, and FIG. 13 shows the verification result obtained by the two-handed experiment.
片手実験においては、(a)横線の正答率が87%、(b)左下から右上に向かう斜線の正答率が93%、(c)縦線の正答率が87%、(d)左上から右下に向かう斜線の正答率が97%と、いずれも高値であった。 In the one-handed experiment, (a) the correct answer rate of the horizontal line is 87%, (b) the correct answer rate of the diagonal line from the lower left to the upper right is 93%, (c) the correct answer rate of the vertical line is 87%, and (d) the upper left to the right The correct answer rate of the slanting line toward the bottom was 97%, both high.
また両手実験においては、(a)横線の正答率が70%、(b)左下から右上に向かう斜線の正答率が80%、(c)縦線の正答率が73%、(d)左上から右下に向かう斜線の正答率が80%と、片手実験よりはやや劣るものの、やはりいずれも高値であった。 In the two-hand experiment, (a) the correct answer rate of the horizontal line is 70%, (b) the correct answer rate of the diagonal line from the lower left to the upper right is 80%, (c) the correct answer rate of the vertical line is 73%, and (d) from the upper left. The correct answer rate of the slanted line toward the lower right is 80%, which is slightly inferior to the one-handed experiment, but both were high.
また、当該検証実験(1)において、実験開始から被験者が回答するまでの平均回答時間を、片手実験、両手実験それぞれについて算出した結果を、図14に示す。当該結果では、片手実験の平均回答時間は3.9秒であったのに対し、両手実験の平均回答時間は6.7秒であり、片手で操作した場合のほうが両手で操作した場合よりも早く図形を認識できることが判った。 Moreover, in the said verification experiment (1), the result of having calculated the average response time until a test subject answers from a test start about each one-handed experiment and a two-handed experiment is shown in FIG. In this result, the average response time for the one-handed experiment was 3.9 seconds, whereas the average response time for the two-handed experiment was 6.7 seconds, which was greater when operating with one hand than when operating with both hands. It was found that the figure could be recognized quickly.
[検証実験(2)]
検証実験(2)では、図15の(e)四角形、(f)円、(g)三角形、(h)バツ印、の角度が異なる4種類の図形情報を、表示対象情報として用いた。
[Verification experiment (2)]
In the verification experiment (2), four types of graphic information having different angles of (e) square, (f) circle, (g) triangle, and (h) cross mark in FIG. 15 were used as display target information.
被験者が、22歳〜24歳(平均23歳)の男性4人である他は、検証実験(1)と同様の条件で実施した。 The test was performed under the same conditions as in the verification experiment (1) except that the test subjects were four men aged 22 to 24 (average 23 years).
当該検証実験(2)により得られた、図形情報ごとの、被験者の回答の正当率を図16および図17に示す。図16は片手実験により得られた検証結果であり、図17は両手実験により得られた検証結果である。 FIG. 16 and FIG. 17 show the correct rate of the test subject's answer for each graphic information obtained by the verification experiment (2). FIG. 16 shows the verification result obtained by the one-handed experiment, and FIG. 17 shows the verification result obtained by the two-handed experiment.
片手実験においては、(e)四角形の正答率が85%、(f)円の正答率が95%、(g)三角形の正答率が95%、(h)バツ印の正答率が100%と、いずれも高値であった。 In the one-handed experiment, (e) square correct answer rate is 85%, (f) circle correct answer rate is 95%, (g) triangle correct answer rate is 95%, and (h) cross mark correct answer rate is 100%. , Both were high.
また両手実験においては、(e)四角形の正答率が80%、(f)円の正答率が85%、(g)三角形の正答率が85%、(h)バツ印の正答率が100%と、片手実験よりはやや劣るものの、やはりいずれも高値であった。 In the two-handed experiment, (e) the square correct answer rate is 80%, (f) the circle correct answer rate is 85%, (g) the triangle correct answer rate is 85%, and (h) the cross mark correct answer rate is 100%. Although it was slightly inferior to the one-handed experiment, it was still high.
また、当該検証実験(2)において、実験開始から被験者が回答するまでの平均回答時間を、片手実験、両手実験それぞれについて算出した結果を、図18に示す。当該結果では、片手実験の平均回答時間は6.1秒であったのに対し、両手実験の平均回答時間は7.96秒であり、片手で操作した場合のほうが両手で操作した場合よりも早く図形を認識できることが判った。 Moreover, in the said verification experiment (2), the result of having calculated the average response time until a test subject answers from a test start about each one-handed experiment and a two-handed experiment is shown in FIG. In this result, the average response time for the one-handed experiment was 6.1 seconds, whereas the average response time for the two-handed experiment was 7.96 seconds, which was greater when operating with one hand than when operating with both hands. It was found that the figure could be recognized quickly.
上述した検証実験(1)および(2)により、本願発明によるスマートフォンを用いて、操作指による操作に追従して提示指に触覚提示された情報により、タッチパネル上に表示された情報の形状をユーザが認識する場合において、いずれの形状の図形においても認識精度が高いことが立証された。特に、認識間違いをしやすいと考えられた、(b)左下から右上に向かう斜線と(d)左上から右下に向かう斜線とにおいても、高い正答率(それぞれ80%)が得られ、認証精度の高さが証明された。 Based on the verification experiments (1) and (2) described above, the shape of the information displayed on the touch panel is displayed by the user using the smartphone according to the invention of the present application and the information presented on the presenting finger by following the operation with the operating finger. It has been proved that the recognition accuracy is high in any shape figure. In particular, a high correct answer rate (80% each) was obtained for (b) the diagonal line from the lower left to the upper right and (d) the diagonal line from the upper left to the lower right, which were considered to be prone to recognition errors. Proved its height.
1…スマートフォン
2…端末本体
3…電気触覚ディスプレイ
21…タッチパネル
22…入力情報取得部
23…表示制御部
24…キャプチャ処理部
25…切り出し処理部
26…提示位置情報生成部(刺激子特定情報生成部)
27…送信部
31…電極群
32…受信部
33…触覚提示制御部
DESCRIPTION OF SYMBOLS 1 ...
27 ... Transmitting
Claims (8)
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、
触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、
前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、
前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部と
を備えることを特徴とする、タッチパネル操作に対応する触覚提示装置。 In the tactile presentation device connected to the touch panel for displaying predetermined display target information at a predetermined position and inputting information related to a user operation,
A cutout processing unit for cutting out display information around the operation position on the touch panel;
A tactile display in which a plurality of tactile stimulators for stimulating the tactile sense are arranged in a matrix, and
Stimulator specifying information for generating stimulator specifying information for specifying a corresponding tactile stimulator to cause the display information around the operation position cut out by the cutout processing unit to be horizontally reversed and presented by the tactile display. A generator,
A tactile sense presentation control unit that presents a tactile sense corresponding to an operation on the display information to the user by outputting a stimulus factor from the tactile stimulus specified by the stimulus specific information generated by the stimulus specific information generating unit A tactile presentation device corresponding to a touch panel operation.
前記刺激子特定情報生成部は、前記切り出し処理部で順次切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための刺激子特定情報を順次生成し、
前記触覚提示制御部は、前記刺激子特定情報生成部で順次生成された刺激子特定情報に基づいて、該当する触覚刺激子から順次刺激要因を出力させることで、前記スライド操作に追従して変化する、前記表示情報への操作に対応した触覚をユーザに提示する
ことを特徴とする請求項1に記載の、タッチパネル操作に対応する触覚提示装置。 When the user performs a slide operation, the cut-out processing unit sequentially cuts display information around the operation position that is moved by the slide operation.
The stimulator identification information generation unit sequentially generates the stimulator identification information for causing the display information around the operation position sequentially cut out by the cutout processing unit to be horizontally reversed and presented by the tactile display.
The tactile sense presentation control unit changes following the slide operation by sequentially outputting stimulus factors from the corresponding tactile stimulus based on the stimulus specific information sequentially generated by the stimulus specific information generating unit. The tactile sensation presentation apparatus corresponding to the touch panel operation according to claim 1, wherein a tactile sensation corresponding to the operation on the display information is presented to the user.
ことを特徴とする請求項1または2に記載の、タッチパネル操作に対応する触覚提示装置。 The touch-sensitive display according to claim 1 or 2, wherein the touch-sensitive display has an area corresponding to a finger area that touches the touch panel when the touch panel is touched with a human finger. Tactile presentation device.
ことを特徴とする請求項1〜3いずれか1項に記載の、タッチパネル操作に対応する触覚提示装置。 The haptic display device according to any one of claims 1 to 3, wherein the haptic display is installed on the back side of the touch panel so as to face in the opposite direction to the touch panel. .
ことを特徴とする請求項1〜4いずれか1項に記載の、タッチパネル操作に対応する触覚提示装置。 The cutout processing unit detects the strength of pressing on the touch panel due to the operation, and changes the area of display information to be cut out based on the detected information on the strength of pressing. 5. A tactile sense presentation device corresponding to touch panel operation according to any one of claims 4 to 5.
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理ステップと、
前記切り出し処理ステップで切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成ステップと、
前記刺激子特定情報生成ステップで生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御ステップと
を有することを特徴とする、タッチパネル操作に対応する触覚提示方法。 Tactile presentation connected to a touch panel that displays predetermined display target information at a predetermined position and inputs information related to operations by the user, and a tactile display in which a plurality of tactile stimulators for stimulating the tactile are arranged in a matrix A tactile presentation method corresponding to a touch panel operation in the device,
A cutout process step of cutting out display information around the operation position on the touch panel;
Stimulator specifying information for generating stimulator specifying information for specifying the corresponding tactile stimulator for reversing the display information around the operation position cut out in the cutout processing step and causing the tactile display to recognize the tactile sense Generation step;
A tactile sensation presentation control step for presenting a tactile sense corresponding to an operation to the display information to the user by outputting a stimulus factor from the tactile stimulus specified by the stimulator specifying information generated in the stimulator specifying information generating step. A tactile sensation presentation method corresponding to a touch panel operation.
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理機能と、
前記切り出し処理機能で切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成機能と、
前記刺激子特定情報生成機能で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御機能と
を実行させるための、タッチパネル操作に対応する触覚提示用プログラム。 Tactile presentation connected to a touch panel that displays predetermined display target information at a predetermined position and inputs information related to operations by the user, and a tactile display in which a plurality of tactile stimulators for stimulating the tactile are arranged in a matrix To the device,
A cut-out processing function for cutting out display information around the operation position on the touch panel;
Stimulus specifying information for generating stimulator specifying information for specifying a corresponding tactile stimulator for reversing the display information around the operation position cut out by the cutout processing function and recognizing a tactile sense by the tactile display Generation function,
A tactile presentation control function for presenting a tactile sense corresponding to an operation on the display information to a user by outputting a stimulus factor from a tactile stimulus specified by the stimulator specifying information generated by the stimulator specifying information generating function A tactile sensation presentation program corresponding to a touch panel operation.
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、
触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、
前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、
前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部と
を備えることを特徴とする触覚提示装置を搭載した携帯端末。 A touch panel for displaying predetermined display target information at a predetermined position and inputting information related to an operation by the user;
A cutout processing unit for cutting out display information around the operation position on the touch panel;
A tactile display in which a plurality of tactile stimulators for stimulating the tactile sense are arranged in a matrix, and
Stimulator specifying information for generating stimulator specifying information for specifying a corresponding tactile stimulator to cause the display information around the operation position cut out by the cutout processing unit to be horizontally reversed and presented by the tactile display. A generator,
A tactile sense presentation control unit that presents a tactile sense corresponding to an operation on the display information to the user by outputting a stimulus factor from the tactile stimulus specified by the stimulus specific information generated by the stimulus specific information generating unit A portable terminal equipped with a tactile sense presentation device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015051812A JP2016170752A (en) | 2015-03-16 | 2015-03-16 | Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015051812A JP2016170752A (en) | 2015-03-16 | 2015-03-16 | Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016170752A true JP2016170752A (en) | 2016-09-23 |
Family
ID=56982416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015051812A Pending JP2016170752A (en) | 2015-03-16 | 2015-03-16 | Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016170752A (en) |
-
2015
- 2015-03-16 JP JP2015051812A patent/JP2016170752A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190064952A1 (en) | Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction | |
US8330590B2 (en) | User interface feedback apparatus, user interface feedback method, and program | |
US20170293357A1 (en) | Eye-controlled apparatus, eye-controlled method and eye-controlled system | |
EP3255535A1 (en) | Processing method for user interface of terminal, user interface and terminal | |
US8626283B1 (en) | Electronic device and method for providing tactile stimulation | |
CN109445600A (en) | Tactile feedback method, device, terminal and computer readable storage medium | |
KR20120047980A (en) | Input device | |
KR20080048837A (en) | Apparatus and method for outputting tactile feedback on display device | |
CN103797441A (en) | Haptic device with touch gesture interface | |
TW200822682A (en) | Multi-function key with scrolling | |
US20150186013A1 (en) | Electronic device and key input prompt method | |
CN103777861A (en) | Terminal and method for controlling touch operation in the terminal | |
Groeger et al. | Tactlets: Adding tactile feedback to 3D objects using custom printed controls | |
WO2013128989A1 (en) | Display device and operating method thereof | |
CN104049898A (en) | Touch screen operation method and device and touch terminal | |
KR20160019762A (en) | Method for controlling touch screen with one hand | |
JP2014041441A (en) | Device and method of back face tactile information presentation type information input | |
JP5243379B2 (en) | Input device | |
US20180373333A1 (en) | Method of displaying characters for the blind using haptic patterns | |
CN107807779A (en) | A kind of touch operation method and device | |
CN106062676A (en) | Electronic apparatus | |
Ernst et al. | Exploring haptics for learning bend gestures for the blind | |
JP2016170752A (en) | Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon | |
CN104657066A (en) | Back control device utilization method | |
JP2013073601A (en) | Contact input device |