JP2016170752A - Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon - Google Patents

Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon Download PDF

Info

Publication number
JP2016170752A
JP2016170752A JP2015051812A JP2015051812A JP2016170752A JP 2016170752 A JP2016170752 A JP 2016170752A JP 2015051812 A JP2015051812 A JP 2015051812A JP 2015051812 A JP2015051812 A JP 2015051812A JP 2016170752 A JP2016170752 A JP 2016170752A
Authority
JP
Japan
Prior art keywords
tactile
display
information
touch panel
tactile sense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015051812A
Other languages
Japanese (ja)
Inventor
ソガルラグチャー フレルバータル
Khurelbaatar Sugarragchaa
ソガルラグチャー フレルバータル
優理子 中井
Yuriko Nakai
優理子 中井
裕之 梶本
Hiroyuki Kajimoto
裕之 梶本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electro Communications NUC
Original Assignee
University of Electro Communications NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electro Communications NUC filed Critical University of Electro Communications NUC
Priority to JP2015051812A priority Critical patent/JP2016170752A/en
Publication of JP2016170752A publication Critical patent/JP2016170752A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a tactile sense presentation device, a tactile sense presentation method, and a tactile sense presentation program corresponding to a touch panel operation capable of highly accurately presenting a tactile sense in the state of being easily recognized by a user following an operation on a touch panel, and a portable terminal having the tactile sense presentation device mounted thereon.SOLUTION: A tactile sense presentation device connected to a touch panel includes a segmentation processing part 25 for segmenting display information around an operation position on the touch panel, a stimulant specifying information generation part 26 for generating stimulant specifying information specifying a relevant tactile sense stimulant for horizontally reversing the segmented display information around the operation position to present it with a tactile sense on a tactile sense display including a plurality of tactile sense stimulants, and a tactile sense presentation control unit 33 for presenting a tactile sense corresponding to an operation to display target information by outputting a stimulant factor from a tactile sense stimulant specified by the generated stimulant specifying information.SELECTED DRAWING: Figure 2

Description

本発明は、タッチパネルに表示された表示対象情報上をユーザがタッチ操作したときに、操作した指と異なる指に、当該操作に対応する触覚を提示する、タッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末に関する。   The present invention provides a tactile presentation device corresponding to a touch panel operation and a tactile sensation that presents a tactile sensation corresponding to the operation to a finger different from the operated finger when the user performs a touch operation on display target information displayed on the touch panel. The present invention relates to a presentation method, a tactile presentation program, and a portable terminal equipped with a tactile presentation device.

スマートフォンやタブレット端末などのタッチパネルが搭載されたデバイスの普及に伴い、その操作の快適さや正確さの向上が重要な課題となっている。タッチパネルを用いることで、選択対象のアイコンが表示された部分を指で直接タッチ操作するなどの直観的操作が可能になり、操作の快適性が向上する一方、クリック感などの触覚フィードバックが欠如し、入力精度が低下することが知られている。   With the widespread use of devices equipped with touch panels such as smartphones and tablet terminals, improvements in the comfort and accuracy of operations have become important issues. By using the touch panel, intuitive operation such as direct touch operation with the finger on the part where the icon to be selected is displayed is possible, improving operational comfort, but lacking tactile feedback such as click feeling. It is known that the input accuracy decreases.

そこで、タッチパネル上でタッチ操作を行ったときに、パネルに触れた指(以降、「操作指」と称する)の指先にアイコンを操作した触覚をフィードバックさせることで、クリック感を提示する技術がある。例えば、タッチパネル上に透明電極を設置し、表示されたアイコンに対応する位置の電極に微弱電流を流すことで、タッチ操作時に操作指に電気刺激を与え、アイコン操作に対応した触覚を提示するものがある。   Therefore, when a touch operation is performed on the touch panel, there is a technique for presenting a click feeling by feeding back a tactile sense of operating an icon to the fingertip of a finger touching the panel (hereinafter referred to as “operation finger”). . For example, a transparent electrode is installed on the touch panel, and a weak current is applied to the electrode at a position corresponding to the displayed icon, so that an electrical stimulus is given to the operating finger during a touch operation and a tactile sensation corresponding to the icon operation is presented. There is.

特開2014−106743号公報JP 2014-106743 A

Fukushima, S. and Kajimoto, H. Palm Touch Panel: Providing Touch Sensation Through the Device, In Proceedings of ITS '11 (2011), 79-82.Fukushima, S. and Kajimoto, H. Palm Touch Panel: Providing Touch Sensation Through the Device, In Proceedings of ITS '11 (2011), 79-82.

しかし、上述した技術において触覚提示手段として用いる電極はタッチパネルの表面に設置されるため、視覚的に遮らないように透明なものにする必要があり、構成部品が限定されて製造上の制約が大きいという問題があった。   However, since the electrodes used as the tactile sensation presentation means in the above-described technology are installed on the surface of the touch panel, it is necessary to make them transparent so as not to obstruct them visually. There was a problem.

これに鑑み、タッチパネルの裏面全体を覆うように、触覚提示手段としての電極を敷き詰めた触覚ディスプレイを配置し、タッチパネルの持ち手に、操作したアイコン等の位置を触覚で提示するデバイスがある。このデバイスでは電極は透明である必要はなく、構成の自由度が高くなる。   In view of this, there is a device that arranges a tactile display with electrodes as tactile presentation means so as to cover the entire back surface of the touch panel and presents the position of an operated icon or the like to the handle of the touch panel with a tactile sense. In this device, the electrode does not need to be transparent, and the degree of freedom of configuration is high.

しかし、タッチパネルの裏面全体を覆うように電極を敷き詰めたデバイスは、製造コストがかかるという問題があった。またこのデバイスは、ユーザが操作したアイコンの位置を持ち手側に提示することはできるが、提示される触覚の感覚が、タッチパネル上での操作指の動きに追従していないため、持ち手側で表示物の形状等を認識することが困難であるという問題があった。   However, a device in which electrodes are laid so as to cover the entire back surface of the touch panel has a problem in that manufacturing costs are high. In addition, this device can present the position of the icon operated by the user to the hand side, but the tactile sensation presented does not follow the movement of the operating finger on the touch panel. Therefore, there is a problem that it is difficult to recognize the shape of the display object.

本発明は上記事情に鑑みてなされたものであり、タッチパネル上で行われた操作に追従して、ユーザが精度良く認識しやすい状態で触覚を提示することが可能な、タッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末を提供することを目的とする。   The present invention has been made in view of the above circumstances, and is capable of presenting tactile sensation in a state in which the user can easily recognize with high accuracy following the operation performed on the touch panel, and is responsive to touch panel operation. An object is to provide a presentation device, a tactile sense presentation method, a tactile sense presentation program, and a portable terminal equipped with the tactile sense presentation device.

上記の課題を解決するための、本発明のタッチパネル操作に対応する触覚提示装置は、所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルに接続され、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部とを備えることを特徴とする。   A tactile sensation presentation apparatus corresponding to a touch panel operation of the present invention for solving the above-mentioned problem is connected to a touch panel that displays predetermined display target information at a predetermined position and inputs information related to an operation by a user. Above, a cut-out processing unit that cuts out display information around the operation position, a tactile display in which a plurality of tactile stimulators for stimulating a tactile sense are arranged in a matrix, and a region around the operation position cut out by the cut-out processing unit A stimulator specifying information generating unit for generating a stimulator specifying information for specifying a corresponding tactile stimulator for displaying the display information in a tactile sense by reversing left and right, and the stimulator specifying information generating unit Operation to the display information by outputting a stimulus factor from the haptic stimulus specified by the generated stimulus specification information Characterized in that it comprises a tactile sense presentation controller that presents the corresponding tactile user.

また本発明のタッチパネル操作に対応する触覚提示方法は、所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置におけるタッチパネル操作に対応する触覚提示方法であって、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理ステップと、前記切り出し処理ステップで切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成ステップと、前記刺激子特定情報生成ステップで生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御ステップとを有することを特徴とする。   The tactile sense presentation method corresponding to the touch panel operation according to the present invention includes a touch panel that displays predetermined display target information at a predetermined position and inputs information related to an operation by the user, and a plurality of tactile stimulators for stimulating the tactile sense. A tactile presentation method corresponding to a touch panel operation in a tactile presentation device connected to a tactile display arranged in a shape, a cutout processing step of cutting out display information around an operation position on the touch panel, and the cutout processing step A stimulator specifying information generating step for generating stimulator specifying information for specifying the corresponding tactile stimulator for reversing the display information around the operation position cut out in step 5 and recognizing the tactile sense by the tactile display; Identified by the stimulator identification information generated in the stimulator identification information generation step Is it to output the exciting factor from the tactile stimulator, characterized in that it has a tactile sense presentation control step of presenting a tactile corresponding to the operation to the display information to the user.

また本発明のタッチパネル操作に対応する触覚提示用プログラムは、所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置に、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理機能と、前記切り出し処理機能で切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成機能と、前記刺激子特定情報生成機能で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御機能とを実行させることを特徴とする。   The tactile presentation program corresponding to the touch panel operation of the present invention includes a touch panel that displays predetermined display target information at a predetermined position and inputs information related to an operation by the user, and a plurality of tactile stimulators for stimulating the tactile sense. A cutout processing function for cutting out display information around the operation position on the touch panel to a tactile display device connected to a tactile display arranged in a matrix, and display information around the operation position cut out by the cutout processing function Is generated by the stimulator specifying information generating function for generating the stimulator specifying information for specifying the corresponding tactile stimulator for recognizing the tactile sense by the tactile display and the stimulator specifying information generating function. Output the stimulus factor from the tactile stimulus specified by the stimulus specific information. And wherein the tactile corresponding to the operation of that to execute a tactile sense presentation control function to be presented to the user.

また本発明の触覚提示装置を搭載した携帯端末は、所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルと、前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部とを備えることを特徴とする。   In addition, the portable terminal equipped with the tactile sense presentation device of the present invention displays predetermined display target information at a predetermined position, displays a touch panel for inputting information related to an operation by a user, and display information around the operation position on the touch panel. A tactile display unit for cutting out, a tactile display in which a plurality of tactile stimulators for stimulating tactile sensations are arranged in a matrix, and display information around the operation position cut out by the cutout processing unit is horizontally reversed to generate the tactile sense A stimulator specifying information generating unit for generating a stimulator specifying information for specifying a corresponding tactile stimulator to be presented by a tactile sense on a display, and a stimulator specifying information generated by the stimulator specifying information generating unit Tactile presentation that presents the user with a tactile sense corresponding to the operation on the display information by outputting a stimulus factor from the tactile stimulator Characterized in that it comprises a control unit.

本発明のタッチパネル操作に対応する触覚提示装置、触覚提示方法、触覚提示用プログラム、および触覚提示装置を搭載した携帯端末は、タッチパネル上で行われた操作に対応して、ユーザが精度良く認識しやすい状態で触覚を提示することができる。   The tactile presentation device, the tactile presentation method, the tactile presentation program, and the portable terminal equipped with the tactile presentation device corresponding to the touch panel operation of the present invention are accurately recognized by the user corresponding to the operation performed on the touch panel. A tactile sensation can be presented in an easy state.

本発明の一実施形態による触覚提示装置を利用したスマートフォンの外観斜視図である。1 is an external perspective view of a smartphone using a tactile presentation device according to an embodiment of the present invention. 本発明の一実施形態による触覚提示装置を利用したスマートフォンの構成を示すブロック図である。It is a block diagram which shows the structure of the smart phone using the tactile sense presentation apparatus by one Embodiment of this invention. 本発明の一実施形態による触覚提示装置を利用したスマートフォンをユーザが把持している状態を、スマートフォンの裏側から見た外観斜視図である。It is the appearance perspective view which looked at the state where the user is grasping the smart phone using the tactile sense presentation device by one embodiment of the present invention from the back side of the smart phone. 本発明の一実施形態による触覚提示装置を利用したスマートフォンをユーザが把持している状態を、スマートフォンの表側から見た外観斜視図である。It is the appearance perspective view which looked at the state where the user is holding the smart phone using the tactile sense presentation device by one embodiment of the present invention from the front side of the smart phone. 本発明の一実施形態による触覚提示装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the tactile sense presentation apparatus by one Embodiment of this invention. 本発明の一実施形態による触覚提示装置を利用したスマートフォンのタッチパネル上に表示対象情報が表示された状態を示す正面図である。It is a front view which shows the state by which display target information was displayed on the touchscreen of the smart phone using the tactile sense presentation apparatus by one Embodiment of this invention. 本発明の一実施形態による触覚提示装置を利用したスマートフォンの、(a)タッチパネル上で、ユーザがスライド操作を開始した状態を示す正面図、(b)電気触覚ディスプレイの通電状態を示す正面図である。1A is a front view showing a state in which a user starts a slide operation on a touch panel of a smartphone using a tactile presentation device according to an embodiment of the present invention, and FIG. is there. 本発明の一実施形態による触覚提示装置を利用したスマートフォンの、(a)タッチパネル上で、ユーザがスライド操作を行っている状態を示す正面図、(b)電気触覚ディスプレイの通電状態を示す正面図である。BRIEF DESCRIPTION OF THE DRAWINGS (a) The front view which shows the state which the user is performing the slide operation on a touch panel of the smart phone using the tactile presentation apparatus by one Embodiment of this invention, (b) The front view which shows the electricity supply state of an electric tactile display It is. 本発明の一実施形態による触覚提示装置を利用したスマートフォンの、(a)タッチパネル上で、ユーザがスライド操作を行っている状態を示す正面図、(b)電気触覚ディスプレイの通電状態を示す正面図である。BRIEF DESCRIPTION OF THE DRAWINGS (a) The front view which shows the state which the user is performing the slide operation on a touch panel of the smart phone using the tactile presentation apparatus by one Embodiment of this invention, (b) The front view which shows the electricity supply state of an electric tactile display It is. 本発明の一実施形態による触覚提示装置を利用したスマートフォンの、(a)タッチパネル上で、ユーザがスライド操作を行っている状態を示す正面図、(b)電気触覚ディスプレイの通電状態を示す正面図である。BRIEF DESCRIPTION OF THE DRAWINGS (a) The front view which shows the state which the user is performing the slide operation on a touch panel of the smart phone using the tactile presentation apparatus by one Embodiment of this invention, (b) The front view which shows the electricity supply state of an electric tactile display It is. 本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験に用いる表示対象情報の図形を示す。The figure of the display target information used for the experiment which verifies the user's recognition accuracy with respect to presentation of a tactile display in the smart phone using the tactile presentation device by one embodiment of the present invention is shown. 本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験の結果の例である。It is an example of the result of the experiment which verifies the user's recognition precision with respect to presentation of a tactile display in the smart phone using the tactile presentation device by one embodiment of the present invention. 本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験の結果の例である。It is an example of the result of the experiment which verifies the user's recognition precision with respect to presentation of a tactile display in the smart phone using the tactile presentation device by one embodiment of the present invention. 本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの判定速度を検証する実験の結果の例である。It is an example of the result of the experiment which verifies the determination speed | rate of the user with respect to presentation of a tactile display in the smart phone using the tactile sense presentation device by one embodiment of the present invention. 本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験に用いる表示対象情報の図形を示す。The figure of the display target information used for the experiment which verifies the user's recognition accuracy with respect to presentation of a tactile display in the smart phone using the tactile presentation device by one embodiment of the present invention is shown. 本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験の結果の例である。It is an example of the result of the experiment which verifies the user's recognition precision with respect to presentation of a tactile display in the smart phone using the tactile presentation device by one embodiment of the present invention. 本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの認識精度を検証する実験の結果の例である。It is an example of the result of the experiment which verifies the user's recognition precision with respect to presentation of a tactile display in the smart phone using the tactile presentation device by one embodiment of the present invention. 本発明の一実施形態による触覚提示装置を利用したスマートフォンにおける、触覚ディスプレイの提示に対するユーザの判定速度を検証する実験の結果の例である。It is an example of the result of the experiment which verifies the determination speed | rate of the user with respect to presentation of a tactile display in the smart phone using the tactile sense presentation device by one embodiment of the present invention.

以下、本発明の一実施形態として、タッチパネル操作に対応する触覚提示装置を搭載したスマートフォンについて、詳細に説明する。   Hereinafter, as an embodiment of the present invention, a smartphone equipped with a tactile sense presentation device corresponding to a touch panel operation will be described in detail.

〈一実施形態による触覚提示装置を搭載したスマートフォンの構成〉
本実施形態による触覚提示装置を搭載したスマートフォンの構成を、図1を参照して説明する。図1は、スマートフォン1を裏面側から見た外観斜視図である。スマートフォン1には、端末本体2の裏面側の中央よりやや上の位置に、複数の電極がマトリックス状に配置された電気触覚ディスプレイ3が設置されている。端末本体2の表面側には、後述するタッチパネル21が設置されており、電気触覚ディスプレイ3は、端末本体2の裏面側に、タッチパネル21と逆方向を向くように設置されている。端末本体2と電気触覚ディスプレイ3とは、USBシリアル通信可能な状態で接続されている。
<Configuration of a smartphone equipped with a tactile presentation device according to an embodiment>
The configuration of a smartphone equipped with a tactile sense presentation device according to the present embodiment will be described with reference to FIG. FIG. 1 is an external perspective view of the smartphone 1 viewed from the back side. The smartphone 1 is provided with an electrotactile display 3 in which a plurality of electrodes are arranged in a matrix at a position slightly above the center on the back side of the terminal body 2. A touch panel 21, which will be described later, is installed on the front surface side of the terminal body 2, and the electric tactile display 3 is installed on the back surface side of the terminal body 2 so as to face the opposite direction to the touch panel 21. The terminal body 2 and the electric tactile display 3 are connected in a state where USB serial communication is possible.

端末本体2および電気触覚ディスプレイ3の詳細な機能構成について、図2のブロック図を参照して説明する。端末本体2は、タッチパネル21と、入力情報取得部22と、表示制御部23と、キャプチャ処理部24と、切り出し処理部25と、刺激子特定情報生成部としての提示位置情報生成部26と、送信部27とを有する。   Detailed functional configurations of the terminal body 2 and the electric tactile display 3 will be described with reference to the block diagram of FIG. The terminal body 2 includes a touch panel 21, an input information acquisition unit 22, a display control unit 23, a capture processing unit 24, a cut-out processing unit 25, a presentation position information generation unit 26 as a stimulator identification information generation unit, And a transmission unit 27.

タッチパネル21は、所定形状の表示対象情報を表示するとともに、ユーザによるタッチ操作に関する情報を入力する。入力情報取得部22は、タッチパネル21から入力された情報を取得する。表示制御部23は、入力情報取得部22で取得された入力情報に基づいて指定された表示対象情報を、タッチパネル21上の所定位置に表示させる。キャプチャ処理部24は、表示対象情報が表示されたタッチパネル21の画面全体の表示情報をキャプチャする。   The touch panel 21 displays display target information having a predetermined shape and inputs information related to a touch operation by the user. The input information acquisition unit 22 acquires information input from the touch panel 21. The display control unit 23 displays the display target information specified based on the input information acquired by the input information acquisition unit 22 at a predetermined position on the touch panel 21. The capture processing unit 24 captures display information of the entire screen of the touch panel 21 on which display target information is displayed.

切り出し処理部25は、入力情報取得部22で取得された入力情報に基づいて、タッチパネル21上の、ユーザによるタッチ操作位置を特定する。そして、特定したタッチ操作位置周辺の表示情報を、キャプチャ処理部24でキャプチャされた画面全体の表示情報から切り出す。ここで「タッチ位置周辺の表示情報」とは、タッチ操作位置を含む所定領域の表示情報であり、「所定領域」とは、当該タッチ操作位置を中心として、人間がタッチパネル21をタッチ操作したときに押圧される範囲相当として予め設定される大きさの領域である。   The cutout processing unit 25 specifies the touch operation position by the user on the touch panel 21 based on the input information acquired by the input information acquisition unit 22. Then, the display information around the specified touch operation position is cut out from the display information of the entire screen captured by the capture processing unit 24. Here, the “display information around the touch position” is display information of a predetermined area including the touch operation position, and the “predetermined area” is when a person touches the touch panel 21 around the touch operation position. It is an area | region of the magnitude | size preset as a range equivalent to being pressed.

提示位置情報生成部26は、切り出し処理部25で取得された所定領域の表示情報を、左右反転させて電気触覚ディスプレイ3により触覚で提示させるために、後述する電極群31内で通電させる電極を特定するための通電電極特定情報(本発明の刺激子特定情報)を生成する。   The presentation position information generation unit 26 reverses the display information of the predetermined area acquired by the cut-out processing unit 25 to the left and right and presents the electrodes to be energized in the electrode group 31 to be described later in order to be presented tactilely by the electric tactile display 3. Current-carrying electrode specifying information (stimulator specifying information of the present invention) for specifying is generated.

送信部27は、提示位置情報生成部26で生成された通電電極特定情報を、電気触覚ディスプレイ3に送信する。   The transmission unit 27 transmits the energization electrode specifying information generated by the presentation position information generation unit 26 to the electrotactile display 3.

電気触覚ディスプレイ3は、電極群31と、受信部32と、触覚提示制御部33とを有する。   The electrotactile display 3 includes an electrode group 31, a receiving unit 32, and a tactile sense presentation control unit 33.

電極群31は、人間の人差し指の末節を当てたときに当該人差し指が接触する程度の面積の平面に、複数の触覚刺激子としての電極がマトリックス状に並べられて構成されている。また電極群31は、各電極への通電(電極からの刺激要因である電気刺激の出力)をON/OFF操作するための複数のスイッチがそれぞれ設置されている。電極群31は、受信部32は、端末本体2から送信された通電電極特定情報を受信する。触覚提示制御部33は、受信部32で受信された通電電極特定情報で特定される電極に電気を流すように、電極群31のスイッチを制御する。   The electrode group 31 is configured by arranging a plurality of electrodes as tactile stimulators in a matrix on a plane having an area to which the index finger comes into contact when the terminal node of a human index finger is applied. The electrode group 31 is provided with a plurality of switches for ON / OFF operation of energization to each electrode (output of electrical stimulation that is a stimulation factor from the electrode). In the electrode group 31, the receiving unit 32 receives the energizing electrode specifying information transmitted from the terminal body 2. The tactile sense presentation control unit 33 controls the switches of the electrode group 31 so that electricity flows through the electrodes specified by the energized electrode specifying information received by the receiving unit 32.

〈一実施形態による触覚提示装置を搭載したスマートフォンの動作〉
次に、本実施形態によるスマートフォン1を利用して、ユーザによるタッチパネル21への操作に追従して、電気触覚ディスプレイ3による触覚提示を行う場合の動作について説明する。本実施形態においてユーザは、図3に示すように、右手の人差し指の末節を電極群31に接触させつつスマートフォン1を把持し、図4に示すように当該右手の親指でタッチパネル21の操作を行う。ここで、タッチパネル21への操作を行う親指を「操作指」と称し、電気刺激による触覚提示を受ける人差し指を「提示指」と称する。
<Operation of Smartphone Equipped with Tactile Presentation Device According to One Embodiment>
Next, the operation in the case of performing tactile presentation on the electrotactile display 3 by following the operation of the touch panel 21 by the user using the smartphone 1 according to the present embodiment will be described. In this embodiment, as shown in FIG. 3, the user holds the smartphone 1 while bringing the terminal of the index finger of the right hand into contact with the electrode group 31 and operates the touch panel 21 with the thumb of the right hand as shown in FIG. 4. . Here, a thumb that performs an operation on the touch panel 21 is referred to as an “operation finger”, and an index finger that receives a tactile presentation by electrical stimulation is referred to as a “presentation finger”.

上述したようにスマートフォン1を把持したユーザがタッチパネル21の操作を行ったときに、端末本体2で実行される処理について、図5のフローチャートを参照して説明する。   As described above, when the user who holds the smartphone 1 performs an operation on the touch panel 21, a process executed in the terminal body 2 will be described with reference to a flowchart of FIG. 5.

まず、ユーザによりタッチパネル21の操作で表示対象情報が指定されると(S1の「YES」)、当該操作内容を示す情報が入力情報取得部22で取得される。そして、取得された情報に基づいて、指定された表示対象情報が表示制御部23の制御によりタッチパネル21の所定位置に表示される(S2)。ここでは、図6に示すように、左上から右下に向かう斜線Aが、表示対象情報として指定され、タッチパネル21の上部に表示されたものとする。   First, when display target information is designated by an operation on the touch panel 21 by the user (“YES” in S1), information indicating the operation content is acquired by the input information acquisition unit 22. Based on the acquired information, the specified display target information is displayed at a predetermined position on the touch panel 21 under the control of the display control unit 23 (S2). Here, as shown in FIG. 6, it is assumed that a diagonal line A from the upper left to the lower right is designated as display target information and displayed on the upper part of the touch panel 21.

次に、キャプチャ処理部24により、斜線Aが表示されたタッチパネル21の、画面全体の表示情報がキャプチャされる(S3)。   Next, display information of the entire screen of the touch panel 21 on which the oblique line A is displayed is captured by the capture processing unit 24 (S3).

次に、斜線Aが表示されたタッチパネル21上の斜線Aの表示近辺で、ユーザの操作指により新たにタッチ操作が行われると(S4の「YES」)、切り出し処理部25により、タッチパネル21上の当該タッチ操作位置(タッチ操作の中心座標)がタッチ操作位置として特定される(S5)。   Next, when a new touch operation is performed by the user's operation finger in the vicinity of the display of the oblique line A on the touch panel 21 on which the oblique line A is displayed (“YES” in S4), the cutout processing unit 25 causes the touch panel 21 to The touch operation position (center coordinates of the touch operation) is specified as the touch operation position (S5).

さらに切り出し処理部25において、特定されたタッチ操作位置を含む所定領域内の表示情報が、キャプチャ処理部24でキャプチャされた画面全体の表示情報から切り出される(S6)。ここでは、ユーザが斜線Aの近辺でタッチ操作をしていることにより、当該所定領域内には、斜線Aの一部が含まれている。   Further, in the cutout processing unit 25, display information in a predetermined area including the specified touch operation position is cut out from the display information of the entire screen captured by the capture processing unit 24 (S6). Here, when the user performs a touch operation near the oblique line A, a part of the oblique line A is included in the predetermined area.

次に、提示位置情報生成部26において、切り出し処理部25で切り出された表示情報を、左右反転させて電気触覚ディスプレイ3により触覚で提示させるために、該当する電極群31内の電極、つまり、電極群31内で通電させる電極を特定するための通電電極特定情報が生成される(S7)。生成された通電電極特定情報は、送信部27から電気触覚ディスプレイ3に送信される(S8)。   Next, in the presentation position information generation unit 26, in order to cause the display information cut out by the cut-out processing unit 25 to be horizontally reversed and presented by the electric tactile display 3, the electrodes in the corresponding electrode group 31, that is, Current-carrying electrode specifying information for specifying an electrode to be energized in the electrode group 31 is generated (S7). The generated energizing electrode specifying information is transmitted from the transmitting unit 27 to the electric tactile display 3 (S8).

電気触覚ディスプレイ3では、端末本体2から送信された通電電極特定情報が受信部32で受信され、当該通電電極特定情報で特定される電極に電気を流すように、触覚提示制御部33により電極群31のスイッチが制御される。このように所定電極のスイッチが通電制御されることにより、ユーザの提示指に、斜線Aの該当部分の形状をした凹凸を触ったときのような感覚を提示することができる。   In the electrotactile display 3, the energizing electrode specifying information transmitted from the terminal body 2 is received by the receiving unit 32, and the tactile sense presentation control unit 33 causes the electrode group to flow electricity to the electrode specified by the energizing electrode specifying information. 31 switches are controlled. Thus, by energizing and controlling the switch of the predetermined electrode, it is possible to present a feeling as if the user's presentation finger touched the irregularities in the shape of the corresponding portion of the oblique line A.

次に端末本体2において、タッチパネル21への操作指のタッチ状態が継続されているときには(S9の「YES」)、ステップS5に戻り、ステップS5〜S8の処理が繰り返される。ここで、ユーザがタッチパネル21上の斜線Aの表示付近で操作指をタッチさせたままスライドさせたときの処理について説明する。   Next, in the terminal main body 2, when the touch state of the operation finger on the touch panel 21 is continued ("YES" in S9), the process returns to step S5, and the processes of steps S5 to S8 are repeated. Here, a process when the user slides the operation finger in the vicinity of the display of the hatched line A on the touch panel 21 will be described.

例えば、図7(a)に示すように、タッチパネル21上に表示された斜線Aから離れた位置がタッチされ、タッチ位置情報を含む所定領域内に斜線Aの部分形状情報が存在しないときには、電気触覚ディスプレイ3の電極群31はいずれも通電されない(図7(b))。   For example, as shown in FIG. 7A, when a position away from the oblique line A displayed on the touch panel 21 is touched and the partial shape information of the oblique line A does not exist in a predetermined area including the touch position information, None of the electrode groups 31 of the tactile display 3 is energized (FIG. 7B).

その後、ユーザがタッチパネル21をタッチしたまま操作指をスライドさせ、図8(a)に示すように操作指の左下部分に斜線Aの表示が重なったときには、切り出された表示情報が左右反転された形状が提示指の右下部分に触覚提示されるために、電極群31の中の、図8(b)に黒丸で示す電極が通電される。   Thereafter, when the user slides the operation finger while touching the touch panel 21, and the display of the slanted line A overlaps the lower left portion of the operation finger as shown in FIG. 8A, the cut-out display information is reversed left and right. Since the shape is tactilely presented at the lower right portion of the presentation finger, the electrode indicated by the black circle in FIG. 8B in the electrode group 31 is energized.

さらに、ユーザが操作指をスライドさせ、図9(a)に示すように操作指の中心付近に斜線Aの表示が重なったときには、切り出された表示情報が左右反転された形状が提示指の中心部分に触覚提示されるように、電極群31の中の、図9(b)に黒丸で示す電極が通電される。   Further, when the user slides the operation finger and the display of the hatched line A overlaps with the vicinity of the center of the operation finger as shown in FIG. 9A, the shape obtained by horizontally inverting the clipped display information is the center of the presentation finger. The electrodes indicated by the black circles in FIG. 9B in the electrode group 31 are energized so that a tactile sensation is presented to the portion.

さらに、ユーザが操作指をスライドさせ、図10(a)に示すように操作指の右上付近に斜線Aの表示が重なったときには、切り出された表示情報が左右反転された形状が提示指の左上部分に触覚提示されるように、電極群31の中の、図10(b)に黒丸で示す電極が通電される。   Further, when the user slides the operating finger and the display of the oblique line A overlaps with the vicinity of the upper right of the operating finger as shown in FIG. 10A, the shape obtained by horizontally flipping the cut out display information is the upper left of the presenting finger. The electrodes indicated by black circles in FIG. 10B in the electrode group 31 are energized so that a tactile sensation is presented to the part.

つまり、図7→図8→図9→図10のように、操作指で表示情報上を右上から左下に向かって斜め方向にスライド操作すると、電気触覚ディスプレイ3に接触した提示指に、左下から右上に向かって斜め方向に表示情報が移動するように順次接触提示される。同様にして、例えば操作指で表示情報上を左から右に向かって横方向にスライド操作したときには、操作指の押圧部分の右側から左側に向かって表示情報が移動するように接触していくことになり、この動作に追従して触覚ディスプレイにおいて右側から左側に向かって表示情報の左右反転した情報が移動するように順次触覚提示され、提示指でも操作指と同様に指の右側から左側に向かって表示情報が移動するように触覚が認識される。   That is, as shown in FIG. 7 → FIG. 8 → FIG. 9 → FIG. 10, when the display finger is slid on the display information in an oblique direction from the upper right to the lower left, the presentation finger in contact with the electric tactile display 3 is moved from the lower left. The contact information is sequentially presented so that the display information moves in an oblique direction toward the upper right. Similarly, for example, when the display finger is slid horizontally from the left to the right with the operation finger, the display information is moved so as to move from the right side to the left side of the pressed part of the operation finger. Following this action, the tactile display sequentially displays the tactile sense so that the left-right inverted display information moves from the right side to the left side, and the presenting finger also moves from the right side to the left side of the finger in the same way as the operating finger. The tactile sensation is recognized so that the display information moves.

このように、操作指による操作の動きに追従して提示指に触覚提示される情報が順次更新されることにより、提示指は固定されているにもかかわらず、あたかも提示指で表示情報の形状をした凹凸上をスライドしながら触っているかのような感覚を得ることができる。   In this way, by sequentially updating the information presented to the presentation finger by tactile movement following the movement of the operation by the operation finger, the shape of the display information is as if the presentation finger is fixed, even though the presentation finger is fixed. You can feel as if you are touching while sliding on the uneven surface.

つまり、画面に表示されている情報を触ることで当該情報の形状を触覚として認識することができるため、例えば視覚障害者がスマートフォンに表示された情報の形状を認識することができる。   In other words, since the shape of the information can be recognized as a tactile sensation by touching the information displayed on the screen, for example, a visually handicapped person can recognize the shape of the information displayed on the smartphone.

上述した実施形態において、タッチパネル21にユーザのタッチ操作による押圧の強さを検出する手段を搭載し、検出した押圧の強さの情報に基づいて、表示情報を切り出す領域の面積および提示する面積を変えるようにしてもよい。例えば、強くタッチ操作したときには表示情報を切り出す領域の面積および提示する面積を広くし、弱くタッチ操作したときには表示情報を切り出す領域の面積および提示する面積を狭くすることで、タッチ操作の強さにも追従して提示指への触覚提示を行うことができる。   In the above-described embodiment, the touch panel 21 is equipped with a means for detecting the strength of the press by the user's touch operation, and the area of the area for cutting out the display information and the area to be presented based on the detected information of the pressure strength. It may be changed. For example, when a strong touch operation is performed, the area of the area where the display information is cut out and the area to be presented are widened, and when the touch operation is weak, the area of the area where the display information is cut out and the area where the information is presented are reduced. Can also follow and can present a tactile sensation to the presenting finger.

また上述した実施形態においては、触覚ディスプレイを複数の電極で構成した場合について説明したが、ピエゾ素子等の圧電素子やMEMS(Micro Electro Mechanical Systems)技術を利用して構成し、触覚刺激を提示するようにしてもよい。   In the above-described embodiment, the case where the tactile display is configured by a plurality of electrodes has been described. However, the tactile display is configured using a piezoelectric element such as a piezoelectric element or MEMS (Micro Electro Mechanical Systems) technology, and presents a tactile stimulus. You may do it.

また、本実施形態の触覚提示装置の切り出し処理部、提示位置情報生成部、および触覚提示制御部の各機能をプログラム化してコンピュータに組み込むことにより、当該コンピュータを触覚提示装置として構築することも可能である。   In addition, each function of the cutout processing unit, the presentation position information generation unit, and the tactile presentation control unit of the tactile presentation device of the present embodiment can be programmed and incorporated into the computer, so that the computer can be constructed as a tactile presentation device. It is.

〈触覚ディスプレイにより触覚提示された形状の認識精度に関する検証実験〉
上述したように、操作指による操作に追従して電気触覚ディスプレイ3から提示指に触覚提示された情報により、タッチパネル21上に表示された情報の形状を認識する場合、ユーザは、操作指の動作と提示指の触知覚を融合して表示対象情報の形状を認識する必要がある。そこで、この認識処理の精度が十分であるかを検証するため、以下の実験を行った。
<Verification experiment on recognition accuracy of shape presented by tactile display on tactile display>
As described above, when recognizing the shape of the information displayed on the touch panel 21 based on information tactilely presented to the presenting finger from the electric tactile display 3 following the operation by the operation finger, the user operates the operation finger. It is necessary to recognize the shape of the display target information by fusing the touch perception of the presentation finger. Therefore, in order to verify whether the accuracy of the recognition process is sufficient, the following experiment was performed.

[検証実験(1)]
検証実験(1)では、図11の(a)横線、(b)左下から右上に向かう斜線、(c)縦線、(d)左上から右下に向かう斜線、の角度が異なる4種類の図形情報を、表示対象情報として用いた。
[Verification experiment (1)]
In the verification experiment (1), four types of figures with different angles of (a) horizontal line, (b) diagonal line from lower left to upper right, (c) vertical line, (d) diagonal line from upper left to lower right in FIG. Information was used as display target information.

実験は2パターンの条件で行い、1つは上述した実施形態で説明したように、ユーザがスマートフォン1を把持した手の親指を操作指とし、同じ手の人差し指を提示指として、片手で操作、提示を行う片手実験であり、もう1つは、スマートフォン1を把持した手と異なる手の指を操作指とし、スマートフォン1を把持した手の人差し指を提示指として、両手を用いて操作、提示を行う両手実験である。   The experiment is performed under the conditions of two patterns, and one is operated with one hand using the thumb of the hand holding the smartphone 1 as the operation finger and the index finger of the same hand as the presentation finger, as described in the above-described embodiment. The one-hand experiment is to perform the presentation, and the other is to operate and present with both hands using the finger of the hand different from the hand holding the smartphone 1 as the operation finger and the index finger of the hand holding the smartphone 1 as the presentation finger. This is a two-handed experiment.

被験者は、22歳〜27歳(平均23歳)の男性6人であり、全員日常的にスマートフォンを扱っている。   The test subjects were six men aged 22 to 27 (average 23 years), and they all handle smartphones on a daily basis.

また、タッチパネル21上と電気触覚ディスプレイ3上とで、提示図形の物理的なサイズが一致するように調整し、例えば、タッチパネル21上で1cm操作指を動かしたときに、電気触覚ディスプレイ3上の提示図形も1cm動くようにした。   Further, the physical size of the presented figure is adjusted to be the same on the touch panel 21 and the electric tactile display 3, and for example, when a 1 cm operation finger is moved on the touch panel 21, the electric tactile display 3 is displayed. The displayed figure also moved 1cm.

そして、被験者が視覚的に認識できない状態で、タッチパネル21上の所定位置(電気触覚ディスプレイ3と同程度の面積を有するように提示した四角形の枠内)に上記の4種類の図形を順次提示させ、被験者がタッチパネル21上の当該枠内をスライド操作したときに、これに追従して電気触覚ディスプレイ3で行われた触覚提示により、被験者がどの図形を認識したかを回答させた。   Then, the above four types of figures are sequentially presented at predetermined positions on the touch panel 21 (inside a rectangular frame presented so as to have the same area as the electrotactile display 3) in a state where the subject cannot visually recognize. When the subject slides within the frame on the touch panel 21, the figure that the subject has recognized is answered by tactile presentation performed on the electrotactile display 3 following this operation.

電気触覚ディスプレイ3による触覚提示は、上記4種類の図形をランダムに5回行うことにより、1セットの実験で20回行った。   The tactile sensation presented by the electrotactile display 3 was performed 20 times in one set of experiments by randomly performing the above four types of figures 5 times.

また順序効果による影響をなくすため、被験者ごとに片手実験と両手実験とで提示する図形の順序を変えた。   In order to eliminate the influence of the order effect, the order of the figures presented in the one-handed experiment and the two-handed experiment was changed for each subject.

当該検証実験(1)により得られた、図形情報ごとの、被験者の回答の正当率を図12および図13に示す。図12は片手実験により得られた検証結果であり、図13は両手実験により得られた検証結果である。   FIG. 12 and FIG. 13 show the validity rate of the test subject's answer for each graphic information obtained by the verification experiment (1). FIG. 12 shows the verification result obtained by the one-handed experiment, and FIG. 13 shows the verification result obtained by the two-handed experiment.

片手実験においては、(a)横線の正答率が87%、(b)左下から右上に向かう斜線の正答率が93%、(c)縦線の正答率が87%、(d)左上から右下に向かう斜線の正答率が97%と、いずれも高値であった。   In the one-handed experiment, (a) the correct answer rate of the horizontal line is 87%, (b) the correct answer rate of the diagonal line from the lower left to the upper right is 93%, (c) the correct answer rate of the vertical line is 87%, and (d) the upper left to the right The correct answer rate of the slanting line toward the bottom was 97%, both high.

また両手実験においては、(a)横線の正答率が70%、(b)左下から右上に向かう斜線の正答率が80%、(c)縦線の正答率が73%、(d)左上から右下に向かう斜線の正答率が80%と、片手実験よりはやや劣るものの、やはりいずれも高値であった。   In the two-hand experiment, (a) the correct answer rate of the horizontal line is 70%, (b) the correct answer rate of the diagonal line from the lower left to the upper right is 80%, (c) the correct answer rate of the vertical line is 73%, and (d) from the upper left. The correct answer rate of the slanted line toward the lower right is 80%, which is slightly inferior to the one-handed experiment, but both were high.

また、当該検証実験(1)において、実験開始から被験者が回答するまでの平均回答時間を、片手実験、両手実験それぞれについて算出した結果を、図14に示す。当該結果では、片手実験の平均回答時間は3.9秒であったのに対し、両手実験の平均回答時間は6.7秒であり、片手で操作した場合のほうが両手で操作した場合よりも早く図形を認識できることが判った。   Moreover, in the said verification experiment (1), the result of having calculated the average response time until a test subject answers from a test start about each one-handed experiment and a two-handed experiment is shown in FIG. In this result, the average response time for the one-handed experiment was 3.9 seconds, whereas the average response time for the two-handed experiment was 6.7 seconds, which was greater when operating with one hand than when operating with both hands. It was found that the figure could be recognized quickly.

[検証実験(2)]
検証実験(2)では、図15の(e)四角形、(f)円、(g)三角形、(h)バツ印、の角度が異なる4種類の図形情報を、表示対象情報として用いた。
[Verification experiment (2)]
In the verification experiment (2), four types of graphic information having different angles of (e) square, (f) circle, (g) triangle, and (h) cross mark in FIG. 15 were used as display target information.

被験者が、22歳〜24歳(平均23歳)の男性4人である他は、検証実験(1)と同様の条件で実施した。   The test was performed under the same conditions as in the verification experiment (1) except that the test subjects were four men aged 22 to 24 (average 23 years).

当該検証実験(2)により得られた、図形情報ごとの、被験者の回答の正当率を図16および図17に示す。図16は片手実験により得られた検証結果であり、図17は両手実験により得られた検証結果である。   FIG. 16 and FIG. 17 show the correct rate of the test subject's answer for each graphic information obtained by the verification experiment (2). FIG. 16 shows the verification result obtained by the one-handed experiment, and FIG. 17 shows the verification result obtained by the two-handed experiment.

片手実験においては、(e)四角形の正答率が85%、(f)円の正答率が95%、(g)三角形の正答率が95%、(h)バツ印の正答率が100%と、いずれも高値であった。   In the one-handed experiment, (e) square correct answer rate is 85%, (f) circle correct answer rate is 95%, (g) triangle correct answer rate is 95%, and (h) cross mark correct answer rate is 100%. , Both were high.

また両手実験においては、(e)四角形の正答率が80%、(f)円の正答率が85%、(g)三角形の正答率が85%、(h)バツ印の正答率が100%と、片手実験よりはやや劣るものの、やはりいずれも高値であった。   In the two-handed experiment, (e) the square correct answer rate is 80%, (f) the circle correct answer rate is 85%, (g) the triangle correct answer rate is 85%, and (h) the cross mark correct answer rate is 100%. Although it was slightly inferior to the one-handed experiment, it was still high.

また、当該検証実験(2)において、実験開始から被験者が回答するまでの平均回答時間を、片手実験、両手実験それぞれについて算出した結果を、図18に示す。当該結果では、片手実験の平均回答時間は6.1秒であったのに対し、両手実験の平均回答時間は7.96秒であり、片手で操作した場合のほうが両手で操作した場合よりも早く図形を認識できることが判った。   Moreover, in the said verification experiment (2), the result of having calculated the average response time until a test subject answers from a test start about each one-handed experiment and a two-handed experiment is shown in FIG. In this result, the average response time for the one-handed experiment was 6.1 seconds, whereas the average response time for the two-handed experiment was 7.96 seconds, which was greater when operating with one hand than when operating with both hands. It was found that the figure could be recognized quickly.

上述した検証実験(1)および(2)により、本願発明によるスマートフォンを用いて、操作指による操作に追従して提示指に触覚提示された情報により、タッチパネル上に表示された情報の形状をユーザが認識する場合において、いずれの形状の図形においても認識精度が高いことが立証された。特に、認識間違いをしやすいと考えられた、(b)左下から右上に向かう斜線と(d)左上から右下に向かう斜線とにおいても、高い正答率(それぞれ80%)が得られ、認証精度の高さが証明された。   Based on the verification experiments (1) and (2) described above, the shape of the information displayed on the touch panel is displayed by the user using the smartphone according to the invention of the present application and the information presented on the presenting finger by following the operation with the operating finger. It has been proved that the recognition accuracy is high in any shape figure. In particular, a high correct answer rate (80% each) was obtained for (b) the diagonal line from the lower left to the upper right and (d) the diagonal line from the upper left to the lower right, which were considered to be prone to recognition errors. Proved its height.

1…スマートフォン
2…端末本体
3…電気触覚ディスプレイ
21…タッチパネル
22…入力情報取得部
23…表示制御部
24…キャプチャ処理部
25…切り出し処理部
26…提示位置情報生成部(刺激子特定情報生成部)
27…送信部
31…電極群
32…受信部
33…触覚提示制御部
DESCRIPTION OF SYMBOLS 1 ... Smartphone 2 ... Terminal main body 3 ... Electric tactile display 21 ... Touch panel 22 ... Input information acquisition part 23 ... Display control part 24 ... Capture process part 25 ... Extraction process part 26 ... Presentation position information generation part (stimulus specific information generation part) )
27 ... Transmitting unit 31 ... Electrode group 32 ... Receiving unit 33 ... Tactile sense presentation control unit

Claims (8)

所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルに接続された触覚提示装置において、
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、
触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、
前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、
前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部と
を備えることを特徴とする、タッチパネル操作に対応する触覚提示装置。
In the tactile presentation device connected to the touch panel for displaying predetermined display target information at a predetermined position and inputting information related to a user operation,
A cutout processing unit for cutting out display information around the operation position on the touch panel;
A tactile display in which a plurality of tactile stimulators for stimulating the tactile sense are arranged in a matrix, and
Stimulator specifying information for generating stimulator specifying information for specifying a corresponding tactile stimulator to cause the display information around the operation position cut out by the cutout processing unit to be horizontally reversed and presented by the tactile display. A generator,
A tactile sense presentation control unit that presents a tactile sense corresponding to an operation on the display information to the user by outputting a stimulus factor from the tactile stimulus specified by the stimulus specific information generated by the stimulus specific information generating unit A tactile presentation device corresponding to a touch panel operation.
前記切り出し処理部は、ユーザによりスライド操作が行われると、前記スライド操作により移動する、操作位置周辺の表示情報を順次切り出し、
前記刺激子特定情報生成部は、前記切り出し処理部で順次切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための刺激子特定情報を順次生成し、
前記触覚提示制御部は、前記刺激子特定情報生成部で順次生成された刺激子特定情報に基づいて、該当する触覚刺激子から順次刺激要因を出力させることで、前記スライド操作に追従して変化する、前記表示情報への操作に対応した触覚をユーザに提示する
ことを特徴とする請求項1に記載の、タッチパネル操作に対応する触覚提示装置。
When the user performs a slide operation, the cut-out processing unit sequentially cuts display information around the operation position that is moved by the slide operation.
The stimulator identification information generation unit sequentially generates the stimulator identification information for causing the display information around the operation position sequentially cut out by the cutout processing unit to be horizontally reversed and presented by the tactile display.
The tactile sense presentation control unit changes following the slide operation by sequentially outputting stimulus factors from the corresponding tactile stimulus based on the stimulus specific information sequentially generated by the stimulus specific information generating unit. The tactile sensation presentation apparatus corresponding to the touch panel operation according to claim 1, wherein a tactile sensation corresponding to the operation on the display information is presented to the user.
前記触覚ディスプレイは、前記タッチパネルを人間の指でタッチ操作したときに、当該タッチパネルに接触する指面積に該当する面積を有する
ことを特徴とする請求項1または2に記載の、タッチパネル操作に対応する触覚提示装置。
The touch-sensitive display according to claim 1 or 2, wherein the touch-sensitive display has an area corresponding to a finger area that touches the touch panel when the touch panel is touched with a human finger. Tactile presentation device.
前記触覚ディスプレイは、タッチパネルの裏面側に、前記タッチパネルと逆方向を向くように設置されている
ことを特徴とする請求項1〜3いずれか1項に記載の、タッチパネル操作に対応する触覚提示装置。
The haptic display device according to any one of claims 1 to 3, wherein the haptic display is installed on the back side of the touch panel so as to face in the opposite direction to the touch panel. .
前記切り出し処理部は、前記操作による前記タッチパネルへの押圧の強さを検出し、検出した押圧の強さの情報に基づいて、切り出す表示情報の面積を変更する
ことを特徴とする請求項1〜4いずれか1項に記載の、タッチパネル操作に対応する触覚提示装置。
The cutout processing unit detects the strength of pressing on the touch panel due to the operation, and changes the area of display information to be cut out based on the detected information on the strength of pressing. 5. A tactile sense presentation device corresponding to touch panel operation according to any one of claims 4 to 5.
所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置におけるタッチパネル操作に対応する触覚提示方法であって、
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理ステップと、
前記切り出し処理ステップで切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成ステップと、
前記刺激子特定情報生成ステップで生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御ステップと
を有することを特徴とする、タッチパネル操作に対応する触覚提示方法。
Tactile presentation connected to a touch panel that displays predetermined display target information at a predetermined position and inputs information related to operations by the user, and a tactile display in which a plurality of tactile stimulators for stimulating the tactile are arranged in a matrix A tactile presentation method corresponding to a touch panel operation in the device,
A cutout process step of cutting out display information around the operation position on the touch panel;
Stimulator specifying information for generating stimulator specifying information for specifying the corresponding tactile stimulator for reversing the display information around the operation position cut out in the cutout processing step and causing the tactile display to recognize the tactile sense Generation step;
A tactile sensation presentation control step for presenting a tactile sense corresponding to an operation to the display information to the user by outputting a stimulus factor from the tactile stimulus specified by the stimulator specifying information generated in the stimulator specifying information generating step. A tactile sensation presentation method corresponding to a touch panel operation.
所定の表示対象情報を所定位置に表示するとともにユーザによる操作に関する情報を入力するタッチパネルと、触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイとに接続された触覚提示装置に、
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理機能と、
前記切り出し処理機能で切り出された操作位置周辺の表示情報を左右反転させて、前記触覚ディスプレイにより触覚を認識させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成機能と、
前記刺激子特定情報生成機能で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御機能と
を実行させるための、タッチパネル操作に対応する触覚提示用プログラム。
Tactile presentation connected to a touch panel that displays predetermined display target information at a predetermined position and inputs information related to operations by the user, and a tactile display in which a plurality of tactile stimulators for stimulating the tactile are arranged in a matrix To the device,
A cut-out processing function for cutting out display information around the operation position on the touch panel;
Stimulus specifying information for generating stimulator specifying information for specifying a corresponding tactile stimulator for reversing the display information around the operation position cut out by the cutout processing function and recognizing a tactile sense by the tactile display Generation function,
A tactile presentation control function for presenting a tactile sense corresponding to an operation on the display information to a user by outputting a stimulus factor from a tactile stimulus specified by the stimulator specifying information generated by the stimulator specifying information generating function A tactile sensation presentation program corresponding to a touch panel operation.
所定の表示対象情報を所定位置に表示するとともに、ユーザによる操作に関する情報を入力するタッチパネルと、
前記タッチパネル上の、操作位置周辺の表示情報を切り出す切り出し処理部と、
触覚を刺激するための複数の触覚刺激子がマトリックス状に配置された触覚ディスプレイと、
前記切り出し処理部で切り出された操作位置周辺の表示情報を、左右反転させて前記触覚ディスプレイにより触覚で提示させるための、該当する触覚刺激子を特定する刺激子特定情報を生成する刺激子特定情報生成部と、
前記刺激子特定情報生成部で生成された刺激子特定情報で特定される触覚刺激子から刺激要因を出力させることで、前記表示情報への操作に対応した触覚をユーザに提示する触覚提示制御部と
を備えることを特徴とする触覚提示装置を搭載した携帯端末。
A touch panel for displaying predetermined display target information at a predetermined position and inputting information related to an operation by the user;
A cutout processing unit for cutting out display information around the operation position on the touch panel;
A tactile display in which a plurality of tactile stimulators for stimulating the tactile sense are arranged in a matrix, and
Stimulator specifying information for generating stimulator specifying information for specifying a corresponding tactile stimulator to cause the display information around the operation position cut out by the cutout processing unit to be horizontally reversed and presented by the tactile display. A generator,
A tactile sense presentation control unit that presents a tactile sense corresponding to an operation on the display information to the user by outputting a stimulus factor from the tactile stimulus specified by the stimulus specific information generated by the stimulus specific information generating unit A portable terminal equipped with a tactile sense presentation device.
JP2015051812A 2015-03-16 2015-03-16 Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon Pending JP2016170752A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015051812A JP2016170752A (en) 2015-03-16 2015-03-16 Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015051812A JP2016170752A (en) 2015-03-16 2015-03-16 Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon

Publications (1)

Publication Number Publication Date
JP2016170752A true JP2016170752A (en) 2016-09-23

Family

ID=56982416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015051812A Pending JP2016170752A (en) 2015-03-16 2015-03-16 Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon

Country Status (1)

Country Link
JP (1) JP2016170752A (en)

Similar Documents

Publication Publication Date Title
US20190064952A1 (en) Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
US8330590B2 (en) User interface feedback apparatus, user interface feedback method, and program
US20170293357A1 (en) Eye-controlled apparatus, eye-controlled method and eye-controlled system
EP3255535A1 (en) Processing method for user interface of terminal, user interface and terminal
US8626283B1 (en) Electronic device and method for providing tactile stimulation
CN109445600A (en) Tactile feedback method, device, terminal and computer readable storage medium
KR20120047980A (en) Input device
KR20080048837A (en) Apparatus and method for outputting tactile feedback on display device
CN103797441A (en) Haptic device with touch gesture interface
TW200822682A (en) Multi-function key with scrolling
US20150186013A1 (en) Electronic device and key input prompt method
CN103777861A (en) Terminal and method for controlling touch operation in the terminal
Groeger et al. Tactlets: Adding tactile feedback to 3D objects using custom printed controls
WO2013128989A1 (en) Display device and operating method thereof
CN104049898A (en) Touch screen operation method and device and touch terminal
KR20160019762A (en) Method for controlling touch screen with one hand
JP2014041441A (en) Device and method of back face tactile information presentation type information input
JP5243379B2 (en) Input device
US20180373333A1 (en) Method of displaying characters for the blind using haptic patterns
CN107807779A (en) A kind of touch operation method and device
CN106062676A (en) Electronic apparatus
Ernst et al. Exploring haptics for learning bend gestures for the blind
JP2016170752A (en) Tactile sense presentation device, tactile sense presentation method, tactile sense presentation program corresponding to touch panel operation, and portable terminal having tactile sense presentation mounted thereon
CN104657066A (en) Back control device utilization method
JP2013073601A (en) Contact input device