JP2003241891A - Haptic information transmitter, control device and method therefor - Google Patents
Haptic information transmitter, control device and method thereforInfo
- Publication number
- JP2003241891A JP2003241891A JP2002043417A JP2002043417A JP2003241891A JP 2003241891 A JP2003241891 A JP 2003241891A JP 2002043417 A JP2002043417 A JP 2002043417A JP 2002043417 A JP2002043417 A JP 2002043417A JP 2003241891 A JP2003241891 A JP 2003241891A
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- presentation
- operator
- pointed
- presenting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、凹凸によって情報
を伝える触覚ディスプレイを用いたオブジェクト呈示技
術に係り、より詳細には、触覚ディスプレイにオブジェ
クトを呈示し、さらにそのオブジェクトを選択すること
ができる触覚情報伝達装置及びその制御装置及びその制
御方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for presenting an object using a tactile display that conveys information by means of unevenness, and more specifically, presenting an object on the tactile display and further selecting the object. The present invention relates to an information transmission device, a control device thereof, and a control method thereof.
【０００２】[0002]
【従来の技術】現在、コンピュータのＧＵＩ（Graphica
l User Interface）環境におけるアイコンや選択項目等
の画面上に存在するオブジェクトの情報を、視覚障害者
に伝えるための研究開発が行われている。例えば、マウ
ス等のポインティングデバイスに、平面に配置された触
覚ピンの凹凸駆動の結果によって触覚で形状を認識する
ことができる触覚ディスプレイを付加することで、ポイ
ンティングデバイスが指し示す領域の情報を触覚ディス
プレイに呈示する技術がある。2. Description of the Related Art Currently, a computer GUI (Graphica
l User Interface) Research and development is being conducted to convey the information of objects existing on the screen such as icons and selection items in the environment to visually impaired persons. For example, by adding a tactile display that can recognize the shape by touch to the pointing device such as a mouse based on the result of the uneven driving of the tactile pins arranged on a plane, the information of the area pointed to by the pointing device is displayed on the tactile display. There is a technique to present.
【０００３】この技術は、例えば、８×８本のピンを２
次元に配列し、１本のピンを画面の１ドットに対応させ
た触覚ディスプレイをポインティングデバイスに付与す
ることで、そのポインティングデバイスから得られる現
在のポインティング座標を中心として８×８ドットの範
囲の情報を呈示するものであり、「山中ほか,“触覚デ
ィスプレイ付きポインティングデバイスの提案”,第１
２回ヒューマンインタフェースシンポジウム,ＨＩＳ１
２−１２１２,ｐ．６３−６６,１９９６．」（以下、先
行技術１）や、「座標指示方法および装置（特開２００
１−２４２７８１号公報）」（以下、先行技術２）で開
示されている。This technique uses, for example, 2 × 8 × 8 pins.
By providing the pointing device with a tactile display in which the pins are arranged in three dimensions and one pin corresponds to one dot on the screen, information in the range of 8 × 8 dots centering on the current pointing coordinates obtained from the pointing device. "Yamanaka et al.," Proposal of pointing device with tactile display ", No. 1
2nd Human Interface Symposium, HIS1
2-1212, p. 63-66, 1996. (Hereinafter referred to as prior art 1) or “coordinate pointing method and device (Japanese Patent Application Laid-Open No. 200-200200).
No. 1-242781) "(hereinafter referred to as Prior Art 2).
【０００４】さらに、触覚ピンの位置及び数によって、
画面上のウィンドウやボタン等の部品の機能及び階層構
造を呈示し、触覚センサによって、操作者が指で触れた
触覚ピンの位置を検出して、その位置に対応したウィン
ドウ名やボタン名を音声で伝達する技術が、「視覚障害
者用グラフィカルユーザーインターフェース（特開平１
０−６９２１８号公報）」（以下、先行技術３）で開示
されている。Furthermore, depending on the position and number of tactile pins,
The functions and hierarchical structure of parts such as windows and buttons on the screen are presented, and the position of the tactile pin touched by the operator's finger is detected by the tactile sensor, and the window name or button name corresponding to the position is spoken. The technology for transmitting the information is "Graphical User Interface for the Visually Impaired"
0-69218) "(hereinafter referred to as prior art 3).
【０００５】また、デジタル放送におけるデータ放送に
おいて、操作者が視聴したいデータ情報にアクセスする
には、リモコン装置の上下左右の方向キーを押下するこ
とでメニュー画面の希望する選択項目までカーソルを移
動させ、決定キーを押下する等の操作で実現することが
できるが、これらのメニュー画面を視覚障害者に呈示す
るための研究開発も行われている。In data broadcasting in digital broadcasting, in order to access the data information that the operator wants to watch, the cursor is moved to the desired selection item on the menu screen by pressing the up, down, left and right direction keys of the remote control device. It can be realized by an operation such as pressing the Enter key, but research and development for presenting these menu screens to the visually impaired are also being carried out.
【０００６】例えば、データ放送で通知される選択可能
なオブジェクトの付加情報に基づいて、オブジェクトの
位置情報や表示形式等を検出し、その位置情報や表示形
式等を立体形状、表面の粗さ、摩擦力等の触覚によって
識別可能な特性情報に変換した触覚オブジェクトとして
触覚受容器（手指等の皮膚感覚）に呈示し、操作者が触
覚受容器である手指を動作させて触覚オブジェクトに触
れたときは、その触覚オブジェクトの内容を音声や点字
で出力する技術がある。なお、この技術は、本願出願人
において「触覚情報伝達装置（特開２００１−２２２６
７）」（以下、先行技術４）として開示されている。For example, based on the additional information of the selectable object notified by the data broadcast, the position information and the display format of the object are detected, and the position information and the display format are determined by the three-dimensional shape, surface roughness, When the operator touches a tactile object by presenting it as a tactile object converted to characteristic information that can be identified by tactile sense such as frictional force on a tactile receptor (skin sensation such as a finger) and operating the finger that is the tactile receptor. Has a technology for outputting the content of the tactile object in voice or Braille. In addition, this technique is disclosed by the applicant of the present invention in "Tactile information transmission device (Japanese Patent Laid-Open No. 2001-2226
7) ”(hereinafter referred to as Prior Art 4).
【０００７】一方、操作者が、前記触覚ディスプレイを
手指等の部位で指し示す位置を検出するために使用され
る、物体の位置検出に関する技術は種々提案されてい
る。例えば、位置検出を行う領域を撮影範囲としたＴＶ
カメラで入力した画像から、その領域内に存在する指先
の位置を画像認識によって検出する技術があり、「情報
入力方式（特公昭５７−１００９号公報）」（以下、先
行技術５）や、「指示位置検出方法（特開平７−１６０
４１２号公報）」（以下、先行技術６）等で開示されて
いる。また、これらの画像認識による位置検出では、位
置検出の精度を向上させるため、予め初期設定時に位置
検出を行う領域の四隅を設定し、その四隅の座標を基準
として位置検出を行う方法が一般的である。On the other hand, various techniques for detecting the position of an object, which are used by the operator to detect the position where the tactile display is pointed by a part such as a finger, have been proposed. For example, a TV in which the area for position detection is the shooting range
There is a technique for detecting the position of a fingertip existing in the area from an image input by a camera by image recognition, and includes "information input method (Japanese Patent Publication No. Sho 57-1009)" (hereinafter referred to as prior art 5) and " Pointed position detection method (JP-A-7-160)
No. 412) ”(hereinafter, referred to as Prior Art 6). Further, in the position detection by these image recognition, in order to improve the accuracy of the position detection, it is common to set the four corners of the area in which the position detection is performed in advance at the time of initial setting, and perform the position detection based on the coordinates of the four corners. Is.
【０００８】また、その他の位置検出に関する技術とし
ては、タッチパネルやタブレットのような感圧センサや
光センサをアレイ状に配置し、指先の圧力や陰影によっ
て指先の位置を検出する技術があり、「座標情報操作装
置（特開平８−３０５８７５）」（以下、先行技術７）
等で開示されている。[0008] As another technique related to position detection, there is a technique of arranging pressure-sensitive sensors or optical sensors such as a touch panel or a tablet in an array, and detecting the position of the fingertip by pressure or shadow of the fingertip. Coordinate information operation device (Japanese Patent Laid-Open No. 8-305875) (hereinafter, Prior Art 7)
Etc.
【０００９】[0009]
【発明が解決しようとする課題】しかし、前記従来の技
術では、視覚障害者が、触覚ディスプレイのディスプレ
イ面を広範囲に指先で触れながらオブジェクトを選択す
ることができない。例えば、前記先行技術１及び前記先
行技術２では、画面上の部分的な領域情報を正確に取得
することはできるが、画面全体の広範囲な情報を同時に
呈示することはできず、画面の全体像を認識することが
困難であるという問題がある。However, in the above-mentioned conventional techniques, a visually impaired person cannot select an object while touching the display surface of the tactile display with his fingertip over a wide area. For example, in Prior Art 1 and Prior Art 2, although partial area information on the screen can be accurately acquired, wide area information of the entire screen cannot be presented at the same time, and the entire image of the screen is displayed. There is a problem that it is difficult to recognize.
【００１０】また、前記先行技術３では、画面の全体像
を認識することが困難であるとともに、触覚ディスプレ
イの呈示領域の面積が広い場合や、高密度に触覚ピンが
配置された場合には、触覚センサを実装することが困難
であるという問題がある。さらに、前記先行技術４にお
いても、呈示領域の広い触覚ディスプレイを使用する場
合、手指位置の検出と、当該位置に存在する触覚オブジ
ェクトの選択の検出とを同時に行う触覚センサを実装す
ることは困難である。Further, in the prior art 3, it is difficult to recognize the entire image of the screen, and when the area of the presentation area of the tactile display is large or when the tactile pins are arranged at high density, There is a problem that it is difficult to mount the tactile sensor. Further, also in the prior art 4, when using a tactile display with a wide presentation area, it is difficult to implement a tactile sensor that simultaneously detects a finger position and a selection of a tactile object existing at the position. is there.
【００１１】一方、前記先行技術５及び前記先行技術６
等によるＴＶカメラで入力した画像から手指の位置検出
を画像認識によって行う技術では、手指の曲げ具合や左
右方向への傾きによって正しく手指の位置を検出するこ
とができないという問題がある。さらに、位置検出を行
う領域の四隅を設定する場合、その四隅に手指を置いて
位置を指定する方法では、視覚的にその位置を確認して
設定を行わなければならず、視覚障害者では実行するこ
とができないという問題がある。On the other hand, the prior art 5 and the prior art 6
In the technique of detecting the positions of the fingers from the image input by the TV camera by image recognition, etc., there is a problem that the positions of the fingers cannot be correctly detected depending on the bending condition of the fingers and the inclination in the left and right directions. In addition, when setting the four corners of the area for position detection, the method of placing the fingers on the four corners to specify the position requires visually checking the position and making the setting. There is a problem that you cannot do it.
【００１２】また、前記先行技術７等によるタッチパネ
ルやタブレットを用いて指先の位置を検出する技術で
は、センサ等の回路とその信号を読み出すための回路と
を、凹凸がある触覚ディスプレイ上にアレイ状に組み込
むことは困難である。このように、広い面積を呈示領域
とする触覚ディスプレイにおいて、呈示されたオブジェ
クトに直接触れ、そのオブジェクトを選択することで当
該オブジェクトが有する情報を取得する有効な手段は存
在していなかった。Further, in the technique for detecting the position of the fingertip using the touch panel or the tablet according to the prior art 7 or the like, circuits such as sensors and circuits for reading the signals are arrayed on an uneven tactile display. Is difficult to incorporate into. As described above, in a tactile display having a large area as a presentation area, there is no effective means for directly touching the presented object and selecting the object to acquire the information of the object.
【００１３】本発明は、以上のような問題点に鑑みてな
されたものであり、触覚ディスプレイに選択可能なオブ
ジェクトを呈示し、操作者が触覚ディスプレイ上で指し
示す位置を正確に検出し、そのオブジェクトを選択する
ことを可能にした触覚情報伝達装置及びその制御装置及
びその制御方法を提供することを目的とする。The present invention has been made in view of the above problems, and presents a selectable object on a tactile display, accurately detects a position pointed by an operator on the tactile display, and detects the object. It is an object of the present invention to provide a tactile information transmission device, a control device for the same, and a control method for the same.
【００１４】[0014]
【課題を解決するための手段】本発明は、前記目的を達
成するために創案されたものであり、まず、請求項１に
記載の触覚情報伝達装置は、以下の構成にかかるものと
した。すなわち、視覚化されて画面上に表示される選択
可能な１つ以上の視覚オブジェクトを、平面に配置され
た触覚ピンの凹凸駆動の結果によって触覚で認識するこ
とができる触覚オブジェクトに変換して呈示する触覚情
報伝達装置において、視覚オブジェクトの形状を抽象化
した図形情報に変換するオブジェクト変換手段と、この
オブジェクト変換手段で変換された図形情報を、触覚オ
ブジェクトとして立体形状で呈示する触覚呈示手段と、
この触覚呈示手段の呈示領域を撮影する撮影手段と、こ
の撮影手段によって撮影された映像信号に基づいて、触
覚呈示手段の呈示領域上で操作者が指し示す指示位置を
検出する指示位置検出手段と、この指示位置検出手段で
検出された指示位置に基づいて、その指示位置に存在す
る触覚オブジェクトを検出するオブジェクト検出手段
と、触覚オブジェクトの選択を指示する選択指示手段
と、この選択指示手段によって触覚オブジェクトが選択
されたときに、触覚オブジェクトに対応する視覚オブジ
ェクトが選択された旨を示す選択結果信号を生成するオ
ブジェクト選択指示手段と、を備える構成とした。The present invention was devised to achieve the above-mentioned object. First, the tactile information transmitting device according to claim 1 has the following configuration. That is, one or more selectable visual objects that are visualized and displayed on the screen are converted into a tactile object that can be tactually recognized by the result of the uneven driving of the tactile pins arranged on a plane and presented. In the tactile information transmission device, an object conversion means for converting the shape of a visual object into abstracted graphic information, and the graphic information converted by the object conversion means, a tactile presentation means for presenting a three-dimensional shape as a tactile object,
A photographing means for photographing the presenting area of the tactile presenting means, and a pointed position detecting means for detecting an indicated position indicated by the operator on the presenting area of the tactile presenting means, based on the video signal taken by the image taking means, Based on the pointed position detected by the pointed position detection unit, an object detection unit that detects a tactile object existing at the pointed position, a selection instruction unit that instructs selection of the tactile object, and a tactile object by the selection instruction unit. Object selection instructing means for generating a selection result signal indicating that the visual object corresponding to the tactile object is selected when is selected.
【００１５】かかる構成によれば、触覚情報伝達装置
は、オブジェクト変換手段によって、画面上に表示され
る選択可能な視覚オブジェクトを、丸や四角等の抽象化
した図形に変換し、その抽象化された図形部分を凸形状
として触覚呈示手段（例えば触覚ディスプレイ）に呈示
させる。これによって、視覚オブジェクトを、触覚によ
って認識することができるオブジェクト（触覚オブジェ
クト）として呈示することができる。According to this structure, the tactile information transmitting device converts the selectable visual object displayed on the screen into an abstract figure such as a circle or a square by the object converting means, and the abstracted figure is obtained. The figure portion as a convex shape is presented on the tactile presentation means (eg, tactile display). Accordingly, the visual object can be presented as an object (tactile object) that can be recognized by touch.
【００１６】そして、触覚情報伝達装置は、選択指示手
段（例えばスイッチ）によって、オブジェクトの選択が
指示されたときに、撮影手段（例えばカメラ）によっ
て、触覚呈示手段の呈示領域全体を撮影し、指示位置検
出手段によって、その撮影された映像信号の画像を画像
認識することで、操作者が触覚呈示手段の呈示領域のど
の位置を指し示しているかを検出する。そして、オブジ
ェクト検出手段によって、操作者が指し示している位置
が、触覚呈示手段に呈示した触覚オブジェクトの領域内
であるかどうかを判定し、操作者が指し示している位置
が、その領域内にある場合に、操作者が当該触覚オブジ
ェクトを選択したものして選択動作を行う。Then, when the selection instruction means (for example, a switch) gives an instruction to select an object, the tactile information transmitting device takes an image of the entire presentation area of the tactile presentation means by an imaging means (for example, a camera) and gives an instruction. By recognizing the image of the captured video signal by the position detection means, it is detected which position in the presentation area of the tactile presentation means the operator is pointing. Then, the object detection means determines whether the position pointed by the operator is within the area of the tactile object presented to the tactile presentation means, and the position pointed by the operator is within that area. Then, the operator selects the tactile object and performs the selection operation.
【００１７】また、請求項２に記載の触覚情報伝達装置
の制御装置は、以下の構成にかかるものとした。すなわ
ち、視覚化されて画面上に表示される選択可能な１つ以
上の視覚オブジェクトを、平面に配置された触覚ピンの
凹凸駆動の結果によって立体形状を呈示する触覚呈示手
段に通知することで、視覚オブジェクトを触覚で認識す
ることができる触覚オブジェクトとして呈示する触覚情
報伝達装置の制御装置において、視覚オブジェクトの形
状を抽象化した図形情報に変換するオブジェクト変換手
段と、このオブジェクト変換手段で変換された図形情報
を、触覚オブジェクトとして立体形状で呈示するように
触覚呈示手段を駆動させる触覚呈示駆動手段と、触覚呈
示手段の呈示領域上で操作者が指し示す指示位置を検出
する指示位置検出手段と、この指示位置検出手段で検出
された指示位置に基づいて、その指示位置に存在する触
覚オブジェクトを検出するオブジェクト検出手段と、外
部から触覚オブジェクトの選択を指示されたときに、触
覚オブジェクトに対応する視覚オブジェクトが選択され
た旨を示す選択結果信号を生成するオブジェクト選択指
示手段と、を備える構成とした。Further, the control device of the tactile information transmission device according to the second aspect has the following configuration. That is, by notifying one or more selectable visual objects that are visualized and displayed on the screen to the tactile presenting means that presents a three-dimensional shape according to the result of the uneven driving of the tactile pins arranged on the plane, In a control device of a tactile information transmission device that presents a visual object as a tactile object that can be recognized by touch, an object conversion unit that converts the shape of the visual object into abstracted graphic information and the object conversion unit. The tactile presentation drive means for driving the tactile presentation means so as to present the graphic information as a tactile object in a three-dimensional shape, and the pointing position detection means for detecting the pointing position indicated by the operator on the presentation area of the tactile presentation means, Based on the pointed position detected by the pointed position detecting means, the tactile object existing at the pointed position is detected. And an object selection instructing means for generating a selection result signal indicating that the visual object corresponding to the tactile object is selected when an instruction to select the tactile object is given from the outside. It was configured.
【００１８】かかる構成によれば、触覚情報伝達装置の
制御装置は、オブジェクト変換手段によって、画面上に
表示される選択可能な視覚オブジェクトを、丸や四角等
の抽象化した図形に変換し、その抽象化された図形部分
を凸形状として触覚呈示手段（例えば触覚ディスプレ
イ）に呈示させる。これによって、視覚オブジェクト
を、触覚によって認識することができるオブジェクト
（触覚オブジェクト）として呈示することができる。According to this structure, the control device of the tactile information transmitting device converts the selectable visual object displayed on the screen into an abstract figure such as a circle or a square by the object converting means, and The abstracted graphic part is presented as a convex shape on a tactile presentation means (for example, a tactile display). Accordingly, the visual object can be presented as an object (tactile object) that can be recognized by touch.
【００１９】そして、触覚情報伝達装置の制御装置は、
外部からオブジェクトの選択を指示されたときに、指示
位置検出手段によって、操作者が触覚呈示手段の呈示領
域のどの位置を指し示しているかを検出する。そして、
オブジェクト検出手段によって、操作者が指し示してい
る位置が、触覚呈示手段に呈示した触覚オブジェクトの
領域内であるかどうかを判定し、操作者が指し示してい
る位置が、その領域内にある場合に、操作者が当該触覚
オブジェクトを選択したものして選択動作を行う。The control device of the tactile information transmission device is
When an instruction to select an object is given from the outside, the indicated position detection means detects which position in the presentation area of the tactile sense presentation means is pointed to by the operator. And
By the object detection means, the position pointed to by the operator is determined whether or not it is within the area of the tactile object presented to the tactile presentation means, and the position pointed to by the operator is within that area, The operator selects the tactile object and performs the selection operation.
【００２０】さらに、請求項３に記載の触覚情報伝達装
置の制御装置は、請求項２に記載の制御装置において、
デジタル放送におけるデータ放送から、選択可能な視覚
オブジェクトに関連する、少なくともオブジェクトの位
置及び大きさを含んだ情報を抽出するオブジェクト抽出
手段を備える構成とした。Further, the control device of the tactile information transmission device according to a third aspect is the control device according to the second aspect,
The configuration is provided with an object extracting unit that extracts information including at least the position and size of the object, which is associated with the selectable visual object, from the data broadcast in the digital broadcast.
【００２１】かかる構成によれば、触覚情報伝達装置の
制御装置は、オブジェクト抽出手段によって、デジタル
放送におけるデータ放送から、選択可能なオブジェクト
の付加情報に基づいて、オブジェクトの位置情報や表示
形式等の情報を抽出する。ここで、オブジェクト抽出手
段は、ＸＭＬ（eXtensible Markup Language）をベース
としてマルチメディア符号化用に開発された、ＢＭＬ
（Broadcast Markup Language）という放送サービスに
必要な機能を拡張した言語を解析することでオブジェク
トを抽出することも可能である。According to such a configuration, the control device of the tactile information transmission device uses the object extraction means to determine the position information and display format of the object based on the additional information of the object that can be selected from the data broadcast in the digital broadcast. Extract information. Here, the object extracting means is a BML developed for multimedia encoding based on XML (eXtensible Markup Language).
Objects can also be extracted by analyzing a language called (Broadcast Markup Language), which is an extension of the functions required for broadcasting services.
【００２２】また、請求項４に記載の触覚情報伝達装置
の制御装置は、請求項２又は請求項３に記載の制御装置
において、指示位置検出手段が、触覚呈示手段の呈示領
域を撮影する撮影手段によって撮影された映像信号に基
づいて、呈示領域上で操作者が指し示す指示位置を検出
する構成とした。According to a fourth aspect of the present invention, in the control device of the tactile information transmission device according to the second or third aspect, the pointing position detecting means captures an image of the presentation area of the tactile presentation means. The pointing position pointed to by the operator in the presentation area is detected based on the video signal captured by the means.
【００２３】かかる構成によれば、触覚情報伝達装置の
制御装置は、触覚呈示手段の呈示領域全体を撮影する撮
影手段によって撮影された映像信号の画像を画像認識す
ることで、呈示領域上で操作者が指し示す指示位置を検
出する。ここで行う画像認識とは、色情報に基づいて領
域を抽出するものとするが、形状に基づいて領域を抽出
する形態でも構わない。According to such a configuration, the control device of the tactile information transmission device operates on the presentation area by recognizing the image of the video signal taken by the imaging means for photographing the entire presentation area of the tactile presentation means. The pointed position pointed by the person is detected. The image recognition performed here is to extract the region based on the color information, but the form may be extracted based on the shape.
【００２４】さらに、請求項５に記載の触覚情報伝達装
置の制御装置は、請求項４に記載の制御装置において、
指示位置検出手段が、操作者の特定部位を示す指標マー
カに基づいて、呈示領域上で操作者が指し示す指示位置
を検出する構成とした。Further, the control device of the tactile information transmission device according to a fifth aspect is the control device according to the fourth aspect,
The pointed position detecting means is configured to detect the pointed position pointed to by the operator on the presentation area based on the index marker indicating the specific part of the operator.
【００２５】かかる構成によれば、触覚情報伝達装置の
制御装置は、固有の色又は形状を有する指標マーカであ
るシール等を貼った操作者の手指を撮影手段によって撮
影し、指示位置検出手段によって、その撮影された映像
から固有の色情報による領域検出や、固有の形状情報に
よるパターンパッチングを行うことで、操作者の手指の
指し示す位置を検出する。According to this structure, the control device of the tactile information transmitting device takes the image of the operator's finger on which a sticker or the like, which is an index marker having a unique color or shape, is pasted, and the pointing position detecting device takes the image. The position pointed by the operator's finger is detected by performing area detection based on unique color information and pattern patching based on unique shape information from the captured image.
【００２６】また、請求項６に記載の触覚情報伝達装置
の制御方法は、視覚化されて画面上に表示される選択可
能な１つ以上の視覚オブジェクトを、平面に配置された
触覚ピンの凹凸駆動の結果によって立体形状を呈示する
触覚呈示手段に通知することで、視覚オブジェクトを触
覚で認識することができる触覚オブジェクトとして呈示
する触覚情報伝達装置の制御方法において、視覚オブジ
ェクトの形状を抽象化した図形情報に変換するオブジェ
クト変換ステップと、このオブジェクト変換ステップで
変換された図形情報を、触覚オブジェクトとして立体形
状で呈示するように触覚呈示手段を駆動させる触覚呈示
駆動ステップと、触覚呈示手段の呈示領域を撮影する撮
影手段によって撮影された映像信号に基づいて、呈示領
域上で操作者が指し示す指示位置を検出する指示位置検
出ステップと、この指示位置検出ステップで検出された
指示位置に基づいて、その指示位置に存在する前記触覚
オブジェクトを検出するオブジェクト検出ステップと、
を含むとともに、外部から触覚オブジェクトの選択を指
示されたときに、触覚オブジェクトに対応する視覚オブ
ジェクトが選択された旨を示す選択結果信号を生成する
オブジェクト選択指示ステップと、を含むことを特徴と
する。According to a sixth aspect of the present invention, there is provided a control method for a tactile information transmission device, wherein one or more selectable visual objects which are visualized and displayed on a screen are provided with projections and depressions of tactile pins arranged on a plane. The shape of the visual object is abstracted in the control method of the tactile information transmission device that presents the visual object as a tactile object that can be recognized by the tactile sense by notifying the tactile presenting means that presents a three-dimensional shape according to the result of driving. An object conversion step of converting into graphic information, a tactile presentation driving step of driving the tactile presentation means so as to present the graphic information converted in this object conversion step as a tactile object in a three-dimensional shape, and a presentation area of the tactile presentation means. Based on the video signal photographed by the photographing means for photographing the An instruction position detecting step of detecting the indication position indicated, based on the detected indicated position in the instruction position detection step, and the object detecting step of detecting the haptic object present in the indicated position,
And an object selection instructing step of generating a selection result signal indicating that the visual object corresponding to the tactile object is selected when instructed to select the tactile object from the outside. .
【００２７】この方法によれば、触覚情報伝達装置の制
御方法は、オブジェクト変換ステップによって、画面上
に表示される選択可能な視覚オブジェクトを、丸や四角
等の抽象化した図形に変換し、触覚呈示駆動ステップに
よって、抽象化された図形部分を凸形状として触覚呈示
手段（例えば触覚ディスプレイ）を駆動させ、その触覚
呈示手段の呈示領域に触覚によって認識することができ
る触覚オブジェクトとして呈示させる。According to this method, in the control method of the tactile information transmission device, the selectable visual object displayed on the screen is converted into an abstract figure such as a circle or a square in the object converting step, and the tactile sense is obtained. In the presentation driving step, the abstracted graphic portion is made to have a convex shape to drive the tactile sense presentation means (for example, a tactile sense display) and present it as a tactile object that can be recognized by tactile sense in the presentation area of the tactile sense presentation means.
【００２８】そして、触覚情報伝達装置の制御方法は、
外部からオブジェクトの選択を指示されたときに、指示
位置検出ステップによって、操作者が触覚呈示手段の呈
示領域のどの位置を指し示しているかを検出する。そし
て、オブジェクト検出ステップによって、操作者が指し
示している位置が、触覚呈示手段に呈示した触覚オブジ
ェクトの領域内であるかどうかを判定し、操作者が指し
示している位置が、その領域内にある場合に、操作者が
当該触覚オブジェクトを選択したものして選択動作を行
う。The control method of the tactile information transmitting device is as follows:
When an instruction to select an object is given from the outside, the pointing position detection step detects which position in the presentation area of the tactile sense presentation means is pointed to by the operator. Then, by the object detection step, it is determined whether or not the position pointed by the operator is within the area of the tactile object presented to the tactile presenting means, and the position pointed by the operator is within that area. Then, the operator selects the tactile object and performs the selection operation.
【００２９】さらに、請求項７に記載の触覚情報伝達装
置の制御方法は、請求項６に記載の制御方法において、
触覚呈示手段の呈示領域の四隅にある触覚ピンを凸形状
にする凸駆動ステップと、操作者の特定部位を示す指標
マーカを付与した部位を、この凸駆動ステップによって
凸形状になった四隅の触覚ピンに順次載せ、前記撮影手
段によって撮影された映像信号に基づいて、呈示領域の
位置を特定する呈示領域特定ステップと、を含むことを
特徴とする。Furthermore, the control method of the tactile information transmission device according to claim 7 is the same as the control method according to claim 6,
Convex drive steps that make the tactile pins at the four corners of the presentation area of the tactile presenting means convex, and a part to which an index marker indicating a specific part of the operator is attached, And a presentation area identifying step of identifying the position of the presentation area based on the video signal photographed by the photographing means.
【００３０】この方法によれば、触覚情報伝達装置の制
御方法は、凸駆動ステップによって凸形状になった四隅
の触覚ピンを、操作者が指標マーカを付与した部位で順
次指し示し、撮影手段によって撮影する。そして、呈示
領域特定ステップによって、その撮影された映像信号の
画像を画像認識することで、操作者が指標マーカで指し
示す位置を検出し、その検出された位置と四隅の触覚ピ
ンとの位置とに基づいて、そのずれを補正した呈示領域
の位置を特定する。According to this method, the control method of the tactile information transmission device is such that the tactile pins at the four corners which are made convex by the convex driving step are sequentially pointed to by the portions to which the operator has added the index markers, and the photographing means takes the images. To do. Then, in the presentation area specifying step, by recognizing the image of the captured video signal, the operator detects the position pointed by the index marker, and based on the detected position and the positions of the tactile pins at the four corners. Then, the position of the presentation area in which the deviation is corrected is specified.
【００３１】[0031]
【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて説明する。
（触覚情報伝達装置の構成）BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings. (Structure of tactile information transmission device)
【００３２】図１は、本発明の実施の形態に係る触覚情
報伝達装置の外観図を表わしている。この触覚情報伝達
装置１は、触覚ディスプレイ２（触覚呈示手段）と、カ
メラ３（撮影手段）と、スイッチ４（選択指示手段）
と、音声出力装置５と、点字表示装置６とを備え、さら
に筐体内にこれら各手段を制御する制御装置１０を備え
て構成されており、カメラ３は、触覚ディスプレイ２全
体を撮影する位置に配置されている。FIG. 1 is an external view of a tactile information transmission device according to an embodiment of the present invention. This tactile information transmitting device 1 includes a tactile display 2 (tactile presenting means), a camera 3 (imaging means), and a switch 4 (selection instructing means).
A voice output device 5 and a Braille display device 6, and a control device 10 for controlling each of these means in the housing. The camera 3 is located at a position where the entire tactile display 2 is photographed. It is arranged.
【００３３】また、図２は、図１の触覚情報伝達装置１
の全体構成を示すブロック図である。図２に基づいて、
触覚情報伝達装置１の構成について詳細に説明する。図
２に示すように、触覚情報伝達装置１は、触覚ディスプ
レイ２（触覚呈示手段）と、カメラ３（撮影手段）と、
スイッチ４（選択指示手段）と、音声出力装置５と、点
字表示装置６と、制御装置１０とを含む構成とした。FIG. 2 is a tactile information transmission device 1 of FIG.
3 is a block diagram showing the overall configuration of FIG. Based on FIG.
The configuration of the tactile information transmission device 1 will be described in detail. As shown in FIG. 2, the tactile information transmitting device 1 includes a tactile display 2 (tactile presenting means), a camera 3 (imaging means),
The switch 4 (selection instruction means), the voice output device 5, the Braille display device 6, and the control device 10 are included.
【００３４】この触覚情報伝達装置１は、統合デジタル
放送（ＩＳＤＢ：Integrated Services Digital Broadc
asting）で使用されているメニュー画面等の視覚的に選
択可能なオブジェクト（視覚オブジェクト）を、平面に
配置された触覚ピンの凹凸駆動した結果の形状によって
触覚的に表現し、その触覚的に表現されたオブジェクト
（触覚オブジェクト）を、手指等の部位で選択すること
ができる装置である。The tactile information transmission device 1 is an integrated services digital broadcast (ISDB).
Visually selectable objects (visual objects) such as menu screens used in asting) are expressed tactilely by the shape resulting from the uneven driving of tactile pins arranged on a plane, and the tactile expression It is a device that can select the created object (tactile object) with a part such as a finger.
【００３５】また、制御装置１０は、オブジェクト抽出
手段１１と、オブジェクト変換手段１２と、触覚呈示デ
ータ記憶手段１３と、触覚呈示駆動手段１４と、指示位
置検出手段１５と、オブジェクト検出手段１６と、オブ
ジェクト選択指示手段１７と、テキストデータ記憶手段
１８と、音声合成手段１９と、点字生成手段２０とを含
んで構成されており、メニュー画面等からの選択可能な
オブジェクトの抽出、選択等の触覚情報伝達装置１の主
制御を司るものである。Further, the control device 10 includes an object extracting means 11, an object converting means 12, a tactile sense presentation data storing means 13, a tactile sense presenting driving means 14, a pointing position detecting means 15, an object detecting means 16, and an object detecting means 16. The object selection instruction means 17, the text data storage means 18, the voice synthesis means 19, and the Braille generation means 20 are included, and tactile information such as extraction and selection of selectable objects from a menu screen or the like. It controls the main control of the transmission device 1.
【００３６】触覚ディスプレイ２は、２次元のパターン
情報を平面に配置された触覚ピンの凹凸駆動した後の形
状によって３次元の立体形状として呈示するものであ
る。そして、触覚オブジェクトを凸形状に呈示すること
で、視覚障害者でもそのオブジェクト領域を触覚によっ
て認識することができるものである。なお、この触覚デ
ィスプレイ２は、個々の触覚ピンをステッピングモータ
等で凸駆動又は凹駆動させるもので、制御装置１０の触
覚呈示駆動手段１４から通知される駆動データに基づい
て個々の触覚ピンの駆動を行う。The tactile display 2 presents the two-dimensional pattern information as a three-dimensional three-dimensional shape by the shape of the tactile pins arranged on the plane after the uneven driving. By presenting the tactile object in a convex shape, even a visually impaired person can recognize the object area by tactile sense. The tactile display 2 drives each tactile pin in a convex or concave manner by a stepping motor or the like, and drives each tactile pin based on the drive data notified from the tactile sense presentation drive means 14 of the control device 10. I do.
【００３７】カメラ３は、触覚ディスプレイ２の触覚ピ
ンにより情報を呈示する領域（呈示領域）を映像として
入力するためのもので、例えばＣＣＤカメラ等で構成さ
れている。なお、このカメラ３で入力した映像は、制御
装置１０の指示位置検出手段１５に映像信号として出力
され、呈示領域上で操作者が手指等の部位で指し示す位
置を検出するために使用される。The camera 3 is for inputting a region (presentation region) in which information is presented by a tactile pin of the tactile display 2 as an image, and is composed of, for example, a CCD camera or the like. The video image input by the camera 3 is output as a video signal to the pointing position detection means 15 of the control device 10 and used to detect the position pointed by the operator with a part such as a finger on the presentation area.
【００３８】スイッチ４は、操作者が触覚ディスプレイ
２の呈示領域上で指し示した触覚オブジェクトを選択し
たことを示すために用いられ、ボタン等の部品で構成さ
れる。操作者によってスイッチ４が押下されると、押下
されたことを示す選択指示信号（第一選択指示信号、第
二選択指示信号）が制御装置１０のオブジェクト選択指
示手段１７に通知される。The switch 4 is used to indicate that the operator has selected the tactile object pointed on the presentation area of the tactile display 2, and is composed of parts such as buttons. When the operator presses the switch 4, a selection instruction signal (first selection instruction signal, second selection instruction signal) indicating that the switch 4 has been pressed is notified to the object selection instruction means 17 of the control device 10.
【００３９】このスイッチ４は、複数のスイッチ（スイ
ッチ４ａ、スイッチ４ｂ…）で構成されており、例え
ば、触覚ディスプレイ２に呈示されるメニュー画面が階
層構造になっている場合、操作者が手指等の部位でメニ
ューの選択領域の１つ（触覚オブジェクト）に触れなが
らスイッチ４ａを押下することで、その触覚オブジェク
トの項目を音声出力装置５や点字表示装置６によって、
音声や点字で出力し、スイッチ４ｂを押下することで、
その項目の下位層であるメニュー画面に移行する。The switch 4 is composed of a plurality of switches (switch 4a, switch 4b, ...). For example, when the menu screen presented on the tactile display 2 has a hierarchical structure, the operator's fingers or the like. By pressing the switch 4a while touching one of the selection areas of the menu (tactile object) at the part,
By outputting in voice or Braille, and pressing the switch 4b,
Move to the menu screen, which is the lower layer of the item.
【００４０】音声出力装置５は、音声データを音声とし
て出力するもので、スピーカ等で構成される。この音声
データは、制御装置１０の音声合成手段１９から入力さ
れる。点字表示装置６は、点字データを点字として出力
するもので、例えば、縦３本、横２本の６本の触覚ピン
を１マスとした複数のマスによって点字を出力するもの
である。この点字表示装置６は、制御装置１０の点字生
成手段２０から点字データを入力し、その点字データに
基づいて、触覚ピンの凹凸形状を変化させる。The voice output device 5 outputs voice data as voice and is composed of a speaker or the like. This voice data is input from the voice synthesizing means 19 of the control device 10. The Braille display device 6 outputs Braille data as Braille, and outputs Braille by a plurality of cells, each of which has six tactile pins, three vertically and two horizontally. The Braille display device 6 inputs Braille data from the Braille generating means 20 of the control device 10, and changes the concavo-convex shape of the tactile pin based on the Braille data.
【００４１】次に、制御装置１０の構成について詳細に
説明する。オブジェクト抽出手段１１は、統合デジタル
放送（ＩＳＤＢ）で使用されるメニュー画面のデータ
（ＩＳＤＢデータ）から、選択可能なオブジェクト（視
覚オブジェクト）に関連する情報であるオブジェクトの
種類、項目内容等のオブジェクト情報を抽出するもので
ある。そして、ここで抽出されたオブジェクト情報はオ
ブジェクト変換手段１２へ通知される。Next, the configuration of the control device 10 will be described in detail. The object extracting unit 11 is object information such as object type and item content which is information related to a selectable object (visual object) from data (ISDB data) on a menu screen used in integrated digital broadcasting (ISDB). Is to be extracted. Then, the object information extracted here is notified to the object conversion means 12.
【００４２】ここでオブジェクトの種類とは、例えば、
メニュー画面が階層構造になっている場合に下位層のメ
ニュー画面へ移行するために選択されるボタン領域、最
終的なデータ情報にアクセスするためのデータ領域、画
面説明等の文字列のみを表示したメッセージ領域等の区
分を言う。また、項目内容とは、前記ボタン領域の項目
名、前記データ領域のデータ内容の概要、前記メッセー
ジ領域の文字列を指している。Here, the type of object is, for example,
When the menu screen has a hierarchical structure, only the button area selected to move to the menu screen in the lower layer, the data area for accessing the final data information, and the character strings such as the screen description are displayed. Refers to the division of the message area, etc. The item contents refer to the item name of the button area, the outline of the data contents of the data area, and the character string of the message area.
【００４３】オブジェクト変換手段１２は、テキスト抽
出部１２ａと図形変換部１２ｂとを備え、オブジェクト
抽出手段１１で抽出されたオブジェクト情報から、テキ
スト情報のみを抽出したり、オブジェクトの形状を抽象
化した図形に変換するものである。The object converting means 12 is provided with a text extracting section 12a and a figure converting section 12b, and only the text information is extracted from the object information extracted by the object extracting section 11 or the shape of the object is abstracted. Is to be converted to.
【００４４】テキスト抽出部１２ａは、オブジェクト抽
出手段１１で抽出されたオブジェクト情報の項目内容か
ら、ボタン領域の項目名、データ領域のデータ内容の概
要、メッセージ領域の文字列をテキストデータとして抽
出する。そして、テキスト抽出部１２ａは、抽出したテ
キストデータを、テキストデータ記憶手段１８にオブジ
ェクトに対応させて記憶させる。The text extracting unit 12a extracts the item name of the button area, the outline of the data content of the data area, and the character string of the message area from the item content of the object information extracted by the object extracting means 11 as text data. Then, the text extraction unit 12a stores the extracted text data in the text data storage unit 18 in association with the object.
【００４５】図形変換部１２ｂは、オブジェクト抽出手
段１１で抽出されたオブジェクト情報のオブジェクトの
種類から、個々のオブジェクトを抽象化した図形に変換
した図形情報（触覚呈示データ）を生成するものであ
る。ここで生成された触覚呈示データは、抽象化された
図形の形状、位置等を示すデータで、触覚呈示駆動手段
１４に通知されて触覚ディスプレイ２に触覚オブジェク
トとして表示される。また、この触覚呈示データは個々
の触覚オブジェクト固有の識別子であるオブジェクト識
別子に関連付けられて触覚呈示データ記憶手段１３に記
憶される。The graphic conversion unit 12b generates graphic information (tactile sense presentation data) by converting each object into a graphic abstracted from the object type of the object information extracted by the object extraction means 11. The tactile presentation data generated here is data indicating the shape, position, etc. of the abstracted figure, and is notified to the tactile presentation driving means 14 and displayed on the tactile display 2 as a tactile object. Further, this tactile sense presentation data is stored in the tactile sense presentation data storage means 13 in association with an object identifier which is an identifier unique to each tactile sense object.
【００４６】ここで、図３に基づいて、メニュー画面の
視覚オブジェクトを、抽象化した図形に変換して触覚デ
ィスプレイ２に呈示する例を説明する。図３（ａ）は、
視覚化されたメニュー画面の内容を表わしており、図３
（ｂ）は、図３（ａ）の視覚オブジェクトを抽象図形に
変換し、２値化した触覚ディスプレイ２の呈示領域に呈
示された画面を表わしている。An example in which the visual object on the menu screen is converted into an abstract figure and presented on the tactile display 2 will be described with reference to FIG. Figure 3 (a) shows
The contents of the visualized menu screen are shown in FIG.
3B shows a screen presented in the presentation area of the tactile display 2 by converting the visual object of FIG. 3A into an abstract figure and binarizing it.
【００４７】図３（ａ）において、Ｂ１、Ｂ２、Ｂ３及
びＢ４はボタン領域、Ｄ１はデータ領域、Ｍ１はメッセ
ージ領域を表わしている。そして、ボタン領域（Ｂ１、
Ｂ２、Ｂ３及びＢ４）を抽象図形の円（Ｂ１'、Ｂ２'、
Ｂ３'及びＢ４'）に、データ領域（Ｄ１）を抽象図形の
四角形（Ｄ１'）に、メッセージ領域（Ｍ１）を抽象図
形の角丸四角形（Ｍ１'）に変換し２値化する。ここで
２値化とは、前記抽象図形の領域を触覚ディスプレイ２
（図２参照）の触覚ピンを凸形状とし、それ以外の領域
を凹形状にすることを表わしている。これによって、図
３（ｂ）に示すような画面が触覚ディスプレイ２の呈示
領域に呈示され、操作者はその呈示領域を手指等で触れ
ることで、オブジェクトの種類や、画面全体の情報を同
時に認識することができる。In FIG. 3A, B1, B2, B3 and B4 represent a button area, D1 represents a data area, and M1 represents a message area. Then, the button area (B1,
B2, B3 and B4) are circles of abstract figures (B1 ', B2',
B3 ′ and B4 ′), the data area (D1) is converted into a quadrangle (D1 ′) of the abstract figure, and the message area (M1) is converted into a rounded quadrangle (M1 ′) of the abstract figure and binarized. Here, binarization means that the area of the abstract figure is tactile display 2
This means that the tactile pin (see FIG. 2) has a convex shape and the other regions have a concave shape. As a result, a screen as shown in FIG. 3B is presented in the presentation area of the tactile display 2, and the operator touches the presentation area with fingers or the like to simultaneously recognize the type of object and the information of the entire screen. can do.
【００４８】図２戻って、説明を続ける。触覚呈示デー
タ記憶手段１３は、オブジェクト変換手段１２の図形変
換部１２ｂで生成される触覚呈示データを、個々の触覚
オブジェクトに関連付けて記憶するものであり、ＳＲＡ
Ｍ等の一般的なメモリで構成されている。この触覚呈示
データ記憶手段１３に記憶された触覚呈示データは、オ
ブジェクト検出手段１６によって参照される。Returning to FIG. 2, the description will be continued. The tactile presentation data storage unit 13 stores the tactile presentation data generated by the graphic conversion unit 12b of the object conversion unit 12 in association with each tactile object, and stores the SRA.
It is composed of a general memory such as M. The tactile presentation data stored in the tactile presentation data storage unit 13 is referred to by the object detection unit 16.
【００４９】触覚呈示駆動手段１４は、触覚ディスプレ
イ２の触覚ピンを凸形状又は凹形状に駆動するための駆
動データを生成し、触覚ディスプレイ２にその駆動デー
タを通知することで個々の触覚ピンを駆動するものであ
る。この触覚呈示駆動手段１４は、オブジェクト変換手
段１２の図形変換部１２ｂから通知される触覚呈示デー
タ（抽象化図形の位置及び形状等）で示される領域に該
当する触覚ピンを凸駆動することで、触覚ディスプレイ
２に触覚オブジェクトを呈示させる。The tactile sense drive means 14 generates drive data for driving the tactile pins of the tactile display 2 into a convex shape or a concave shape, and notifies the tactile display 2 of the drive data so that the individual tactile pins can be displayed. It is driven. The tactile sensation drive unit 14 convexly drives the haptic pin corresponding to the area indicated by the tactile sensation data (position and shape of the abstract graphic) notified from the graphic conversion unit 12b of the object conversion unit 12, The tactile display 2 is caused to present a tactile object.
【００５０】指示位置検出手段１５は、操作者が指し示
す触覚ディスプレイ２の呈示領域上の指示位置を検出す
るものである。この指示位置検出手段１５は、オブジェ
クト検出手段１６から指示位置の検出を指示する検出指
示信号を通知されたときに、カメラ３で入力された映像
信号から、特定の色（例えば赤色）の領域を抽出し、そ
の領域の中心座標を指定位置としてオブジェクト検出手
段１６に通知する。これによって、操作者の指先に特定
の色（例えば赤色）のシールを貼り、その指先を触覚デ
ィスプレイ２の呈示領域に載せることで、指示位置検出
手段１５は、操作者の指先の指し示す指定位置を検出す
ることができる。The designated position detecting means 15 detects a designated position on the presentation area of the tactile display 2 pointed by the operator. When the object position detection unit 15 is notified of the detection direction signal for instructing the detection of the pointed position, the pointed position detection unit 15 detects a specific color (for example, red) area from the video signal input by the camera 3. It extracts and notifies the object detection means 16 of the center coordinates of the area as the designated position. As a result, a sticker of a specific color (for example, red) is attached to the fingertip of the operator, and the fingertip is placed on the presentation area of the tactile display 2, so that the pointing position detecting unit 15 determines the designated position pointed by the fingertip of the operator. Can be detected.
【００５１】オブジェクト検出手段１６は、操作者が指
し示す指示位置に存在する触覚オブジェクトを検出する
ものである。このオブジェクト検出手段１６は、オブジ
ェクト選択指示手段１７から第一検出指示信号又は第二
検出指示信号を通知されたときに、指示位置検出手段１
５に対して、操作者が指し示す指示位置を検出する旨の
検出指示信号を通知し、指示位置検出手段１５からその
応答である指示位置を取得する。そして、その指示位置
と、触覚呈示データ記憶手段１３に記憶されている触覚
呈示データ（抽象化図形の位置及び形状等）とを比較し
て、操作者が指し示す指示位置に存在する触覚オブジェ
クトを検出する。The object detecting means 16 detects the tactile object existing at the designated position pointed by the operator. The object detection means 16 receives the first detection instruction signal or the second detection instruction signal from the object selection instruction means 17, and indicates the pointed position detection means 1.
A detection instruction signal for detecting the instruction position pointed to by the operator is notified to 5, and the instruction position which is the response is acquired from the instruction position detection means 15. Then, the pointed position is compared with the tactile sense data stored in the tactile sense data storage unit 13 (the position and shape of the abstract graphic, etc.) to detect the tactile object existing at the pointed position pointed to by the operator. To do.
【００５２】そして、オブジェクト検出手段１６は、オ
ブジェクト選択指示手段１７から通知される信号が第一
検出指示信号である場合は、当該触覚オブジェクトの項
目を音声又は点字で出力するために音声合成手段１９及
び点字生成手段２０へ表示指示信号を通知する。また、
オブジェクト選択指示手段１７から通知される信号が第
二検出指示信号である場合は、触覚呈示データ記憶手段
１３に記憶されている前記触覚オブジェクト固有の識別
子であるオブジェクト識別子をオブジェクト選択指示手
段１７へ通知する。Then, when the signal notified from the object selection instructing means 17 is the first detection instructing signal, the object detecting means 16 outputs the item of the tactile object by voice or Braille to output the voice synthesizing means 19. Also, the Braille generating unit 20 is notified of the display instruction signal. Also,
When the signal notified from the object selection instructing means 17 is the second detection instructing signal, the object selection instructing means 17 is informed of the object identifier which is the unique identifier of the tactile object stored in the tactile sense presentation data storage means 13. To do.
【００５３】オブジェクト選択指示手段１７は、操作者
が触覚オブジェクトの項目を音声又は点字で出力したい
のか、あるいはその項目の下位層のメニュー画面に移行
したいのかを判定するものである。The object selection instructing means 17 determines whether the operator wants to output the item of the tactile object in voice or Braille, or to move to the menu screen of the lower layer of the item.
【００５４】ここで、オブジェクト選択指示手段１７
は、スイッチ４ａから入力される第一選択指示信号によ
って、触覚オブジェクトの項目を音声又は点字で出力す
るものとして、オブジェクト検出手段１６へ第一検出指
示信号を通知する。また、スイッチ４ｂから入力される
第二選択指示信号によって、下位層のメニュー画面に移
行するものとして、オブジェクト検出手段１６へ第二検
出指示信号を通知し、操作者が指し示している触覚オブ
ジェクトのオブジェクト識別子を取得し、当該触覚オブ
ジェクトが選択された旨を示すオブジェクト識別子を含
んだ選択結果信号を外部の統合デジタル放送のテレビジ
ョン受像機（図示せず）へ出力する。これによって、テ
レビジョン受像機は、オブジェクトが選択されたものと
して動作を行うことができる。Here, the object selection instruction means 17
Notifies the object detection means 16 of the first detection instruction signal as an output of the item of the tactile object in voice or Braille according to the first selection instruction signal input from the switch 4a. Further, the second detection instruction signal input from the switch 4b notifies the object detection means 16 of the second detection instruction signal as a transition to the menu screen of the lower layer, and the object of the tactile object pointed by the operator. An identifier is acquired, and a selection result signal including an object identifier indicating that the tactile object is selected is output to an external integrated digital broadcast television receiver (not shown). This allows the television receiver to operate as if the object was selected.
【００５５】テキストデータ記憶手段１８は、オブジェ
クト変換手段１２のテキスト抽出部１２ａで生成される
テキストデータを、個々の触覚オブジェクトに関連付け
て記憶するものであり、ＳＲＡＭ等の一般的なメモリで
構成されている。このテキストデータ記憶手段１８に記
憶されたテキストデータは、音声合成手段１９や点字生
成手段２０によって参照される。The text data storage unit 18 stores the text data generated by the text extraction unit 12a of the object conversion unit 12 in association with each tactile object, and is composed of a general memory such as SRAM. ing. The text data stored in the text data storage unit 18 is referred to by the voice synthesis unit 19 and the Braille generation unit 20.
【００５６】音声合成手段１９は、テキスト合成方式に
より、入力されたテキストデータ（文字情報）から、そ
れに対応する音声を合成して、音声データとして出力す
るものである。この音声合成手段１９は、オブジェクト
検出手段１６から表示指示信号を通知されたときに、選
択された触覚オブジェクトに関連付けられているテキス
トデータをテキストデータ記憶手段１８から読み込み、
音声合成を行い音声出力装置５へ出力するものである。The voice synthesizing means 19 synthesizes the corresponding voice from the input text data (character information) by the text synthesizing method and outputs it as voice data. The voice synthesizer 19 reads the text data associated with the selected tactile object from the text data storage 18 when the display instruction signal is notified from the object detector 16.
The voice is synthesized and output to the voice output device 5.
【００５７】点字生成手段２０は、入力されたテキスト
データ（文字情報）から、それに対応する点字データを
生成するものである。この点字生成手段２０は、オブジ
ェクト検出手段１６から表示指示信号を通知されたとき
に、選択された触覚オブジェクトに関連付けられている
テキストデータをテキストデータ記憶手段１８から読み
込み、点字データを生成して点字表示装置６へ出力する
ものである。The Braille generating means 20 generates Braille data corresponding to the input text data (character information). When receiving the display instruction signal from the object detection unit 16, the Braille generation unit 20 reads the text data associated with the selected tactile object from the text data storage unit 18, generates Braille data, and generates Braille. The data is output to the display device 6.
【００５８】以上のように構成されることで、操作者が
視覚障害者であっても、メニュー画面等の視覚的に選択
可能なオブジェクトを触覚的に表現されたオブジェクト
として認識することができ、さらに、操作者が触覚ディ
スプレイ２で指し示す位置を正確に検出し、そのオブジ
ェクトの選択を行うことができる。With the above configuration, even if the operator is visually impaired, a visually selectable object such as a menu screen can be recognized as a tactilely expressed object. Furthermore, the operator can accurately detect the position pointed by the tactile display 2 and select the object.
【００５９】以上、一実施形態に基づいて本発明に係る
触覚情報伝達装置１の構成について説明したが、本発明
はこれに限定されるものではない。例えば、スイッチ４
を１つのみの構成として、このスイッチ４を選択するこ
とでメニュー画面の下位の階層へ移行するものとし、操
作者が触覚ディスプレイ２の触覚オブジェクトを一定時
間指し示すことで、触覚オブジェクトの項目内容を音声
又は点字で出力する形態であっても構わない。また、触
覚情報伝達装置１内の制御装置１０を独立した構成とし
てもよいし、制御装置１０をテレビジョン受像機に組み
込んだ構成であっても構わない。
（触覚情報伝達装置の動作）The configuration of the tactile information transmission device 1 according to the present invention has been described above based on the embodiment, but the present invention is not limited to this. For example, switch 4
With only one configuration, it is assumed that by selecting this switch 4, the lower level of the menu screen is entered, and the operator points the haptic object on the haptic display 2 for a certain period of time to display the item contents of the haptic object. The output may be in the form of voice or Braille. Further, the control device 10 in the tactile information transmission device 1 may have an independent configuration, or the control device 10 may be incorporated in a television receiver. (Operation of tactile information transmission device)
【００６０】次に、触覚情報伝達装置１の動作について
説明する。ここでは、特に、外部の統合デジタル放送用
のテレビジョン受像機から統合デジタル放送（ＩＳＤ
Ｂ）で使用されるメニュー画面のデータ（ＩＳＤＢデー
タ）を入力し、その画面データの選択可能なオブジェク
ト（視覚オブジェクト）を触覚ディスプレイ２に触覚で
認識することができる触覚オブジェクトとして呈示し、
操作者がその触覚オブジェクトを選択する動作を説明
し、音声又は点字による出力についてはその動作の説明
を省略する。Next, the operation of the tactile information transmission device 1 will be described. Here, in particular, an integrated digital broadcast (ISD) is received from an external integrated digital broadcast television receiver.
Input the data (ISDB data) of the menu screen used in B) and present the selectable object (visual object) of the screen data to the tactile display 2 as a tactile object that can be tactually recognized,
The operation for the operator to select the tactile object will be described, and the output for voice or Braille will not be described.
【００６１】［初期設定動作］まず、図２、図４及び図
６に基づいて、触覚情報伝達装置１の初期設定動作につ
いて説明する。図４は、初期設定時に行われる触覚ディ
スプレイ２の触覚ピンの形状変化（凹凸形状）を示した
図であり、図６は触覚情報伝達装置１の初期設定の動作
を示すフローチャートである。[Initial Setting Operation] First, the initial setting operation of the tactile information transmitting device 1 will be described with reference to FIGS. 2, 4, and 6. FIG. 4 is a diagram showing a shape change (concavo-convex shape) of the tactile pin of the tactile display 2 performed at the time of initial setting, and FIG. 6 is a flowchart showing an operation of initial setting of the tactile information transmitting device 1.
【００６２】触覚情報伝達装置１の初期設定では、ま
ず、触覚呈示駆動手段１４によって、触覚ディスプレイ
２の触覚ピンのうち、四隅の触覚ピン（四隅ピン２１）
を凸に駆動する（ステップＳ１）。これによって、触覚
ディスプレイ２の触覚ピンは、図４（ａ）に示した形状
になる。In the initial setting of the tactile information transmitting device 1, first, by the tactile presenting drive means 14, among the tactile pins of the tactile display 2, tactile pins at four corners (four corner pins 21).
Is convexly driven (step S1). As a result, the tactile pin of the tactile display 2 has the shape shown in FIG.
【００６３】次に、操作者は特定の色のシール（マー
カ）を貼った指先（触察部位）を四隅のピン（四隅ピン
２１）のいずれかに触れ、スイッチ４を押下する。そし
て、触覚情報伝達装置１は、オブジェクト選択指示手段
１７によって、スイッチ４が押下されたかどうかを判定
し（ステップＳ２）、スイッチ４が押下された場合（Ｙ
ｅｓ）は、指示位置検出手段１５によって、カメラ３で
撮影された触察部位のマーカ位置を検出して（ステップ
Ｓ３）、ステップＳ４へ進む。一方、スイッチ４が押下
されない場合（Ｎｏ）は、スイッチ４が押下されるまで
待つ。Next, the operator touches a fingertip (touching site) having a seal (marker) of a specific color on any of the four corner pins (four corner pins 21) and presses the switch 4. Then, the tactile information transmitting device 1 determines whether or not the switch 4 is pressed by the object selection instructing means 17 (step S2), and when the switch 4 is pressed (Y).
In step es), the pointed position detection means 15 detects the marker position of the touched part photographed by the camera 3 (step S3), and the process proceeds to step S4. On the other hand, when the switch 4 is not pressed (No), the process waits until the switch 4 is pressed.
【００６４】そして、四隅ピン２１の座標位置情報を全
て取得したかどうかを判定し（ステップＳ４）、まだ取
得していない場合（Ｎｏ）は、ステップＳ２に戻って、
操作者が他の四隅ピン２１に触れてスイッチ４が押下さ
れるまで待つ。一方、全ての四隅ピン２１の座標位置情
報を取得した場合（Ｙｅｓ）は、マーカ位置と四隅ピン
２１の位置関係に基づいて、操作者が指し示す触覚ディ
スプレイ２の呈示領域の位置を特定する（ステップＳ
５）。Then, it is determined whether or not all the coordinate position information of the four corner pins 21 has been acquired (step S4). If not acquired (No), the process returns to step S2.
The operator waits until the switch 4 is pressed down by touching the other four corner pins 21. On the other hand, when the coordinate position information of all the four corner pins 21 is acquired (Yes), the position of the presentation area of the tactile display 2 pointed to by the operator is specified based on the positional relationship between the marker position and the four corner pins 21 (step). S
5).
【００６５】最後に、触覚ディスプレイ２の輪郭（外周
部）に配置された触覚ピン（輪郭ピン２２）を凸形状に
駆動する（ステップＳ６）ことで、操作者に対して触覚
ディスプレイ２の呈示領域を示す。これによって、触覚
ディスプレイ２の触覚ピンは、図４（ｂ）に示した形状
になる。なお、輪郭ピン２２は、触覚ディスプレイ２の
輪郭に配置された触覚ピン全てを凸形状に駆動する必要
はなく、一定間隔の触覚ピン毎に凸形状に駆動してもよ
い。Finally, by driving the tactile pins (contour pins 22) arranged on the contour (outer peripheral portion) of the tactile display 2 into a convex shape (step S6), the presentation area of the tactile display 2 is presented to the operator. Indicates. As a result, the tactile pin of the tactile display 2 has the shape shown in FIG. It should be noted that the contour pins 22 do not have to drive all the tactile pins arranged on the contour of the tactile display 2 to have a convex shape, and may drive the tactile pins at regular intervals to have a convex shape.
【００６６】ここで、図５に基づいて、前記ステップＳ
５における触覚ディスプレイ２の呈示領域の位置検出に
ついて詳細に説明する。図５は、触覚ディスプレイ２の
呈示領域を示している。なお、四隅ピン２１以外の触覚
ピンは図示を省略している。Now, referring to FIG. 5, step S
The position detection of the presentation area of the tactile display 2 in 5 will be described in detail. FIG. 5 shows a presentation area of the tactile display 2. The tactile pins other than the four corner pins 21 are not shown.
【００６７】この図５において、触覚ディスプレイ２の
四隅ピン２１で表わされる物理的な呈示領域は、各四隅
ピン２１の中心点を囲んだ点線の領域（物理呈示領域２
３）で表わすことができる。これに対し、操作者が指先
７等で四隅ピン２１を指し示すマーカ７１は、指先７に
貼るマーカ７１の位置、指先７の方向等によって、マー
カ７１の中心点は、四隅ピン２１の中心点とは一致しな
い。このため、操作者が指し示す呈示領域は、マーカ７
１の中心点を囲んだ実線の領域（仮想呈示領域７２）で
表わすことができる。In FIG. 5, the physical presentation area represented by the four corner pins 21 of the tactile display 2 is a dotted line area surrounding the center points of the four corner pins 21 (physical presentation area 2).
It can be represented by 3). On the other hand, the marker 71 that the operator points to the four-corner pin 21 with the fingertip 7 or the like has the center point of the marker 71 as the center point of the four-corner pin 21 depending on the position of the marker 71 attached to the fingertip 7, the direction of the fingertip 7, or the like. Do not match. Therefore, the presentation area pointed by the operator is the marker 7
It can be represented by a solid line area (a virtual presentation area 72) surrounding the center point of 1.
【００６８】そこで、指示位置検出手段１５（図２参
照）は、仮想呈示領域７２を触覚ディスプレイ２の物理
呈示領域２３に座標変換により変換することで、操作者
が指し示す位置を正確に触覚ピンに対応させて検出する
ことができる。Therefore, the pointed position detecting means 15 (see FIG. 2) converts the virtual presentation area 72 into the physical presentation area 23 of the tactile display 2 by coordinate conversion, so that the position pointed by the operator is accurately set to the tactile pin. It can be detected in association with each other.
【００６９】以上、説明したように、触覚情報伝達装置
１の初期設定は、触覚ディスプレイ２の触覚ピンに触れ
る指先の位置や方向による操作者の癖を予め認識し、触
覚ディスプレイ２の呈示領域内で操作者が指し示す位置
を正確に把握することができるようになる。また、触覚
ディスプレイ２の輪郭に配置された触覚ピンを凸形状に
駆動することで、操作者は呈示領域を容易に認識するこ
とができる。
［オブジェクト呈示動作］As described above, in the initial setting of the tactile information transmission device 1, the habit of the operator depending on the position and direction of the fingertip touching the tactile pin of the tactile display 2 is recognized in advance, and the tactile display 2 is set within the presentation area. With this, it becomes possible to accurately grasp the position pointed to by the operator. Further, by driving the tactile pins arranged on the contour of the tactile display 2 in a convex shape, the operator can easily recognize the presentation area. [Object presentation operation]
【００７０】次に、図２及び図７に基づいて、触覚情報
伝達装置１におけるオブジェクトの呈示動作について説
明する。図７は、触覚情報伝達装置１におけるオブジェ
クトの呈示動作を示すフローチャートである。Next, the operation of presenting an object in the tactile information transmitting device 1 will be described with reference to FIGS. FIG. 7 is a flowchart showing an object presenting operation in the tactile information transmission device 1.
【００７１】まず、触覚情報伝達装置１は、オブジェク
ト抽出手段１１によって、統合デジタル放送（ＩＳＤ
Ｂ）で使用されるメニュー画面のデータ（ＩＳＤＢデー
タ）から、選択可能なオブジェクト（視覚オブジェク
ト）に関連する情報であるオブジェクトの種類、項目内
容等のオブジェクト情報を抽出する（ステップＳ１
１）。First, the tactile information transmission device 1 uses the object extraction means 11 to perform integrated digital broadcasting (ISD).
Object information such as object type and item content, which is information related to a selectable object (visual object), is extracted from the data (ISDB data) on the menu screen used in B) (step S1).
1).
【００７２】そして、触覚情報伝達装置１は、オブジェ
クト変換手段１２のテキスト抽出部１２ａによって、オ
ブジェクト情報の項目内容から、ボタン領域の項目名、
データ領域のデータ内容の概要、メッセージ領域の文字
列をテキストデータとして抽出して、そのテキストデー
タをテキストデータ記憶手段１８に記憶する（ステップ
Ｓ１２）。In the tactile information transmitting device 1, the text extracting section 12a of the object converting means 12 determines the item name of the button area from the item content of the object information.
The outline of the data contents of the data area and the character string of the message area are extracted as text data, and the text data is stored in the text data storage means 18 (step S12).
【００７３】また、触覚情報伝達装置１は、オブジェク
ト変換手段１２の図形変換部１２ｂによって、オブジェ
クトの種類から、個々のオブジェクトを抽象化した図形
に変換した図形情報（触覚呈示データ）を生成して、そ
の触覚呈示データを触覚呈示データ記憶手段１３に記憶
する（ステップＳ１３）。Further, in the tactile information transmitting device 1, the figure converting section 12b of the object converting means 12 generates figure information (tactile presentation data) obtained by converting each object into an abstract figure from the object type. The tactile presentation data is stored in the tactile presentation data storage means 13 (step S13).
【００７４】そして、触覚情報伝達装置１は、触覚呈示
駆動手段１４によって、この触覚呈示データから、触覚
ディスプレイ２の触覚ピンを凸形状又は凹形状に駆動す
るための駆動データを生成する（ステップＳ１４）。こ
こで生成された駆動データによって触覚ディスプレイ２
が駆動され、触覚ディスプレイ２の呈示領域に触覚オブ
ジェクトとして表示される（ステップＳ１５）。Then, the tactile information transmission device 1 generates drive data for driving the tactile pins of the tactile display 2 into a convex shape or a concave shape from the tactile presentation data by the tactile presentation drive means 14 (step S14). ). The tactile display 2 is generated by the drive data generated here.
Is driven and displayed as a tactile object in the presentation area of the tactile display 2 (step S15).
【００７５】以上の動作によって、触覚情報伝達装置１
は、統合デジタル放送（ＩＳＤＢ）で使用されるメニュ
ー画面の選択可能なオブジェクト（視覚オブジェクト）
を、触覚ピンの凹凸によって触覚で認識することができ
る触覚オブジェクトとして呈示することができる。［オ
ブジェクト選択動作］By the above operation, the tactile information transmitting device 1
Is a selectable object (visual object) on the menu screen used in integrated digital broadcasting (ISDB)
Can be presented as a tactile object that can be tactually recognized by the unevenness of the tactile pin. [Object selection operation]
【００７６】次に、図２及び図８に基づいて、触覚情報
伝達装置１におけるオブジェクトの選択動作について説
明する。図８は、触覚情報伝達装置１におけるオブジェ
クトの選択動作を示すフローチャートである。Next, the operation of selecting an object in the tactile information transmission device 1 will be described with reference to FIGS. 2 and 8. FIG. 8 is a flowchart showing an object selecting operation in the tactile information transmitting device 1.
【００７７】このオブジェクトの選択動作は、操作者
が、特定の色（例えば赤）のシール（マーカ）を貼った
指先で、触覚ディスプレイ２の呈示領域に凸形状によっ
て呈示された複数の触覚オブジェクトの中から選択した
い触覚オブジェクトに触れ、スイッチ４を押下すること
でオブジェクトの選択が行われる。This object selecting operation is performed by the operator using a fingertip on which a sticker (marker) of a specific color (for example, red) is pasted to select a plurality of tactile objects presented in a convex shape in the presentation area of the tactile display 2. An object is selected by touching a tactile object to be selected from the inside and pressing the switch 4.
【００７８】まず、触覚情報伝達装置１は、オブジェク
ト選択指示手段１７によって、スイッチ４が押下された
かどうかを判定し（ステップＳ２１）、スイッチ４が押
下されない場合（Ｎｏ）は、スイッチ４が押下されるま
で待つ。一方、スイッチ４が押下された場合（Ｙｅｓ）
は、指示位置検出手段１５によって、カメラ３で撮影さ
れた指先（触察部位）のマーカ位置を検出する（ステッ
プＳ２２）。First, the tactile information transmitting device 1 determines whether or not the switch 4 is pressed by the object selection instructing means 17 (step S21). If the switch 4 is not pressed (No), the switch 4 is pressed. Wait until On the other hand, when the switch 4 is pressed (Yes)
Detects the marker position of the fingertip (touch part) photographed by the camera 3 by the pointing position detection means 15 (step S22).
【００７９】そして、オブジェクト検出手段１６によっ
て、触覚呈示データ記憶手段１３に記憶されている触覚
呈示データ（触覚オブジェクトの形状、位置等）から、
前記マーカ位置を含んでいる触覚オブジェクトを検出す
る（ステップＳ２３）。そして、触覚オブジェクトが検
索されたかどうかを判定し（ステップＳ２４）、触覚オ
ブジェクトが検索されなかった場合（Ｎｏ）は、操作者
の指先が触覚オブジェクトに触れていないと判断し、ス
テップＳ２１へ戻ってスイッチ４が押下されるまで待
つ。Then, the object detection means 16 determines from the tactile presentation data (shape, position, etc. of the tactile object) stored in the tactile presentation data storage means 13,
A tactile object including the marker position is detected (step S23). Then, it is determined whether or not the tactile object is searched (step S24). If the tactile object is not searched (No), it is determined that the operator's fingertip is not touching the tactile object, and the process returns to step S21. Wait until switch 4 is pressed.
【００８０】一方、触覚オブジェクトが検索された場合
（Ｙｅｓ）は、その触覚オブジェクトが選択されたもの
と判断し、その触覚オブジェクトに該当するオブジェク
ト固有の識別子（オブジェクト識別子）を含んだ選択結
果信号を外部の統合デジタル放送のテレビジョン受像機
へ出力する（ステップＳ２５）。On the other hand, when the tactile object is retrieved (Yes), it is determined that the tactile object is selected, and the selection result signal including the object-specific identifier (object identifier) corresponding to the tactile object is determined. It is output to an external integrated digital broadcasting television receiver (step S25).
【００８１】以上の動作によって、触覚情報伝達装置１
は、操作者が触覚ピンの凹凸によって触覚で認識するこ
とができる触覚オブジェクトに触れることで、メニュー
画面の選択可能なオブジェクト（視覚オブジェクト）を
選択することができる。By the above operation, the tactile information transmitting device 1
Allows the operator to select a selectable object (visual object) on the menu screen by touching a tactile object that can be tactually recognized by the unevenness of the tactile pin.
【００８２】[0082]
【発明の効果】以上説明したとおり、本発明に係る触覚
情報伝達装置及びその制御装置及びその制御方法では、
以下に示す優れた効果を奏する。As described above, according to the tactile information transmitting device, the control device thereof and the control method thereof according to the present invention,
It has the following excellent effects.
【００８３】請求項１、請求項２又は請求項６に記載の
発明によれば、触覚情報伝達装置及びその制御装置及び
その制御方法は、操作者が触覚ディスプレイで呈示され
るオブジェクトに直接触れ、そのオブジェクトを選択す
ることで、オブジェクトが有する情報へアクセスするこ
とができるので、視覚障害者であっても、メニュー画面
全体の構成を把握することができ、そのメニュー画面に
存在するオブジェクトの中から必要なオブジェクトを容
易に選択することができる。According to the invention described in claim 1, claim 2 or claim 6, the tactile information transmitting device, the control device thereof and the control method thereof are such that the operator directly touches the object presented on the tactile display, By selecting the object, you can access the information that the object has, so even visually impaired people can understand the configuration of the entire menu screen, and select from among the objects that exist on that menu screen. You can easily select the required object.
【００８４】請求項３に記載の発明によれば、触覚情報
伝達装置の制御装置は、統合デジタル放送（ＩＳＤＢ）
で使用されるメニュー画面のデータ（ＩＳＤＢデータ）
からオブジェクトを抽出して、触覚ディスプレイに呈示
することができる。さらに操作者が、そのオブジェクト
に直接触れ、そのオブジェクトを選択することで、オブ
ジェクトが有する情報へアクセスすることができるの
で、視覚障害者であっても、統合デジタル放送（ＩＳＤ
Ｂ）のデータ放送を享受することができるという優れた
効果を奏する。According to the third aspect of the invention, the control device of the tactile information transmission device is integrated digital broadcasting (ISDB).
Menu screen data (ISDB data) used in
Objects can be extracted from and presented on a tactile display. Further, since the operator can directly access the object and select the object to access the information contained in the object, even an visually impaired person can perform integrated digital broadcasting (ISD).
The excellent effect that the data broadcast of B) can be enjoyed is exhibited.
【００８５】請求項４に記載の発明によれば、触覚情報
伝達装置の制御装置は、カメラによって撮影した画像に
よって、触覚ディスプレイのオブジェクトの呈示領域内
において、操作者が指し示す指先の位置を検出するの
で、起伏のある触覚ディスプレイにおいても容易に位置
を検出することができる。また、触覚ディスプレイ上に
アレイ状のタッチセンサ等の回路を組み込み、その信号
を読み出す等の複雑な回路を制御装置に組み込む必要が
ないため、呈示領域の広い触覚ディスプレイでも手指位
置の検出を行うことができる。According to the fourth aspect of the invention, the control device of the tactile information transmission device detects the position of the fingertip pointed by the operator in the object presentation area of the tactile display based on the image taken by the camera. Therefore, the position can be easily detected even on a tactile display having undulations. In addition, since it is not necessary to incorporate a complex circuit such as an array of touch sensors on the tactile display and read the signals from the control device, it is necessary to detect the finger position even on a tactile display with a wide presentation area. You can
【００８６】請求項５に記載の発明によれば、触覚情報
伝達装置の制御装置は、特定の色のシール等のマーカに
よって、触覚ディスプレイのオブジェクトの呈示領域内
において、操作者が指し示す指先の位置を検出するの
で、色情報のみでマーカの位置を検出することができ
る。この位置検出では複雑な画像処理を行う必要がない
ため、高速にマーカの検出を行うことができる。According to the fifth aspect of the present invention, the control device of the tactile information transmitting device uses the marker such as a sticker of a specific color to position the fingertip pointed by the operator within the object display area of the tactile display. Is detected, the position of the marker can be detected only by the color information. Since it is not necessary to perform complicated image processing in this position detection, the marker can be detected at high speed.
【００８７】請求項７に記載の発明によれば、触覚情報
伝達装置の制御方法は、操作者が触覚ディスプレイを指
し示す指先の方向や、指先に貼るシールの位置等を考慮
して、触覚ディスプレイの呈示領域の位置を特定するた
め、その呈示領域内において操作者が指し示す位置を正
確に検出することができる。また、触覚ディスプレイの
四隅の触覚ピンを凸形状とすることで、視覚障害者であ
っても容易に設定を行うことができる。According to the seventh aspect of the present invention, in the control method of the tactile information transmission device, in consideration of the direction of the fingertip pointing the tactile display by the operator, the position of the sticker attached to the fingertip, etc., Since the position of the presentation area is specified, the position indicated by the operator in the presentation area can be accurately detected. Further, by making the tactile pins at the four corners of the tactile display convex, even a visually impaired person can easily make settings.
【００８８】請求項８に記載の発明によれば、触覚情報
伝達装置の制御方法は、触覚ディスプレイの呈示領域の
輪郭に位置する触覚ピンを凸形状にすることで、視覚障
害者であっても、触覚ディスプレイの呈示領域全体の大
きさを常に把握することができ、その呈示領域に呈示さ
れるオブジェクトの位置の確認を容易に行うことができ
る。According to the eighth aspect of the present invention, the control method of the tactile information transmission device makes the tactile pin located at the contour of the presentation area of the tactile display convex so that even a visually impaired person can do it. The size of the entire presentation area of the tactile display can be always grasped, and the position of the object presented in the presentation area can be easily confirmed.
【図１】本発明の実施の形態に係る触覚情報伝達装置の
外観図である。FIG. 1 is an external view of a tactile information transmission device according to an embodiment of the present invention.
【図２】本発明の実施の形態に係る触覚情報伝達装置の
全体構成を示すブロック図である。FIG. 2 is a block diagram showing an overall configuration of a tactile information transmission device according to an embodiment of the present invention.
【図３】メニュー画面の視覚オブジェクトを、抽象化し
た図形に変換する例を説明する説明図である。FIG. 3 is an explanatory diagram illustrating an example of converting a visual object on a menu screen into an abstracted figure.
【図４】初期設定時に行われる触覚ディスプレイの触覚
ピンの形状変化を説明する説明図である。FIG. 4 is an explanatory diagram illustrating a change in shape of a tactile pin of a tactile display that is performed during initial setting.
【図５】触覚ディスプレイの呈示領域の位置を特定する
動作を説明する説明図である。FIG. 5 is an explanatory diagram illustrating an operation of specifying the position of the presentation area of the tactile display.
【図６】本発明の実施の形態に係る触覚情報伝達装置の
初期設定動作を示すフローチャートである。FIG. 6 is a flowchart showing an initial setting operation of the tactile information transmission device according to the embodiment of the present invention.
【図７】本発明の実施の形態に係る触覚情報伝達装置の
オブジェクト呈示動作を示すフローチャートである。FIG. 7 is a flowchart showing an object presenting operation of the tactile information transmission device according to the embodiment of the present invention.
【図８】本発明の実施の形態に係る触覚情報伝達装置の
オブジェクト選択動作を示すフローチャートである。FIG. 8 is a flowchart showing an object selecting operation of the haptic information transmitting device according to the embodiment of the present invention.
１……触覚情報伝達装置 ２……触覚ディスプレイ（触覚呈示手段） ３……カメラ（撮影手段） ４……スイッチ（選択指示手段） ５……音声出力装置 ６……点字表示装置 １０……制御装置 １１……オブジェクト抽出手段 １２……オブジェクト変換手段 １３……触覚呈示データ記憶手段 １４……触覚呈示駆動手段 １５……指示位置検出手段 １６……オブジェクト検出手段 １７……オブジェクト選択指示手段 １８……テキストデータ記憶手段 １９……音声合成手段 ２０……点字生成手段 1 ... tactile information transmission device 2 ... tactile display (tactile presentation means) 3 ... Camera (shooting means) 4 ... Switch (selection instruction means) 5: Voice output device 6 ... Braille display device 10 ... Control device 11 ... Object extracting means 12 ... Object conversion means 13 ... Tactile presentation data storage means 14 ... Tactile presentation drive means 15 ... Pointed position detection means 16: Object detection means 17: Object selection instruction means 18 ... Text data storage means 19 ... Speech synthesizer 20 ... Braille generation means
───────────────────────────────────────────────────── フロントページの続き (72)発明者 津田 貴生 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5B068 AA05 AA22 BB18 CD06 DE11 DE13 5E501 AA30 BA05 BA11 CA10 CC01 EB06 FA32 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Takao Tsuda 1-10-11 Kinuta, Setagaya-ku, Tokyo, Japan Broadcasting Association Broadcast Technology Institute F term (reference) 5B068 AA05 AA22 BB18 CD06 DE11 DE13 5E501 AA30 BA05 BA11 CA10 CC01 EB06 FA32
Claims (8)
能な１つ以上の視覚オブジェクトを、平面に配置された
触覚ピンの凹凸駆動の結果によって触覚で認識すること
ができる触覚オブジェクトに変換して呈示する触覚情報
伝達装置において、 前記視覚オブジェクトの形状を抽象化した図形情報に変
換するオブジェクト変換手段と、 このオブジェクト変換手段で変換された前記図形情報
を、前記触覚オブジェクトとして立体形状で呈示する触
覚呈示手段と、 この触覚呈示手段の呈示領域を撮影する撮影手段と、 この撮影手段によって撮影された映像信号に基づいて、
前記触覚呈示手段の呈示領域上で操作者が指し示す指示
位置を検出する指示位置検出手段と、 この指示位置検出手段で検出された前記指示位置に基づ
いて、前記指示位置に存在する前記触覚オブジェクトを
検出するオブジェクト検出手段と、 前記触覚オブジェクトの選択を指示する選択指示手段
と、 この選択指示手段によって前記触覚オブジェクトが選択
されたときに、前記触覚オブジェクトに対応する前記視
覚オブジェクトが選択された旨を示す選択結果信号を生
成するオブジェクト選択指示手段と、 を備えていることを特徴とする触覚情報伝達装置。1. Converting one or more selectable visual objects that are visualized and displayed on a screen into tactile objects that can be tactually recognized by the result of uneven driving of tactile pins arranged on a plane. In the tactile information transmitting device for presenting, the object converting means for converting the shape of the visual object into abstract graphic information, and the graphic information converted by the object converting means are presented as the tactile object in a three-dimensional shape. Based on the video signal captured by the image capturing unit, and the image capturing unit configured to capture an image of the presentation area of the tactile presenting unit.
A pointing position detecting means for detecting a pointing position pointed by the operator on the presentation area of the tactile presenting means, and the tactile object existing at the pointing position based on the pointing position detected by the pointing position detecting means. Object detecting means for detecting; selection instructing means for instructing selection of the tactile object; and, when the tactile object is selected by the selection instructing means, a notification that the visual object corresponding to the tactile object is selected. A tactile information transmitting device comprising: an object selection instructing unit that generates the selection result signal shown.
能な１つ以上の視覚オブジェクトを、平面に配置された
触覚ピンの凹凸駆動の結果によって立体形状を呈示する
触覚呈示手段に通知することで、前記視覚オブジェクト
を触覚で認識することができる触覚オブジェクトとして
呈示する触覚情報伝達装置の制御装置において、 前記視覚オブジェクトの形状を抽象化した図形情報に変
換するオブジェクト変換手段と、 このオブジェクト変換手段で変換された前記図形情報
を、前記触覚オブジェクトとして立体形状で呈示するよ
うに触覚呈示手段を駆動させる触覚呈示駆動手段と、 前記触覚呈示手段の呈示領域上で操作者が指し示す指示
位置を検出する指示位置検出手段と、 この指示位置検出手段で検出された前記指示位置に基づ
いて、前記指示位置に存在する前記触覚オブジェクトを
検出するオブジェクト検出手段と、 外部から前記触覚オブジェクトの選択を指示されたとき
に、前記触覚オブジェクトに対応する前記視覚オブジェ
クトが選択された旨を示す選択結果信号を生成するオブ
ジェクト選択指示手段と、 を備えていることを特徴とする触覚情報伝達装置の制御
装置。2. A tactile presenting means for presenting a three-dimensional shape is notified of one or more selectable visual objects which are visualized and displayed on a screen, as a result of uneven driving of tactile pins arranged on a plane. With this, in the control device of the tactile information transmission device that presents the visual object as a tactile object that can be recognized by tactile sense, an object conversion unit that converts the shape of the visual object into graphic information abstracted, and the object conversion Tactile presentation drive means for driving the tactile presentation means so as to present the graphic information converted by the means as the tactile object in a three-dimensional shape, and a pointing position pointed to by the operator on the presentation area of the tactile presentation means. The pointed position detecting means, and based on the pointed position detected by the pointed position detecting means, An object detection unit that detects the tactile object existing at the indicated position, and a selection result signal indicating that the visual object corresponding to the tactile object is selected when the selection of the tactile object is instructed from the outside. A control device for a tactile information transmission device, comprising: an object selection instructing means for generating.
選択可能な前記視覚オブジェクトに関連する、少なくと
もオブジェクトの位置及び大きさを含んだ情報を抽出す
るオブジェクト抽出手段を備えていることを特徴とする
請求項２に記載の触覚情報伝達装置の制御装置。3. From data broadcasting in digital broadcasting,
The control device of the tactile information transmission device according to claim 2, further comprising an object extraction unit that extracts information relating to the selectable visual object and including at least the position and size of the object.
手段の呈示領域を撮影する撮影手段によって撮影された
映像信号に基づいて、前記呈示領域上で操作者が指し示
す指示位置を検出することを特徴とする請求項２又は請
求項３に記載の触覚情報伝達装置の制御装置。4. The pointing position detecting means detects the pointing position pointed to by the operator on the presentation area based on a video signal imaged by an imaging means for imaging the presentation area of the tactile presentation means. The control device for the tactile information transmission device according to claim 2 or 3.
部位を示す指標マーカに基づいて、前記呈示領域上で操
作者が指し示す指示位置を検出することを特徴とする請
求項４に記載の触覚情報伝達装置の制御装置。5. The pointed position detection means detects the pointed position pointed to by the operator on the presentation area based on an index marker indicating a specific portion of the operator. Control device for tactile information transmission device.
能な１つ以上の視覚オブジェクトを、平面に配置された
触覚ピンの凹凸駆動の結果によって立体形状を呈示する
触覚呈示手段に通知することで、前記視覚オブジェクト
を触覚で認識することができる触覚オブジェクトとして
呈示する触覚情報伝達装置の制御方法において、 前記視覚オブジェクトの形状を抽象化した図形情報に変
換するオブジェクト変換ステップと、 このオブジェクト変換ステップで変換された前記図形情
報を、前記触覚オブジェクトとして立体形状で呈示する
ように触覚呈示手段を駆動させる触覚呈示駆動ステップ
と、 前記触覚呈示手段の呈示領域を撮影する撮影手段によっ
て撮影された映像信号に基づいて、前記呈示領域上で操
作者が指し示す指示位置を検出する指示位置検出ステッ
プと、 この指示位置検出ステップで検出された前記指示位置に
基づいて、前記指示位置に存在する前記触覚オブジェク
トを検出するオブジェクト検出ステップと、 を含むとともに、 外部から前記触覚オブジェクトの選択を指示されたとき
に、前記触覚オブジェクトに対応する前記視覚オブジェ
クトが選択された旨を示す選択結果信号を生成するオブ
ジェクト選択指示ステップと、 を含んでいることを特徴とする触覚情報伝達装置の制御
方法。6. The tactile presenting means for presenting a three-dimensional shape is notified of one or more selectable visual objects which are visualized and displayed on the screen, as a result of uneven driving of tactile pins arranged on a plane. Thus, in the control method of the tactile information transmission device that presents the visual object as a tactile object that can be recognized by touch, in the object conversion step of converting the shape of the visual object into abstracted graphic information, the object conversion A tactile presentation driving step of driving the tactile presenting means so as to present the graphic information converted in step as the tactile object in a three-dimensional shape, and an image taken by an image taking means for taking an image of a presentation area of the tactile presenting means. A finger that detects the pointing position pointed to by the operator on the presentation area based on the signal. A pointing position detecting step; and an object detecting step of detecting the tactile object existing at the pointing position based on the pointing position detected in the pointing position detecting step, and selecting the tactile object from the outside. Object selection instruction step of generating a selection result signal indicating that the visual object corresponding to the tactile object is selected when the control of the tactile information transmission device is performed. Method.
る触覚ピンを凸形状にする凸駆動ステップと、 操作者の特定部位を示す指標マーカを付与した部位を、
この凸駆動ステップによって凸形状になった四隅の触覚
ピンに順次載せ、前記撮影手段によって撮影された映像
信号に基づいて、前記呈示領域の位置を特定する呈示領
域特定ステップと、 を含んでいることを特徴とする請求項６に記載の触覚情
報伝達装置の制御方法。7. A convex drive step for making tactile pins at the four corners of the presentation area of the tactile presentation means into a convex shape, and a portion provided with an index marker indicating a specific portion of the operator,
And a presentation area identifying step of identifying the position of the presentation area on the basis of the video signal imaged by the image capturing means, which are sequentially placed on the tactile pins at the four corners formed by the convex driving step. The method of controlling the tactile information transmission device according to claim 6.
ある触覚ピンの全て又は一部を凸形状にすることで前記
呈示領域の位置把握のガイドとすることを特徴とする請
求項６又は請求項７に記載の触覚情報伝達装置の制御方
法。8. A guide for grasping the position of the presenting area by making all or part of the tactile pins on the outer peripheral portion of the presenting area of the tactile presenting means convex. The control method of the tactile information transmission device according to claim 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002043417A JP2003241891A (en) | 2002-02-20 | 2002-02-20 | Haptic information transmitter, control device and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002043417A JP2003241891A (en) | 2002-02-20 | 2002-02-20 | Haptic information transmitter, control device and method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003241891A true JP2003241891A (en) | 2003-08-29 |
Family
ID=27783217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002043417A Pending JP2003241891A (en) | 2002-02-20 | 2002-02-20 | Haptic information transmitter, control device and method therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003241891A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010128788A (en) * | 2008-11-27 | 2010-06-10 | Mitsubishi Electric Corp | Input device |
| JP2012203798A (en) * | 2011-03-28 | 2012-10-22 | Denso It Laboratory Inc | Information presentation system |
| JP2013024931A (en) * | 2011-07-15 | 2013-02-04 | Nippon Hoso Kyokai <Nhk> | Tactile sense presentation device and tactile sense presentation program |
| JP2015080090A (en) * | 2013-10-17 | 2015-04-23 | 国立大学法人電気通信大学 | Electric tactile sense presentation device, program and recording medium |
-
2002
- 2002-02-20 JP JP2002043417A patent/JP2003241891A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010128788A (en) * | 2008-11-27 | 2010-06-10 | Mitsubishi Electric Corp | Input device |
| JP2012203798A (en) * | 2011-03-28 | 2012-10-22 | Denso It Laboratory Inc | Information presentation system |
| JP2013024931A (en) * | 2011-07-15 | 2013-02-04 | Nippon Hoso Kyokai <Nhk> | Tactile sense presentation device and tactile sense presentation program |
| JP2015080090A (en) * | 2013-10-17 | 2015-04-23 | 国立大学法人電気通信大学 | Electric tactile sense presentation device, program and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4042065B1 (en) | Input processing system for information processing device | |
| JP5848405B2 (en) | Projection system using dot pattern projection medium, projection medium on which dot pattern is formed, and reading device for reading dot pattern | |
| CN104885050B (en) | For determining the equipment, method and the graphic user interface that are rolling or selection content | |
| TWI534661B (en) | Image recognition device and operation determination method and computer program | |
| US9760214B2 (en) | Method and apparatus for data entry input | |
| JP4294668B2 (en) | Point diagram display device | |
| CA2662313C (en) | Information output device | |
| JP5584802B2 (en) | Information processing apparatus, information processing apparatus control method, control program, and computer-readable recording medium | |
| JPH07141101A (en) | Input system using picture | |
| JPH0844490A (en) | Interface device | |
| JP2003502699A (en) | Haptic interface system for electronic data display system | |
| JP2011180843A (en) | Apparatus and method for processing information, and program | |
| JP2004078977A (en) | Interface device | |
| JP2003241891A (en) | Haptic information transmitter, control device and method therefor | |
| JP4263855B2 (en) | Tactile presentation control device and tactile presentation control method | |
| JP4042066B1 (en) | Input processing system for information processing device | |
| JPH11353115A (en) | Position input device, image recording device, and image processor | |
| JP2000187551A (en) | Input device | |
| KR101491648B1 (en) | System and Method for remote control using camera | |
| JP5957041B2 (en) | Information processing apparatus, information processing apparatus control method, control program, and computer-readable recording medium | |
| JP2024014716A (en) | Program, information processing system, record information creation system, display method | |
| KR20160095525A (en) | Display apparatus, remote control apparatus, remote control system and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040409 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060726 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061115 |