JP2016105248A - 言語触覚変換装置 - Google Patents

Abstract

【課題】触覚入力を言語出力に又は言語入力を触覚出力に変換する触覚言語変換装置を提供する。【解決手段】触覚入力と対応する触覚候補又は言語入力と対応する言語候補を抽出する入力情報抽出部２１と、触覚候補を対応する対応言語情報又は言語候補を対応する対応触覚情報に変換する情報変換部２２と、確認部２３と、対応言語情報、前記対応触覚情報及び相互対応情報を編集できる編集部２４とを備える。【選択図】図２

Description

本発明は、入力された言語に基づいた触覚又は入力された触覚に基づいた言語に変換する変換装置に関する。

近年、携帯情報端末の普及とともに高速大容量のネットワーク環境が整備されており、従来の音声、文字を主体とした言語情報に加えて映像を主体とした視覚情報も利用した情報伝達が行われてきつつある。前記言語情報に視覚情報を追加することで、伝達できる情報量が格段に増加し、伝えたい情報をより正確に伝達することができるようになってきている。

さらに、対象物に触れたときの触覚を触感情報として伝達する機能を有するものも登場している（例えば、特開２００１−３１２６３３号公報参照）。特開２００１−３１２６３３号公報は、ネットワークを利用した電子商取引を行うシステムであって、商品の情報として、静止画像、文字情報の他に商品の３次元形状情報、質感情報、触覚情報を送信している。そして、ディスプレイで３次元画像を表示するとともに、触感インターフェースである力伝達部で利用者に商品の触感、重量感を呈示している。このように、触感、重量感を呈示する構成であることから、利用者は、商品の形状、文字による説明以外にも、触感、重量感を取得することができるため、商品についてより詳しい情報を取得することができる。

また、特開平１１−１３３８５０号公報に記載の情報伝達装置では、話者の音声を文字情報に変換するとともにその文字情報を触覚情報として被伝達者に送信し、触覚情報伝達手段を利用して、触覚情報を被伝達者に対して出力する。このような構成の場合、音声で入力した言葉を触覚情報で出力可能であり、多くの情報を伝達することが可能である。

特開２００１−３１２６３３号公報 特開平１１−１３３８５０号公報

しかしながら、特開２００１−３１２６３３号公報のシステムでは、商品情報として、３次元画像情報、質感情報、触覚情報を送信するものであり、商品ごとに予め作成された情報である。そのため、送信者側が目の前にある対象物についての情報として触感情報等の情報を送信しようとしても、触感情報についての情報を取得するのが困難であるため、情報の伝達が難しい。

特開平１１−１３３８５０号公報に記載の発明では、言葉を触覚情報に変換して出力しているが、触覚情報として変換困難な言葉（例えば、方言や多国語等）で入力された場合、伝達者が想像している触覚情報を被伝達者に出力することができない。

また、上述のいずれの構成でも、送信された触覚情報と送信者が想定しているものとずれている場合、そのずれについて送信者が確認することができず、送信者が想定している情報をとは異なる情報が伝達される恐れがある。さらには、送信相手側に触感情報を再生する手段がない場合、触感情報を送信することができず、情報を正確に伝達させることが困難である。

そこで本発明は、触覚情報と言語情報とを相互に変換するとともに、情報を伝達しようとしている使用者が想定している情報を正確に表現することができる言語触覚変換装置を提供することを目的とする。

上記目的を達成するために本発明は、触覚入力を言語出力に又は言語入力を触覚出力に変換する触覚言語変換装置であって、前記触覚入力又は前記言語入力が入力される入力部と、触覚情報、言語情報及び前記触覚情報と前記言語情報との対応を示す相互対応情報を格納する記憶部と、前記記憶部にアクセスして前記触覚入力と同じか近似する前記触覚情報を触覚候補として又は前記言語入力と同じか近似する前記言語情報を言語候補として抽出する入力情報抽出部と、前記相互対応情報に基づいて前記触覚候補を対応する言語情報に変換して対応言語情報とする又は前記言語候補を対応する触覚情報に変換して対応触覚情報とする情報変換部と、前記対応言語情報又は前記対応触覚情報を使用者が確認できるように出力する確認部と、前記対応言語情報、前記対応触覚情報及び前記相互対応情報を編集できる編集部と、前記確認部で確認された前記対応言語情報に基づいて言語出力を又は前記対応触覚情報に基づいて前記触覚出力を出力する出力部とを備え、前記編集部は、前記対応言語情報又は前記対応触覚情報の編集後に前記相互対応情報を更新するとともに必要に応じて対応言語情報を編集した編集言語情報を言語情報として又は対応触覚情報を編集した編集触覚情報を触覚情報として記憶部に記憶させる。

この構成によると、入力部で受け付けた触覚入力又は言語入力をそれぞれ言語出力又は触覚出力として出力する場合に、使用者が確認を行うため、触覚入力に対する言語出力又は言語入力に対する触覚出力を使用者の感覚に合致したものとすることが可能である。これにより、使用者が意図した変換を行う触覚言語変換装置を提供することが可能である。

上記構成において、前記触覚候補と前記触覚入力とが同じである場合又は前記言語候補と前記言語入力が同じ場合、前記編集部は、前記触覚候補と前記編集言語情報とが対応するように又は前記言語候補と前記編集触覚情報とが対応するように前記相互対応情報を更新する。この構成によると、相互対応情報を更新するため、変換回数が増えるにしたがって、変換の精度を高める（使用者の感覚により近い出力を行う）ことができる。

上記構成において、前記触覚候補が前記触覚入力と異なる場合又は前記言語候補が前記言語入力と異なる場合、前記編集部は、前記触覚入力を新たな触覚情報として又は前記言語入力を新たな言語情報として前記記憶部に記憶させるとともに、前記触覚入力と前記編集言語情報とを対応するものとする又は前記言語入力と前記編集触覚情報とを対応するものとするように前記相互対応情報を更新する。この構成によると、触覚情報及び（又は）言語情報が多くなるため、入力抽出部が触覚入力又は言語入力と一致する触覚候補又は言語候補を選択しやすくなる。また、触覚入力と触覚候補又は言語入力と言語候補の近似度が高くなる。そのため、より精度が高い（使用者の感覚に近い）出力を行うことができる。

上記構成において、通信ネットワークに接続する通信接続部を備えており、前記言語出力の言語情報又は前記触覚出力の触覚情報を送信情報として前記通信接続部を介して送信及び（又は）受信するようにしてもよい。このように構成することで、離れた場所にある触覚言語変換装置に対して、触覚入力から変換した言語出力又は言語入力から変換した触覚出力を伝達することが可能である。また、通信ネットワークとしては、インターネット等の多数の機器が接続されている通信環境であってもよいし、機器同士が一対一で接続するようなネットワークであってもよい。

上記構成において、前記通信ネットワーク上のサーバ上に触覚情報、言語情報及び相互対応情報が格納されており、前記サーバ上の前記触覚情報、前記言語情報及び前記相互対応情報にアクセス可能としてもよい。このように構成することで、触覚言語変換装置自体の記憶部の容量よりも大きな記憶容量のサーバを利用するため、触覚情報、言語情報及び相互対応情報の情報量を飛躍的に増大させることが可能である。これにより、触覚言語変換装置の変換精度を高めることが可能である。なお、入力と出力とが同じ触覚言語変換装置であってもよいし、通信ネットワークに接続されている他の機器或いは複数の機器に変換結果を送信するようにしてもよい。

上記構成において、前記入力部が、前記言語出力又は前記触覚出力で表現する対象物の画像を撮像する撮像部を備えており、前記出力部が前記言語出力又は前記触覚出力とともに前記対象物の画像を表示するようにしてもよい。

上記構成において、前記入力部が、前記言語出力又は前記触覚出力で表現する対象物の画像を撮像する撮像部を備えており、前記送信情報に前記対象物の撮像情報が含まれる。

上記構成において、前記言語情報は、形容詞、擬態語、名詞を含む。この構成によると、言語入力又は言語出力を行うときに、多様な表現方法が可能となる。そのため、言語入力が容易になるとともに、正確に触覚を示す言語出力が可能である。

上記構成において、前記言語情報は、対応する前記触覚情報の特徴を強調する強調表現をするための情報を含んでいる。この構成によると、文字列だけでは伝わりにくい情報、例えば、大きい、熱い、高い等の程度を伝わりやすくすることができる。なお、強調表現としては、言語出力を文字情報として行う場合、文字の大きさ、色、変形等を挙げることができる。また、言語出力を音声出力として行う場合、音程、発声の速さ、大きさ等を挙げることができる。

上記構成において、前記入力部が、対象物と接触して前記触覚入力を取得する触覚入力取得部を備えていてもよい。

上記構成において、前記触覚情報は、表面形状、温度、湿度のうち少なくとも１つを含む情報であり、前記触覚情報としては、圧力分布を含む。

上記構成において、前記触覚入力取得部が加速度及び反力を検出するセンサを備えており、前記加速度と前記反力とを用いて対象物の形状補正を行うようにしてもよい。この構成によると、より正確な触覚入力の取得が可能である。

上記構成において、前記入力部が、前記触覚入力取得部を複数個備えていてもよい。

上記構成において、前記確認部又は前記出力部の少なくとも一方が静電、振動、流体、風のうち少なくとも一つを利用して触覚出力を行うようにしてもよい。

上記構成において、触覚出力を確認する使用者の特性を検知し、前記使用者の特性に応じて、触覚出力又は言語出力を変動させるようにしてもよい。

本発明によると、触覚情報と言語情報とを相互に変換するとともに、情報を伝達しようとしている使用者が想定している情報を正確に表現することができる言語触覚変換装置を提供することができる。

本発明にかかる触覚言語変換装置の概略図である。 図１に示す触覚言語変換装置の構成を示すブロック図である。 記憶部に記憶された複数個の触覚情報を含む触覚情報群の一例を示す概略図である。 記憶部に記憶された複数個の言語情報を含む言語情報群の一例を示す概略図である。 記憶部に記憶された相互対応情報の一例を示す図である。 触覚センサで受け付けた触覚入力の一例を示すグラフである。 本発明にかかる触覚言語変換装置で触覚入力を言語出力に変換する手順を示すフローチャートである。 触覚入力から言語出力に変換する状態を示す図である。 本発明にかかる触覚言語変換装置で言語入力を触覚出力に変換する手順を示すフローチャートである。 言語入力から触覚出力に変換する状態を示す図である。 本発明にかかる触覚言語変換装置の他の例のブロック図である。 図７に示す触覚言語変換装置の使用状態を示す図である。 本実施形態にかかる触覚言語変換装置の他の例の概略図である。 本発明にかかる触覚言語変換装置のさらに他の例の概略図である。 本発明にかかる触覚言語変換装置の他の例の記憶部が備えている利用者データベースである。

本発明にかかる触覚言語変換装置について図面を参照して説明する。

（第１実施形態）
図１は本発明にかかる触覚言語変換装置の概略図であり、図２は図１に示す触覚言語変換装置の構成を示すブロック図である。本発明にかかる触覚言語変換装置Ａは、対象物Ｆｅの触覚情報を対応する言語情報に又は言語情報を対応する触覚情報に変換する装置である。ここで、触覚情報として、例えば、対象物の形状、温度、湿度、重量を挙げることができる。また、対象物の形状として、例えば、対象物の外形、表面の凹凸を測定したときの振幅、周波数、測定装置（後述の触覚センサ１３）を移動させたときの速度、加速度、時間等を挙げることができる。さらに、これら以外にも、対象物に触れたときに知覚する情報を含むようにしてもよい。

図１、図２に示すように、触覚言語変換装置Ａは、入出力部１０と、処理部２０と、記憶部３０とを備えた携帯型の情報端末である。入出力部１０は、ディスプレイ１１（表示部）、タッチセンサ１２、触覚センサ１３、マイク１４、スピーカ１５、触覚出力部１６、カメラ部１７を備えている。また、触覚言語変換装置Ａは、外装部材である筐体１００を備えている。なお、図１に示す触覚言語変換装置Ａは、対象物Ｆｅの触覚入力を取得した後、触覚入力を編集している状態を示している。

ディスプレイ１１は、画像を表示するための表示部であり、液晶パネル、有機ＥＬパネル等の画像表示装置を用いている。ディスプレイ１１は、表示領域を筐体１００の前面に設けられた開口窓から露出するように配置されている。また、ディスプレイ１１のドライバ、電源等は筐体１００の内部に配置される。なお、ドライバ等の回路については省略する。ディスプレイ１１は、言語出力（言語情報）を表示する出力部を構成する機器の１つである。

タッチセンサ１２は、ディスプレイ１１の表示部に重ねて配置されるものであり、ディスプレイ１１の表示領域と同様、開口窓から露出するように配置されているとともに、ドライバ等の回路は筐体１００の内部に配置されている。タッチセンサ１２は、使用者の指やタッチペン等のポインターの接触位置を検知するためのセンサである。タッチセンサ１２はポインターの接触を検知するだけでなく、文字の手書き入力を行うことができる構成であり、文字入力を行うための入力部を構成する機器の１つである。

タッチセンサ１２としては、例えば、静電容量方式、感圧方式等を挙げることができる。また、これ以外にも、パネルに接触した使用者の指やタッチペン等のポインターの接触部分の位置情報（座標情報）を取得できるものを広く採用することができる。また、タッチセンサとしては、ポインターが接触する面の接触圧を検知する構成であってもよい。

ディスプレイ１１とタッチセンサ１２とを組み合わせることで、ディスプレイ１１に表示されているスイッチ等を触れることで操作を行ったり、文字の手書き入力を行ったりする入力装置（いわゆる、タッチパネル）とすることができる。また、文字入力を行う入力装置としては、タッチセンサ１２以外にもキーボードやテンキー等の機械式入力装置を利用してもよい。さらには、マウス等のポインティングデバイスを装着（内蔵）していてもよい。

触覚センサ１３は、対象物Ｆｅに接触させて対象物Ｆｅの触覚情報である触覚入力を受け付ける入力部を構成する機器の１つである。図１に示すように、触覚センサ１３は筐体１００の外部に設けられた検知器１３１をケーブルで筐体１００に接続している。そして、検知器１３１の触覚情報を検知する検知領域（不図示）を対象物Ｆｅに接触させることで、対象物Ｆｅの触覚情報を検知する。なお、触覚センサ１３による対象物Ｆｅの触覚情報の検知方法としては、検知器１３１を対象物Ｆｅ接触させつつ対象物Ｆｅ上を摺動させて検知させているが、これに限定されるものではない。例えば、対象物Ｆｅの所定の位置に接触させるだけ（摺動させない）で触覚情報を検知するようにしてもよい。また、これら以外にも対象物Ｆｅの触覚情報を検知できる方法を広く採用することができる。

触覚センサ１３が検知する触覚情報としては、対象物Ｆｅの外形形状、表面形状、温度、湿度、重量を挙げることができる。そして、外形形状としては、対象物Ｆｅの凹凸や曲面形状であり、表面形状とは表面粗さであり、表面の凹凸の振幅、周波数、検知器１３１を動かすときの速さ、動かした時間、検知器１３１に作用する加速度、対象物Ｆｅと接触している部分の圧力を挙げることができる。また、これら以外にも、対象物Ｆｅの性質に合わせて、触覚情報を決定し、その触覚情報を検知できるようなセンサを用いるようにしてもよい。圧力を検知することで、触覚出力部１６で触覚情報を出力したとき、使用者（触覚を検知する人）に、表面に触れたときの刺激（例えば、痛覚）を表現することが可能である。

触覚センサ１３が検知する情報に基づいて、ほかの情報を補正するようにしてもよい。例えば、触覚センサ１３が加速度と反力（圧力）を検知することができる場合、加速度、反力（圧力）を利用して、対象物Ｆｅの傾斜や水平に対する傾き等を検知する。そして、触覚センサ１３が触覚情報（例えば、外形形状、凹凸等）を検知する際の、傾きや傾斜等による影響を除く補正をするものを挙げることができる。なお、加速度、反力以外の情報を用いて、触覚情報をより正確なものとなるように補正するようにしてもよい。

なお、本実施形態では、触覚センサ１３を対象物Ｆｅに接触させるものとしているが、これに限定されない。例えば、非接触で対象物Ｆｅの触覚情報を検知可能なセンサを用いて、非接触で対象物Ｆｅの触覚を検知するようにしてもよい。なお、検知器１３１は、ケーブルで接続する以外にも、電波、赤外線等の無線で筐体と接続するようにしてもよい。

マイク１４は、音声を電気信号に変換するものであり、使用者が発生した言葉を言語入力として受け付ける入力部を構成する機器の１つである。図１に示すように、触覚言語変換装置Ａにおいて、マイク１４はケーブルを介して筐体１００の外部に設けられているが、筐体１００の内部に取り付けられていてもよい。なお、ケーブルで接続する替わりに、電波、赤外線等の無線で接続する構成であってもよい。

スピーカ１５は、音声出力を行うための機器であり、触覚入力の変換に基づく言語出力の出力を行う出力部を構成する機器の１つである。図１に示すように、触覚言語変換装置Ａにおいて、スピーカ１５はケーブルを介して筐体１００の外部に設けられているが、筐体１００の内部に取り付けられていてもよい。なお、ケーブルで接続する替わりに、電波、赤外線等の無線で接続する構成であってもよい。

触覚出力部１６は、使用者に触覚情報を伝達するための機器であり、言語入力の変換に基づく触覚出力を出力する出力部を構成する機器の１つである。図１に示す触覚言語変換装置Ａでは、筐体１００の前面のディスプレイ１１の下に設けられている。なお、触覚出力部１６もディスプレイ１１と同様に筐体１００に設けられた開口窓から出力部分を外部に露出させている。そして、露出した部分を使用者が指等で触れることで、触覚を再現する。

触覚出力部１６を用いて使用者に触覚情報を伝達する方法として次のようなものを挙げることができる。例えば、使用者が指で触覚出力部１６に触れるとともに、指を触覚出力部１６上で摺動させることで、指に触覚情報を伝達させることが可能である。また、触覚出力部１６の一部に指を接触させるだけで、その部分の触覚情報を伝達するものであってもよいし、触覚出力部１６の状態を変更することで、指を移動させなくても指を移動させたときと同様の触覚情報を伝達するようにしてもよい。このように、触覚出力部１６からの出力を変更することで、触覚出力部１６は使用者の指が接触可能な大きさを有していれば、対象物Ｆｅの任意の長さ、或いは、大きさに対応する触覚情報を伝達することが可能である。すなわち、触覚出力部１６を小型化することも可能である。

なお、触覚出力部１６としては、熱、湿度を表現するもの、風、圧電素子（振動）、静電素子（静電）、マイクロ流体等を用いて、外形、表面の形状、圧力分布を表現するものを挙げることができる。また、図１に示す触覚言語変換装置Ａでは、ディスプレイ１１及びタッチセンサ１２と離れたところに、小さな触覚出力部１６を備えているが、これに限定されるものではなく、ディスプレイ１１及びタッチセンサ１２と同じかそれよりも大きなものであってもよい。また、触覚出力部１６が透光性を有するもの（例えば、透明）である場合、ディスプレイ１１及びタッチセンサ１２と重ねて配置してもよい。さらには、触覚センサ１３等と同様に、筐体１００と離れて設けられる構成であってもよい。このとき、触覚出力部１６と筐体１００とは、ケーブルで接続されていてもよいし、無線で接続されるようにしてもよい。

カメラ部１７は、対象物Ｆｅや文字を撮影するための撮影装置である。カメラ部１７は、従来周知のデジタルカメラユニットであり詳細な構成については省略する。カメラ部１７は、対象物Ｆｅの外形画像を撮像することができる。なお、カメラ部１７は必ずしも必要ではなく、備えていなくてもよい。しかしながら、触覚入力又は言語入力を行う機器と、言語出力又は触覚出力を行う機器が異なる場合に、対象物Ｆｅの画像を添付することができ、送信相手により多くの情報を伝達することができるため、備えていることが好ましい。また、カメラ部１７は、手書き又は印刷の文字を撮影し文字情報を認識することで言語入力として受け付ける入力部として利用することも可能である。

上述した入出力部１０の各機器は、処理部２０と接続している。処理部２０はＭＰＵやＣＰＵ等の演算処理を行う回路を備えており、複数の処理を行うことが可能な構成となっている。また、必要に応じ、処理プログラムを動作させて処理を行う構成を有していてもよい。

記憶部３０は、処理部２０と接続されている。記憶部３０は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリや、ハードディスク、光ディスク等の物理記憶装置を含む構成となっている。記憶部３０についてさらに詳しく説明する。図３Ａは記憶部に記憶された複数個の触覚情報を含む触覚情報群の一例を示す概略図であり、図３Ｂは記憶部に記憶された複数個の言語情報を含む言語情報群の一例を示す概略図であり、図３Ｃは記憶部に記憶された相互対応情報の一例を示す図である。図３Ａ、図３Ｂに示す触覚情報群、言語情報群は、理解を容易にするため表で示しているが、実際にはこれらのデータが記憶されているだけであり、各触覚情報及び各言語情報には、それぞれ固有の管理番号が付されている。

記憶部３０は、触覚情報群３１、言語情報群３２、触覚情報と言語情報との相互対応を示す相互対応情報３３を含む。また、記憶部３０は、図示を省略しているが、入出力部１０での入力又は出力を行うときや処理部２０で演算処理を行うときに一時的に情報を記憶しておく作業領域（ワーキングスペース）も備えている。

触覚情報群３１には複数個の触覚情報が含まれている（図３Ａ参照）。触覚情報は、上述したように、対象物Ｆｅの温度、湿度、重量、凹凸、曲面形状、表面の凹凸の振幅、周波数を定量化した情報を含んでいる。また、触覚センサ１３で検知した触覚情報を記憶することも可能である。この場合、触覚情報としては、検知器１３１を動かしたときの速さ、動かした時間、検知器１３１に作用した加速度、対象物Ｆｅと接触している部分の圧力を定量化した情報を含んでいてもよい。

定量化したデータとしては、例えば、図３Ａに示すようなものを挙げることができる。すなわち、横軸として水平移動距離や経過時間とし、触覚センサ１３で検知した、温度、
湿度、重量、凹凸、曲面形状、検知器１３１の速度、加速度、圧力（接触力）を縦軸としたグラフやこれらの値を配列した表を挙げることができる。例えば、図３Ａに示す触覚情報群３１に含まれる触覚情報、実線が凹凸、点線が圧力、破線が温度を示している。また、触覚センサ１３から検知した値をそのまま加工したものを利用してもよい。

なお、定量化したデータが横軸として経過時間としている場合、接触出力部１６を経過時間の変化に合わせて、縦軸を変動させるようにすることで、出力することができる。また、これ以外の方法で出力するようにしてもよい。

このように、触覚情報の横軸を経過時間や移動距離とした場合、使用者が触覚情報を確認するために指を触覚出力部１６上を摺動させて検知することができる。また、指は触覚出力部１６の一部に接触させておき、触覚出力部１６をグラフに合わせて変化させることで触覚情報を使用者に伝達することも可能である。

記憶部３０では、複数個の触覚情報を触覚情報群３１として管理している。図３Ａに示すように、触覚情報群３１は、各触覚情報（グラフ）ごとに固有の記号、ここでは、英字と数字の組み合わせを付与している。触覚情報群３１ではこの固有の記号で触覚情報を管理している。触覚情報群３１に新たな触覚情報を追加可能な構成となっている。新たな触覚情報にも固有の記号が付与される。なお、図３Ａは一例であるため、これに限定されるものではない。

記憶部３０には、対象物の状態を表現する文字情報である複数の言語情報が記憶されており、これらの言語情報をまとめて言語情報群３２としている。言語情報としては、例えば、「ぎざぎざ」、「ざらざら」、「つるつる」等の擬態語、「やわらかい」、「かたい」、「つめたい」等の形容詞、「絹」、「さめのはだ」等の名詞を挙げることができる。また、これらの擬態語又は形容詞と名詞を組み合わせたもの、例えば、「絹のようなつるつる」とか、「豆腐のようにやわらかい」等を記憶していてもよい。さらに、言語情報は、単一の言語（例えば、日本語）だけでなく、外国語（例えば、英語、フランス語等）の文字情報を含むものであってもよい。

そして、記憶部３０では、複数個の言語情報を言語情報群３２として管理している。図３Ｂに示すように、各言語情報は、擬態語は、英字Ｏｎと数字の組み合わせ、形容詞は英字Ａｊと数字の組み合わせ、名詞は英字Ｎｎと数字の組み合わせの固有の記号を付して管理している。記憶部３０では、言語情報群３２に新たな言語情報を追加可能な構成となっている。新たな言語情報にも固有の記号が付与される。なお、言語情報群３２では、言語情報の種類（擬態語、形容詞、名詞等）毎に記号を付しているが、種類関係なく、共通のルールで符号を付してもよい。なお、図３Ｂは一例であるため、これに限定されるものではない。

相互対応情報３３は、触覚情報と言語情報を一対一対応とするものであってもよいし、１つの触覚情報に対して複数の異なる言語情報が対応するようになっていてもよい。また、１つの言語情報に対して複数の触覚情報が対応していてもよい。相互対応情報は、１つの触覚情報に対して複数の言語情報が対応している場合、又は、１つの言語情報に対して複数の触覚情報が対応している場合、対応している複数の言語情報及び触覚情報は、優先順位が付けられていてもよい。なお、図３Ｃは一例であるため、これに限定されるものではない。

本発明にかかる触覚言語変換装置Ａで用いられている相互対応情報３３の例について図３Ｃを参照して説明する。なお、図３Ｃに示す相互対応情報３３は、便宜上、触覚情報から言語情報に変換する表と言語情報から触覚情報に変換する表の２つの表を含む構成となっているが、実際の相互対応情報３３はデータベースである。そのため、触覚情報と言語情報、言語情報と触覚情報を相互に対応させることができる構成となっている。

図３Ｃに示すように、相互対応情報３３では、触覚情報群３１で触覚情報を管理している固有の記号と言語情報群３２で言語情報を管理している固有の記号とを対応させている。相互対応情報３３は、触覚情報に対して複数の言語情報を対応させることが可能である。そして、触覚情報に対して複数の対応する言語情報がある場合、複数個の言語情報に対して、優先順位が割り当てられている。

また、相互対応情報３３は、言語情報に対して複数の触覚情報を対応させることも可能となっている。この場合も同様に、言語情報に対して複数の対応する言語情報がある場合、複数個の言語情報に対して、優先順位が割り当てられている。なお、相互対応情報３３は、触覚情報と言語情報の対応を変更したり、優先順位を変更したりすることが可能となっている。優先順位としては、これまで触覚言語の相互変換の履歴で選択された頻度の高い順を挙げることができるが、使用者が決定するようにしてもよい。

処理部２０は入力情報抽出部２１、情報変換部２２、確認部２３及び編集部２４を備えている。入力情報抽出部２１、情報変換部２２、確認部２３及び編集部２４は、それぞれ、独立した演算回路として処理部２０の内部の備えられるものであってもよいし、それぞれの行うプログラムを処理部２０で動作させ、処理を行うものであってもよい。本実施形態の触覚言語変換装置Ａでは、プログラムを駆動させて、各処理を行うものとしている。なお、この構成は処理部２０の構成の一部であり、処理部２０はこれら以外の構成要素を含んでいてもよい。

入力情報抽出部２１は、触覚センサ１３からの触覚入力及びタッチセンサ１２、マイク１４からの言語入力を受け付けるものである。入力情報抽出部２１は記憶部３０の触覚情報群３１（図３Ａ参照）を参照し、触覚センサ１３から入力された触覚入力と一致する又は近似した触覚情報を触覚候補として抽出する。なお、触覚入力と近似した触覚候補の抽出方法としては、グラフの特徴点同士を比較し、近似度を算出して、近似度に基づいて最も近似しているものを抽出する方法を挙げることができるが、これに限定されるものではない。

また、入力情報抽出部２１は、記憶部３０の言語情報群３２（図３Ｂ参照）を参照し、タッチセンサ１２、マイク１４から入力された言語入力と一致する又は近似した言語情報を言語候補として抽出する。言語入力と近似した言語候補の抽出方法としては、意味（内容）で近似しているものを抽出するようにしてもよいし、予め言語情報にパラメータを関連付けておき、そのパラメータを参照して近似しているものを抽出するようにしてもよい。

また、入力情報抽出部２１は、触覚情報群３１に触覚入力と近似する触覚情報が無い場合、触覚入力を新たな触覚情報として記憶部記憶部３０に記憶させ、触覚情報群３１に追加するようにしてもよい。同様に、言語情報群３２に言語入力と近似する言語情報が無い場合、入力情報抽出部２１は、言語入力を新たな言語情報として記憶部３０に記憶させ言語情報群３２に追加するようにしてもよい。なお、触覚入力又は言語入力と近似する触覚情報又は言語情報が無いときに記憶するものとしているが、同一ではない場合、近似する触覚情報又は言語情報を抽出した場合でも、触覚入力又は言語入力を新たに触覚情報又は言語情報として記憶するようにしてもよい。

情報交換部２２は、入力情報抽出部２１から触覚候補を取得すると、触覚候補（の固有の記号）に基づいて、記憶部３０の相互対応情報３３（図３Ｃ参照）を参照して、触覚候補と対応する言語情報（対応言語情報）を検出する（固有の記号を取得し、言語情報群３２から言語情報を取得する）、すなわち、触覚候補を対応言語情報に変換する。情報交換部２２は、入力情報抽出部２１から言語候補を取得すると、記憶部３０の相互対応情報３３を参照して、言語候補と対応する触覚情報（対応触覚情報）を検出する（固有の記号を取得し、触覚情報群３１から触覚情報を取得する）、すなわち、言語候補を対応触覚情報に変換する。

情報変換部２２は、相互対応情報３３に触覚候補に対応する複数個の言語情報及び（又は）言語候補に対応する複数個の触覚情報から、優先順位の高いものを、それぞれ、対応言語情報及び（又は）対応触覚情報として選択する。なお、触覚情報と言語情報が１対１で対応する場合、優先順位はなく、ただ１つ決定される。

確認部２３は、ディスプレイ１１及び（又は）スピーカ１５で言語対応情報を出力し、使用者に対して、対応言語情報が触覚入力と正確に対応しているかの確認を促す。同様に、触覚出力部１６で対応触覚情報を出力し、使用者に対して、対応触覚情報が言語入力と正確に対応しているかの確認を促す。なお、確認部２３は、ディスプレイ１１に確認のためのメッセージを表示したり、スピーカ１５を利用して確認用の音声を発生するようになっているが、これに限定されるものではない。例えば、触覚出力部１６を利用して、点字で文字情報を出力するようにしてもよい。

編集部２４は、対応言語情報又は対応触覚情報を使用者の好みに応じて編集するための編集機能を有している。編集部２４で対応言語情報の編集を行う場合、相互対応情報３３を参照して触覚候補と対応する複数の言語情報のうち、情報変換部２２で選択されなかった言語情報を優先順位が高い順に編集言語情報としてディスプレイ１１又はスピーカ１５に出力する。そして、使用者の感覚に合致した言語情報を選択する。

また、言語情報をディスプレイ１１に一覧表示して、使用者が選択できるようにし、使用者が選択した言語情報を編集言語情報としてもよい。このように、相互対応情報３３の優先順位を利用して編集を行った後、編集部２４は触覚候補として選択されている触覚情報と対応する言語情報の優先順位を変更することで相互対応情報を更新する。

また、編集部２４で対応触覚情報の編集を行う場合、相互対応情報３３を参照して言語候補と対応する複数の触覚情報のうち、情報変換部２２で選択されなかった触覚情報を優先順位が高い順に編集触覚情報として触覚出力部１６に出力する。そして、触覚出力部１６を触れて使用者の感覚に合致した触覚情報を選択する。

また、触覚情報をグラフで表示し、そのグラフを見ながら使用者が選択できるようにし、使用者が選択した触覚情報を編集触覚情報としてもよい。このように、相互対応情報の優先順位を利用して編集を行った後、編集部２４は言語候補として選択されている言語情報と対応する触覚情報の優先順位を変更することで相互対応情報３３を更新する。

さらには、編集部２４は、使用者によるタッチセンサ１２を利用した文字入力やマイク１４を利用した音声入力を編集言語情報として取得し、その編集言語情報を新たな言語情報として記憶部３０に記憶させ、言語情報群３２に追加することも可能である。

例えば、相互対応情報３３に、触覚候補（触覚入力）に対応する言語情報が適切ではないと使用者が判断した場合、使用者がタッチセンサ１２、マイク１４等の入力部を利用して直接入力した情報を言語情報として記憶部３０に記憶させる。そして、新たな言語情報として言語情報群３２に追加する。なお、触覚候補と対応言語情報の組み合わせが使用者の感覚、好みに合致しない理由としては、対応する言語情報が少ない或いはない場合もあるが、触覚入力に基づいて抽出した触覚候補が好適ではない場合もある。

触覚候補が好適でない場合も考慮して、記憶部３０に触覚入力を新たな触覚情報として記憶させるとともに、触覚情報群３１に追加することも可能となっている。そして、タッチセンサ１２、マイク１４等の入力部を利用して直接入力した編集言語情報を言語情報として記憶部３０に記憶させるとともに言語情報群３２に追加する。そして、これらの触覚入力に基づく触覚情報と編集言語情報に基づく言語情報とを対応するものとして、相互対応情報３３を更新するようにしてもよい。

また、編集部２４は、ディスプレイ１１に表示したグラフの特徴点を移動させることで、対応触覚情報を編集し編集触覚情報とすることも可能である。図１に示すように、触覚情報のグラフを表示する触覚情報表示部Ｔｇ１と、触覚情報のグラフを調整する操作部であるコントローラＣｒ１をディスプレイ１１上に表示し、コントローラＣｒ１を指等のポインターで操作する。

以下に具体例を図１を参照して説明する。図１に示すように、コントローラＣｒ１は上部にタグが表示されており、編集を行う情報（凹凸、温度、湿度、圧力等）を選択する。そして、情報ごとに、複数の変更点を備え、変更点ごとに備えられたスライドバーを調整することで触覚情報を変更する。変更点としてはグラフの特徴点（例えば、頂点や中間点等）や、情報毎に備えられているパラメータを挙げることができる。

このとき、編集部２４は対応触覚情報（編集する情報だけでもよい）を触覚出力部１６に出力しつつ編集を行うことも可能である。このように、触覚出力部１６で触覚情報を確認しながら編集を行うため、確認部２３と編集部２４とが同時に動作しているものとすることも可能である。編集部２４は、編集終了後の編集触覚情報を新たな触覚情報として記憶部３０に記憶させ、触覚情報群３１に追加する。

編集を行う場合としては、例えば、相互対応情報３３に含まれる言語候補（言語入力）に対応する触覚情報が適切ではないと使用者が判断した場合や、言語入力と同じ又は近似した言語情報が無い場合を挙げることができる。

言語入力に基づいて抽出された言語候補が好適でない場合も考慮して、記憶部３０に言語入力を新たな言語情報として記憶させるとともに、言語情報群３２に追加可能としている。そして、編集後の編集触覚情報を触覚情報を記憶部３０に記憶させるとともに触覚情報群３１に追加する。そして、これらの言語入力に基づく新たな言語情報と編集触覚情報に基づく触覚情報とを対応するものとして、相互対応情報３３を更新するようにしてもよい。

本発明にかかる触覚言語変換装置Ａは上述のような構成を有している。このような、触覚言語変換装置Ａの動作について図面を参照して説明する。図４Ａは触覚センサで受け付けた触覚入力の一例を示すグラフであり、図４Ｂは本発明にかかる触覚言語変換装置で触覚入力を言語出力に変換する手順を示すフローチャートである。また、図５は触覚入力から言語出力を行った状態を示す概略図である。

図４Ｂに示すように、触覚センサ１３を対象物Ｆｅに接触させ、対象物Ｆｅの触覚入力（図４Ａ参照）を受付ける（ステップＳ１０１）。触覚センサ１３は受け付けた触覚入力を処理部２０に送る。このとき 、カメラ部１７を起動させ、対称物Ｆｅの画像を撮像し、撮像データを一時的に記憶部３０に記憶する。

処理部２０に送られた触覚入力は定量化されるとともに、入力情報抽出部２１に送られる。入力情報抽出部２１は、記憶部３０にアクセスし、触覚情報群３１から触覚入力と同じ又は近似した触覚情報を触覚候補として抽出する（ステップＳ１０２）。すなわち、触覚情報群３１から触覚入力と一致する触覚情報（例えば、図３ＡのＳ０００１）を触覚候補として抽出する。なお、触覚情報群３１に触覚入力と一致する触覚情報があったため一致するものを抽出したが、一致するものがない場合、近似するものを抽出する。

入力情報抽出部２１は、抽出した触覚候補を情報変換部２２に送る。情報変換部２２は、相互対応情報３３（図３Ｃ参照）にアクセスし、触覚候補と対応する複数個の言語情報を検出する（ステップＳ１０３）。情報変換部２２は、検出した複数個の言語情報のうち優先順位が高い言語情報を対応言語情報として選択する（ステップＳ１０４）。なお、情報変換部２２は、相互対応情報３３にアクセスし、触覚候補の固有の記号と対応する言語情報の固有の記号のうち、優先順位が高いもの（ここでは、Ｏｎ００００１）を抽出する。そして、記憶部３０にアクセスし、言語情報群３２から固有の記号（Ｏｎ００００１）と対応する言語情報（ここでは、「ざらざら」）を取得する。

そして、処理部２０の確認部２３は、触覚入力（触覚候補）を触覚出力部１６で出力するとともに対応言語情報をディスプレイ１１及びスピーカ１５で出力し、使用者に触覚入力と対応言語情報の対応について確認を促す（ステップＳ１０５）。なお、使用者に確認を促す方法としては、ディスプレイ１１に確認の表示等を行う、スピーカ１５を利用して音声で通知する方法を挙げることができる。

確認部２３は、タッチセンサ１２への使用者の操作入力に基づいて、触覚入力と対応言語情報とが正確に対応しているか否かを確認する（ステップＳ１０６）。触覚入力と対応言語情報が正確に対応していないとされた場合(ステップＳ１０６でＮｏの場合)、編集部２４は相互対応情報３３と言語情報群３２を参照し、触覚候補と対応する複数の言語情報を検出する。そして、編集部２４は上述したような方法で使用者に検出した複数の言語情報を開示し確認を促す（ステップＳ１０７）。正確に対応する言語情報があったかどうかの確認を行う（ステップＳ１０８）。なお、確認は使用者によるタッチセンサ１２の操作を確認する。

対応する言語情報があると判断された場合（ステップＳ１０８でＹｅｓの場合）、編集部２４は使用者が選択した言語情報を編集言語情報に決定する（ステップＳ１０９）。

対応する言語情報がないと判断された場合（ステップＳ１０８でＮｏの場合）、編集部２４は使用者から直接入力（タッチセンサ１２やスピーカ１５を利用した入力）を編集言語情報として受け付ける（ステップＳ１１０）。そして、編集部２４は触覚入力を触覚情報として記憶部３０に記憶させるとともに触覚情報群３１に追加する及び（又は）編集言語情報を言語情報として記憶３０に記憶させるとともに言語情報群３２に追加する（ステップＳ１１１）。そして、編集部２４は入力された言語情報を編集言語情報に決定する（ステップＳ１０９）。

編集言語情報が決定された後（ステップＳ１０９の後）、編集部２４は相互対応情報３３の更新を行う（ステップＳ１１２）。相互対応情報３３の更新としては、触覚情報に対応する複数個の言語情報の優先順位を入れかえる、新たな触覚情報及び（又は）言語情報を追加し、触覚情報又は言語情報に対応する言語情報又は触覚情報を格納する等を挙げることができる。

相互対応情報３３の更新を行った後（ステップＳ１１２の後）、編集言語情報を対応言語情報とし（ステップＳ１１３）、現在の対応言語情報をディスプレイ１１での文字表示及び（又は）スピーカ１５で音声出力することで言語出力を行う（ステップＳ１１４）。以上のような操作を行うことで、図５に示すように、触覚センサ１３で対象物Ｆｅの触覚情報を触覚入力として受け付け、ディスプレイ１１に言語出力Ｌｔ１（ここでは、「ざらざら」）を表示（出力する）。なお、対象物Ｆｅから直接触覚情報を抽出する場合、対象物Ｆｅを撮像しておき、入力受付時及び（又は）言語出力時にディスプレイ１１で画像表示するようにしてもよい。

なお、言語出力はディスプレイ１１から常に同じ文字（文字の大きさ、フォント、色等）や一定の音声による発声で行われるものであってもよいし、対応言語情報の内容によって文字表示や音声出力を変更する（強調表現する）ものであってもよい。例えば、熱いことを示す「あつあつ」、「ほかほか」等の文字を表示するときは、文字自体の色を赤、オレンジ等の暖色系等にするようにしてもよい。また、大きさや表面粗度を表す言語出力の場合でも、その言葉の意味を表示するようにしてもよい。また、音声の場合でも、「とげとげ」、「ちくちく」のように刺激があるような言語出力の場合、音声の高さを高くする等としてもよい。このような言語出力を行うため、言語情報群３２に、言語情報が示す内容も言語情報と対応させて記憶させていてもよい。

強調表現としては、上述した以外にも、言語出力の理解を容易にするような表現方法を広く採用することができる。

さらには、言語出力が名詞を含むものである場合、言語出力として出力される言語情報と関連付けられた画像も言語出力と同時にディスプレイ１１に表示するようにしてもよい。この場合、言語情報群３２が、記憶されている言語情報と別途保存されている画像情報とを関連付ける情報を備えるようにしてもよいし、相互対応情報３３に言語情報と画像とを関連付ける情報を備えていてもよい。

本発明にかかる触覚言語変換装置Ａでは、編集部２４で対応言語情報を編集することで、触覚情報の入力値である触覚入力とが使用者の感覚に合致した、或いは、触覚入力を表していると考える言語情報を言語出力として出力することができる。これにより、触覚情報である触覚入力に対して違和感のない或いは違和感の少ない言語情報を言語出力として出力することが可能である。

次に、言語入力を変換して触覚出力を出力する動作について、図面を参照して説明する。図６は本発明にかかる触覚言語変換装置で言語入力を触覚出力に変換する手順を示すフローチャートであり、図７は言語入力から触覚出力に変換した状態を示す図である。なお、多くの部分で触覚入力を言語出力に変換する場合と同じであり、詳細な説明は省略する。

タッチセンサ１２を利用した文字入力又はマイク１４を利用した音声入力で言語入力Ｌｔ２（図７参照）を受付ける（ステップＳ２０１）。言語入力は入力情報抽出部２１に送られる。入力情報抽出部２１は、言語入力と同じ又は近似した言語情報を言語候補として抽出する（ステップＳ２０２）。言語入力では、言語情報群３２に含まれる文字列と、確実に一致しない場合もある。例えば、「ざらついている」、「絹のよう」等、一部に言語情報の文字列が含まれる場合がある。このような場合、一致する文字列に基づいて言語候補を抽出する。

情報変換部２２は、言語候補と対応する複数個の触覚情報を検出する（ステップＳ２０３）。情報変換部２２は、検出した複数個の触覚情報のうち優先順位が高い触覚情報を対応触覚情報として選択する（ステップＳ２０４）。なお、情報変換部２２は、相互対応情報３３から、優先順位が高い触覚情報の固有の記号を抽出する。そして、触覚情報群３１から固有の記号と対応する触覚情報を取得する。

そして、処理部２０の確認部２３は、言語入力（言語候補）をディスプレイ１１で文字出力するとともに対応触覚情報を触覚出力部１６で出力し、使用者に言語入力と対応触覚情報の対応について確認を促す（ステップＳ２０５）。

確認部２３は、言語入力と対応触覚情報とが正確に対応しているか否かを確認する（ステップＳ２０６）。言語入力と対応触覚情報が正確に対応していないとされた場合(ステップＳ２０６でＮｏの場合)、編集部２４は、言語候補と対応する複数の触覚情報を検出する。そして、編集部２４は触覚出力部１６及び（又は）ディスプレイ１１で触覚情報を出力し、使用者に確認を促す（ステップＳ２０７）。例えば、触覚出力部１６に優先順位の順番に順次出力するようにしてもよいし、ディスプレイ１１にグラフを表示してグラフを確認するようにしてもよい。また、触覚出力部１６及びディスプレイ１１の両方使用するようにしてもよい。編集部２４は、正確に対応する触覚情報があったかどうかの確認を行う（ステップＳ２０８）。

対応する触覚情報があると判断された場合（ステップＳ２０８でＹｅｓの場合）、編集部２４は使用者が選択した触覚情報を編集触覚情報に決定する（ステップＳ２０９）。対応する触覚情報がないと判断された場合（ステップＳ２０８でＮｏの場合）、編集部２４は図１に示すように、ディスプレイ１１にグラフＴｇ１及びコントローラＣｒ１を表示し、タッチセンサ１２を利用して補正し編集触覚情報を生成する（ステップＳ１１０）。そして、編集部２４は言語入力を言語情報として記憶部３０に記憶させるとともに言語情報群３２に追加する及び（又は）編集触覚情報を触覚情報として記憶部３０に記憶させるとともに触覚情報群３１に追加する（ステップＳ２１１）。そして、編集部２４は編集触覚情報を決定する（ステップＳ２０９）。

編集触覚情報が決定された後（ステップＳ２０９の後）、編集部２４は相互対応情報３３の更新を行う（ステップＳ２１２）。相互対応情報３３の更新を行った後（ステップＳ２１２の後）、編集触覚情報を対応触覚情報とし（ステップＳ２１３）、対応触覚情報を触覚出力としてディスプレイ１１にグラフＴｇ２表示する（図７参照）及び（又は）触覚出力部１６に出力する（ステップＳ２１４）。

本発明にかかる触覚言語変換装置Ａでは、編集部２４で対応触覚情報を編集することで、触覚出力と言語情報の入力値である言語入力とが使用者の感覚に合致した、或いは、言語入力を表していると考える触覚情報を触覚出力として出力することができる。これにより、言語情報である言語入力に対して違和感のない或いは違和感の少ない触覚情報を触覚出力として出力することが可能である。

このような構成を有することで、本発明にかかる触覚言語変換装置Ａは、言語入力を正確に対応した（使用者が正確に対応していると感じる）触覚出力に変換して出力することができる。また、同様に触覚入力を正確に対応した（使用者が正確に対応していると感じる）言語情報に変換して出力することができる。

（第２実施形態）
本発明にかかる触覚言語変換装置の他の例について図面を参照して説明する。図８は本発明にかかる触覚言語変換装置の他の例のブロック図であり、図９は図８に示す触覚言語変換装置の使用状態を示す図である。触覚言語変換装置Ｂは通信ネットワークに接続する通信接続部４０を備えているとともに触覚出力部１６がディスプレイ１１及びタッチセンサ１２と重ねて配置されている。これ以外の点については、触覚言語変換装置Ａと同じであり、実質上同じ部分には同じ符号を付しているとともに、同じ部分の詳細な説明を省略する。

図８に示すように、触覚言語変換装置Ｂは通信ネットワークに接続するための通信接続部４０を備えており、通信接続部４０は処理部２０に接続されている。ここで、ネットワークとしてインターネットを挙げることができるが、これに限定されず、限定されたエリアだけで有効なネットワーク、例えば、ＬＡＮ等であってもよい。以下の説明では、通信接続部４０が接続するネットワークはインターネットとして説明する。

通信接続部４０はインターネットに接続し、データの送受信を行うものである。通信接続部４０は、電波等を利用した無線の通信装置である。しかしながら、これに限定されるものではなく、有線で接続するものであってもよい。

また、図９に示すように、触覚言語変換装置Ｂは、触覚出力部１６とディスプレイ１１及びタッチセンサ１２とを重ねて配置している。このように構成することで、ディスプレイ１１の画像表示領域を広くすることが可能である。また、タッチセンサ１２及び触覚出力部１６をディスプレイ１１に重ねて配置する構成ということも可能であり、タッチセンサ１２の機能と触覚出力部１６の機能との両方の機能を兼ね備えた装置を利用してもよい。なお、第１実施形態の触覚言語変換装置Ａのように、ディスプレイ１１と独立した触覚出力部１６を備えていてもよい。

図９に示すように、通信接続部４０はネットワークＮｔと接続するために、ネットワークＮｔ上に設けられている基地局Ｂｓとの間で電波の送受信可能な構成となっている。通信接続部４０が送受信する電波としては、例えば、携帯電話回線に用いられる電波を挙げることができる。触覚言語変換装置Ｂは、通信接続部４０と基地局Ｂｓとを接続することで、通信接続部４０と基地局Ｂｓとの間で電波の送受信、すなわち、電波に重畳させて情報の送受信が可能となる。

図９に示すように、ネットワークＮｔには、複数の触覚言語変換装置Ｂが接続されており、触覚言語変換装置Ｂ同士は、ネットワークＮｔを介して情報の送受信が可能となっている。そして、触覚言語変換装置Ｂでは、ネットワークＮｔに接続されている別の触覚言語変換装置Ｂに対して、触覚情報又は言語情報を送信することができるようになっている。つまり、本実施形態の触覚言語変換装置Ｂを利用することで、触覚言語変換装置ＢからネットワークＮｔを介してネットワークＮｔに接続された別の触覚言語変換装置Ｂに情報を送信し、別の触覚言語変換装置Ｂで触覚出力又は言語出力を行うことが可能である。以下、便宜上、情報を送信する方を触覚言語変換装置Ｂ１とし、情報を受信する方を触覚言語変換装置Ｂ２として説明する。なお、以下の説明では、触覚入力を言語出力に変換する場合について説明するが、逆の場合も同様の動作で行うことが可能である。

先ず、送信側の触覚言語変換装置Ｂ１は、触覚言語変換装置Ａと同じ手順で、触覚入力から対応言語情報を決定する。そして、触覚言語変換装置Ｂ１では、対応言語情報を通信接続部４０からネットワークＮｔに送出する。そして、ネットワークＮｔに送出された対応言語情報は、受信側の触覚言語変換装置Ｂ２で受信される。触覚言語変換装置Ｂ２は通信接続部４０を介して受信した対応言語情報を処理部２０に送る。

対応言語情報は、通常の言語情報と同様の情報であるため、処理部２０は対応言語情報を基に、ディスプレイ１１に文字表示Ｌｔ１を行う。なお、同時にスピーカから音声として言語出力を行ってもよい。これにより、或る触覚言語変換装置Ｂで触覚入力を行い、ネットワークＮｔに接続された他の触覚言語変換装置Ｂで言語出力に変換して出力することができる。なお、送信側の触覚言語変換装置Ｂ１が対応言語情報を送信するときに、対象物Ｆｅの画像データを同時に送信し、受信側の触覚言語変換装置Ｂ２のディスプレイ１１に対象物の画像Ｆ２を表示するようにしてもよい。また、送信側の触覚言語変換装置Ｂ１で対象物Ｆｅを撮像したとき、その撮像画像Ｆ１を送信側の触覚言語変換装置Ｂ１のディスプレイ１１で表示してもよい。

なお、触覚言語変換装置Ｂ１は、ディスプレイ１１と触覚出力部１６とを重ねて配置しているので、ディスプレイ１１に表示された撮像画像Ｆ１を指でこすることで、使用者に対して触覚情報を提供するような構成となっている。このようにすることで、使用者が対象物Ｆｅの触覚情報を現実に対応したものとしてとらえやすい。

また、送信側の触覚言語変換装置Ｂ１でも言語出力を行うとともに、編集を行い、編集後の編集言語情報を対応言語情報として、ネットワークＮｔを介して受信側の触覚言語変換装置Ｂ２に送信するようにしてもよい。このようにすることで、送信者の意図に正確に合致した或いはより送信者の意図に近い言語情報を送信することが可能である。

また、送信側の触覚言語変換装置Ｂ１が情報の変換と送信に特化していてもよいし、受信側の触覚言語変換装置Ｂ２が情報の受信と出力（再生）に特化した構成であってもよい。例えば、送信側の触覚言語変換装置Ｂ１で触覚入力を対応言語情報に変換して送信し、受信側の触覚言語変換装置Ｂ２で言語出力を行う。そして、使用者は受信側の触覚言語変換装置Ｂ２による言語出力を確認した後、送信側の触覚言語変換装置Ｂ１で編集を行うようにしてもよい。

このように、ネットワークＮｔを介して触覚入力に基づいて決定された対応言語情報又は言語情報に基づいて決定された対応触覚情報を送信することができるので、離れた位置にいる受信者に対し、触覚入力を変換した言語出力または言語入力を変換した触覚出力を行うことができる。

また、送信側又は受信側の装置の少なくとも一方が、本発明にかかる触覚言語変換装置Ｂでない場合でも、触覚入力を変換した言語出力または言語入力を変換した触覚出力を行うことができる。

例えば、送信側が触覚言語変換装置Ｂで受信側が携帯情報端末（いわゆる、スマートフォン）の場合、送信側の触覚言語変換装置Ｂで、触覚入力を対応言語情報に変換し、対応言語情報を受信側の携帯情報端末のディスプレイに文字表示を行う及び（又は）スピーカから音声出力を行うことも可能である。このような情報の送受信を行うことで、離れた位置にいて、同じ触覚言語変換装置を持っていない受信者に対しても、触覚入力に正確に対応している言語出力を行うことが可能である。

さらに、本実施形態において触覚入力及び言語入力は、送信側の触覚言語変換装置Ｂの入出力部１０で受け付けるものであるとしているが、これに限定されるものではなく、通信接続部４０を介して受信した触覚情報を触覚入力とする又は受信した言語情報を言語入力とするものであってもよい。例えば、送信側が携帯情報端末であり、受信側が触覚言語変換装置Ｂである場合、送信者は対象物の特徴を言語情報として受信側の触覚言語変換装置Ｂに送信する。受信側の触覚言語変換装置Ｂは、受信した言語情報を言語入力として対応触覚情報に変換し、触覚出力部１６から触覚情報を出力する。

触覚言語変換装置Ｂを用いることで、触覚言語変換装置Ｂとは異なる機器で言語出力を行ったり、異なる機器で入力された言語入力に基づいて触覚言語変換装置Ｂで触覚出力を行ったりすることができる。これにより、触覚言語変換装置Ｂの利便性を高めることが可能である。

これ以外の特徴については、第１実施形態と同じである。

（変形例）
本実施形態の変形例について図面を参照して説明する。図１０は本実施形態にかかる触覚言語変換装置の他の例の概略図である。図１０に示すように、触覚言語変換装置Ｂ０はネットワークＮｔ上に配置されたサーバＳｖと接続可能な構成となっているとともに、サーバＳｖが記憶部３００を備えている。そして、記憶部３００には、触覚情報群３０１と、言語情報群３０２と、相互対応情報３０３とが備えられている。

そして、触覚言語変換装置Ｂ０が通信接続部４０を介してサーバＳｖの触覚情報群３０１、言語情報群３０２及び相互対応情報３０３にアクセスできる。触覚言語変換装置Ｂ０では、触覚入力を受け付けたのち、記憶部３０の触覚情報群３１内に触覚入力に近似する触覚情報が無い場合、通信接続部４０を介してサーバＳｖの触覚情報群３０１にアクセスし、近似した触覚情報を検索し、検出できた触覚情報をネットワークＮｔを介して取得する。そして、触覚言語変換装置Ｂ０は、サーバＳｖの相互対応情報３０３及び言語情報群３０２にアクセスし、対応言語情報を取得する。なお、言語入力を対応触覚情報に変換するときも同様の操作で行うことが可能である。

このように、触覚言語変換装置Ｂ０でサーバＳｖ上の触覚情報群３０１、言語情報群３０２及び相互対応情報３０３にアクセスして、必要な情報を取得するようにすることで、記憶部３０に記憶されている情報に触覚入力又は言語入力と近似するものがない場合、サーバＳｖから取得することが可能である。さらに、ネットワークＮｔに接続している触覚言語変換装置Ｂ０の全てが、同じサーバＳｖを利用するため、触覚情報群３０１、言語情報群３０２及び相互対応情報３０３の情報のカテゴリーが偏りにくい。また、多数の人が編集を行ったり、新たに情報を追加するため、触覚情報と言語情報の対応の一般性を高めることができる。例えば、ある触覚情報に対する言語情報として、一般的によく用いられる言語を取得することが可能である。

さらに、触覚言語変換装置Ｂ０は携帯端末であるため、記憶部３０の容量を大型化することが難しい、一方で、ネットワークＮｔ上のサーバＳｖの場合、触覚言語変換装置Ｂ０に比べて非常に大きな記憶領域を備えることが可能である。また、ネットワークＮｔ上のサーバＳｖの数を増やすことも可能であるため、実質上、触覚情報、言語情報、相互対応情報を上限なく記憶させることが可能である。

なお、触覚言語変換装置Ｂ０として、記憶部３０を備え、それぞれに、触覚情報群３１、言語情報群３２及び相互対応情報３３を備えているが、これに限定されるものではない。例えば、触覚情報、言語情報を必要最小限記憶できる記憶部３０を備え、触覚入力を言語出力に変換するとき又は言語入力を触覚出力に変換するときごとに、サーバＳｖの触覚情報群３０１、言語情報群３０２、相互対応情報３０３にアクセスし、触覚情報、言語情報をダウンロードするようにしてもよい。

また、図１０に示す変形例では、入力する触覚言語変換装置と出力する触覚言語変換装置とが同じものであったが、これに限定されるものではない、例えば、ネットワーク上に接続された他の触覚言語変換装置に出力の情報を送信し、他の触覚言語変換装置で出力するようにしてもよい。

（第３実施形態）
本発明にかかる触覚言語変換装置のさらに他の例について図面を参照して説明する。図１１は本発明にかかる触覚言語変換装置のさらに他の例の概略図である。図１１に示す触覚言語変換装置Ｃは、触覚センサを２個備えている以外、図１に示す触覚言語変換装置Ａと同じ構成を有している。そのため、触覚言語変換装置Ｃの触覚言語変換装置Ａと実質上同じ部分は、同じ符号を付すとともに、同じ部分の詳細な説明は省略する。

図１１に示す触覚言語変換装置Ｃは、第１触覚センサ１３ａと、第２触覚センサ１３ｂとを備えている。そして、第１触覚センサ１３ａと第２触覚センサ１３ｂとは、連動可能となっている。

例えば、第１触覚センサ１３ａ又は第２触覚センサ１３ｂを単独で用いて対象物Ｆｅの触覚情報を取得する場合、触覚言語変換装置Ａ、Ｂと同様の触覚情報を取得することができる。また、第１触覚センサ１３ａと第２触覚センサ１３ｂとを同時に且つ連動させて使用する場合、第１触覚センサ１３ａと第２触覚センサ１３ｂで対象物Ｆｅを摘むように使用することが可能である。このように使用することで、対象物の厚み（ペラペラ感）、開閉のしやすさ（パカパカ感）等、１個の触覚センサだけでは、検知が困難な触覚情報を検知可能となる。

また、２個の触覚センサを連結して、大きな触覚センサとして用いることで、広い面積を同時に検知することができるようにしてもよい。また、上述の実施形態では、２個の触覚センサ１３ａ、１３ｂを備えているものとしているが、２個に限定されるものではなく、３個或いはそれ以上の触覚センサを備えていてもよい。

また、２つの検知器１３１を対向させるとともに、２つの検知器１３１を接近又は離間可能なように配置した、触覚センサを用いるようにしてもよい。このように構成することで、２個の検知器１３１を備える触覚センサを片手で操作することが可能であり、利便性が向上する。

このような構成とすることで、１個の触覚センサだけでは取得できない触覚情報を取得することが可能であり、対象物Ｆｅについて多くの情報（触覚情報）を伝達することが可能である。なお、これ以外の特徴については第１実施形態と同じである。また、通信接続部４０を備える構成とすることで、第２実施形態と同じ構成及び特徴を有するようにすることも可能である。また、触覚出力部１６をディスプレイ１１及びタッチセンサ１２と重ねて配置した構成を採用してもよい。

（第４実施形態）
本発明にかかる触覚言語変換装置の他の例について図面を参照して説明する。図１２は本発明にかかる触覚言語変換装置の他の例の記憶部が備えている利用者データベースである。本実施形態の触覚言語変換装置の構成は、記憶部３０に利用者データベース３４を備えている以外、第１実施形態に示す触覚言語変換装置Ａと同じであるため、詳細な説明は省略する。

触覚出力部１６は、使用者の皮膚の一部（多くの場合指の腹）を触覚出力部１６に接触させて、触覚出力部１６から指に刺激（熱、湿度、静電、振動、風等）を供給し、触覚情報を伝達している。これらの刺激については、使用者によって感度が異なる場合が多い。例えば、Ａさんにとって「１０」と感じる刺激を、Ｂさんは「８」としか感じることができなかったり、Ｃさんは「１２」と感じたりする場合がある。

このような触覚情報の伝達を受ける被伝達者によって、同じ刺激であっても感じる触覚情報が異なる。本実施形態の触覚言語変換装置では、記憶部３０に図１２に示すような利用者データベース３４を備えている。そして、利用者データベース３４では、所定の刺激に対してどのような刺激と感じるかの比率を示す呈示比率を有している。そして、触覚言語変換装置では、処理部２０は、利用者の情報を取得するとともに、利用者データベース３４にアクセスし利用者ごとの呈示比率を呼出すとともに、触覚情報（例えば、対応触覚情報）の比率を変更して触覚出力部１６から出力するようにしている。つまり、触覚出力部１６から出力する触覚情報を補正している。

なお、このような触覚出力部１６での触覚情報の補正を行う触覚言語変換装置は、触覚入力の確認を行うときに補正するようにしてもよいし、言語入力に基づく触覚出力を補正するようにしてもよい。

このような操作を行うことで、触覚出力部１６は利用者の感覚のばらつきを補正した触覚情報を伝達することが可能となる。これ以外の特徴は、第１実施形態から第３実施形態と同じである。

利用者データベース３４の作成方法としては、例えば、触覚出力部１６で一定の刺激を出力しその刺激を各利用者に確認してもらい、その刺激が、予め備えた物品（例えば、絹、紙、砂）等のいずれに似ているか判断してもらう。その結果に基づいて、利用者が提示された触覚情報に対してどの程度の感度を有しているか判断するとともに、数値化し、その数値を利用者データベース３４に残しておくようにしてもよい。

また、触覚言語変換装置を利用する利用者の識別方法としては、タッチセンサ１１を利用して、指紋等の個人を判別するようにしてもよい。また、マイク１４で利用者の声を入力し、声紋等から利用者の個人を判別してもよい。さらには、利用者による入力（例えば、名前、パスワード等の入力）に基づいて個人を判別してもよい。

以上、本発明の実施形態について説明したが、本発明はこの内容に限定されるものではない。また本発明の実施形態は、発明の趣旨を逸脱しない限り、種々の改変を加えることが可能である。

Ａ 触覚言語変換装置
１０ 入出力部
１１ ディスプレイ
１２ タッチセンサ
１３ 触覚センサ
１３１ 検知器
１４ マイク
１５ スピーカ
１６ 触覚出力部
１７ カメラ部
１００ 筐体
２０ 処理部
２１ 入力情報抽出部
２２ 情報変換部
２３ 確認部
２４ 編集部
３０ 記憶部
３１ 触覚情報記憶部
３２ 言語情報記憶部
３３ 相互対応情報記憶部
４０ 通信接続部

Claims (16)

1. 触覚入力を言語出力に又は言語入力を触覚出力に変換する触覚言語変換装置であって、
   前記触覚入力又は前記言語入力が入力される入力部と、
   触覚情報、言語情報及び前記触覚情報と前記言語情報との対応を示す相互対応情報を格納する記憶部と、
   前記記憶部にアクセスして前記触覚入力と同じか近似する前記触覚情報を触覚候補として又は前記言語入力と同じか近似する前記言語情報を言語候補として抽出する入力情報抽出部と、
   前記相互対応情報に基づいて前記触覚候補を対応する言語情報に変換して対応言語情報とする又は前記言語候補を対応する触覚情報に変換して対応触覚情報とする情報変換部と、
   前記対応言語情報又は前記対応触覚情報を使用者が確認できるように出力する確認部と、
   前記対応言語情報、前記対応触覚情報及び前記相互対応情報を編集できる編集部と、
   前記確認部で確認された前記対応言語情報に基づいて言語出力を又は前記対応触覚情報に基づいて前記触覚出力を出力する出力部とを備え、
   前記編集部は、前記対応言語情報又は前記対応触覚情報の編集後に前記相互対応情報を更新するとともに必要に応じて対応言語情報を編集した編集言語情報を言語情報として又は対応触覚情報を編集した編集触覚情報を触覚情報として記憶部に記憶させることを特徴とする触覚言語変換装置。
2. 前記触覚候補と前記触覚入力とが同じである場合又は前記言語候補と前記言語入力が同じ場合、前記編集部は、前記触覚候補と前記編集言語情報とが対応するように又は前記言語候補と前記編集触覚情報とが対応するように前記相互対応情報を更新する請求項１に記載の触覚言語変換装置。
3. 前記触覚候補が前記触覚入力と異なる場合又は前記言語候補が前記言語入力と異なる場合、前記編集部は、前記触覚入力を新たな触覚情報として又は前記言語入力を新たな言語情報として前記記憶部に記憶させるとともに、前記触覚入力と前記編集言語情報とを対応するものとする又は前記言語入力と前記編集触覚情報とを対応するものとするように前記相互対応情報を更新する請求項１に記載の触覚言語変換装置。
4. 通信ネットワークに接続する通信接続部を備えており、
   前記言語出力の言語情報又は前記触覚出力の触覚情報を送信情報として前記通信接続部を介して送信及び（又は）受信する請求項１から請求項３のいずれかに記載の触覚言語変換装置。
5. 前記通信ネットワーク上のサーバ上に触覚情報、言語情報及び相互対応情報が格納されており、
   前記サーバ上の前記触覚情報、前記言語情報及び前記相互対応情報にアクセス可能である請求項４に記載の触覚言語変換装置。
6. 前記入力部が、前記言語出力又は前記触覚出力で表現する対象物の画像を撮像する撮像部を備えており、
   前記出力部が前記言語出力又は前記触覚出力とともに前記対象物の画像を表示する請求項１から請求項３のいずれかに記載の触覚言語変換装置。
7. 前記入力部が、前記言語出力又は前記触覚出力で表現する対象物の画像を撮像する撮像部を備えており、
   前記送信情報に前記対象物の撮像情報が含まれる請求項４又は請求項５に記載の触覚言語変換装置。
8. 前記言語情報は、形容詞、擬態語、名詞を含む請求項１から請求項７のいずれかに記載の触覚言語変換装置。
9. 前記言語情報は、対応する前記触覚情報の特徴を強調する強調表現をするための情報を含んでいる請求項８に記載の触覚言語変換装置。
10. 前記入力部が、対象物と接触して前記触覚入力を取得する触覚入力取得部を備えている請求項１から請求項９のいずれかに記載の触覚言語変換装置。
11. 前記触覚情報は、表面形状、温度、湿度のうち少なくとも１つを含む情報である請求項１０に記載の触覚言語変換装置。
12. 前記触覚情報は、圧力分布を含む請求項１１に記載の触覚言語変換装置。
13. 前記触覚入力取得部が取得した情報に基づいて接触部分の形状補正を行う請求項１０から請求項１２のいずれかに記載の触覚言語変換装置。
14. 前記入力部が、前記触覚入力取得部を複数個備えている請求項１０から請求項１３のいずれかに記載の触覚言語変換装置。
15. 前記確認部又は前記出力部の少なくとも一方が静電、振動、流体、風のうち少なくとも一つを利用して触覚出力を行う請求項１から請求項１４のいずれかに記載の触覚言語変換装置。
16. 使用者の特性を検知し、前記使用者の特性に応じて、触覚出力又は言語出力を変動させる請求項１から請求項１５のいずれかに記載の触覚言語変換装置。