【０００１】
【発明の属する技術分野】
本発明は、手首装着型の指動作情報処理装置に関し、具体的には、発生困難な手術後の患者、老人、視、聴覚障害者間および健常者とのコミュニケーションを容易にする意思伝達手段として、また通常会話の出来ない病人、老人、盲聾（もうろう）者、健常者の相互間の意志伝達及び病院、音楽ホール、集会場、車中、警察捜査時等静寂、秘話を要する場合の通信手段として使用する。また、電子メディア（インターネット、放送等）による情報取得、商取引き、及び各種データベースへのアクセスを可能にし、福祉介護の向上を図るとともに、将来は自由で高度な通信教育等をも可能にするシステムへの利用が期待できる。
【０００２】
キーボード等を使用するのではなく腕時計やブレスレットタイプの送受信を目的とする情報処理装置であるので、張込み中歩行中および食事中など非日常、日常生活のあらゆる場面で時、所を構わず使用できる。
【０００３】
【従来の技術】
老人、視、聴覚障害者間および健常者とのコミュニケーションを容易にする触覚、身振り等を用いたシステムの基盤技術開発研究が国内外において盛んにおこなわれている。脳に障害を受けた患者、聴覚障害者などの意思伝達手段としては点字が有効で多く用いられている。盲聾等、障害者の多くは通信手段として指の触覚を利用するコミュニケーション手段である指点字を用いている。
【０００４】
内外における技術動向としては、点字をカタカナに変換するソフトウェアや、特殊なキーボードや指サック式などを使用する点字送受信器等の開発、研究が盛んに行われている。一部装置の実用化も近く、抑揚の情報も取り入れたより完成度の高い意思伝達の研究も行われている。
【０００５】
現在、独特なキーボードと振動ピンを使用する指点字通信装置等が開発市販化されている。しかし、従来考えられていた人間・コンピューターインターフェースは、指先を使うために日常生活における動作に少なからず支障を来たす。すなわち視覚障害者にとって歩行中などいつでも使える意思伝達手段がなく、これまでの方法では携帯性、日常生活性に問題があるといえる。
【０００６】
具体的には、指先の打指によって入力を行う手首装着型入力装置としては、例えば、特許第２６９８３２０号（特開平７−１２１２９４号公報）に開示されている常装着型入力システムがある。この装置では指の付け根にセンサを装着する必要があるという問題点があった。また、この特開平７−１２１２９４号公報には手首に設置した筋電センサ群によって指の弁別を行う旨の記述があるが、センサ群の入力信号の分離手法が明らかにされていないという問題点があった。
【０００７】
また、手首にセンサを設置したものには、例えば、特開平１０−２００６１０号に開示されている常装着型電話装置がある。この装置は、指の弁別ができないという問題点があった。
【０００８】
さらに、手首にセンサを設置したものには、例えば、特開平１１−３３８５９７号に開示されている手首装着型入力装置がある。この装置は、手首に設置した加速度・筋電センサ群によって指の別弁を行う旨の記述があり、センサ群の入力信号の分離手法も明らかにされている。すなわち、センサ群は、手首バンドの内側に適当な配置で設置されており、センサの設置位置と、その周囲の手首の組織の違いによって、各々のセンサには、わずかに異なった信号が到達する。これらの信号（群）から、各指毎の打指信号を分離して指の弁別を行うことが明らかにされている。しかし、装置装着時のずれ等を吸収する為のキャリブレーションの必要性とその手法については詳述されているが、手首に装着する入力装置の位置変動による弁別誤差の自動修正機能については触れられていないという問題点があった。
【０００９】
【発明が解決しようとする課題】
本発明は、上記従来の技術に述べたような各指動作情報処理の問題点を解決したより優れた情報処理装置を提供しようとするもので、特に手首に装着するセンサの位置変動による修正を簡易化するとともに、精度の高い情報処理を可能とするものである。
【００１０】
【課題を解決するための手段】
本発明請求項１の発明は、手首に装着したバンドの内面に設置され、この装着した手の指先の折り曲げ動作又は任意の物体を叩く打指動作に伴う加速度を検出する複数の加速度センサにより、指先動作による電気的信号を得る手段と、上記電気的信号を所定時間内の経過として上記複数の加速度センサそれぞれについて得る手段と、上記複数の加速度センサそれぞれについて得られた電気的信号を処理することによって各種の指動作を２次元パターンとして作成する手段と、上記２次元パターンを予め記憶されている標準の２次元パターンと比較することによって、上記各種の指動作を夫々特定する手段とを備えることを特徴とする。
【００１１】
又、本発明請求項２の発明は、バンドの内面に設置され、この装着した手の指先の折り曲げ動作又は任意の物体を叩く打指動作に伴う筋電位を検出する複数の筋電センサにより、指先動作による電気的信号を得る手段と、上記電気的信号を所定時間内の経過として上記複数の筋電センサそれぞれについて得る手段と、上記複数の筋電センサそれぞれについて得られた電気的信号を処理することによって各種の指動作を２次元パターンとして作成する手段と、上記２次元パターンを予め記憶されている標準の２次元パターンと比較することによって、上記各種の指動作を夫々特定する手段とを備えることを特徴とする。
【００１２】
更に、詳述すると、コミュニケーションを行うには、まず、障害者は表現したい事項に対応した指を折り曲げるなどの動作を行う。動かした指によって手首の皮膚に凹凸が生じ、その動きに対応した加速度や筋電が生じる。それを複数点に装着した加速度計列で検出し、指を動かしたときの分布形状の違いを用いて動かした指すなわち障害者の意思を認識する。
【００１３】
意思表示のために指を動かした場合に生じる微小振動をキャッチする為のセンサーとしては、加速度センサーまたは筋電センサーが有効であることが分かった。これらのセンサーを手首の全周にわたって多数装着（ブレスレット状）して、それらのセンサーからの出力電圧を解析して発信者の意思を解読する。解読には手首の周りに沿う距離を独立変数とし、各センサーからの出力電圧を、辞書関数と比較して認識する方法を採った。
【００１４】
受信素子も送信素子であるセンサーと同様に、圧電素子等のセンサーを手首の周りに多数装着する。そして信号を受けて振動する素子の分布から発信者の意思を解読する。
【００１５】
つぎに、通信手段としては、解読結果を音声に変換して電話線あるいはインターネットを介して送信する。受信側では、健常者は音声をそのまま使用すればよいが、障害者に対しては、音声認識を行った後、対応する圧電素子等の受信センサーを駆動し送信者の意思を解読する。
【００１６】
【実施例】
図１〜図６は、いずれも本発明の一実施例をわかりやすく説明するための図であり、図１には手首に装着したバンドの内面に設置された加速度センサが、ａ、ｂ、ｃ、…、ｌとして示されている。特定の指先の折り曲げ動作又は任意の物体を叩く打指動作に伴って、各センサａ、ｂ、ｃ、…、ｌからはｖａ、ｖｂ、ｖｃ、…、ｖｌの信号電圧が得られる。ｔは時間を示す。
【００１７】
図２では、図１で得られた情報の書換表示であり、横軸にセンサ位置、縦軸に時間ｔをとり、各信号電圧値を図示のとおり波形として表示する。
【００１８】
図３は、各信号波形の正側包絡線で、５次の多項式で表わし、その係数を最小二乗法によって決定した場合のものである。電位負側の包絡線も必要に応じて同様に作成し得る。
【００１９】
図４は、図３を書換えたもので、各センサと信号電圧の関数を２次元パターンとして数値表示したもので、パターンとして可視化したものが図５である。図５は特定の指に対応したパターンであり、このパターンは人により差異があるので、予め使用者自身のパターンを多数入力し、それを標準（比較）パターンとする。又、図５のパターンとともに横にシフトした図６のようなパターンも登録する。
【００２０】
上記は、親指の動作によるものであり、他のゆびについて同様なことを実施すれば、夫々の指の動作に伴う標準の２次元パターンが得られる。種々試みた結果、親指、人差指、中指、薬指、小指の標準パターンはそれぞれ図７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）のようになる。
【００２１】
以上は一本の指だけの動作に対応する標準パターンであるが、二本以上の指を同時に動かしたときのパターンを標準パターンとして採用することもできる。
【００２２】
以上のようにして標準パターンを多数用意し、予め記憶しておくと、発信者による指動作に伴う加速度を検出する加速度センサの出力を適宜処理し、標準パターンと比較することにより、発信者の指動作、即ち、発信者の意思が判別出来る。
【００２３】
センサの位置ずれがあった場合にも、本発明の場合は標準パターンのシフトにより簡単に対応出来ることが判明した。又、昨今はメモリ容量が極めて大なので、標準パターンも多数用意することができ、それだけ精度の高い情報処理が可能である。
【００２４】
又、加速度センサの代わりに筋電センサを用いて、各筋電センサより筋電位の検出により電気的信号を得る場合も、上記と同様な処理をすれば良い。
【００２５】
本発明は、ウエラブルであり、また手首に装着するので腕時計やブレスレットの軽い感覚であり、１０本の指は他の用途に使用できる。したがって本発明によれば、携帯、脱着可能で日常動作を妨げない構造の特徴を生かし、次のような各種の利用分野が期待できる。
【００２６】
コミュニケーション分野としては、ブレスレット式の対話通信システムを利用することで、盲聾者直接相互間及び電子メール、携帯電話およびインターネットを介して「距離・時間・姿勢」の制限を受けない、バリアフリーのコミュニケーションを可能にする。本システムによれば、歩行者の盲人どうしの会話、道案内や展示品説明等の受信も可能になる。
【００２７】
情報収集分野としては、本発明を使用すれば、健常者とのコミュニケーションをはじめ、インターネット、電子メールおよび携帯電話などの電子メディアサービスを、距離・時間をこえて、利用でき、種々の情報を取得することができる。
【００２８】
経済効果としては、本発明は触覚対話通信システムのハードウェア、ソフトウェア全般に関わり、次のようなシステム・機器開発を促し、グローバルな経済効果をもたらすものと期待できる。
１）障害者用の触覚インターフェース（触覚センサー）の製造販売
ブレスレット等、聴覚障害者とコンピュータまたは電話機とのヒューマンインターフェースの開発（関連事項：携帯・脱着可能で日常動作を妨げない構造、装着位置選定、送信用・受信用センサー選定・配列、センサー出力信号認識、受信信号解読ソフト・回路製作）。
２）インターフェースと端末装置を結ぶ無線・通信装置の製造販売
インターフェース（キーボードまたは指サック式等）とコンピュータまたは電話機との間をつなぐ通信装置。
３）近接、遠隔会話を可能にするソフトウエアの製造販売。
コンピュータとコンピュータを結ぶインターネットに使用するソフトウェア（アプレットを利用した不特定多数とのコミュニケーションを可能にする）。
４）本システムによって読書可能な指点字（パーキンス式）電子図書の出版・流通販売インターネットに常駐させる指点字データベースの基盤作成とアクセス法の開発。
５）通信装置の製造販売
インターホン、ＰＨＳ、携帯電話、電子メール、インターネット対応送受信方式・装置の開発。
６）ｗｗｗサービスの開発販売
本装置を利用した電子商取引（電子マネー）方式の構築、電子図書、データベース（教育、教養、娯楽）の作成。
７）各種関連装置の開発・製造・販売
リハビリ指圧検出・補助装置、指点字練習機、携帯型リモート指点字−音声（日本語）翻訳機。
【００２９】
【発明の効果】
本発明は、手首装着型指動作情報処理装置として、従来の装置では解決できなかった手首に装着するセンサの位置変動による修正を、簡便にして、しかも高精度に実行することが出来た。
【図面の簡単な説明】
【図１】本発明の一実施例を説明するためのもので、手首の周りに設置した加速度センサ群（ａ、ｂ、ｃ、…、ｌ）とそれぞれのセンサ群の出力電圧波形を示す図である。
【図２】図１におけるセンサ群の出力電圧波形の書換表示であり、横軸にセンサ位置、縦軸に時間をとり、各出力電圧（波形）を示した図である。
【図３】図２の各信号波形の正側包絡線を示す図である。
【図４】図３を書換表示したもので、各センサと信号電圧の数値を２次元に配列した図である。
【図５】図４を値を用いて画いた２次元パターンを示す図である。
【図６】図５のパターンをセンサの位置ずれに対応するように横にシフトしたパターンを示す図である。
【図７】本発明の標準の２次元パターンの一例で、親指、人差指、中指、薬指、小指を折り曲げたときに対応するものをそれぞれ示している。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a wrist-mounted finger motion information processing apparatus, and specifically, as a communication means for facilitating communication between a patient who has difficulty in performing an operation, an aged person, vision, a hearing impaired person, and a healthy person. Communication between the sick, the elderly, the deaf and the deaf and the healthy person who cannot speak normally, and communication when a quiet or confidential conversation is required, such as in hospitals, music halls, halls, cars, and police investigations. Use as a means. A system that enables information acquisition, business transactions, and access to various databases through electronic media (Internet, broadcasting, etc.) to improve welfare and nursing care, and to enable free and advanced correspondence education in the future. Can be expected to be used.
[0002]
Because it is an information processing device for transmitting and receiving wristwatches and bracelets instead of using a keyboard, it can be used anywhere and anytime in extraordinary and everyday situations such as walking while walking and eating. it can.
[0003]
[Prior art]
Research and development of basic technology for systems using tactile sensations, gestures, etc., which facilitate communication between the elderly, the sight, the hearing impaired, and healthy people, has been actively conducted in Japan and overseas. Braille is effective and widely used as a means of communication for patients with brain disorders, hearing impaired persons, and the like. Many persons with disabilities, such as blind and deaf, use finger braille, which is a communication means using the tactile sensation of a finger, as a communication means.
[0004]
As for technical trends at home and abroad, development and research of software for converting Braille to katakana, a Braille transceiver using a special keyboard, a finger-sack type, and the like are being actively conducted. Some devices are being put into practical use soon, and research is being conducted on more complete communication that incorporates information about intonation.
[0005]
At present, finger-braille communication devices using a unique keyboard and a vibrating pin have been developed and commercialized. However, human-computer interfaces, which have been considered in the past, use the fingertips, which hinders the operation in daily life. In other words, there is no means of communication that can be used at all times for the visually impaired, such as during walking, and the conventional methods have problems in portability and daily life.
[0006]
Specifically, as a wrist-mounted input device that performs input by tapping a fingertip, for example, there is a permanently mounted input system disclosed in Japanese Patent No. 2698320 (Japanese Patent Application Laid-Open No. 7-112294). This device has a problem that a sensor needs to be attached to the base of the finger. Japanese Patent Application Laid-Open No. 7-112294 describes that a finger is discriminated by a group of myoelectric sensors installed on a wrist, but a problem that a method of separating input signals of the group of sensors is not disclosed. was there.
[0007]
Further, as a device in which a sensor is installed on a wrist, there is, for example, a permanently mounted telephone device disclosed in JP-A-10-200610. This device has a problem that a finger cannot be discriminated.
[0008]
Further, as a device having a sensor mounted on the wrist, there is, for example, a wrist-mounted input device disclosed in JP-A-11-338597. In this device, there is a description that a finger is separated by a group of acceleration / myoelectric sensors installed on a wrist, and a method of separating input signals of the group of sensors is also disclosed. That is, the sensor group is installed in an appropriate arrangement inside the wrist band, and slightly different signals reach each sensor depending on the installation position of the sensor and the difference in the tissue of the wrist around it. . From these signals (group), it has been clarified that the finger tapping signal for each finger is separated to perform finger discrimination. However, although the necessity of calibration to absorb deviations and the like when the device is worn is described in detail, the automatic correction function of discrimination error due to position fluctuation of the input device worn on the wrist is mentioned. There was a problem that not.
[0009]
[Problems to be solved by the invention]
The present invention seeks to provide a better information processing apparatus which solves the problems of each finger motion information processing as described in the above-mentioned conventional technology, and in particular, corrects due to position fluctuation of a sensor attached to a wrist. This simplifies and enables highly accurate information processing.
[0010]
[Means for Solving the Problems]
The invention of claim 1 of the present invention is installed on the inner surface of a band attached to the wrist, and a plurality of acceleration sensors that detect acceleration associated with a bending operation of a fingertip of the attached hand or a fingering operation of hitting an arbitrary object, A means for obtaining an electric signal by a fingertip operation, a means for obtaining the electric signal for each of the plurality of acceleration sensors as a lapse of a predetermined time, and a processing for the electric signal obtained for each of the plurality of acceleration sensors. Means for creating various finger movements as a two-dimensional pattern, and means for specifying each of the various finger movements by comparing the two-dimensional pattern with a standard two-dimensional pattern stored in advance. It is characterized by.
[0011]
Further, the invention of claim 2 of the present invention is installed on the inner surface of the band, by using a plurality of myoelectric sensors for detecting the myoelectric potential associated with the bending operation of the fingertip of this mounted hand or the fingering operation of hitting any object, A means for obtaining an electrical signal by a fingertip operation; a means for obtaining the electrical signal for each of the plurality of myoelectric sensors as a lapse of a predetermined time; and processing an electrical signal obtained for each of the plurality of myoelectric sensors. Means for creating various finger movements as a two-dimensional pattern, and means for specifying each of the various finger movements by comparing the two-dimensional pattern with a standard two-dimensional pattern stored in advance. It is characterized by having.
[0012]
More specifically, to perform communication, first, the disabled person performs an operation such as bending a finger corresponding to an item to be expressed. The moved finger causes irregularities on the skin of the wrist, and acceleration and myoelectricity corresponding to the movement are generated. This is detected by a row of accelerometers attached to a plurality of points, and the intention of the moved finger, that is, the disabled person, is recognized using the difference in the distribution shape when the finger is moved.
[0013]
It was found that an acceleration sensor or a myoelectric sensor was effective as a sensor for catching minute vibrations generated when a finger was moved to indicate intention. A large number of these sensors are worn around the entire wrist (bracelet shape), and the output voltage from those sensors is analyzed to interpret the sender's intention. For the decoding, the distance along the wrist was used as an independent variable, and the output voltage from each sensor was compared with a dictionary function to recognize it.
[0014]
As with the sensor as the transmitting element, a large number of sensors such as piezoelectric elements are mounted around the wrist of the receiving element. Then, the intention of the sender is decoded from the distribution of the elements that vibrate in response to the signal.
[0015]
Next, as a communication means, the decoding result is converted into voice and transmitted via a telephone line or the Internet. On the receiving side, a healthy person may use the voice as it is, but for a disabled person, after performing voice recognition, drives a corresponding receiving sensor such as a piezoelectric element to decode the intention of the sender.
[0016]
【Example】
1 to 6 are diagrams for explaining one embodiment of the present invention in an easy-to-understand manner. FIG. 1 shows acceleration sensors a, b, and c installed on the inner surface of a band attached to a wrist. ,..., L. With the bending operation of a specific fingertip or the tapping operation of hitting an arbitrary object, signal voltages of v a , v b , v c ,..., V 1 are obtained from the sensors a, b, c ,. Can be t indicates time.
[0017]
FIG. 2 shows a rewrite display of the information obtained in FIG. 1, where the horizontal axis represents the sensor position and the vertical axis represents time t, and each signal voltage value is displayed as a waveform as shown.
[0018]
FIG. 3 shows a positive-side envelope of each signal waveform, which is represented by a fifth-order polynomial and whose coefficients are determined by the least squares method. The envelope on the negative potential side can be similarly created as needed.
[0019]
FIG. 4 is a rewritten version of FIG. 3, in which the function of each sensor and the signal voltage is numerically displayed as a two-dimensional pattern, and FIG. 5 is a visualized pattern. FIG. 5 shows a pattern corresponding to a specific finger. Since this pattern is different for each person, a large number of user's own patterns are input in advance and used as standard (comparison) patterns. Further, a pattern as shown in FIG. 6 shifted laterally together with the pattern of FIG. 5 is also registered.
[0020]
The above is based on the movement of the thumb, and if the same is performed for other movements, a standard two-dimensional pattern associated with the movement of each finger is obtained. As a result of various attempts, the standard patterns of the thumb, index finger, middle finger, ring finger, and little finger are as shown in FIGS. 7A, 7B, 7C, 7D, and 7E, respectively.
[0021]
The above is the standard pattern corresponding to the movement of only one finger, but a pattern obtained by simultaneously moving two or more fingers can be adopted as the standard pattern.
[0022]
If a large number of standard patterns are prepared and stored in advance as described above, the output of the acceleration sensor that detects the acceleration associated with the finger motion of the sender is appropriately processed and compared with the standard pattern. The finger movement, that is, the intention of the sender can be determined.
[0023]
It has been found that the present invention can easily cope with the case where the sensor is misaligned by shifting the standard pattern. In recent years, since the memory capacity is extremely large, a large number of standard patterns can be prepared, and accordingly, highly accurate information processing is possible.
[0024]
Also, when an electrical signal is obtained by detecting a myoelectric potential from each myoelectric sensor using an myoelectric sensor instead of the acceleration sensor, the same processing as described above may be performed.
[0025]
The present invention is wearable, and because it is worn on the wrist, it has the light feel of a wristwatch or bracelet, and ten fingers can be used for other purposes. Therefore, according to the present invention, the following various fields of use can be expected by utilizing the features of the structure that is portable, detachable and does not hinder daily operations.
[0026]
In the field of communication, the use of a bracelet-type dialogue communication system enables barrier-free communication between the blind and the deaf directly and via e-mail, mobile phones and the Internet without being restricted by "distance, time or posture". Enable. According to this system, it is also possible to receive conversations between blind people of pedestrians, directions, and explanations of exhibits.
[0027]
In the field of information collection, if the present invention is used, communication with healthy persons, electronic media services such as the Internet, e-mail and mobile phones can be used over a distance and time, and various types of information can be obtained. can do.
[0028]
As for the economic effect, the present invention relates to the hardware and software of the haptic interactive communication system in general, and is expected to promote the development of the following systems / devices and bring about a global economic effect.
1) Manufacture and sale of tactile interfaces (tactile sensors) for the handicapped Develop human interfaces between the hearing impaired and a computer or telephone, such as bracelets (Related items: Structure and mounting position that can be carried / removed and does not hinder daily operation) , Sensor selection / arrangement for transmission / reception, sensor output signal recognition, reception signal decoding software / circuit production).
2) Manufacture and sale of a wireless / communication device that connects the interface and the terminal device. A communication device that connects an interface (such as a keyboard or a finger-sack type) with a computer or a telephone.
3) Manufacture and sale of software that enables close and remote conversations.
Software used for the Internet that connects computers (to enable communication with unspecified majority using applets).
4) Publication and distribution of finger Braille (Perkins type) electronic books that can be read by this system. Creation of a base for finger braille databases resident on the Internet and development of access methods.
5) Manufacture and sale of communication devices Development of intercom, PHS, mobile phone, e-mail, Internet compatible transmission / reception systems and devices.
6) Development and sale of www service Construction of electronic commerce (electronic money) system using this device, creation of electronic books and databases (education, education, entertainment).
7) Development, manufacture, and sale of various related devices Rehabilitation Shiatsu detection / assistance device, finger braille training machine, portable remote finger braille-speech (Japanese) translator.
[0029]
【The invention's effect】
According to the present invention, as a wrist-worn finger motion information processing apparatus, it is possible to simply and accurately correct a position change of a sensor mounted on a wrist, which cannot be solved by a conventional apparatus.
[Brief description of the drawings]
FIG. 1 is a view for explaining an embodiment of the present invention, showing acceleration sensor groups (a, b, c,..., L) installed around a wrist and output voltage waveforms of the respective sensor groups. It is.
FIG. 2 is a rewritten display of an output voltage waveform of a sensor group in FIG. 1, in which a horizontal axis indicates a sensor position and a vertical axis indicates time, and each output voltage (waveform) is shown.
FIG. 3 is a diagram showing a positive-side envelope of each signal waveform of FIG. 2;
FIG. 4 is a rewritten display of FIG. 3, in which values of respective sensors and signal voltages are two-dimensionally arranged.
FIG. 5 is a diagram showing a two-dimensional pattern obtained by drawing FIG. 4 using values.
FIG. 6 is a diagram showing a pattern obtained by shifting the pattern of FIG. 5 horizontally so as to correspond to a displacement of a sensor.
FIG. 7 shows an example of a standard two-dimensional pattern of the present invention, which corresponds to the case where the thumb, index finger, middle finger, ring finger, and little finger are bent.
