JP2005173419A

JP2005173419A - 手話解釈装置

Info

Publication number: JP2005173419A
Application number: JP2003415882A
Authority: JP
Inventors: Takashi Amada; 高志雨田; Shiro Kitamura; 史朗北村
Original assignee: Creo Co Ltd
Current assignee: Creo Co Ltd
Priority date: 2003-12-15
Filing date: 2003-12-15
Publication date: 2005-06-30

Abstract

【課題】
従来聴覚障害者との意思伝達においては手話によるものが一般的であり、手話を知らない人でも手話による意思疎通を可能にするために、センサ及び受信部によって手全体の動き及び形態を判別し、手話内容を自動認識するという技術が開示されている。しかし上記技術では、センサと受信装置が別々に必要であり、例えば外出先で出会った人とコミュニケーションを取るなどの場合不便である、という課題がある。
【解決手段】
上記課題を解決するために、本発明は、加速度センサによって動作情報を取得する動作情報取得部と、意味情報蓄積部と、意味情報取得部と、を有する手話解釈装置を提供する。または、圧電素子によって複数の関節動作情報の組を取得する動作情報取得部と、意味情報蓄積部と、意味情報取得部と、有する解釈装置を提供する。
【選択図】図２

Description

本発明は、手腕の動きによる手話の意味を解釈するための技術に関する。

現在、耳の聞こえない人に対する意思伝達手段としては、口頭の発語による意思伝達の代わりに手腕の動きやその組み合わせで意思内容を表現する手話による意思伝達が広く行われている。また、耳の聞こえない人が自分の意思を表現する場合にも、口頭の発語ではなく手話による意思伝達が行われることが多い。なぜならばこのような人々は耳で言語を聞いた体験が無いため口頭では上手く発音できなかったり、または手話により慣れ親しんでいるため手話の方が自分の意思を上手に表現できたりするからである。

しかし、通常口頭で意思伝達を行っている人は手話に慣れ親しんでおらず、手話についての知識が無いためその意味を理解することができない、ということもよくある。このような場合、耳の聞こえない人とのコミュニケーションは筆談によって行うなど時間や手間がかかってしまう。

そこで特許文献１では、センサにより手の位置、動き、及び形を検出し手全体の動き及び形態を判別し、手話内容を自動認識するという技術が開示されている。これによって手話を知らない人に対しても手話によるコミュニケーションを行うことができる。

特開平５−２４１４９６号公報

しかし上記技術では、手に取り付けられたセンサ装置、ならびにディスプレイ画面近傍に設けられる受信装置により、「指を折り曲げる」、「手を開く」等、人の手の動きと形を感知して、コンピュータ本体へ入力する。つまり、センサと受信装置が別々に必要であり、例えば外出先で出会った人とコミュニケーションを取るなどの場合不便である、という課題がある。

上記課題を解決するために、本発明は、動作情報を取得するための複数の動作情報取得部と、動作情報と関連付けた意味情報を蓄積する意味情報蓄積部と、前記動作情報取得部で取得した動作情報に基づいて、前記意味情報蓄積部から意味情報を取得する意味情報取得部と、を有し、前記動作情報取得部は、手腕加速度センサ手段を有し、手腕加速度センサは、人間の手腕に配置されるように構成されている手話解釈装置を提供する。

または、本発明は、複数の関節動作情報の組を取得するための動作情報取得部と、前記関節動作情報の組と関連付けて意味情報を蓄積する意味情報蓄積部と、前記動作情報取得部で取得した関節動作情報の組に基づいて、前記意味情報蓄積部から意味情報を取得する意味情報取得部と、有し、前記関節折曲情報は、圧電素子に加えられる応力により発生する起電力に基づいて取得される情報である手話解釈装置を提供する。

以上のように、人間の手腕に配置される加速度センサ又は圧電素子と、メモリなどの意味情報の蓄積装置と、加速度センサや圧電素子による動作情報から手話の意味情報を取得する処理装置と、といった構成をとる本発明によって、従来のものに比べ簡便な手話解釈装置を実現することができる。したがって、外出時などにも手軽に携行することができ、手話を知らない人とも簡単にコミュニケーションを取ることができるようになる。

もちろん本発明によって、上記の様に耳の聞こえない人と聞こえる人の間のコミュニケーションだけでなく、耳の聞こえない人同士、あるいは聞こえる人同士であっても、一方が手話を知らない場合の手話によるコミュニケーションを簡便に行うことが可能となる。

以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。

なお、実施例1は主に請求項１，２，３について説明する。

また、実施例２は主に請求項４について説明する。

また、実施例３は主に請求項５，６，７について説明する。

また、実施例４は主に請求項８について説明する。

≪実施例１≫

（実施例１の概念）

図１に示すのは、本実施例の手話解釈装置の概念の一例を説明するための図である。この図にあるように、耳の聞こえないAさんが加速度センサ（図中横線部）を指や腕などの装着している。そして自分の意思をＢさんに伝達しようと思ったとき、このAさんは、まず右手を握りしめ、その腕を目の高さからあごの位置まで下げる（１）。続いてAさんは、両手の人差し指を立て、その人差し指の第二関節を曲げる（２）。すると、本実施例の手話解釈装置が加速度センサの取得した上記動きを元に手話の意味内容を取得する。そして、例えば、ディスプレイなど携帯端末の表示部に「おはようございます」といった具合に取得したその意味内容を表示させ、手話の分からないBさんにＡさんの手話の意味内容を伝達することができる。

（実施例１の構成）

図２に示すのは、本実施例の手話解釈装置の機能ブロックの一例を表す図である。この図にあるように、本実施例の「手話解釈装置」（０２００）は、「動作情報取得部」（０２０１）と、「手腕加速度センサ手段」（０２０２）と、「意味情報蓄積部」（０２０３）と、「意味情報取得部」（０２０４）と、を有している。

「動作情報取得部」（０２０１）は、動作情報を取得するための機能を有し複数配置されている。「動作情報」とは、加速度情報と手腕を識別するための識別情報とを関連付けた情報をいう。

そして、この加速度情報は動作情報取得部が有する「手腕加速度センサ手段」によって取得される。

「手腕加速度センサ手段」（０２０２）は、人間の手腕に配置されるように構成されている。この手腕加速度センサは、手腕の各部の動きを加速度情報として検出する機能を有しており、したがって、例えば各指の各関節や、手首や腕の関節、手のひらなど手話を行う手腕の各部位に配置される。またこの配置は、例えば、リストバンドなどに内蔵され手首や指の各部位に装着されたり、吸着テープなどによって直接手腕に配置されたりするなどの方法が挙げられる。

「加速度センサ」とは、物体の加速度を検出するセンサであり、例えば重力や慣性力を検出したり（ＤＣ加速度）、また検出された情報が交流分のみであれば(ＡＣ加速度）、加速度情報を検出したりすることができる。

また、この加速度センサで検出された加速度情報は、時間で積分することで「速度情報」に、さらにその速度情報を積分することで「位置（変位）情報」に変換することができる。つまり、手腕の各部位の加速度情報を検出することによって各部位の位置や動きを特定することが可能である。したがって手話による意味内容を特定するための手腕の動きを、この手腕加速度センサ手段によって検出することができる。

なお、離散的な数値情報である加速度センサで検出された加速度の数値を積分するためには、例えばラグランジュ補間やスプライン補間などの補間公式やニュートン・コーツ公式を利用した数値積分を行うことが挙げられる。

図３に示すのは、この手腕加速度センサ手段について説明するための図である。この図にあるように、識別情報であるａ，ｂ，ｃ，ｄ，ｅ，ｆ，・・・で識別される加速度センサが手腕に装着されている。もちろん、右図にあるように折り曲げた指の先にもｇ，ｈ・・・などの各加速度センサが配置されている（このように、関節によって区分される手腕の各可動部に加速度センサが装着されていることが好ましい）。この識別情報によって手腕の各部位が識別される。そして、上記概念で記載したように腕を目の高さからあごの位置まで下げた場合、この加速度センサａ〜ｈでそれぞれ等しく５０ｇの加速度が検出される。そしてその加速度の数値を時間ごとに取得し上記数値積分で積分し位置（変位）情報を取得することもできる。このようにして取得した加速度情報や位置（変位）情報は、それぞれの手腕の各部位の動きに対応しているので、それから手話を構成する手腕の各部位の動きを知ることができる。

つまり、手腕加速度センサ手段で検出された加速度情報が、手腕の各部位を識別する識別情報と関連付けられた動作情報として動作情報取得部に取得されることになる。

「意味情報蓄積部」（０２０３）とは、動作情報と関連付けた意味情報を蓄積する機能を有し、例えば、メモリやハードディスクドライブ磁気又は光学記憶媒体などの記憶装置によって実現される。「意味情報」とは、手話の意味を示すための情報であり、例えばテキストデータであっても良いし、音声データなどであっても良い。もちろん予め蓄積されている意味を示すテキストデータや音声データなどを識別するための意味識別情報であっても良い。

図４に示すのは、意味情報蓄積部に蓄積されている意味情報の概要の一例を表す図である。上記説明したように加速度情報と識別情報で示される動作情報によって手話を構成する手腕の各部位の動きが分かるので、動作情報と手話の意味情報は関連付けることが可能である。そこで例えば、手腕の各部位の加速度情報が等しく５０ｇであればこの腕を下に下げたものとして、その手話の意味は「おはよう」と関連付けることができる。したがって、この図に示すように、動作情報が「ａ＝５０，ｂ＝５０，・・・」であれば「おはよう」を示すテキストデータや音声データなどと関連付けられて意味情報蓄積部に蓄積されている。同様に、動作情報が「ａ＝０，・・・，ｄ＝２０，・・・」であれば「ございます」を示すテキストデータなどと関連付けられて、動作情報が「ａ＝２０，ｂ＝２０，ｃ＝１００，・・・」であれば「こんにちは」を示すテキストデータなどと関連付けられて意味情報蓄積部に蓄積されている。

このように意味情報蓄積部で意味情報が動作情報と関連付けられて蓄積されていることによって、下記の意味情報取得部（０２０４）で、動作情報に基づいて意味情報を取得することが可能になる。

「意味情報取得部」（０２０４）は、動作情報取得部（０２０１）で取得した動作情報に基づいて、意味情報蓄積部（０２０３）から意味情報を取得する機能を有する。これは、例えば、演算回路を有する処理装置によって実現される。上記のように手腕加速度センサ手段で取得された加速度情報が識別情報と関連付けられた動作情報としてこの処理装置に有線で送信、又はブルートゥースや赤外線などを利用して無線で送信されてくる。処理装置はメモリなどで構成された意味情報蓄積部を参照し、受信した動作情報と関連付けられたテキストデータや音声データなどの意味情報を取得する。

そして取得したその意味情報を、コミュニケーションの相手側の端末ディスプレイなどの表示部（図示省略）やヘッドフォンやスピーカーなどの音声出力部に送信し、表示、出力することで相手に手話の意味を伝えることができる。

なお、上記説明では「手話」を手腕の動きによって単語などを表現するものとして説明したが、文字単位で表現する「指文字」であっても良い。その場合、意味情報蓄積部に蓄積されている意味情報は、指の動きに対応した文字情報である。

また、手話には単語と手腕の動きを対応させた日本語対応手話の他に、日本語とは異なる文法体型を有する日本手話なども利用されている。そのため例えばこの日本手話に対応するために日本手話の文法体型を口頭発話の日本語文法に変換する機構や、係り受けを判断する機構などを備えていても良い。

（実施例１の処理の流れ）

図５に示すのは、本実施例の処理の流れの一例を表すフローチャートである。なお、以下に示す処理の流れは、方法、計算機に実行させるためのプログラム、またはそのプログラムが記録された読み取り可能な記録媒体として実施されうる（本明細書を通じて同様である）。

この図にあるように、まず、人間の手腕に配置された手腕加速度センサから動作情報を取得する（ステップＳ０５０１）。前記ステップＳ０５０１で取得した動作情報に基づいて、予め動作情報と関連付けて蓄積されている意味情報を取得する（ステップＳ０５０２）。

（実施例１の効果の簡単な説明）

以上のように、自身が軽量で、また加速度の検出機構も小型化が可能な加速度センサを利用することで外出先にも携行でき、相手と簡単にコミュニケーションを取ることが可能になる。

（実施例１のその他の形態）

図６に示すのは、本実施例の手話解釈装置のその他の実施形態を表す図である。この図にあるように、その他の実施形態の手話解釈装置では、その手腕加速度センサ手段が手袋に設けられている。このように、手腕加速度センサ手段が手袋に設けられていることで、より手軽に本実施例の手話解釈装置を利用することができる。何故ならば、手話の意味を正確に汲み取るために、動作情報は手腕各部位を正確に識別して取得する必要がある。そのために手腕加速度センサ手段が各々ばらばらに手腕に配置する必要がある場合、その配置位置も正確に決定する必要がある。しかし、この実施形態のように手腕加速度センサ手段が手袋に設けられていれば、このようなことを気にせずに気軽に手袋を手腕に装着して手話解釈装置を利用することができる。

（実施例１のその他の形態２）

また、本実施例の手話解釈装置のその他の実施形態として、手腕加速度センサ手段を下着に設けていても良い。このように下着に設けることで、上記手袋と同様の理由で気軽に手話解釈装置を利用することができる。また、下着のように肌に密着するものに手腕加速度センサ手段を設けることによって、手腕の動きの情報がノイズを少なくして取得することが可能になる。

≪実施例２≫

（実施例２の概念）

本実施例の手話解釈装置は、実施例１と同様に手腕加速度センサ手段によって取得された加速度情報を利用して手話の意味情報を取得する。そして特徴点として、その加速度センサがＣＣＤであり、そのＣＣＤによって撮影された映像情報に基づいて加速度情報を取得する点である。

（実施例２の構成）

実施例２は実施例１を基本として、その手腕加速度センサ手段がＣＣＤにより構成されていることを特徴としている。

「ＣＣＤ」とは、レンズから入った光の電荷をバケツリレー式に転送し電気信号に変換する機能を有する撮像素子をいう。このＣＣＤによってレンズに入る外部の映像を電気的な映像情報として取得することができる。

図７に示すのは、このＣＣＤによって取得される映像情報の一例を表す図である。この図にあるように、手腕加速度センサ手段として手腕にある部位に配置されているＣＣＤによって外の映像が映像情報として取得されている（１）。ここで、手話を行い腕を上げると、外の映像は（２）で示すように変化して取得される。このとき、映像情報の変化から加速度情報を取得する。このとき例えば、手話では腕はコミュニケーション相手に向けられているので、映像情報の中の顔の部分の位置変化から加速度情報を算出しても良い。なお、このＣＣＤはＣＭＯＳイメージャなどその他の撮像素子で構成されていても同様の効果が得られる。

このようにして取得した加速度情報を利用して実施例１で説明したように手話を解釈し、その意味情報やテキストや音声として表示、出力する。

≪実施例３≫

（実施例３の概念）

本実施例の手話解釈装置は、実施例１の手話解釈装置と同様に手腕の動きを検出し手話の意味情報を取得する。異なる点は、手腕の動きの検出を、加速度センサではなく圧電素子による関節の折り曲げに関する情報に基づいて行う点である。

（実施例３の構成）

図８に示すのは、本実施例の手話解釈装置の機能ブロックの一例を表す図である。この図にあるように、本実施例の「手話解釈装置」（０８００）は、「動作情報取得部」（０８０１）と、「圧電素子」（０８０２）と、「意味情報蓄積部」（０８０３）と、「意味情報取得部」（０８０４）と、を有している。なお、「意味情報蓄積部」（０８０３）と、「意味情報取得部」（０８０４）については、実施例１で説明したものと同様であるとして、その説明は省略する。

「動作情報取得部」（０８０１）は、複数の関節動作情報の組を取得するための機能を有している。「関節動作情報」とは、人間の手腕の関節の折り曲げを示す情報である関節折曲情報と、各関節と対応付けられた情報である関節識別情報と、を関連付けた情報をいう。

そして、本実施例の手話解釈装置では、この関節折曲情報は圧電素子を利用して取得されることを特徴としている。

「圧電素子」（０８０２）は、加えられる応力により発生する起電力に基づいて関節折曲情報を取得する機能を有する。この関節折曲情報の取得は、例えば以下のようにして行われる。手話を行う人の人差し指の各関節にこの圧電素子が配置されている。このとき、指を拡大して示した図にあるように、人差し指の第一関節で指が曲げられている。すると、圧電素子が歪曲することで応力が加わり、起電力が発生する。そして第二関節及び第三関節の圧電素子には屈曲による応力が加わっていないので起電力が発生していない。また、その他の指では全ての関節の圧電素子で起電力が発生している。このようにして、手腕のどの位置で起電力が発生しているかの情報によって、この手話を行っている人の手腕の状態が分かる。上記の場合は、人差し指だけ鉤型で立った状態である。

このようにして手腕の各部位に配置された圧電素子を利用して、関節識別情報と関連付けた関節折曲情報である関節動作情報を取得することができる。そして、上記説明したようにこの関節動作情報によって手腕の状態は特定できるので、実施例１と同様にして関節動作情報の組と意味情報とを関連付けて蓄積されており、したがって、取得した関節動作情報に基づいて対応した意味情報を意味情報取得部から取得することができる。そして取得した意味情報に基づいてディスプレイやスピーカーなどの表示出力部からテキストデータや音声データを表示、出力する。

（実施例３の処理の流れ）

図９に示すのは、本実施例の処理の流れの一例を表すフローチャートである。この図にあるように、まず、圧電素子に加えられる起電力に基づいて関節動作情報を取得する（ステップＳ０９０１）。前記ステップＳ０９０１で取得した関節動作情報に基づいて、予め関節動作情報と関連付けて蓄積されている意味情報を取得する（ステップＳ０９０２）。

（実施例３の効果の簡単な説明）

以上のように、本実施例でも自身が軽量で小型な圧電素子を利用することで外出先にも携行でき、相手と簡単にコミュニケーションを取ることが可能な手話解釈装置を提供することが可能になる。

（実施例３のその他の形態）

本実施例の手話解釈装置も、実施例のその他の実施形態と同様に、その圧電素子が手袋に設けられている形態があっても良い。本実施例でも圧電素子が手袋に設けられていることで、その圧電素子の配置位置を気にせずに、より手軽に本実施例の手話解釈装置を利用することができる。

（実施例３のその他の形態２）

また、本実施例の手話解釈装置のその他の実施形態として、圧電素子が下着に設けていても良い。このように下着に設けることで、実施例１のその他の形態２と同様に関節の動きの情報がノイズを少なくして取得することが可能になる。

≪実施例４≫

（実施例４の概念）

本実施例の手話解釈装置は、実施例１と同様に圧電素子によって取得された関節折曲情報を利用して手話の意味情報を取得する。そして特徴点として、その圧電素子が繊維状で衣服に縫いこまれており、その衣服の屈曲によって関節折曲情報を取得する点である。

（実施例４の構成）

実施例４は実施例３を基本として、その圧電素子が繊維状の形態をしており、衣服に縫いこまれていることを特徴としている。圧電素子はその構造が簡単であり繊維状にして衣服に織り込むことも容易である。また、圧電素子が織り込まれる箇所は衣服の関節部位だけでも良い。そして、このようにして取得した関節折曲情報を利用して実施例３で説明したように手話を解釈し、その意味情報やテキストや音声として表示、出力する。

もちろん、衣服全体がこの繊維状の圧電素子によって編みあげられ製作されたものであっても良い。

実施例１の手話解釈装置の概念の一例を説明するための図実施例１の手話解釈装置の機能ブロックの一例を表す図実施例１の手話解釈装置の手腕加速度センサ手段を説明するための図実施例１の手話解釈装置の意味情報蓄積部に蓄積されている意味情報の概要の一例を表す図実施例１の手話解釈装置の処理の流れの一例を表すフローチャート実施例１の手話解釈装置のその他の実施形態を表す図実施例２の手話解釈装置のＣＣＤによって取得される映像情報の一例を表す図実施例３の手話解釈装置の機能ブロックの一例を表す図実施例３の手話解釈装置の処理の流れの一例を表すフローチャート

符号の説明

０２００手話解釈装置
０２０１動作情報取得部
０２０２手腕加速度センサ手段
０２０３意味情報蓄積部
０２０４意味情報取得部

Claims

人間の手腕の動きを示す情報である加速度情報と、手腕を識別する情報である識別情報と、を関連付けた情報である動作情報を取得するための複数の動作情報取得部と、
動作情報と関連付けた意味情報を蓄積する意味情報蓄積部と、
前記動作情報取得部で取得した動作情報に基づいて、前記意味情報蓄積部から意味情報を取得する意味情報取得部と、
を有し、
前記動作情報取得部は、手腕加速度センサ手段を有し、手腕加速度センサは、人間の手腕に配置されるように構成されている手話解釈装置。
前記手腕加速度センサ手段は、手袋に設けられている請求項１に記載の手話解釈装置。
前記手腕加速度センサ手段は、下着に設けられている請求項１に記載の手話解釈装置。
前記手腕加速度センサ手段は、ＣＣＤにより構成されている請求項１から３のいずれか一に記載の手話解釈装置。
人間の手腕の関節の折り曲げを示す情報である関節折曲情報と、各関節と対応付けられた情報である関節識別情報と、を関連付けた情報である複数の関節動作情報の組を取得するための動作情報取得部と、
前記関節動作情報の組と関連付けて意味情報を蓄積する意味情報蓄積部と、
前記動作情報取得部で取得した関節動作情報の組に基づいて、前記意味情報蓄積部から意味情報を取得する意味情報取得部と、
を有し、
前記関節折曲情報は、圧電素子に加えられる応力により発生する起電力に基づいて取得される情報である手話解釈装置。
前記圧電素子は、手袋に設けられている請求項５に記載の手話解釈装置。
前記圧電素子は、下着に設けられている請求項５に記載の手話解釈装置。
前記圧電素子は、繊維状の形態をしており、衣服に縫いこまれていることを特徴とする請求項５から７のいずれか一に記載の手話解釈装置。