JP2011159004A - 意思伝達装置 - Google Patents

Abstract

【課題】 体がほとんど動かせなくなり、通常の方法ではその意思を伝えることが極めて困難な、最重度の肢体不自由者が、意思を伝えることができる装置を提供する。
【解決手段】 本発明は、最重度の肢体不自由者向けの意思伝達装置に関するものであり、そうした人たちでもまばたきだけは可能なことが多いので、この装置では、メガネに取り付けたビデオカメラを用いて、利用者である重度肢体不自由者の目の周辺の画像をパソコンに取り込み、画像を処理してまばたきを検出、検出したまばたきで文字を選択することにより、重度肢体不自由者が意思を他の人に伝えることができるようにする。
【選択図】 図１

Description

本発明は重度肢体不自由者向けの意思伝達装置に関するものである。

体がほとんど動かなくなり、しゃべることあるいは顔や手を動かすことができなくなった、最重度の肢体不自由者は、意思を他者に伝えたいという切実な要求があっても、その意思伝達はきわめて困難であった。こうした重度肢体不自由者向けの意思伝達装置として、従来から視線入力方式を用いた装置が知られている。視線入力方式では、ビデオカメラを用いて重度肢体不自由者の顔画像を取得し、画像処理により非接触的に患者の視線方向検出を行い、表示画面上の意図する項目を選択することにより、意思を伝達する（例えば、特許文献１）。

特開２００５−１００３６６号公報。

上述のような従来からある重度肢体不自由者向けの視線入力方式を用いた意思伝達装置は操作がわかりやすく、入力効率も高いとされている。しかし、眼球のわずかな動きから視線を決定しているため、高精度のビデオカメラや専用の処理装置が必要で、価格が高額になり、経済的な理由で普及が困難であった。また、その動作原理から、眼球運動にまで障害が及ぶと使用が難しいという問題もあった。
本発明では、操作しやすくて入力効率が高く、しかも安価で、眼球運動にまで障害が及んでも使用可能な意思伝達装置の提供して、上述の問題を解決することを目的とする。

上記目的を達成するために、本発明の請求項１に記載の発明による意思伝達装置は、表示機器に映像を表示する映像表示手段と、該表示機器の映像と向かい合う利用者のまばたきを検出するまばたき検出手段とを備え、前記まばたき検出手段で検出されたまばたきによって、前記利用者が選択を希望する前記表示機器に表示された選択肢を判断する選択肢判断手段を備えた意思伝達装置において、前記まばたき検出手段として、メガネに取り付けた超小型ビデオカメラを用いて、前記利用者の目の周辺の画像を取り込んで入力画像とした後、その入力画像を画像処理してまばたきを検出することを特徴とする。

請求項２に記載の発明による意思伝達装置は、請求項１記載の意思伝達装置において、前記超小型ビデオカメラはメガネの横に取り付けたことを特徴とする。

請求項３に記載の発明による意思伝達装置は、請求項１または２のいずれかに記載の意思伝達装置において、前記画像処理において、背景画像を予め取り込んでおき、その後、入力画像から背景差分法を用いて得られた差分画像を用いてまばたきを検出することを特徴とする。

請求項４に記載の発明による意思伝達装置は、請求項１または２のいずれかに記載の意思伝達装置において、前記画像処理において、背景画像を予め取り込んでおき、その後、入力画像から背景差分法を用いて得られた差分画像に対し、１フレーム前の差分画像との間でもう一度差分を計算して得られた画像を用いてまばたきを検出することを特徴とする。

請求項５に記載の発明による意思伝達装置は、請求項３または４のいずれかに記載の意思伝達装置において、前記背景画像として目を閉じた状態の画像を用いることを特徴とする。

請求項６に記載の発明による意思伝達装置は、請求項３または４のいずれかに記載の意思伝達装置において、前記背景画像として目を開けた状態の画像を用いることを特徴とする。

請求項７に記載の発明による意思伝達装置は、請求項３または４のいずれかに記載の意思伝達装置において、前記背景画像として目を開けた状態の画像または目を閉じた状態の画像のいずれの画像も用いることができることを特徴とする。

請求項８に記載の発明による意思伝達装置は、請求項１乃至７のいずれか一項に記載の意思伝達装置において、前記超小型ビデオカメラを取り付けたメガネに照明装置を取り付けたことを特徴とする。

本発明の請求項１に記載の意思伝達装置によれば、映像表示手段により表示機器の映像を表示し、該表示機器の映像と向かい合う利用者のまばたきを検出して、前記利用者が選択を希望する前記表示機器上の選択肢を判断する選択肢判断手段を備えた意思伝達装置において、前記まばたき検出手段として、メガネに取り付けた超小型ビデオカメラを用いて、目の周辺の画像を取り込んで入力画像とした後、その入力画像を画像処理してまばたきを検出している。従来の方法では、まず１乃至２メートルほど離れた場所から利用者を撮影し、撮影した画像から顔や目を検出してから、まばたきを検出するための処理を始めていた．本発明では、最初から目の周辺の画像を取り込んでいるため、顔や目を検出する処理が不要であり、また、画像サイズも小さくてよい。そのため、前記画像処理を簡素化できるので、安価な普及型パソコンを用いた場合でも実時間でまばたきを検出でき、また、画像サイズも小さくてよいので安価なビデオカメラを使用できるため、該意思伝達装置のコストを低減できる。また、まばたきを用いて文字を入力しているので、眼球運動にまで障害が及んだ重度肢体不自由者は従来の視線入力方式の意思伝達装置は使用することができないが、まばたきが可能なら本発明の意思伝達装置は使用することができる。

請求項２に記載の意思伝達装置によれば、まばたきを検出するための目の周辺の画像として、顔の横方向から目の周辺の画像を撮影するために、メガネの横に取り付けたビデオカメラを用いるので、映像表示手段により表示機器の映像を表示し、該表示機器の映像と向かい合う利用者のまばたきを検出するとき、前記利用者の視界から外れた位置にビデオカメラがあるため、前記利用者が該表示機器の映像を見やすくなるので、使いやすい装置にすることができる。また、メガネのフレームが映っていると、まばたきの判定精度を劣化させるためメガネのフレームの影響を除去する処理が必要となるが、メガネの横にビデオカメラを取り付けると、メガネのフレームが映らない位置にビデオカメラを設置できるため、メガネのフレームの影響を除去する処理が不要となり、該意思伝達装置の構成を簡素化して低コスト化することができる。

請求項３に記載の意思伝達装置によれば、映像表示手段により表示機器の映像を表示し、該表示機器の映像と向かい合う利用者のまばたきを検出して、前記利用者が選択を希望する前記表示機器上の選択肢を判断する選択肢判断手段を備えた意思伝達装置において、前記まばたき検出手段として、メガネに取り付けた超小型ビデオカメラを用いて、目の周辺の画像を取り込んで入力画像とした後、その入力画像を画像処理してまばたきを検出している。前記画像処理において、背景画像を予め取り込んでおき、その後、入力画像から背景差分法を用いて得られた差分画像を用いてまばたきを検出することにより、まばたきの検出が容易になり、該意思伝達装置の構成を簡素化して低コスト化することができる。

請求項４に記載の意思伝達装置によれば、映像表示手段により表示機器の映像を表示し、該表示機器の映像と向かい合う利用者のまばたきを検出して、前記利用者が選択を希望する前記表示機器上の選択肢を判断する選択肢判断手段を備えた意思伝達装置において、前記まばたき検出手段として、メガネに取り付けた超小型ビデオカメラを用いて、目の周辺の画像を取り込んで入力画像とした後、その入力画像を画像処理してまばたきを検出している。前記画像処理において、背景画像を予め取り込んでおき、その後、入力画像から背景差分法を用いて得られた差分画像と、１フレーム前の処理で求めた差分画像との間でもう一度差分を計算して得られた画像を用いてまばたきを検出することにより、超小型ビデオカメラを取り付けたメガネがずれた場合でもまばたきの誤検出を少なくでき、該意思伝達装置のまばたき検出精度を向上させることができる。また、ラフなセッティングでも使用することが可能となり、身動きできない重度肢体不自由者に代わって実際に装置をセットする介護者の負担を軽減することができる。

請求項５に記載の意思伝達装置によれば、前記背景画像として目を閉じた状態の画像を用いることにより、視線の上下にかかわらず、まばたきを精度良く検出できるので、該意思伝達装置のまばたき検出精度を向上させることができる。

請求項６に記載の意思伝達装置によれば、前記背景画像として目を開けた状態の画像を用いることにより、目を意図的に閉じなくとも背景画像を取得できるという利点がある。

請求項７に記載の意思伝達装置によれば、背景画像として眼を閉じた状態の画像または目を開けた状態の画像のどちらも用いることができるように意思伝達装置を構成しているため、一定の時間間隔で自動的に背景画像を取得したい場合などに適した装置を構成できる。

請求項８に記載の意思伝達装置によれば、前記超小型ビデオカメラを取り付けたメガネに照明装置を取り付けることにより、部屋の天井などに設置された外部の照明の照度が変化したことによるまばたきの誤検出を少なくすることができる。

本発明の意思伝達装置の構成を概念的に示す図である。 意思伝達装置のソフトウェア処理の全体的な流れを示すフローチャートである。 図３の（Ａ）は開眼状態の入力画像、図３の（Ｂ）は、あらかじめ撮影して記憶しておいた閉眼状態の背景画像である。図３の（Ｃ）は、移動した物体を抽出した画像である。 最初にビデオカメラを取り付けたメガネを正規の位置で装着し、その状態で背景画像を取得、その後、故意にメガネを下にずれさせて誤判定率を測定し、判定方法による誤判定率の違い表した図である。

（第１の実施の形態）
本発明の意思伝達装置の第１の実施の形態の一例を図１に示す。利用者は超小型ビデオカメラ１０１が取り付けられたメガネ１０２を通常のメガネと同様にして装着し、表示機器１１３の映像と向かい合い、表示機器１１３に表示された選択肢１２１を目視する。表示される選択肢１２１は、情報処理装置１１１で選択肢１２１の映像データを構成した後、表示機器１１３に送られて表示される。情報処理装置１１１は、例えばパーソナルコンピュータ、ワークステーションなどを用いることができる。情報処理装置１１１で構成され、表示機器１１３で表示された映像には、前記選択肢１２１のほかに選択肢を自動的かつ連続的に走査するカーソル１２２が表示されている。利用者はカーソルが希望する選択肢のところに来たとき、まばたきを行うことにより、希望する選択肢を選択する。例えば、選択肢１２１としてひらがなの５０音が表示されていて、ひらがなの「を」を選択したい場合には、「を」の場所にカーソル１２２が移動してきたときにまばたきを行うことにより、次に述べるようにして、「を」を選択する。

超小型ビデオカメラ１０１は、利用者がメガネ１０２を装着したときに、目およびその周辺の画像を撮影できるように、メガネ１０２に取り付けられている。利用者が超小型ビデオカメラを取り付けたメガネ１０２を装着したとき、超小型ビデオカメラ１０１を用いて撮影した目およびその周辺の画像を、伝送ケーブル１０３を用いて情報処理装置１１１に送り込む。情報処理装置１１１は前記画像を画像処理してまばたきを検出する。検出されたまばたきによって、表示機器１１３に表示された選択肢のうち、まばたきを行ったちょうどその時にカーソルがあった位置の選択肢が選択される。例えば、前記５０音が表示されている場合には、まばたきを行ったときカーソルがあった位置の文字「を」が選択される。この選択処理は情報処理装置１１１によって行われる。

次に、従来からある視線入力方式の意思伝達装置に対する本発明の意思伝達装置の優位性について説明する。視線入力方式では、病状進行後でも随意運動が残り易い眼球運動の画像をビデオカメラで取得、その画像をもとに視線を計算し、注視している文字を直接選択して入力する。この方式は操作がわかりやすく、入力効率も高いとされている。しかし、眼球のわずかな動きから視線を決定しているため、高精度のビデオカメラや専用の処理装置が必要で、高額になり、経済的な理由で普及が困難であった。また、その動作原理から、眼球運動にまで障害が及ぶと使用が難しいという問題があった。

本発明の意思伝達装置では、視線入力方式と同様に、ビデオカメラで取得した画像を処理して文字入力を行っているが、視線入力方式における視線検出処理をまばたき検出処理に変更し、検出したまばたきを走査選択方式のスイッチとして利用することにより、システムを簡素化している。さらに、超小型で軽量なビデオカメラをメガネに取り付けることにより、ビデオカメラのセッティングを容易にするとともに、画像処理の一部を簡略化している。また、眼球運動まで阻害されている重度の肢体不自由者でも、まばたきは可能なことがあるので、こうした患者にも適する意思伝達装置である。

最近のビデオカメラの中には、ＷＥＢカメラと称され、ＵＳＢインターフェースを内蔵し、超小型でしかも安価なビデオカメラがある。本発明で用いている超小型ビデオカメラは、こうしたＷＥＢカメラを用いている。したがって、ＵＳＢインターフェースを内蔵しているので、情報処理機器１１１のＵＳＢポートに伝送ケーブル１０３を介し接続して、画像を転送することができる。そのため、本発明の意思伝達装置のハードウェアは、メガネ１０２に取り付けた超小型ビデオカメラ１０１が、情報処理機器１１１のＵＳＢポートに接続されているだけの簡単な構成になっている。この方法の短所は、重く大きなビデオカメラを付けたメガネを装着することが、使用者の負担になることである。しかし、この短所も技術の進歩による、ビデオカメラの小型・軽量化により以前に比べて大幅に緩和されている。

超小型ビデオカメラ１０１で取り込まれ、伝送ケーブル１０３を介して情報処理機器１１１に送られてきた画像データは、画像処理ソフトを用いて、画像の入力と画像処理を行っている。ソフトウェアの処理の全体的な流れを、図2のフローチャートに示す。最初に、一連の初期化工程２０１を行い、次にまぶたの画像を入力する工程２０２、画像処理によりまぶたの移動を抽出する工程２０３を経て、まぶたの開閉動作であるまばたきを検出する工程２０４に至る。最後に、検出したまばたきをもとにon-off情報を出力する工程２０５を経て、画像を入力する工程２０２に戻る。

まばたきを検出するため、従来はノートパソコンの表示部の上部などに固定したビデオカメラで顔の画像を取得し、その画像から顔の領域や目の領域を特定して、目の周辺の画像を切り出してからまばたきを検出していた。本方式では超小型ビデオカメラ１０１をメガネ１０２の横に取り付けているため至近距離からの画像取得になり、最初から片方の目のまぶたを中心とした、目的とする部位だけが映った画像を取得できる。このため、顔や目を検出するための処理を必要としない。さらに、画像を切り出す必要がないので、画像を切り出すことを見越して、あらかじめ大きな画像サイズにしておく必要がないので、画像サイズが小さくとも良い。この２つの理由により、同一の情報処理機器を用いた場合の画像処理に要する時間を従来の視線入力方式に比べ短くすることができる。そのため、情報処理機器として、安価ではあるが処理能力が劣る機器を使用することが可能になり、意思伝達装置全体のコストを低減できる。

次に、まぶたの移動状態の抽出方法について述べる。抽出は、背景差分法を用いて行っている。背景差分法とは，あらかじめ移動物体の存在しない背景画像を取得しておき，入力画像と背景画像との差分処理によって移動した物体を抽出する手法である。
ここでは、背景画像として眼を閉じた状態の画像を用いた場合の処理方法について説明する。まず、入力画像と背景画像の表色系を、ビデオカメラの出力のＲＧＢ表色系から、人間の感覚に近い色空間上の距離感を持つとされる、ＣＩＥ Ｌａｂ表色系に変換する。次に、変換した入力画像の座標（ｉ，ｊ）における色度座標（Ｌｃ，ａｃ，ｂｃ）、と背景画像の座標（ｉ，ｊ）における色度座標（Ｌｒ，ａｒ，ｂｒ）から、下記の数式１により色空間における距離の二乗となる値Ｒ(ｉ,ｊ)を求める。

このＲ（ｉ，ｊ）がから、しきい値ＴＨＲを用いて下記の数式２により２値化画像の輝度Ｂ（ｉ，ｊ）を求める。この２値化画像で輝度１の領域が抽出した移動物体である。

Ｂ（ｉ，ｊ）で表される画像には細かい斑点状のノイズが画面全体にあったため、収縮処理と膨張処理を行い、細かいノイズを除去した２値化輝度Ｃ（ｉ，ｊ）を得る。背景画像として眼を閉じた状態の画像を用いた場合の、入力画像と入力画像から抽出した移動物体を表す画像（以下、抽出画像と称する）の関係を説明する。図３の（Ａ）は開眼状態の入力画像、図３の（Ｂ）は、あらかじめ撮影して記憶しておいた背景画像である。図３の（Ｃ）は、移動した物体を抽出した画像である。図３の（Ｃ）で、白色領域が抽出した移動物体を表す。図３の（Ｃ）には、上下２つの白色領域が存在する。入力画像と比較してみると、この白色領域のうち、下の領域は図３の（Ｂ）閉眼状態ではまぶたの縁あるいはまつげの部分であり、この部分が図３の（Ａ）では上に移動したため、白く表示されたと考えられる。上の白い領域は図３の（Ａ）まぶたの縁と瞳の部分である。開眼状態の抽出画像の白色領域は、注視方向が上下しても、出現する位置は変化するが、白色領域の面積の画像全体の面積に対する百分率ＳＷは、ほぼ一定であることを実験的に確認した。

それに対して、閉眼状態では、背景画像との差がないため、白色領域はほとんど現れない。このように背景画像を閉眼状態とすると、開眼状態のＳＷと閉眼状態のＳＷとの差が、注視方向の影響を受けずにはっきりと表れる。先に述べたように、開眼状態の白色領域の面積ＳＷがほぼ一定であるので、面積ＳＷがあるしきい値以下になったら、目を閉じてまばたきを始めと判定することにより、まばたきを検出している。

以上述べてきたようにして、超小型ビデオカメラ１０１で取得した画像を処理して、まばたきを検出できる。次に検出したまばたきを用いて文字入力を行い、意思伝達装置として機能させる方法について説明する。

文字入力は、基本的には走査選択方式を用いて行っている。具体的には以下述べるようにして文字入力を行う。まずソフトウェアキーボード用ソフトを情報処理機器１１１上で動作させる。このソフトは、モニタ上に表示されたキーボードをマウスでクリックすることにより、そのときのマウスカーソル位置にあるキーの文字を、ワードやエクセルなどのアプリケーションソフトに、入力できるように構成されている。ソフトウェアキーボード用ソフトは、現在では通常のパソコンに標準的に添付されるほど一般的なソフトである。次に、まばたき検出処理用のソフトを情報処理機器１１１上で動作させる。さらに選択肢を選択するための処理を行うソフトを情報処理機器１１１上で動作させる。
最後にアプリケーションソフトも情報処理機器１１１上で動作させ、以上述べた各種ソフトを情報処理機器１１１上で同時に並行して動作させる。

本発明の意思伝達装置の利用者は超小型ビデオカメラが取り付けられたメガネ１０２を通常のメガネと同様にして装着し、表示機器１１３の映像と向かい合い、表示機器１１３に表示された選択肢１２１を目視する。情報処理装置１１１で構成され、表示機器１１３で表示された映像には、前記選択肢１２１のほかに選択肢を順番にかつ自動的に走査しているカーソル１２２が表示されている。利用者はカーソルが希望する選択肢のところに来たとき、まばたきをする。このまばたきを行っている様子は、メガネ１０２に取り付けられている超小型ビデオカメラ１０１を用いて撮影され、伝送ケーブル１０３を用いて情報処理装置１１１に送り込まれる。情報処理装置１１１は前記画像を画像処理してまばたきを検出する。検出されたまばたきによって、表示機器１１３に表示された選択肢のうち、まばたきを行ったちょうどその時にカーソルがあった位置の選択肢が選択される。例えば、前記５０音が表示されている場合には、まばたきを行ったときカーソルがあった位置の文字「を」が選択される。この選択処理は情報処理装置１１１によって行われる。

選択肢の選択処理は、具体的には以下に述べるようにして行う。まばたき検出処理ソフトはそのまばたきを検出したとき、選択肢選択処理用ソフトは、マウスボタンがクリックされた時発生するイベントを出力する。このイベントを受けた、ソフトウェアキーボード用ソフトはマウスがクリックされたと判断し、その時カーソルがあった位置のキーに対応する文字を、アプリケーションソフトに入力する。このイベントやカーソル位置のデータのやり取りは、ＯＳであるＷｉｎｄｏｗｓ（登録商標）経由で行われる。

以上述べたようにして、まばたきで選択した文字をワードなどのアプリケーションソフトに入力することができるので、利用者は表示機器１１３に表示されたひらがなの５０音などの選択肢を見つめ、まばたきで選択したひらがな文字などをワードなどのアプリケーションソフトに入力し、他の人に意思を伝えることができる。したがって、四肢が麻痺して、まったく動かせなくなった重度の肢体不自由者でも、本装置を用いることにより、まばたきをするだけで意思を伝えることが可能になる。

（第２の実施の形態）
第１の実施の形態では、開眼状態の白色領域の面積ＳＷがほぼ一定であるので、まばたきの検出方法として、面積ＳＷがあるしきい値以下になったら、目を閉じてまばたきを始めたと判定して、まばたきを検出していた。しかし、この方法には次のような問題がおきる場合がある。入力操作のためにまばたきを何度も繰り返すと、ビデオカメラを取り付けたメガネが、カメラとともに少しずつ下のほうへずれてしまうことがある。本来、目を閉じたときには、目を閉じた状態を記憶した背景画像と一致する入力画像が得られるはずであるが、カメラの移動により、背景画像と一致しなくなる。そのため、目を閉じても白色領域の面積ＳＷがしきい値以下にならず、目を閉じたと判定されない現象が起きる。メガネのずれの状況であるが、一般にメガネは鼻当てと２つの耳当ての３点で顔面に軽く固定されているため、通常の使用方法では、正規の装着位置から下方に１０ｍｍ、前方に５ｍｍほど、鼻当ての部分が鼻の上を滑るようにして、ほぼ直線的にずれていく。
左右や上方には、顔の形状やメガネの形状の制約を受け、ほとんどずれない。

メガネが移動することにより誤判定が起きてしまうことの対策として、抽出画像の白色領域の面積ＳＷではなく、抽出画像が変化した量で判定する方法を検討した。この方法では、２値化輝度Ｃａ（ｉ，ｊ）とその１フレーム前の２値化輝度Ｃｂ（ｉ，ｊ）との間の排他的論理和を下記の数式３を用いて計算する。数式３で記号＃は排他的論理和を計算することを表し、Ｄ（ｉ，ｊ）はその計算結果を表す。

次に、Ｄ（ｉ，ｊ）が１の領域の面積の百分率ＳＤを求める。この面積ＳＤがしきい値ＴＨＳより小さいとき、目を開いた状態であると判定する。また、面積ＳＤがしきい値ＴＨＳより大きくなったとき、まばたきを始めと判定する。メガネが下へ8ｍｍずれた場合の画像を実験で確認したところ、移動状態の抽出画像では目を開いたときと閉じたときの差が小さく、目を閉じたときでも、目を開けていると誤判定することがわかった。それに対して、抽出画像の差分画像では、目を開いたときと閉じたときの差がはっきりしており、正しく判定できることがわかった。

そこで、判定方法による誤判定率の違いを確認するため、次のような測定を行った。最初にビデオカメラを取り付けたメガネを正規の位置で装着し、その状態で背景画像を取得する。その後、故意にメガネを下にずれさせて誤判定率を測定する。誤判定率は、目を閉じた回数をＮ、目を閉じたのに、目を閉じたと判定しなかった回数をＡ、目を閉じていないのに、目を閉じたと判定した回数をＢとしたとき、ＡとＢの和をＮで割り１００を掛けて求めた。

測定結果を図４に示す。この図からわかるように、抽出画像の差分の面積ＳＤで判定すると、抽出画像の面積ＳＷで判定した場合に比べて、下方へずれた場合の誤判定率が大幅に減少し、ずれ量が6ｍｍと8ｍｍではＳＷでの誤判定率１００％に対しＳＤでの誤判定率は０％であった。このように、メガネに取り付けたビデオカメラで取得した画像を処理して、抽出画像の差分の面積ＳＤでまばたきを判定すると、他の方法に比べて、メガネの下へのずれに対して、誤判定率が小さく、目を閉じたことを正しく判定できるという結果が得られた。

以上述べてきたように、第２の実施の形態では、メガネの下へのずれに対して、第１の実施の形態より誤判定率が小さくなるという利点がある。

（第３の実施の形態）
第１の実施の形態では、背景画像として眼を閉じた状態の画像を用いていた。この場合には、開眼状態と閉眼状態との差が、注視方向の影響を受けずにはっきりと表れるという利点がある。しかし、この方法では、利用者に意図的に目を閉じてもらって、背景画像を取得する必要があるため、背景画像の取得がわずらわしいという欠点がある。通常、利用者は本発明の意思伝達装置を利用するときにはほとんどの時間で目を開けているので、第３の実施の形態では、第２の実施の形態で背景画像として用いていた、眼を閉じた状態の画像に代えて、目を開けている状態の画像を背景画像として用いる。このことにより、意図的に目を閉じなくとも、背景画像を取得できるという利点が得られる。

（第４の実施の形態）
第４の実施の形態では、第２の実施の形態で背景画像として用いていた、眼を閉じた状態の画像に代えて目を開けている状態の画像を背景画像として用いる。背景画像が目を開けた状態であってもまばたきをすれば、入力画像と背景画像との間に差を生じる。そこで、この差を検出することにより、まばたきを検出している。こうすることにより、まばたきの判定精度は若干劣化するが、このことにより、意図的に目を閉じなくとも、背景画像を取得できるという利点が得られる。

（第５の実施の形態）
第１乃至第４の実施の形態では、背景画像として眼を閉じた状態または目を開けた状態のどちらか一方の画像だけを用いていた。第５の実施の形態では背景画像として眼を閉じた状態の画像または目を開けた状態の画像のどちらも用いることができるように意思伝達装置を構成している。具体的には、背景画像が眼を閉じた状態であっても、目を開けた状態であってもまばたきをすれば、入力画像と背景画像との間に差を生じる。そこで、この差を検出することにより、まばたきを検出している。こうすることにより、まばたきの判定精度は劣化するが、背景画像を自動的に取得することが可能になり、背景画像を取得する際の利用者の負担を軽減できるという利点が得られる。

（第６の実施の形態）
第１乃至第５の実施の形態では、超小型ビデオカメラ１０１が、メガネ１０２に取り付けられていて、利用者は前記メガネ１０２を装着することにより、超小型ビデオカメラ１０１により目およびその周辺の画像を撮影することができるようになっている。そして撮影した画像をもとにまばたきを検出している。このとき、第１乃至第５の実施の形態では、室内の天井などに設置された照明器具あるいは太陽光などによって、直接的にあるいは間接的に照らされた目およびその周辺の画像を撮影している。

このような状態では、例えば太陽が雲に隠れたり、あるいは照明器具の一部が消されたりして照度が変化すると、超小型ビデオカメラ１０１により撮影した目およびその周辺の画像が変化してしまう。本発明では、画像の変化を検出してまばたきを検出しているため、こうした画像の変化は、まばたきの誤検出の原因となるという問題が生じる。こうした問題に対処するため、第６の実施の形態では、超小型ビデオカメラ１０１を取り付けたメガネ１０２に照明装置を取り付けることにより、目およびその周辺を照明し、照度の変化を減少させている。こうすることにより、部屋の天井などに設置された外部の照明の照度の変化による前記画像の変化を少なくし、まばたきの誤検出を少なくしている。メガネ１０２に取り付ける照明装置としては、例えば、発光ダイオードを用いることができる。

次に、本発明の意思伝達装置に類似した、まばたき検出を用いた意思伝達装置に対する本発明の意思伝達装置の優位性について説明する。従来から、まぶた付近にセンサを貼り付ける貼り付け方式によるまばたき検出、および反射型フォトセンサを用いたまばたき検出が実施されている。貼り付け方式では、各種センサをまぶた付近に医療用テープなどで貼り付け、まぶたを動かす時に生じる変化を観測して、まばたきを検出する。センサがごく軽くて使用者に負担がかからず、比較的簡単な装置でまばたきの検出が可能なことが、この方式の長所であると考えられる。しかし、センサを貼り付ける位置や貼り付け方法の微妙な違いにより、検出が困難になることがあるため、装着を行う介護者に負担をかける、という問題や、長時間連続して貼り付けていることによる皮膚のかぶれなどの問題があると考えられる。

反射型フォトセンサ方式では、ＬＥＤとフォトトランジスタをひとつに組み合わせたセンサを用いて、眼球で反射したＬＥＤ光をフォトトランジスタで検出する。そして、まぶたを閉じたときと開けたときの反射光の強度差をもとにまばたきを検出する。また、この方式では反射型フォトセンサをメガネに取り付けることにより、センサの装着を容易にすることができる。そのため、反射型フォトセンサ方式を用いると、先に述べた貼り付け方式の問題点をかなりクリアできる。しかし、この方法にも次のような問題点がある。例えば、画面下部を注視しているため、まぶたが下がっているときでも、まぶたは開いていると判定しなければならない。そのため、反射型フォトセンサの設置位置の許容範囲が狭くなる。反射型フォトセンサ方式を用いた場合の誤判定率について、先に述べた方法と同様にして測定を行った。その結果を図４に示す。反射型フォトセンサ方式を用いた場合には、図４に示すように、ずれ量が４ｍｍで誤判定率が１００％となり、本発明より、明らかに
センサの設置位置の許容範囲が狭くなっている。

本発明が想定している利用者は、四肢をまったく動かせない重度の肢体不自由者であるので、実際に意思伝達装置のセンサを利用者に装着させるのは必然的に介護者ということになる。そのため、反射型フォトセンサのように設置位置の許容範囲が狭いと、実際に装着を行う介護者に負担をかけるという問題が起きると考えられる。

以上のような従来のまばたき検出方法の問題に対処するため、本発明の入力支援装置では、ビデオカメラで取得した画像を処理してまばたき検出を行っている。この方法では、直接センサを皮膚に貼り付ける必要がないので、貼り付けに伴う問題は生じない。また、センサであるビデオカメラを、メガネの横に取り付けている。したがって、介護者はメガネをかけさせるようにして、簡単にセンサを装着させることができるので、介護者の負担を軽減できる。本発明と同様にメガネにセンサを取り付けて装着する、反射型フォトセンサ方式で問題となった、センサの装着位置の許容範囲が狭いことに伴う問題に対しても、先に述べたように、画像処理により対応することができる。以上のことから、本発明のまばたき検出方法は、従来の方式より優位性があると言える。なお、貼り付け方式、反射型フォトセンサ方式、本発明の方式の３つのまばたき検出方式を用いた意思伝達装置は、まばたき検出方式以外は、実質的に同一とみなすことができるので、各装置の優位性はまばたき検出方式の優劣で決まる。

１０１ 超小型ビデオカメラ
１０２ メガネ
１０３ ＵＳＢケーブル
１１１ 情報処理機器
１１２ キーボード
１１３ 液晶表示器
１２１ 液晶表示器に表示された選択肢
１２２ 液晶表示器に表示されたカーソル
２０１ 初期化する工程
２０２ 画像を入力する工程
２０３ まぶたの移動を抽出する工程
２０４ まばたきを検出する工程
２０５ ｏｎ−ｏｆｆ情報を出力する工程

Claims (8)

1. 表示機器と、表示機器に映像を表示する映像表示手段と、該表示機器の映像と向かい合う利用者のまばたきを検出するまばたき検出手段とを備え、前記まばたき検出手段で検出されたまばたきによって、前記利用者が選択を希望する前記表示機器に表示された選択肢を判断する選択肢判断手段を備えた意思伝達装置において、前記まばたき検出手段として、メガネに取り付けた超小型ビデオカメラを用いて、前記利用者の目の周辺の画像を取り込んで入力画像とした後、その入力画像を画像処理してまばたきを検出することを特徴とする意思伝達装置。
2. 前記超小型ビデオカメラはメガネの横に取り付けたことを特徴とする請求項１に記載の意思伝達装置。
3. 前記画像処理は、背景画像を予め取り込んでおき、その後、入力画像から背景差分法を用いて得られた差分画像を用いてまばたきを検出する手段を有することを特徴とする請求項１または２のいずれかに記載の意思伝達装置。
4. 前記画像処理は、背景画像を予め取り込んでおき、その後、入力画像から背景差分法を用いて得られた差分画像に対し、１フレーム前の差分画像との間でもう一度差分を計算して得られた画像を用いてまばたきを検出することを特徴とする請求項１または２のいずれかに記載の意思伝達装置。
5. 前記背景画像として目を閉じた状態の画像を用いることを特徴とする請求項３または４のいずれかに記載の意思伝達装置。
6. 前記背景画像として目を開けた状態の画像を用いることを特徴とする請求項３または４のいずれかに記載の意思伝達装置。
7. 前記背景画像として目を開けた状態の画像または目を閉じた状態の画像のいずれの画像も用いることができることを特徴とする請求項３または４のいずれかに記載の意思伝達装置。
8. 前記超小型ビデオカメラを取り付けたメガネに照明装置を取り付けたことを特徴とする請求項１乃至７のいずれかに記載の意思伝達装置。

Images