JP2015202133A - コミュニケーションシステムおよび瞬き判定方法 - Google Patents

Abstract

【課題】瞬きによるコミュニケーションをよりスムーズに行うシステムを提供する。【解決手段】所定のフレームレートで被験者の眼を撮影して取得したフレーム画像を用いて、被験者の眼が閉じる方向に変化する閉眼を判定し、閉眼を判定してから被験者の眼が開く方向に変化する開眼を判定したときに、被験者が意思表示するための意識瞬きをしたと判定する。これにより、被験者が一定時間しっかりと眼を閉じ続けなくても意識瞬きを判定することができる。このため、筋力の弱い被験者が、眼を完全に閉じない弱い瞬きをした場合であっても、意識瞬きを精度よく判定して、瞬きによるコミュニケーションをスムーズに行うことができる。【選択図】図９

Description

本発明は、コミュニケーションシステムおよび瞬き判定方法に関する。

従来より、会話や筆談が困難な寝たきりの高齢者や重度の障害者などの被験者とコミュニケーションを図るためのコミュニケーションシステムが提案されている。例えば、特許文献１には、被験者の両目を撮影するカメラと、被験者が目視可能な５０音などの複数の文字を表示するディスプレイとを備え、被験者の瞬きにより文字を選択させるコミュニケーションシステムが記載されている。このシステムでは、ディスプレイに複数の文字を表示した状態で、各文字を一文字ずつ順次点滅させていき、選択したい文字が点滅したときに被験者に瞬きを行わせる。そして、カメラが撮影した画像の黒画素数から被験者が一定時間眼を閉じた状態を検出すると、被験者が意識的に瞬きを行ったと判定し、そのときに点滅していた文字を被験者が選択した文字に決定する。

特開２００３−１８７２３２号公報

上述したコミュニケーションシステムでは、被験者が文字を選択するために眼を閉じ続ける必要がある。しかし、例えば、脊髄性筋萎縮症（spinal muscular atrophy:SMA）などの筋力が弱い被験者は、意識的に眼をしっかりと閉じることが困難な場合がある。このため、一定時間眼を閉じた状態が続いたことで被験者の瞬きを判定すると、被験者は瞬きをしているつもりでも、瞬きと判定されない場合が生じ、文字を決定することができなくなってしまう。

本発明のコミュニケーションシステムおよび瞬き判定方法は、瞬きによるコミュニケーションをよりスムーズに行うことを主目的とする。

本発明のコミュニケーションシステムおよび瞬き判定方法は、上述の主目的を達成するために以下の手段を採った。

本発明のコミュニケーションシステムは、
被験者の瞬きを利用するコミュニケーションシステムであって、
複数の情報からなる情報群と、該情報群のうちいずれかの情報を被験者に選択させるためのカーソルとを表示する表示手段と、
所定のフレームレートで被験者の眼を撮影して時系列に連続する複数のフレーム画像を取得する撮影手段と、
前記カーソルが前記情報群の各情報を順次移動するよう前記表示手段を制御すると共に前記取得されたフレーム画像に基づいて被験者の瞬きを判定し、被験者の瞬きを判定したときの前記カーソルの位置に基づいて前記情報群のうち被験者が選択した情報を決定する処理制御手段と、
前記決定された情報を外部に認識可能に出力する出力手段と、
を備え、
前記処理制御手段は、前記取得されたフレーム画像において被験者の眼を示す領域が減少したことに基づいて閉眼を判定し、且つ、該閉眼を判定してから取得された所定数のフレーム画像において被験者の眼を示す領域が増加したことに基づいて開眼を判定したときに、被験者が瞬きしたと判定する
ことを要旨とする。

この本発明のコミュニケーションシステムでは、所定のフレームレートで被験者の眼を撮影して時系列に連続する複数のフレーム画像を取得し、取得したフレーム画像において被験者の眼を示す領域が減少したことに基づいて閉眼を判定し、且つ、閉眼を判定してから取得した所定数のフレーム画像において被験者の眼を示す領域が増加したことに基づいて開眼を判定したときに、被験者が瞬きしたと判定する。これにより、被験者が一定時間しっかりと眼を閉じ続けなくても、被験者の瞬きを判定することができる。このため、例えば、筋力の弱い被験者が、眼をしっかりと閉じずに弱い瞬きをした場合であっても、瞬きを精度よく判定することができる。この結果、瞬きによるコミュニケーションをよりスムーズに行うことができる。

また、本発明のコミュニケーションシステムにおいて、前記処理制御手段は、前記取得されたフレーム画像に基づいて被験者の眼を検出する眼部検出処理を行い、該眼部検出処理で検出した眼の瞳孔部分を含む領域を抽出して基準画像を生成しておき、前記取得されたフレーム画像から眼の瞳孔部分を含む領域を抽出し、該抽出した瞳孔部分を含む領域と前記基準画像との重なり度合いに基づいて、前記閉眼の判定と前記開眼の判定とを行うものとすることもできる。こうすれば、比較的簡易な処理で、閉眼と開眼とを判定することができるから、処理負担が増加するのを抑制することができる。

また、本発明のコミュニケーションシステムにおいて、前記処理制御手段は、前記所定数のフレーム画像として、第１の閾値以上のフレーム画像において前記閉眼を判定したときに、被験者が瞬きしたと判定するものとすることもできる。こうすれば、第１の閾値未満の少ないフレーム数の間に閉眼と開眼とが行われるような、被験者の無意識の瞬きを適切に排除して、被験者が意識して行う瞬きを精度よく判定することができる。

この態様の本発明のコミュニケーションシステムにおいて、前記処理制御手段は、前記所定数のフレーム画像として、前記第１の閾値よりも大きな第２の閾値以下のフレーム画像において前記閉眼を判定したときに、被験者が瞬きしたと判定するものとすることもできる。こうすれば、第２の閾値を超えるような多くのフレーム数の間に閉眼と開眼とが行われるような、被験者が眼を閉じ続けている状態を適切に排除して、被験者が意識して行う瞬きを精度よく判定することができる。

また、本発明のコミュニケーションシステムにおいて、前記処理制御手段は、瞬きの判定の開始に先立って、前記取得されたフレーム画像に基づいて被験者の眼を検出する眼部検出処理を行い、該眼部検出処理で被験者の眼を一旦検出した以降は、瞬きの判定中に前記眼部検出処理を行わないものとすることもできる。ここで、処理制御手段が、眼部検出処理を行っている最中に瞬き判定を並行して行うことができない場合、瞬きの判定中に眼部検出処理を行わないことにより、瞬きの判定に用いるフレーム画像を多くすることができることになる。このため、眼の開閉状態の僅かな変化を捉えて、瞬きをより精度よく判定することができる。なお、筋力の弱い被験者の場合、顔や体を大きく動かすことは困難であり、一旦検出した被験者の眼の位置が大きくずれることはないため、眼部検出処理を行わないものとしても問題が生じるおそれは少ない。

また、本発明のコミュニケーションシステムにおいて、前記表示手段は、前記各情報を縦横のマトリックス状に配列して前記情報群を表示し、前記カーソルとして、前記情報群の縦位置を選択するための縦カーソルと、前記情報群の横位置を選択するための横カーソルと、前記情報群を複数のブロックに分割した各ブロックを選択するためのブロックカーソルとを表示可能であり、前記処理制御手段は、前記ブロックカーソルが前記複数のブロックを順次移動するよう前記表示手段を制御し、被験者の瞬きを判定したときの前記ブロックカーソルの位置に基づいて被験者が選択したブロックを決定してから、該決定したブロック内の各情報を処理対象として、前記縦カーソルと前記横カーソルとをそれぞれ順次移動させ、前記縦カーソルの移動中に被験者の瞬きを判定したときの前記縦カーソルの位置と、前記横カーソルの移動中に被験者の瞬きを判定したときの前記横カーソルの位置とに基づいて、被験者が選択した情報を決定するものとすることもできる。こうすれば、縦カーソルや横カーソルを移動させて情報を選択させる範囲を、情報群全体ではなく、情報群を分割したいずれかのブロックに絞ることができるから、被験者がカーソルの移動を見続ける負担を軽減することができる。このため、特に、筋力の弱い被験者の負担を軽減して、瞬きによるコミュニケーションをさらにスムーズに行うことができる。

また、本発明のコミュニケーションシステムにおいて、前面に被験者が視認可能に前記表示手段が設けられると共に被験者の眼を撮影可能に前記撮影手段が設けられる薄板状の筐体に、前記表示手段と前記撮影手段と前記処理制御手段と前記出力手段とが収容されたタブレット端末で構成されるものとすることもできる。こうすれば、システムをコンパクトな構成とすることができるから、コミュニケーションシステムの利便性を向上させることができる。

本発明の瞬き判定方法は、
所定のフレームレートで被験者の眼を撮影して時系列に連続する複数のフレーム画像を取得し、該取得したフレーム画像に基づいて被験者の瞬きを判定する瞬き判定方法であって、
前記取得されたフレーム画像において被験者の眼を示す領域が減少したことに基づいて閉眼を判定し、且つ、該閉眼を判定してから取得された所定数のフレーム画像において被験者の眼を示す領域が増加したことに基づいて開眼を判定したときに、被験者が瞬きしたと判定する
ことを要旨とする。

この本発明の瞬き判定方法では、所定のフレームレートで被験者の眼を撮影して時系列に連続する複数のフレーム画像を取得し、取得したフレーム画像において被験者の眼を示す領域が減少したことに基づいて閉眼を判定し、且つ、閉眼を判定してから取得した所定数のフレーム画像において被験者の眼を示す領域が増加したことに基づいて開眼を判定したときに、被験者が瞬きしたと判定する。これにより、被験者が一定時間しっかりと眼を閉じ続けなくても、被験者の瞬きを判定することができる。このため、例えば、筋力の弱い被験者が、眼をしっかりと閉じずに弱い瞬きをした場合であっても、瞬きを精度よく判定することができる。この結果、瞬きによるコミュニケーションをよりスムーズに行うことができる。

コミュニケーションシステム１の構成の概要を示す構成図である。 瞬きによるコミュニケーション処理の一例を示すフローチャートである。 設定画面４０の一例を示す説明図である。 残像（基準画像）を設定する様子を示す説明図である。 文字選択画面５０の一例を示す説明図である。 文字選択受付処理の一例を示すフローチャートである。 選択文字関連処理の一例を示すフローチャートである。 瞬き判定処理の一例を示すフローチャートである。 閉眼や開眼を判定する様子を示す説明図である。 フレーム数と瞬き判定との関係を示す説明図である。

次に、本発明の実施の形態を図面を用いて説明する。図１は、コミュニケーションシステム１の構成の概要を示す構成図である。このコミュニケーションシステム１は、肢体が不自由なためにベッド２で寝たきりで発語も困難な者（以下、被験者という）の瞬きを利用して、コミュニケーションを行うためのシステムとして構成されている。本実施形態では、筋力が弱く、意識して強い瞬きができない被験者とのコミュニケーションを想定して説明する。ただし、そのような被験者に限られず、単に発語が困難な被験者を対象としてもよいし、健常者を対象としてもよい。

コミュニケーションシステム１は、ベッド２のサイドガード４に固定されたアームスタンド６と、そのアームスタンド６のクリップ８に取り付けられたタブレット端末１０とにより構成されている。なお、タブレット端末１０が被験者の顔を向くように、アームスタンド６のアーム角度が調整されている。

タブレット端末１０は、図１に示すように、薄板状の本体１１の前面に、各種アプリケーションソフトを選択するためのアイコンや各種画面を表示可能な液晶ディスプレイ（ＬＣＤ）１２と、ＬＣＤ１２に表示されたアイコンを選択したりするために操作者（例えば、被験者の介護者など）がタッチ操作可能なタッチパネル１４とが組み合わされたタッチパネル式ＬＣＤが取り付けられている。また、タブレット端末１０の本体１１には、前面の図１中の上部中央に設けられ画像を撮影可能なカメラ１６と、図１中の右側面に設けられ音声を出力可能なスピーカ１８と、前面の図１中の右部中央に設けられ操作者が押下操作可能な操作ボタン１９とを備える。なお、カメラ１６は、静止画だけでなく、所定のフレームレート（例えば30fpsなど）で時系列に連続する複数のフレーム画像から構成される動画も撮影可能となっている。

このタブレット端末１０は、その制御ブロックとして、端末全体の制御を司るメインコントローラ２０と、ＬＣＤ１２の表示制御を司るＬＣＤメインコントローラ３０と、タッチパネル１４への入力制御を司るタッチパネルメインコントローラ３２と、カメラ１６の撮影制御を司るカメラメインコントローラ３４と、スピーカ１８の音声制御を司るスピーカメインコントローラ３６とを備えており、これらは、バス３８を介して電気的に接続されている。

メインコントローラ２０は、ＣＰＵ２２を中心とするマイクロプロセッサとして構成されており、オペレーションソフトや各種アプリケーションソフトなどを記憶するフラッシュメモリ２４と、ＣＰＵ２２の作業領域として使用されると共に一時的にデータを記憶するＲＡＭ２６と、操作ボタン１９からの操作信号を入力するインタフェース（Ｉ／Ｆ）２８とを備える。このメインコントローラ２０は、タッチパネル１４に操作者が行ったタッチ操作に関する操作信号をタッチパネルメインコントローラ３２から入力したり、カメラ１６で撮影された画像データ（フレーム画像）をカメラメインコントローラ３４から入力したりする。また、ＬＣＤ１２に画像の表示を指示する表示信号をＬＣＤメインコントローラ３０に出力したり、スピーカ１８に音声の出力を指示する音声信号をスピーカメインコントローラ３６に出力したりする。

次に、こうして構成されたコミュニケーションシステム１の処理について説明する。図２は、瞬きによるコミュニケーション処理の一例を示すフローチャートである。本実施形態のタブレット端末１０には、瞬きによるコミュニケーションを行うためのアプリケーションソフトがフラッシュメモリ２４に記憶されており、そのアプリケーションソフトを選択するためのアイコン（例えば、眼を模したアイコン）がＬＣＤ１２に表示されているものとした。そして、操作者（被験者の介護者）が、タッチパネル１４上でそのアイコンをタッチ操作したときに、メインコントローラ２０のＣＰＵ２２がフラッシュメモリ２４から瞬きによるコミュニケーションを行うためのアプリケーションソフトを読み出して実行する。

図２の瞬きによるコミュニケーション処理では、メインコントローラ２０のＣＰＵ２２は、まず、ＬＣＤ１２に設定画面を表示して各種設定や調整を行う（ステップＳ１００）。図３は、設定画面４０の一例を示す説明図である。この設定画面４０は、図示するように、カメラ１６が捉えた眼の画像を後述する文字選択画面上に表示するか否かを設定可能なカメラ画像表示設定部４２と、瞬き判定の敏感さ（感度）を設定可能な瞬き判定敏感さ設定部４４と、文字選択画面のあいうえお表上のカーソル切替（移動）速さを設定可能なあいうえお表切替速さ設定部４６と、選択されたひらがなに関連する処理（命令）を選択する各種コマンド上のカーソル切替（移動）速さを設定可能な命令切替速さ設定部４８とにより構成されている。カメラ画像表示設定部４２は、操作者のタッチ操作により、バー４２ａの両端の「ＯＮ」，「ＯＦＦ」のいずれかにポインタ４２ｂを移動させることで表示の有無を選択させる。また、瞬き判定敏感さ設定部４４は、操作者のタッチ操作により、最低感度の値０から最高感度の値１００まで設けられたバー４４ａ上でポインタ４４ｂをスライドさせることで敏感さを無段階に設定させる。また、あいうえお表切替速さ設定部４６や命令切替速さ設定部４８では、最低速さの値０から最高速さの値１００まで設けられたバー４６ａ，４８ａ上でポインタ４６ｂ，４８ｂをスライドさせることで切替速さを無段階に設定させる。ステップＳ１００では、この設定画面４０を介して設定された内容を各設定項目に反映させる。また、それ以外にも、例えば、カメラ１６のキャリブレーションなどの各種調整を行う。

次に、カメラ１６により撮影されたフレーム画像を取得して被験者の眼を検出する眼部検出処理を行う（ステップＳ１１０）。眼部検出処理では、フレーム画像から、黒画素（画素値が黒色の画素または画素値が黒色に近い画素）が集合した領域を抽出し、その領域が２つ（左右の２つの眼）並んでいるか否かを判定する。そして、２つ並んでいなければ、領域の抽出をやり直し、２つ並んでいれば、その黒画素の領域を含む所定領域を被験者の眼として検出する。

続いて、瞬き判定を行う際の基準画像となる残像を設定する残像設定処理を行う（ステップＳ１２０）。この処理では、眼部検出処理を行ってから、最新の状態から過去に数十フレーム〜百フレーム程度分（例えば、１００フレーム分）のフレーム画像を記録し、各フレーム画像のそれぞれで被験者の眼の領域から瞳孔部分の色に相当する画素（黒や茶、青色などの画素であり、本実施形態では、黒画素）を抽出する。そして、各画素の状態が規定フレーム数以上、黒画素であった場合、該当画素を残像とし基準画像に設定する。この残像（基準画像）を設定する様子を図４に示す。図示するように、瞳孔の部分だけでなく、瞼の影など瞳孔以外の部分も瞳孔部分に相当する色の画素（黒画素）であれば残像に設定される。なお、筋力の弱い被験者には、眼を見開いた状態で維持するのが困難な者もいるため、１つ前のフレーム画像や数フレーム分の画像から残像を設定すると、被験者の眼が閉じかかっている場合のフレーム画像に基づいて残像を設定してしまうこともある。そうなると、後述する瞬きの判定精度に影響を及ぼすことも考えられるが、本実施形態では、数フレーム分のフレーム画像に基づいて残像を設定するから、被験者の眼が開いた状態を適切に反映させた残像を設定することができる。

こうして残像を設定すると、次に、ＬＣＤ１２に文字選択画面を表示する（ステップＳ１３０）。図５に、文字選択画面５０の一例を示す。文字選択画面５０は、図示するように、ひらがなを母音に基づき縦に５字ずつ子音に基づき横に１０字ずつ並べたあいうえお表（五十音）表示部５２と、被験者が選択したひらがなに関連する処理（命令）を選択するための関連処理表示部５４と、被験者が選択したひらがなを表示する選択文字表示部５６とにより構成されている。図５には、前述した設定画面４０のカメラ画像表示設定部４２の設定が「ＯＦＦ」の場合の文字選択画面５０を例示する。なお、設定が「ＯＮ」の場合、例えば、あいうえお表表示部５２の一部に、カメラ１６で撮影された画像を表示すると共にその画像に重ねて残像を表示する。

あいうえお表表示部５２は、右端の「あ行」から「な行」までの第１ブロックと、「は行」から左端の「わ行」までの第２ブロックとに分けられており、被験者がそれらのいずれかを選択するためのブロックカーソル５２ａが各ブロックを交互に移動するよう表示される。また、あいうえお表表示部５２には、横に並んだ１０列の文字列のうち被験者がいずれかを選択するための縦長の縦カーソル５２ｂと、縦に並んだ５行の文字列のうち被験者がいずれかを選択するための横長の横カーソル５２ｃとが、それぞれ各文字列を順次移動するよう表示される。

関連処理表示部５４は、被験者が選択したひらがなに濁点「゛」や半濁点「゜」を付加するための「濁点」アイコンと、被験者が選択したひらがなを一文字を消去するための「×」アイコンと、被験者が選択したひらがなを確定するための「○」アイコンと、被験者が選択したひらがなをスピーカ１８から音声出力するための「音声出力」アイコンと、選択文字表示部５６に表示されているひらがなを全て消去する「ごみ箱」アイコンとが表示される。関連処理表示部５４には、被験者がいずれかのアイコンを選択するための選択カーソル５４ａが、各アイコンを順次移動するよう表示される。また、選択文字表示部５６には、被験者が文字を選択すると、先に選択して表示された文字の右隣に、新たに選択した文字が順次表示されていく。なお、図５では、「す」が選択されて表示された様子を示し、表示可能幅の中央揃えで文字を表示している。

文字選択画面５０をＬＣＤ１２に表示すると、被験者の文字の選択を受け付ける文字選択受付処理（ステップＳ１４０）と、選択された文字に関連する処理（命令）を行う選択文字関連処理（ステップＳ１５０）とを行い、操作者により操作ボタン１９が押下操作されることによる終了操作がされたか否かを判定する（ステップＳ１６０）。終了操作されてないと判定すると、ステップＳ１４０，Ｓ１５０の処理を繰り返し、終了操作されたと判定すると、瞬きによるコミュニケーション処理（アプリケーションソフトの実行）を終了する。なお、終了操作は、文字選択受付処理中や選択文字関連処理中などでも行うことができる。以下、文字選択受付処理と選択文字関連処理とを説明する。図６は、文字選択受付処理の一例を示すフローチャートであり、図７は、選択文字関連処理の一例を示すフローチャートである。

図６の文字選択受付処理では、メインコントローラ２０のＣＰＵ２２は、まず、あいうえお表表示部５２上でブロックカーソル５２ａの移動を開始し（ステップＳ２００）、カメラ１６で撮影されるフレーム画像に基づいて瞬き判定処理を行う（ステップＳ２１０）。なお、瞬き判定処理は、以下のステップＳ２５０，Ｓ２９０でも同じ処理が行われ、その詳細は後述する。また、文字選択受付処理における、ブロックカーソル５２ａや縦カーソル５２ｂ、横カーソル５２ｃの移動（切替速さ）は、設定画面４０のあいうえお表切替速さ設定部４６の設定値に基づく速さで行われる。なお、例えば、最低速さが設定されている場合、カーソルを一旦停止して次に移動させるまでの時間が約３〜４秒程度（１００フレーム分のフレーム画像を取得できる時間）となり、最高速さが設定されている場合、カーソルを一旦停止して次に移動させるまでの時間が、約０．３〜０．４秒程度（１０フレーム分のフレーム画像を取得できる時間）となる。ステップＳ２１０の瞬き判定処理の結果、被験者が意思表示をするために意識的に行う瞬き（以下、意識瞬きという）がされたか否かを判定し（ステップＳ２２０）、意識瞬きされてないと判定すると、ブロックカーソル５２ａを移動させたままステップＳ２１０の瞬き判定処理を繰り返し行う。一方、意識瞬きされたと判定すると、ブロックカーソル５２ａの移動を停止しブロックカーソル５２ａが位置しているブロックを被験者に選択されたブロックとして処理対象ブロックに設定する（ステップＳ２３０）。

次に、処理対象ブロック内で縦カーソル５２ｂの移動を開始し（ステップＳ２４０）、カメラ１６で撮影されるフレーム画像に基づいて瞬き判定処理を行う（ステップＳ２５０）。そして、瞬き判定処理で意識瞬きされたか否かを判定し（ステップＳ２６０）、意識瞬きされてないと判定すると、縦カーソル５２ｂを移動させたままステップＳ２５０の瞬き判定処理を繰り返し行う。一方、意識瞬きされたと判定すると、縦カーソル５２ｂの移動を停止し縦カーソル５２ｂが位置している文字列が被験者に選択されたと判定してＲＡＭ２６に記憶する（ステップＳ２７０）。これにより、あいうえお表表示部５２における縦位置、即ち子音が決定されることになる。本実施形態では、縦カーソル５２ｂは、あいうえお表表示部５２を２分割したいずれかのブロック（処理対象ブロック）内で移動させるから、あいうえお表表示部５２の全体（「あ」行から「わ」行まで）を移動させるものに比べて、被験者が眼を開き続けている時間を少なくすることができる。このため、被験者の眼の負担を軽減させることができる。

続いて、横カーソル５２ｃの移動を開始し（ステップＳ２８０）、カメラ１６で撮影されるフレーム画像に基づいて瞬き判定処理を行う（ステップＳ２９０）。そして、瞬き判定処理で意識瞬きされたか否かを判定し（ステップＳ３００）、意識瞬きされてないと判定すると、横カーソル５２ｃを移動させたままステップＳ２９０の瞬き判定処理を繰り返し行う。一方、意識瞬きされたと判定すると、横カーソル５２ｃの移動を停止し横カーソル５２ｃが位置している文字列が被験者に選択されたと判定してＲＡＭ２６に記憶する（ステップＳ３１０）。これにより、あいうえお表表示部５２における横位置、即ち母音が決定されることになる。そして、選択された縦横の文字列が交差する位置の文字を被験者が選択した選択文字に決定し（ステップＳ３２０）、決定した選択文字を選択文字表示部５６に表示して（ステップＳ３３０）、文字選択受付処理を終了する。

次に、選択文字関連処理について説明する。図７の選択文字関連処理では、メインコントローラ２０のＣＰＵ２２は、まず、選択カーソル５４ａの移動を開始して（ステップＳ４００）、カメラ１６で撮影されるフレーム画像に基づいて瞬き判定処理を行う（ステップＳ４１０）。なお、選択カーソル５４ａの移動（切替速さ）は、設定画面４０の命令切替速さ設定部４８の設定値に基づく速さであり、あいうえお表表示部５２における各カーソルの速さと同様に定められる。また、選択文字関連処理の瞬き判定処理は、文字選択受付処理の瞬き判定処理と同じ処理が行われる。ステップＳ４１０の瞬き判定処理の結果、意識瞬きされたか否かを判定し（ステップＳ４２０）、意識瞬きされてないと判定すると、選択カーソル５４ａを移動させたままステップＳ４１０の瞬き判定処理を繰り返し行う。一方、意識瞬きされたと判定すると、選択カーソル５４ａの移動を停止し選択カーソル５４ａが位置しているアイコンの項目が被験者に選択されたと判定してＲＡＭ２６に記憶する（ステップＳ４３０）。

そして、被験者が「濁点」を選択したか（ステップＳ４４０）、「×」を選択したか（ステップＳ４５０）、「○」を選択したか（ステップＳ４６０）、「音声出力」を選択したか（ステップＳ４７０）、をそれぞれ判定する。ステップＳ４４０で「濁点」が選択されたと判定すると、選択文字表示部５６に表示した文字に濁点を追加して（ステップＳ４８０）、ステップＳ４００に戻り処理を繰り返す。なお、「濁点」アイコンは、「濁点」（゛）の付加と「半濁点」（゜）の付加とを兼用するものである。このため、濁点のみが付加される「か行」や「さ行」，「た行」のひらがなを選択文字表示部５６に新たに表示した場合には、そのひらがなに「濁点」を付加する。また、濁点と半濁点とがいずれも付加される「は行」のひらがなを選択文字表示部５６に新たに表示した場合には、そのひらがなに「濁点」を付加し、「濁点」が既に付加されていれば「半濁点」に変更し、「半濁点」が付加されていれば「濁点」に変更する。

また、ステップＳ４５０で「×」が選択されたと判定すると、選択文字表示部５６に新たに表示した文字（一文字）を消去して（ステップＳ４９０）、選択文字関連処理を終了する。また、ステップＳ４６０で「○」が選択されたと判定すると、選択文字表示部５６に新たに表示した文字を確定して（ステップＳ５００）、選択文字関連処理を終了する。これにより、被験者は、次の文字の選択を継続することができる。また、ステップＳ４７０で「音声出力」が選択されたと判定すると、選択文字表示部５６に表示されている文字をスピーカ１８から音声出力するようスピーカメインコントローラ３６に音声出力信号を出力して（ステップＳ５１０）、選択文字関連処理を終了する。一方、ステップＳ４７０で「音声出力」が選択されていないと判定すると、「ごみ箱」が選択されているから、選択文字表示部５６に表示されている全ての文字を消去して（ステップＳ５２０）、選択文字関連処理を終了する。

次に、文字選択受付処理のステップＳ２１０，Ｓ２５０，Ｓ２９０および選択文字関連処理のステップＳ４１０の瞬き判定処理の詳細について説明する。図８は、瞬き判定処理の一例を示すフローチャートである。この瞬き判定処理では、メインコントローラ２０のＣＰＵ２２は、まず、カメラ１６で撮影されるフレーム画像を取得し（ステップＳ６００）、左右それぞれの眼において瞳孔部分を示す黒画素からなる黒色部分を抽出する（ステップＳ６１０）。そして、瞬きによるコミュニケーション処理のステップＳ１２０で設定した残像（基準画像）と比較して、残像との重なり部分の画素数をカウントし（ステップＳ６２０）、重なり部分の画素数が残像に占める割合（画素割合）が第１閾値以下であるか否かを判定する（ステップＳ６３０）。左右の眼のいずれかにおいて重なり部分の画素割合が第１閾値以下でないと判定すると、ステップＳ６００に戻り処理を繰り返し、左右の眼のいずれにおいても重なり部分の画素割合が第１閾値以下であると判定すると、被験者の眼が閉じる方向に変化した閉眼と判定する（ステップＳ６４０）。

図９は、閉眼や開眼を判定する様子を示す説明図である。ここで、筋力の弱い被験者は、しっかりと眼を閉じることが困難であり、意識瞬きをするときでも眼を弱くしか閉じられないため、図９の中段と下段の図に示すように、意識瞬きが、完全に眼を閉じることなく半閉じのような瞬きとなることがある。ステップＳ６３０，Ｓ６４０の閉眼の判定では、そのような眼の閉じ方であっても閉眼を判別できるように第１の閾値を定めて処理を行う。この第１閾値は、設定画面４０の瞬き判定敏感さ設定部４４の設定に基づく値となっており、瞬き判定敏感さの設定値が大きい（値１００に近い）ほど、大きな値が用いられて被験者の閉眼を判定し易いものとなる。例えば、第１閾値は、瞬き判定敏感さの設定値が中間値５０のときに、残像（基準画像）の画素数に対して約２５％程度の画素数となる値に定めてあり、これにより完全に眼を閉じなくても、被験者の眼が閉じる方向に変化した閉眼を判定することができる。

こうして閉眼を判定すると、閉眼判定後のフレーム画像の取得数であるフレーム取得数Ｋを値１にリセットして（ステップＳ６５０）、閉眼判定後に被験者の眼が開く方向に変化する開眼を判定する。開眼の判定は、まず、カメラ１６で撮影されるフレーム画像を取得し（ステップＳ６６０）、左右それぞれの眼において瞳孔部分を示す黒画素からなる黒色部分を抽出する（ステップＳ６７０）。そして、残像との重なり部分の画素数をカウントし（ステップＳ６８０）、重なり部分の画素数が残像に占める割合（画素割合）が第２閾値以上であるか否かを判定する（ステップＳ６９０）。第２閾値は、閉眼と開眼とを頻繁に繰り返し判定するのを防止するため、第１閾値よりも若干大きな値に定められている。左右の眼のいずれかにおいて重なり部分の画素割合が第２閾値以上でないと判定すると、フレーム取得数Ｋを値１だけインクリメントして（ステップＳ７００）、ステップＳ６６０に戻り処理を繰り返し、左右の眼のいずれにおいても重なり部分の画素割合が第２閾値以上であると判定すると、被験者の眼が開く方向に変化した開眼と判定する（ステップＳ７１０）。即ち、図９に示すように、被験者の眼が閉眼と判定された状態から、重なり部分が大きくなると、開眼と判定することになる。

開眼を判定すると、次に、瞬きの判定を行う。このように、本実施形態では、閉眼と開眼との両方が行われたことに基づいて、被験者の瞬きを判定するのである。筋力の弱い被験者の場合、眼をしっかりと開いたり閉じたりすることが苦手であり、開閉の差がはっきりと現れにくいから、閉眼と開眼との両方が行われたときに瞬きを判定することで、瞬きを精度よく判定することができる。また、タブレット端末１０の薄板状の本体１１に組み込み可能に構成されるカメラ１６のように、カメラ単体で構成されて比較的大きなイメージセンサを備えるものに比べて、撮影性能が低いものを用いる場合であっても、瞬き判定の精度を向上させることができる。また、瞬き判定処理では、眼部検出処理やカメラ１６のキャリブレーションを行うことなく、取得したフレーム画像に基づいて閉眼や開眼の判定を行うため、フレーム画像の多く（例えば、30fpsの場合、２４フレーム以上など）を瞬きの判定に用いることができる。なお、筋力の弱い被験者は、顔や体を大きく動かすことが困難であるから、被験者の眼を一旦検出すれば、検出した眼の位置が大きくずれることはないため、眼部検出処理などを行わないものとしても瞬き判定処理に問題が生じるおそれは少ない。瞬きの判定では、フレーム取得数Ｋが第１フレーム数（第１の閾値）Ｋ１以上で第２フレーム数（第２の閾値）Ｋ２以下の所定数範囲内にあるか否かを判定し（ステップＳ７２０）、フレーム取得数Ｋが所定数範囲内にあると判定すると、今回判定した一連の閉眼および開眼は意識瞬きであると判定して（ステップＳ７３０）、瞬き判定処理を終了する。一方、フレーム取得数Ｋが第１フレーム数Ｋ１未満であったり第２フレーム数Ｋ２超過であったりして、所定数範囲内にないと判定すると、意識瞬きではないと判定して（ステップＳ７４０）、瞬き判定処理を終了する。

図１０は、フレーム数と瞬き判定との関係を示す説明図である。なお、図１０では、閉眼や開眼を判定するための第１閾値と第２閾値とをまとめて、閾値として図示した。ここで、筋力の弱い被験者であっても、被験者が無意識に行う無意識瞬き（自然に行われる自然瞬き）は、被験者が意識して行う意識瞬きよりも速いものとなる。第１フレーム数Ｋ１は、そのような速い無意識瞬きを排除し得る値として、数フレームや十数フレーム程度（例えば、６フレームや１０フレームなど）の値に設定されている。これにより、少ないフレーム数の間に閉眼と開眼とが連続して行われる無意識瞬きを意識瞬きから排除することができる（図１０（ａ））。一方、第２フレーム数Ｋ２は、通常の意識瞬きよりも遅い瞬きを排除し得る値として、数十フレーム程度（例えば、２４フレームなど（約１秒間に判定に用いられるフレーム数に相当））の値に設定されている。これにより、筋力の弱い被験者が画面を見続けるのに疲れたりして、眼を閉じ続けている場合を意識瞬きから排除することができる（図１０（ｂ））。このように、被験者の無意識瞬きや被験者が眼を閉じ続けている場合を排除して、フレーム取得数Ｋが第１フレーム数Ｋ１以上で第２フレーム数Ｋ２以下の所定数範囲内にある場合を意識瞬きとするから（図１０（ｃ））、意識瞬きを適切に判定することが可能となる。なお、瞬き判定敏感さ設定部４４で敏感さが上げられるほど（値１００に近付くほど）、第１フレーム数Ｋ１が小さな値に設定され、第２フレーム数Ｋ２が大きな値に設定されて、所定数範囲が拡大されることになる。そうなると、例えば、無意識瞬きに近い速い瞬きについても、意識瞬きと判定する場合も生じるが、これについては、適切な設定値に調整することで、無意識瞬きや眼を閉じ続けている状態を適切に排除することは可能である。

ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態のコミュニケーションシステム１が本発明のコミュニケーションシステムに相当し、ＬＣＤ１２が表示手段に相当し、カメラ１６が撮影手段に相当し、図２の瞬きによるコミュニケーション処理（図６の文字選択受付処理、図８の瞬き判定処理）を実行するメインコントローラ２０とＬＣＤメインコントローラ３０とカメラメインコントローラ３４とが処理制御手段に相当し、図６の文字選択受付処理のステップＳ３３０の処理を実行するメインコントローラ２０とＬＣＤ１２に表示された文字選択画面５０の選択文字表示部５６とが出力手段に相当する。また、図７の選択文字関連処理のステップＳ５１０の処理を実行するメインコントローラ２０とスピーカメインコントローラ３６とスピーカ１８とが出力手段に相当する。また、ブロックカーソル５２ａがブロックカーソルに相当し、縦カーソル５２ｂが縦カーソルに相当し、横カーソル５２ｃが横カーソルに相当する。また、筐体１１が筐体に相当し、タブレット端末１０がタブレット端末に相当する。なお、本実施形態では、コミュニーションシステム１の処理を説明することにより、本発明の瞬き判定方法の一例も明らかにしている。

以上説明した本実施形態のコミュニケーションシステム１によれば、所定のフレームレートで被験者の眼を撮影して取得したフレーム画像を用いて、被験者の眼が閉じる方向に変化する閉眼を判定し、閉眼を判定してから被験者の眼が開く方向に変化する開眼を判定したときに、被験者が意識瞬きしたと判定する。これにより、被験者が眼を一定時間しっかりと閉じ続けなくても、被験者の意識瞬きを判定することができる。このため、筋力の弱い被験者が弱い瞬きをした場合でも、意識瞬きを精度よく判定して、瞬きによるコミュニケーションをスムーズに行うことができる。また、連続する所定数範囲内のフレーム画像で閉眼と開眼とが行われた場合に意識瞬きしたと判定するから、被験者の無意識瞬きや被験者が眼を閉じ続けている状態を適切に排除して、意識瞬きを精度よく判定することができる。

また、瞬き判定処理の開始に先立って被験者の眼を検出する眼部検出処理を行い、被験者の眼を検出した以降の瞬き判定処理中には、眼部検出処理を行わないから、多くのフレーム画像を瞬き判定に用いることができ、眼の開閉状態の僅かな変化を精度よく検出することができる。さらに、眼部検出処理後に予め生成した残像と、取得したフレーム画像から抽出した眼の瞳孔部分との重なり度合いに基づいて、閉眼と開眼とを判定するから、比較的簡易な処理として処理負担の増加を抑制することができる。そして、縦カーソル５２ｂや横カーソル５２ｃで文字を選択する範囲を、あいうえお表表示部５２を２つに分割したブロック内に絞るから、被験者の眼の負担を軽減することができる。また、コミュニケーションシステム１をタブレット端末１０で構成するから、コンパクトな構成として利便性を向上させることができる。また、瞬きによるコミュニケーション処理を、タブレット端末１０に記憶されるアプリケーションソフトとして提供することで、広く一般に用いることが可能となる。

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態では、あいうえお表表示部５２を２つに分割したが、これに限られず、３つ以上の複数に分割してもよい。あるいは、あいうえお表表示部５２を分割しないものとしてもよく、その場合、ブロックカーソル５２ａを用いずに、縦カーソル５２ｂと横カーソル５２ｃとを用いてひらがなを選択させればよい。

上述した実施形態では、被験者が意思表示を行うための情報としてひらがなを例示したが、これに限られず、アルファベットなどの他の文字としてもよいし、数字などとしてもよい。この場合、縦カーソル５２ｂでの選択を横カーソル５２ｃでの選択よりも先に行う（先に縦の情報列を選択させる）ものに限られず、横カーソル５２ｃでの選択を縦カーソル５２ｂでの選択よりも先に行う（先に横の情報列を選択させる）ものとしてもよい。また、選択可能な情報としては、少なくとも２以上の情報からなる情報群であればよく、２以上の図形や記号（○×など）としてもよいし、行きたい場所や食べたい物、読みたい本などを選択させるための写真などとしてもよい。

上述した実施形態では、複数のフレーム画像に基づいて残像を設定したが、これに限られず、１つのフレーム画像に基づいて残像を設定してもよい。

上述した実施形態では、瞬き判定処理中に眼部検出処理やカメラ１６のキャリブレーションを行わないものとしたが、これに限られず、瞬き判定処理中に眼部検出処理やキャリブレーションを行うものとしてもよい。その場合、移動させるカーソルが変わってから最初に瞬き判定処理を行うときに眼部検出処理やキャリブレーションを行ってもよいし、瞬き判定処理が所定回数行われる度に眼部検出処理やキャリブレーションを行ってもよい。そのようにしても、眼部検出処理やキャリブレーションの頻度を抑えれば、瞬き判定処理に多くのフレーム画像を用いて、判定精度を向上させることはできる。

上述した実施形態では、閉眼と開眼を判定する閾値に別々の閾値（第１閾値と第２閾値）を用いたが、これに限られず、共通の閾値を用いてもよい、また、重なり部分の画素数が残像に占める割合である画素割合で閉眼や開眼を判定したが、これに限られず、重なり部分の画素数を用いて、画素数が閾値以下であれば閉眼と判定し、画素数が閾値を超えれば開眼と判定してもよい。

上述した実施形態では、閉眼や開眼を両眼で判定したが、これに限られず、片眼だけで判定してもよい。この場合、左右の眼のいずれかで重なり部分の画素割合が第１閾値以下と判定した場合に閉眼と判定したり、左右の眼のいずれかで重なり部分の画素割合が第２閾値以上と判定した場合に開眼と判定したりすればよい。

上述した実施形態では、眼部検出処理後に設定した残像（基準画像）と比較することで閉眼や開眼を判定したが、これに限られず、現在のフレーム画像とその直前（数フレーム前）のフレーム画像とを比較することで閉眼や開眼を判定してもよい。この場合、現在のフレーム画像における瞳孔部分に相当する画素（黒画素など）が、直前のフレーム画像における瞳孔部分に相当する画素に比べて大きく減少した（画素の減少数が閾値以上となった）ときに閉眼と判定すればよい。また、現在のフレーム画像における瞳孔部分に相当する画素（黒画素など）が、直前のフレーム画像における瞳孔部分に相当する画素に比べて大きく増加した（画素の増加数が閾値以上となった）ときに開眼と判定すればよい。

上述した実施形態では、閉眼判定後のフレーム取得数Ｋが第１フレーム数Ｋ１以上で第２フレーム数Ｋ２以下の所定数範囲内にある場合に意識瞬きと判定したが、これに限られず、閉眼判定後のフレーム取得数Ｋが第１フレーム数Ｋ１以上の範囲内にあれば第２フレーム数Ｋ２超過であっても意識瞬きと判定してもよいし、閉眼判定後のフレーム取得数Ｋが第２フレーム数Ｋ２以下の範囲内にあれば第１フレーム数Ｋ１未満であっても意識瞬きと判定してもよい。即ち、意識瞬きを判定するための範囲として下限と上限とを定めるものに限られず、下限と上限の一方のみを定めるものとしてもよい。

上述した実施形態では、コミュニケーションシステム１を構成するタブレット端末１０をアームスタンド６に取り付けたが、これに限られず、タブレット端末１０を壁などに固定してもよいし、タブレット端末１０を机などの台に置くものとしてもよい。

上述した実施形態では、コミュニケーションシステム１をタブレット端末１０で構成したが、これに限られず、ＣＣＤカメラなどの撮影手段と、ディスプレイなどの表示手段と、パーソナルコンピュータなどの処理装置とをそれぞれ個別に用意してシステムを構成してもよい。

１ コミュニケーションシステム、２ ベッド、４ サイドガード、６ アームスタンド、８ クリップ、１０ タブレット端末、１２ ＬＣＤ、１４ タッチパネル、１６ カメラ、１８ スピーカ、１９ 操作ボタン、２０ メインコントローラ、２２ ＣＰＵ、２４ フラッシュメモリ、２６ ＲＡＭ、２８ インタフェース（Ｉ／Ｆ）、３０ ＬＣＤメインコントローラ、３２ タッチパネルメインコントローラ、３４ カメラメインコントローラ、３６ スピーカメインコントローラ、４０ 設定画面、４２ カメラ画像表示設定部、４４ 瞬き判定敏感さ設定部、４６ あいうえお表切替速さ設定部、４８ 命令切替速さ設定部、４２ａ，４４ａ，４６ａ，４８ａ バー、４２ｂ，４４ｂ，４６ｂ，４８ｂ ポインタ、５０ 文字選択画面、５２ あいうえお表（五十音）表示部、５２ａ ブロックカーソル、５２ｂ 縦カーソル、５２ｃ 横カーソル、５４ 関連処理表示部、５４ａ 選択カーソル、５６ 選択文字表示部。

Claims (8)

1. 被験者の瞬きを利用するコミュニケーションシステムであって、
   複数の情報からなる情報群と、該情報群のうちいずれかの情報を被験者に選択させるためのカーソルとを表示する表示手段と、
   所定のフレームレートで被験者の眼を撮影して時系列に連続する複数のフレーム画像を取得する撮影手段と、
   前記カーソルが前記情報群の各情報を順次移動するよう前記表示手段を制御すると共に前記取得されたフレーム画像に基づいて被験者の瞬きを判定し、被験者の瞬きを判定したときの前記カーソルの位置に基づいて前記情報群のうち被験者が選択した情報を決定する処理制御手段と、
   前記決定された情報を外部に認識可能に出力する出力手段と、
   を備え、
   前記処理制御手段は、前記取得されたフレーム画像において被験者の眼を示す領域が減少したことに基づいて閉眼を判定し、且つ、該閉眼を判定してから取得された所定数のフレーム画像において被験者の眼を示す領域が増加したことに基づいて開眼を判定したときに、被験者が瞬きしたと判定する
   コミュニケーションシステム。
2. 請求項１に記載のコミュニケーションシステムであって、
   前記処理制御手段は、前記取得されたフレーム画像に基づいて被験者の眼を検出する眼部検出処理を行い、該眼部検出処理で検出した眼の瞳孔部分を含む領域を抽出して基準画像を生成しておき、前記取得されたフレーム画像から眼の瞳孔部分を含む領域を抽出し、該抽出した瞳孔部分を含む領域と前記基準画像との重なり度合いに基づいて、前記閉眼の判定と前記開眼の判定とを行う
   コミュニケーションシステム。
3. 請求項１または２に記載のコミュニケーションシステムであって、
   前記処理制御手段は、前記所定数のフレーム画像として、第１の閾値以上のフレーム画像において前記閉眼を判定したときに、被験者が瞬きしたと判定する
   コミュニケーションシステム。
4. 請求項３に記載のコミュニケーションシステムであって、
   前記処理制御手段は、前記所定数のフレーム画像として、前記第１の閾値よりも大きな第２の閾値以下のフレーム画像において前記閉眼を判定したときに、被験者が瞬きしたと判定する
   コミュニケーションシステム。
5. 請求項１ないし４いずれか１項に記載のコミュニケーションシステムであって、
   前記処理制御手段は、瞬きの判定の開始に先立って、前記取得されたフレーム画像に基づいて被験者の眼を検出する眼部検出処理を行い、該眼部検出処理で被験者の眼を一旦検出した以降は、瞬きの判定中に前記眼部検出処理を行わない
   コミュニケーションシステム。
6. 請求項１ないし５いずれか１項に記載のコミュニケーションシステムであって、
   前記表示手段は、前記各情報を縦横のマトリックス状に配列して前記情報群を表示し、前記カーソルとして、前記情報群の縦位置を選択するための縦カーソルと、前記情報群の横位置を選択するための横カーソルと、前記情報群を複数のブロックに分割した各ブロックを選択するためのブロックカーソルとを表示可能であり、
   前記処理制御手段は、前記ブロックカーソルが前記複数のブロックを順次移動するよう前記表示手段を制御し、被験者の瞬きを判定したときの前記ブロックカーソルの位置に基づいて被験者が選択したブロックを決定してから、該決定したブロック内の各情報を処理対象として、前記縦カーソルと前記横カーソルとをそれぞれ順次移動させ、前記縦カーソルの移動中に被験者の瞬きを判定したときの前記縦カーソルの位置と、前記横カーソルの移動中に被験者の瞬きを判定したときの前記横カーソルの位置とに基づいて、被験者が選択した情報を決定する
   コミュニケーションシステム。
7. 請求項１ないし６いずれか１項に記載のコミュニケーションシステムであって、
   前面に被験者が視認可能に前記表示手段が設けられると共に被験者の眼を撮影可能に前記撮影手段が設けられる薄板状の筐体に、前記表示手段と前記撮影手段と前記処理制御手段と前記出力手段とが収容されたタブレット端末で構成される
   コミュニケーションシステム。
8. 所定のフレームレートで被験者の眼を撮影して時系列に連続する複数のフレーム画像を取得し、該取得したフレーム画像に基づいて被験者の瞬きを判定する瞬き判定方法であって、
   前記取得されたフレーム画像において被験者の眼を示す領域が減少したことに基づいて閉眼を判定し、且つ、該閉眼を判定してから取得された所定数のフレーム画像において被験者の眼を示す領域が増加したことに基づいて開眼を判定したときに、被験者が瞬きしたと判定する
   瞬き判定方法。