JP2007164617A - ガウス関数を用いたテンプレート作成方法および眼球運動を用いた視力入力コミュニケーション方法 - Google Patents

Abstract

【課題】黒目画素領域検出法として黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値をテンプレートとして登録するテンプレートの作成方法と眼球運動を用いた視力入力コミュニケーション方法を得る。
【解決手段】Ｓ１で、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用して黒目と眉毛領域のテンプレートを登録する。Ｓ２で、視線方向検出の基準となる方向別視線データをＰＣのメモリに登録する。被験者がディスプレイ上の意図する項目を選択する時、Ｓ３で、使用者の目の開閉により差画像を作成し目の領域を抽出し、前記テンプレートを利用して、入力画像のテンプレートマッチングを行なう。Ｓ４で、入力される毎画像も数値化し、前記方向別視線データと比較することで視線方向検出を行う。Ｓ５で、被験者はディスプレイ上の意図する項目を見つめることで選択できる。
【選択図】 図４

Description

本発明は、重度の筋萎縮性側策硬化症患者（以下、ＡＬＳという）等と介護者、家族等とのコミュニケーションを支援する、眼球運動を用いたテンプレート作成方法および眼球運動を用いた視線入力コミュニケーションシステムに関する。

近年、介護、福祉といった分野が注目を浴びている。高齢化の進むわが国にとって、それらの分野における社会的制度の設備、見直しは急務である。しかし、現状はとても満足できるようなものではない。重度肢体不自由者の介護問題も例外ではなく、以前からある問題であるにも関わらず、未だに患者、介護者にとって非常に負担の大きい問題となっている。重度肢体不自由者にとって、介護は必要不可欠なものである。しかし、現実は介護量、介護の質、支援システムなどが十分ではない。そのため、現在、介護体制の見直しが必要とされる。また、パソコン（以下、ＰＣという。）やＩＴ技術の急速な普及により、ＰＣを利用した高齢者や障害者の自立が図られている（例えば、非特許文献１参照）。

しかし、重度肢体不自由者は、手足に障害を持っているためＰＣを操作するために必要なマウス、キーボード等の入力装置を利用することはできない。また、言語障害も併せ持つことが多いため、言葉を発することが困難である。したがって、音声入力によるＰＣ操作も不可能である。しかし、重度肢体不自由者であっても、脳に近い目の筋肉は意識的に動かせる場合が多いことが知られている。

主な視線検出装置として光センサーＣＣＤカメラなどが挙げられる。光センサーを用いた非接触方式もあるが、眼球運動を測定するため、直接眼球にセンサーの標準を当てる必要があるため、使用者には生理的負担を強いることになる。一方、ＣＣＤカメラを用いる方法としては、ＣＣＤカメラで目の周辺画像をパソコンに取り込み、画像処理を行うことにより視線方向を検出するものがある。また、ＣＣＤカメラは非接触方式なので、使用者の負担を除くことができるが、頭部を少しでも動かすと視線を正確に検出するのが困難になるといった問題があった。

そこで、重度肢体不自由者であっても脳に近い目の筋肉は意識的に動かせる場合が多いことに着目して、本発明者等は、筋萎縮性側策硬化症（Ａｍｙｏｔｒｏｐｈｉｃ Ｌａｔｅｒａｌ Ｓｃｌｅｒｏｓｉｓ、以下ＡＬＳという。）等の重度肢体不自由者ためにコミュニケーション障害の壁を取り除き介護者の負担を減らすとともに、重度肢体不自由者の自立を支援する眼球運動を用いたユーザーインターフェイスを開発し、「眼球運動を用いた視力入力コミュニケーション方法」についての発明を既に提案している（例えば、特許文献１参照）。

この提案した発明は、眼球運動を用いた視線入力コミュニケーションシステムの開発を課題として、ビデオカメラを用いて患者の顔画像を取得し、画像処理により非接触的に患者の視線方向検出を行うことにより、表示画面上の意図する項目を選択するとともに、眼球運動と瞼の開閉動作による眼球機能のみで入力し、スイッチング操作で仮想キーボードによる操作により、在宅勤務を行うようにした、眼球運動を用いた視線入力コミュニケーションシステムであり、被験者の顔全体をとらえた画像より被験者に目の開閉をさせて差画像を取得し、次いで目と眉のテンプレートを登録し、キャリブレーション（方向基準画像の登録）時に得たデータと入力画像により得られたデータを比較して視線方向を検出するようにしたものである。
山本、「コミュニケーションエイド」緩和医療学，Ｖｏｌ.３，Ｎｏ.１，２００１ 特開２００５−１００３６６号公報（特許第３６７３８３４号）

従来の視線方向検出法である黒目画素領域検出法では、検出された目を目全体と決定し、目全体の中心を黒目、目全体からの一定距離を眉毛とするものであり、入力画像の陰影部分や眼鏡のフレーム等を黒目と認識し、テンプレート登録時に正確に黒目を登録できなかった。そこで本発明は、視線検出精度向上として視線方向検出法である黒目画素領域検出法として黒目のモデルとしてガウス関数を用いた２次元のガウス分布（６０×６０ｐｉｘｅｌ）の数値をテンプレートとして登録することを特徴としたテンプレートの作成方法および眼球運動を用いた視力入力コミュニケーション方法を得ることを目的としている。

上記目的を達成するために、この発明の請求項１に係るテンプレート作成方法は、患者あるいは被験者の顔をとらえた画像より眉と目を含む画像を取得し、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用してテンプレート登録を行なうことを特徴とする。

これにより、従来の視線方向検出法である黒目画素領域検出法では、入力画像の陰影部分や眼鏡のフレーム等を黒目と認識し、テンプレート登録時に正確に黒目を登録できなかったが、本発明は、視線検出精度向上として視線方向検出法である黒目画素領域検出法として黒目のモデルとしてガウス関数を用いた２次元のガウス分布（６０×６０ｐｉｘｅｌ）の数値をテンプレートとして登録するので、確実な黒目の確認ができる。

この発明の請求項２に係る眼球運動を用いた視線入力コミュニケーション方法は、患者あるいは被験者の顔をとらえた画像より眉と目を含む画像を取得し、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用して登録作成されたテンプレートを準備し、患者あるいは被験者がディスプレイ上の意図する項目を選択する時、瞼が閉じている状態の画像と瞼が開いている状態の画像から差画像を作成し、ヒストグラム処理により目の領域を抽出し、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を用いた前記テンプレートを利用して、入力画像の中のどの領域と最も似ているかを求めるテンプレートマッチングを行ない、視線方向検出を行なって入力される毎画像を数値化し、パソコンのメモリに登録された視線方向検出の基準となる方向別視線データと比較することで視線方向検出を行ない、視線方向はディスプレイ上に状態の変化として出力することを特徴とする。

これにより、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用して黒目および眉毛領域のテンプレートを登録する。そして、患者あるいは被験者がディスプレイ上の意図する項目を選択する時、前記テンプレートを利用して、被験者の目周辺の入力画像の中のどの領域と最も似ているかを求めるテンプレートマッチングを行なうので、確実に視線方向検出を行なうことができ、意図を相手に伝えることができる。

この発明の請求項３に係る眼球運動を用いた視線入力コミュニケーション方法は、患者あるいは被験者の顔をとらえた画像より眉と目を含む画像を取得し、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用して登録作成されたテンプレートを準備し、患者あるいは被験者がディスプレイ上の意図する項目を選択する時、瞼が閉じている状態の画像と瞼が開いている状態の画像から差画像を作成し、ヒストグラム処理により目の領域を抽出し、前記テンプレートを利用して、ピラミッド構造を用いて探索範囲を縮小して入力画像の中のどの領域と最も似ているかを求めるテンプレートマッチングを行ない、視線方向検出を行なって入力される毎画像を数値化し、パソコンのメモリに登録された視線方向検出の基準となる方向別視線データと比較することで視線方向検出を行ない、視線方向はディスプレイ上に状態の変化として出力することを特徴とする。

これにより、テンプレートマッチングのみで目の位置追跡を行うには、画像中の探索領域が広すぎるため計算に時間がかり、リアルタイムでの画像処理は困難となるが、本発明は、ピラミッド構造を用いて探索範囲を縮小して計算することでリアルタイムでの画像処理が容易となる。

この発明の請求項４に係る肢体不自由者用就業支援システムは、上記請求項２または請求項３記載の眼球運動を用いた視線入力コミュニケーション方法を利用して、ＰＣによるＳＯＨＯビジネスを可能にするように構成した。

この発明の請求項５に係るバイオメトリクス認証システムは、上記請求項２または請求項３記載の眼球運動を用いた視線入力コミュニケーション方法を利用して構成した。

この発明の請求項６に係る車の運転時における居眠り検知システムは、上記請求項２または請求項３記載の眼球運動を用いた視線入力コミュニケーション方法を利用して構成した。

この発明の請求項７に係る目で操作するゲームシステムは、上記請求項２または請求項３記載の眼球運動を用いた視線入力コミュニケーション方法を利用して構成した。

これにより、本発明は、肢体不自由者用コミュニケーションシステムはもとより、ＰＣによるＳＯＨＯビジネスを可能にする、肢体不自由者用就業支援システム、指紋認証や声紋認証が不可能な人を対象として、顔（目鼻）画像認証＋瞬き暗証符号認証を行なう、バイオメトリクス認証システムにも応用できる。更に、健常者を対象として車の運転時における、居眠り検知システムとしても応用でき、肢体不自由者または健常者を対象にした、目で操作するゲームシステムにも応用できる。

以上のように、本発明の眼球運動を用いたテンプレートの作成方法は、視線検出精度向上として視線方向検出法である黒目画素領域検出法としてガウス関数を用いた２次元のガウス分布（６０×６０ｐｉｘｅｌ）の数値をテンプレートとして登録するので、確実な黒目の確認ができる。

また、眼球運動を用いた視力入力コミュニケーションシステムはＡＬＳ患者等の重度肢体不自由者を対象としており、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用したテンプレートを登録して用いるので、確実に視線方向検出を行なうことができ、意図を相手に伝えることができる。そして、市販のＰＣとビデオカメラ（ＣＣＤカメラ）を用いて患者に生理的負担が少ない非接触方式にしているため、比較的安価なシステムを得ることができる。

本発明の実施形態を図面を参照して以下に説明する。図１は視線入力式コミュニケーションシステムの概要図、図２は本発明に係る眼球運動を用いた視線入力コミュニケーションシステムのハードウェア構成図である。

図１は視線入力式コミュニケーションシステムの説明図であり、本システムは、主として一台のパソコン（以下、ＰＣと呼ぶ。）とビデオカメラ２により構成される、非接触型コミュニケーションシステムである。ＡＬＳ患者等（被験者）１を対象としたシステムであり、ベッド上で使用されることが想定されている。ＰＣ、ビデオカメラ２共に市販の製品を用いており、比較的安価なシステムを実現している。

ＡＬＳ患者１は、ＰＣの表示画面３上の区画された領域を目で注視することにより、意図する項目を選択することができる。表示画面３は、設置が容易である液晶ディスプレイを用いると良い。また、システムの使用開始時にキャリブレーション（方向基準画像の登録）を行う必要がある。キャリブレーションでは、表示画面３の区画を順次点滅（他と異なる色に変更）させて行き、ＡＬＳ患者１にそれを目で追ってもらう。その時の眼球の位置などを記録し、方向決定用の基準としている。

図２は本発明に係る眼球運動を用いた視線入力コミュニケーションシステムのハードウェア構成図である。図において、ＰＣ（表示画面３と演算処理装置６の両方の機能を含む）の表示画面３の上部に取り付けられたビデオカメラ２で取り込んだＡＬＳ患者（使用者または被験者）１の顔面の映像から、演算処理装置６によりＡＬＳ患者１の目の位置を決定する。

視線方向の算出は、事前に決められているＰＣ上の基準点を見ている時のいくつかの点を初期値として記憶する。また、演算処理装置６により決定された目の位置と初期値として記憶している目の位置から眼球の方向を決定し、これらに基づいて視線の方向を算出する。算出された視線方向は演算処理装置６に与えられる。画像取り込み装置４を経由して得られた小型のビデオカメラ２の画像から、患者１の頭の位置ずれが検出された場合には、演算処理装置６は頭のずれを補正するためにビデオカメラ２の上下左右の補正値を、カメラ制御装置５に送り、その補正値分の移動をビデオカメラ２に与える。

演算処理装置６は、視線方向に対応した方向に、ＰＣ上に表示されているカーソルを移動する。しかも、意識的に瞬きまたは注視をすることで、通常のＰＣ用のマウスを使ってクリックするのと同じ機能を、目でクリックしてコマンドを送信することが可能である。また、画像取り込み装置４によって得られた計算結果より、ＡＬＳ患者１の見ている領域を推定し、その領域の色を変更し表示（出力）することができる。室内の照明条件は通常の蛍光灯による明るさのみで十分であり、赤外線や特別な照明などを設置する必要はない。

図３は本発明のシステムにおけるコミュニケーションスクリーン（初期画面）の一例であり、９分割画面を示す正面図である。９つの意思項目から１項目をＡＬＳ患者等の使用者１に選択してもらう。選択された項目はあらかじめ登録しておいた音声で読み上げられるようになっている。ただし、９つの項目だけでは十分な意思表現ができないため、選択した項目についてまた新たな画面を表示することによって患者の意思をより表現できるシステムとなっている。また、意思項目内容はＡＬＳ協会支部に対して、患者が介護者に伝えたい意思内容のアンケート調査を行い、まとめたものを採用する。

図３のコミュニケーションスクリーンにおいて、図３（ａ）はコミュニケーションの初期画面である。図３（ａ）のように使用者が「体位変換」を選択すると初期画面から図３（ｂ）の画面に切り替わる。図３（ｃ）の画面で最終的に「頭部を右に」を選択すると、あらかじめ登録されていた「頭部を右に」という音声が流れる。

図４に本発明のシステム処理手順を示す。まず、患者あるいは被験者の顔をとらえた画像より眉と目を含む画像を取得する。次にＳ１で、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用して黒目および眉毛領域のテンプレートを登録する。次にＳ２で、視線方向検出の基準となる各方向の値を求め方向別視線データをＰＣのメモリに登録する。

患者あるいは被験者がディスプレイ上の意図する項目を選択する時、Ｓ３で、使用者に目の開閉をしてもらい差画像を作成し、ヒストグラム処理により目の領域を抽出し、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用した前記テンプレートを利用して、入力画像の中のどの領域と最も似ているかを求めるテンプレートマッチングを行なう。そして、Ｓ４で、視線方向検出を開始し、本発明の提案方法によって入力される毎画像も数値化し、前記方向別視線データと比較することで視線方向検出を行う。Ｓ５で、患者あるいは被験者はディスプレイ上の意図する項目を目で見つめることで選択できる。意図する項目を選択する時は、その項目の領域を２秒以上注視することで選択できる。そして、Ｓ６で、選択された項目の下に呼び項目が存在する場合は画面が切り替わり呼び項目が表示され、最終的に選択された項目の内容が音声で流される。これにより、使用者の意図することを相手、例えば介護者に伝えることができる。

次に、本発明の視線検出方法の個々の処理について以下に詳細に説明する。
（１．１）目の位置検出
視線方向の検出を行うためには、目の位置を特定する必要がある。本発明では瞼の開閉に着目し、瞼が閉じている状態の画像と瞼が開いている状態の画像から差画像を作成し、ヒストグラム処理により目の領域の抽出を行った。

（１．１．１）差画像による目の位置検出
差画像を用いた目の位置検出の原理を以下に示す。
（１）差画像作成のために、図５（ａ）の瞬きを数回して瞼が閉じている状態の画像と、図５（ｂ）の瞼が開いている状態の画像を入力画像として取り込む。但し、本発明のシステムでは、約０．２秒に１回で画像を取り込んでいる。
（２）上記（１）の２つの画像の各画素領域で、輝度の差の絶対値を求めることで、変化のあった画素領域を算出する。これが図５（ｃ）の差画像となる。
（３）図６において、上記（２）の差画像を垂直方向にＹ分割し、上部からｍ番目の分割領域を水平分割領域Ｈｍとする。また、各水平分割領域Ｈｍ上の画素値を合計したものをＨｍ＿ｓｕｍとする。
（４）最も大きなＨｍ＿ｓｕｍを与える垂直分割領域のｍ番目の値を目の垂直成分として採用する。
（５）採用された水平分割領域Ｈｍ内で連続して大きな値を持つ２つの区域を検出する。そして、それぞれの区域の中心をｎ１，ｎ２として、これらを目の水平位置として採用する。他方法として、値が０でない連続区域の中心を目の水平位置として採用することも考えられる。しかし、この方法では、検出時にビデオカメラ等の雑音の影響を避けるために、適切な閾値を決定する必要がある。
（６）以上の工程により、位置（ｎ１，ｍ）及び（ｎ２，ｍ）に目が存在することになる。

（１．１．２）目の位置追跡
目の位置が検出された後、テンプレートマッチングを用いて、目の位置を連続的に検出する。テンプレートマッチングにはピラッミド構造を用いた高速テンプレートマッチングを用いた。次に、テンプレートマッチングとピラッミド構造について説明する。

（ａ）テンプレートマッチング
あらかじめ標準パターン（テンプレート画像）を用意しておき、画像が入ってくると、それが画像の中のどの領域と最も似ているかを求める相関計算である。ｆをテンプレート、ｇを入力画像とするとｆに整合するｇの領域を探すために、ｆをｇに対して可能な全ての位置に移動させる。そして、各移動（ｕ，ｖ）毎にｆとｇの類似性の測度∬ｆｇｄｘｄｙを計算する。

ここで、コーシー・シュワルツの不等式により

が得られる。

（１）式でｆは領域ｋの以外では０であるから、左辺は

と表せる。これは、ｆとｇの相互関数Ｃ_ｆｇと等しくなる。よって、

となる。

しかし、右辺で∬ｆ^２ｄｘｄｙは、一定あるが、∬ｇ^２ｄｘｄｙはｕとｖに依存するので一定ではない。従って、単に相互関数Ｃ_ｆｇを整合の測度と用いることはでいない。その代わりとして、正規化された相互相関として式（４）を用いる。

この式は、ｇ＝ｃｆが成立する変位（ｕ，ｖ）に対して最大（∬_ｋｆ^２ｄｘｄｙ）^１／２となる。

（ｂ）ピラミッド構造
テンプレートマッチングのみで目の位置追跡を行うには、画像中の探索領域が広すぎるため計算に時間がかり、リアルタイムでの画像処理は困難となる。そこで、ピラミッド構造を用いて探索範囲を縮小して計算することでリアルタイムでの画像処理が容易となる。以下にピラミッド構造の概要を説明する。

Ｍ×Ｎ画素の入力画像、Ｉ×Ｊ画素のテンプレートを最下層として、それぞれ３×３の画素領域を１画素に対応させる作業を繰り返して解像度を落とした新たな画像を作成する。同様の作業を３回繰り返し、図７のような４階層の画像のピラミッド構造を作成する。

テンプレートマッチングは、この最上層から開始し候補領域を決定する。次に得られた候補位置の周辺について１つ階層を落として再びマッチングを行う。最終的な候補位置は、最下層の画像上で得られたマッチング結果となる。

（１．１．３）瞼の開閉判別
本発明のシステムでは、瞼の開閉状態を入力信号のＯＮ、ＯＦＦとして利用している。瞼の開閉状態の判別をするために、まず入力画像に対して２値化処理を施すことによって２値画像を作成する。次に、２値画像の総黒画素数と開閉閾値を比較して開閉状態を判別する。

（ａ）２値化処理
２値化処理とは、適切な閾値を用いて画像上の各画素を０（黒領域）または１（白領域）の２つの値に変換することである。いま、画像ｆが濃度範囲［ａ，ｂ］であり、２値化閾値をＴ（ａ≦Ｔ≦ｂ）とすると、２値化処理は一般に次式によって表される。
ここで、ｆ_Ｔは２値画像である。

（ｂ）瞼の開閉閾値
瞼の開閉判別を行うためには、開閉閾値を設定する必要がある。そこで、使用者に５秒間瞬きをしてもらい、取り込んだ全画像を２値画像に変換し、各２値化画像の総黒画素数Ｅ_ｐを求める。画像を２値化したものを図８に示す。

最大総黒画素数Ｅ_ｍａｘと最小総黒画素数Ｅ_ｍｉｎとすると瞼の開閉閾値Ｅ_ｔｈは

となる。

瞼の開閉において瞼が開いている状態は、瞼が閉じている状態より図８からもわかるように瞳の黒画素領域を含むため総画素数が大きくなる。従って、瞼の開閉判別は以下の式になる。

但し、Ｅ_{ｓｔａｔｅ}は瞼の開閉状態とする。

（１．２）視線方向検出法
従来の黒目画素領域検出法では、目の領域の画像（１２０×８０ｐｉｘｅｌ）の中心から縦横にそれぞれ±３０ｐｉｘｅｌの領域を黒目の画像（６０×６０ｐｉｘｅｌ）とし、テンプレート登録していた。黒目を追跡する時に、黒目のテンプレートのピクセル階調値（色の濃淡を数値化したもの）を入力画像（３２０×２４０ｐｉｘｅｌ）のピクセル階調値と照らし合わせて最も類似する領域、つまり、誤差が最小となる領域を黒目として検出していた。

しかし、目の領域の画像（１２０×８０ｐｉｘｅｌ）の中心付近に黒目があるとは限らず、中心付近から外れる場合、このため、メガネをかけている被験者のメガネのフレームを誤認して検出する場合や陰影となった領域などを誤認して検出する場合があった。

従って、本発明では、このような誤認を防ぐために、黒目画素領域検出法の黒目の画像（６０×６０ｐｉｘｅｌ）のピクセル階調値の替わりとしてガウス関数を用いた２次元のガウス分布（６０×６０ｐｉｘｅｌ）の数値をテンプレートとして登録した。

（１．２．１）ガウス関数
ガウス関数（「ガウスフィルタ」ｈｔｔｐ：／／ｉｆ．Ｄｙｎｓｉｔｅ．ｎｅｔ／ｔ−ｐｏｔ／ｐｒｏｇｒａｍ／７９＿Ｇａｕｓｓ／を参照）とは指数関数的な形をした関数で、次式に示す。

ここで、Ｎは規格化変数で、σ^２は分散であり、分散とは平均＜ｘ＞からのずれの２乗期待値である。分散が大きければ大きいほど関数の山は、図９（ａ）のように、緩やかな形になり、逆に小さくなれば、図９（ｂ）のように、鋭い針のような形になる。

（１．２．２）ガウス分布
本発明で用いたガウス関数Ｆ（ｘ，ｙ）を式に示す。

ここで、ｘ成分とｙ成分で式を分けたのは、黒目のｙ成分の一部は瞼で隠れてしまうため、ｘ成分とｙ成分では黒目の領域が異なるためである。また、ｆ（ｘ），ｆ（ｙ）はともに０〜１の範囲である。但し、０≦ｘ≦６０、０≦ｙ≦６０、Ｋ_ｘ，Ｋ_ｙは実験的に求めた定数である。

Ｆ（ｘ，ｙ）は０〜２５５の範囲であり、０に近づくほど色は濃くなり、２５５に近づくほど色は淡くなる。本発明でのガウス関数は黒目を基準としているため画素値がガウス関数の逆の下に凸形なっている。

Ｆ（ｘ，ｙ）を用いて、（６０×６０ｐｉｘｅｌ）の分布図を作成し、入力画像（３２０×２４０ｐｉｘｅｌ）の画素領域から分布図との誤差が最小となる領域を黒目の領域とする。

（１．２．３）黒目画素領域検出法
眉と目を含む目周辺の画像に対して高速テンプレートマッチングを行い、黒目を含む領域（６０×６０ｐｉｘｅｌ）と眉を含む領域（４０×１６０ｐｉｘｅｌ）を図１０のように検出する。眉を含む領域を同時に検出したのは、眉が眼球運動に対して変化が少ないため、眉付近の左上を基準点としたからである。キャリブレーション（方向基準画像の登録）時に、基準点と黒目を含む領域の左上の点との相対距離を各視線方向別の画像からそれぞれ算出し登録しておく。

図１０において、２点の相対距離（ｌ_ｘ ^（ｎ），ｌ_ｙ ^（ｎ））は以下のようになる。

一般に人が何かを目で見る時は、眼球だけなく頭部も動かしている。したがって、ディスプレイ上の区画された領域を見る時も、自然と頭部が動いてしまう傾向にある。そこで、Ｌ_ｘ，Ｌ_ｙに補正項（ΔＬ_ｘ ^（ｎ），ΔＬ_ｙ ^（ｎ））を加えることにより、頭部の移動量を補正し、検出精度を上げた。

補正項は次式になり、

ここで、Ｘ_ｃ，Ｙ_ｃは定数であり、実験的に求めるものとする。

補正項を加えた時の２点の相対対距離（Ｌ_ｘ ^（ｎ），Ｌ_ｙ ^（ｎ））は次式となる。

入力画像に対しても基準点を（Ｘ，Ｙ）、黒目を含む領域の左上の点を（Ｘ，Ｙ）、２点の相対距離を（ｌ_ｘ，ｌ_ｙ）、補正項を加えた時の２点の相対距離を（Ｌ_ｘ，Ｌ_ｙ）とすると式１６となる。

キャリブレーション時に登録しておいた各方向別の相対距離（ΔＬｘ^（ｎ），ΔＬｙ^（ｎ））と入力画像の相対距離（Ｌ_ｘ，Ｌ_ｙ）を式（１７）ように比較する。

そして、最小の重み付きユークリッド距離Ｌを与えるｎ番目の項目を視線方向として採用する。最小の重み付きユークリッド距離Ｌを次式に示す。

視線方向の検出精度を測定するため、患者に代わって被験者５人に対して以下のような実験を行った。被験者は椅子に座った状態で行った。また、頭部の大きな移動を防止するため、頭部を背後の壁に接触させて簡易に固定した。被験者の目とディスプレイの距離は７０ｃｍ、ビデオカメラとの距離は８０ｃｍとした。室内の照明条件は通常の天井に備え付けられた蛍光灯による明るさで、実験中に大きな変化はないものとする。ディスプレイ内を、図１１に示すように、９分割した。黒目の検出方法を本発明の提案法と従来法を比較するために同時に行った。視線方向検出方法は黒目画素領域検出法を用いた。

最初に、ディスプレイの中央を注視してもらい、基準となる画像を登録した。次に、ディスプレイ内の区画を順次点滅（他と異なる色に変更）させていき、それを目で追ってもらうことで、方向決定用の基準となる各画像とデータを登録した。その後、２分間で画面上の区画を約５０回ランダムに点滅させた。点滅区画を目で追う作業を繰り返し行い、視線方向（０．２秒間に１個）を記録した。これを被験者１人につき３回行った。また、予め被験者に視線方向の練習を数回行ってから本実験を行った。何故なら、普段、頭を動かさずに目だけで見ることは非常に少ないため、どうしても頭が動く傾向があるため被験者に実験慣れしてもらうためであった。

実験結果は実験で得られた約６００個の視線方向データを適切に編集した約５００個中の成功個数（点滅区画を見た回数）の割合を成功率とした。また、点滅区間別視線検出方向結果には１点滅区画における成功数が８割以上の場合を成功とし、約５０回中の成功回数の割合を成功確率とした。被験者５名に対して今回行った実験結果を図１２に示した。

図１２の結果より被験者個々の平均は、従来法の成功率より提案法の成功率が高くなっており、実験全体の平均も従来法の成功率（９０．２％）と比べて本発明の提案法の成功率（９５．２％）が５％高くなっていることから、視線方向の精度が向上したことが確認できた。

実験結果より、被験者によっても成功率に個人差があることがわかる。これは、被験者Ｂ，Ｃは実験の熟練者で被験者Ｅは実験の前に数回練習しただけの初心者だからであった。これにより、本発明の眼球運動を用いたアイ・インターフェイスは練習をすればある程度の精度向上が見込まれると考えられる。そして、本発明で用いたガウス関数のＫ_ｘ，Ｋ_ｙは実験的に求めた定数を用いたが、これを自動的に使用者それぞれに合わせて設定することで、更なる精度向上が見込まれると考えられる。

本発明の眼球運動を用いた視線入力コミュニケーション方法に利用される、眼球運動を用いたアイ・インターフェイスは、肢体不自由者用コミュニケーションシステムはもとより、図１３に一例を示すように、ＰＣによるＳＯＨＯビジネスを可能にする、肢体不自由者用就業支援システムにも応用できる。また、図１４に示すように、指紋認証や声紋認証が不可能な人を対象として、顔（目鼻）画像認証＋瞬き暗証符号認証を行なう、バイオメトリクス認証システムにも応用できる。更に、図１５に示すように、健常者を対象として車の運転時における、居眠り検知システムとしても応用できる。また、図１６に示すように、肢体不自由者または健常者を対象にした、目で操作するゲームシステムにも応用でき、この例では消火ゲームの例を示している。このように、眼球運動を用いたアイ・インターフェイスは幅広い分野に適用できる。

視線入力式コミュニケーションシステムの概要図である。 視線入力コミュニケーションシステムのハードウェア構成図である。 本発明のシステムにおけるコミュニケーションスクリーンの一例図である。 本発明のシステム処理手順である。 目の位置検出図である。 差画像の説明図である。 ４階層の画像のピラミッド構造図である。 瞼の２値化画像である。 ガウス分布図である。 高速テンプレートマッチングによる黒目追従図である。 実験画面（９分割）である。 実験結果である。 肢体不自由者用就業支援システムの概要図である。 バイオメトリクス認証システムの概要図である。 居眠り検知システムの概要図である。 目で操作するゲームの概要図である。

符号の説明

１ ＡＬＳ患者等（被験者）
２ ビデオカメラ（ＣＣＤカメラ）
３ ＰＣの表示画面
４ 画像取り込み装置
５ カメラ制御装置
６ 演算処理装置

Claims (7)

1. 患者あるいは被験者の顔をとらえた画像より眉と目を含む画像を取得し、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用してテンプレート登録を行なうことを特徴とするテンプレート作成方法。
2. 患者あるいは被験者の顔をとらえた画像より眉と目を含む画像を取得し、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用して登録作成されたテンプレートを準備し、患者あるいは被験者がディスプレイ上の意図する項目を選択する時、瞼が閉じている状態の画像と瞼が開いている状態の画像から差画像を作成し、ヒストグラム処理により目の領域を抽出し、前記テンプレートを利用して、入力画像の中のどの領域と最も似ているかを求めるテンプレートマッチングを行ない、視線方向検出を行なって入力される毎画像を数値化し、パソコンのメモリに登録された視線方向検出の基準となる方向別視線データと比較することで視線方向検出を行ない、視線方向はディスプレイ上に状態の変化として出力することを特徴とする眼球運動を用いた視線入力コミュニケーション方法。
3. 患者あるいは被験者の顔をとらえた画像より眉と目を含む画像を取得し、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用して登録作成されたテンプレートを準備し、患者あるいは被験者がディスプレイ上の意図する項目を選択する時、瞼が閉じている状態の画像と瞼が開いている状態の画像から差画像を作成し、ヒストグラム処理により目の領域を抽出し、前記テンプレートを利用して、ピラミッド構造を用いて探索範囲を縮小して入力画像の中のどの領域と最も似ているかを求めるテンプレートマッチングを行ない、視線方向検出を行なって入力される毎画像を数値化し、パソコンのメモリに登録された視線方向検出の基準となる方向別視線データと比較することで視線方向検出を行ない、視線方向はディスプレイ上に状態の変化として出力することを特徴とする眼球運動を用いた視線入力コミュニケーション方法。
4. 請求項２または請求項３記載の眼球運動を用いた視線入力コミュニケーション方法を利用した、ＰＣによるＳＯＨＯビジネスを可能にする肢体不自由者用就業支援システム。
5. 請求項２または請求項３記載の眼球運動を用いた視線入力コミュニケーション方法を利用したバイオメトリクス認証システム。
6. 請求項２または請求項３記載の眼球運動を用いた視線入力コミュニケーション方法を利用した、車の運転時における居眠り検知システム。
7. 請求項２または請求項３記載の眼球運動を用いた視線入力コミュニケーション方法を利用した目で操作するゲームシステム。

Images