JP2018194931A - 瞳孔径の変動に基づく情報入力装置 - Google Patents

Abstract

【課題】利用者が意識するだけで高精度に入力を希望する選択肢を決定可能な瞳孔径の変動に基づく情報入力装置を提供する。
【解決手段】利用者１の瞳孔径の変動に基づく情報入力装置は、表示部１０と、輝度変動部２０と、計測部３０と、入力決定部４０とからなる。表示部１０は、利用者１に対して入力対象となる複数の選択肢１１を表示する。輝度変動部２０は、表示部１０に表示される複数の選択肢１１に対して各々に固有の輝度変動を施す。計測部３０は、利用者１の瞳孔径の変動を計測する。入力決定部４０は、輝度変動部２０による輝度変動と計測部による瞳孔径変動との関係を用いて、複数の選択肢１１の中から利用者１が意識することにより入力を希望する選択肢１１を決定する。
【選択図】図１

Description

本発明は瞳孔径の変動に基づく情報入力装置に関し、特に、瞳孔径の変動を計測することで複数の選択肢の中から利用者が入力を希望する選択肢を決定する情報入力装置に関する。

コンピュータや携帯端末やゲーム機器等に対する情報入力装置としては、指により入力可能なキーボードやゲームコントローラ等が一般的に知られている。そして、指を使わず、使用者の視線を用いた情報入力装置も知られている（例えば特許文献１や特許文献２）。このような視線を用いた入力装置は、何れも、眼電位法や角膜反射法、ビデオ画像法等により利用者の眼球の物理的方向（視線方向）を検出することにより、複数の選択肢の中から利用者が入力を希望する選択肢を注視する（視線を向ける）と、この選択肢を入力を希望する選択肢と決定するものである。

また、情報入力装置ではないが、本願出願人と同一出願人による特許文献３には、利用者の視野内の映像の輝度分布と利用者の瞳孔の大きさの変化との関係を用いて、利用者が注意している位置を推定する注意位置推定装置が開示されている。これは、瞳孔の大きさが大きい側に変化する場合には輝度分布中の輝度の低い位置を、瞳孔の大きさが小さい側に変化する場合には輝度分布中の輝度の高い位置を、利用者が注意している位置と推定するものである。即ち、視線を向けなくても利用者の注意位置を推定可能なものである。これは、瞳孔の大きさの変化を検出し、輝度分布を利用して利用者の注意位置を推定する技術であり、瞳孔径を外部刺激により変動させるものではなかった。

特開２０１２−２２１４９８号公報 特開２０１７−５０７４００号公報 特開２０１３−２４０４６９号公報

特許文献１や特許文献２の装置は、利用者が選択肢に対して自由に視線を向けることが可能な者の場合には問題ないが、眼球を動かすことのできない障害を持つ者には使うことができなかった。さらに、特許文献１や特許文献２のような視線方向を用いるものの場合には、測定した眼球位置と実際の視線とを一致させる必要があるため、使用前に校正が必要であった。また、頭部が動くことにより視線もずれるため、頭部位置を固定するか、頭部位置を補正するアルゴリズムの導入が必要であった。さらに、視線方向は個人差が大きく、十分な精度が得られない場合もあった。

本発明は、斯かる実情に鑑み、仮に視線が動かせないような場合であっても利用者が意識するだけで高精度に入力を希望する選択肢を決定可能な瞳孔径の変動に基づく情報入力装置を提供しようとするものである。

上述した本発明の目的を達成するために、本発明による瞳孔径の変動に基づく情報入力装置は、利用者に対して入力対象となる複数の選択肢を表示する表示部と、表示部に表示される複数の選択肢に対して各々に固有の輝度変動を施す輝度変動部と、利用者の瞳孔径の変動を計測する計測部と、輝度変動部による輝度変動と計測部による瞳孔径変動との関係を用いて、複数の選択肢の中から利用者が意識することにより入力を希望する選択肢を決定する入力決定部と、を具備するものである。

ここで、輝度変動部は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかにより輝度変動を施すものであれば良い。

また、入力決定部は、瞳孔径変動の立ち上がり時間若しくは立ち下がり時間、又は立ち上がり角度若しくは立ち下がり角度を用いて選択肢を決定するものであっても良い。

また、入力決定部は、輝度変動部で施される輝度変動に無い変動が瞳孔径変動に現れる場合、その変動をノイズとして除去した上で、選択肢を決定するものであっても良い。

また、計測部は、さらに利用者の呼吸及び／又は心拍を計測し、入力決定部は、計測部により計測される呼吸及び／又は心拍と同期した変動をノイズとして除去した上で、選択肢を決定するものであっても良い。

また、表示部は、選択肢を利用者が所定の時間意識することで階層的にさらに複数の選択肢を表示可能に構成されるものであっても良い。

本発明の瞳孔径の変動に基づく情報入力装置には、仮に視線が動かせないような場合であっても利用者が意識するだけで高精度に入力を希望する選択肢を決定可能であるという利点がある。

図１は、本発明の情報入力装置の構成を説明するための概略ブロック図である。 図２は、本発明の情報入力装置における輝度変動と瞳孔径変動の関係を説明するための変動グラフである。 図３は、本発明の情報入力装置の入力決定部において除去すべきノイズを説明するための瞳孔径変動グラフである。

本発明の情報入力装置は、利用者の瞳孔径の変化に基づいて情報処理装置等に所定の情報を入力するものである。ここで、情報処理装置は、コンピュータや携帯端末、ゲーム機器等であれば良い。また、情報入力装置は、所謂ヒューマンインタフェースであり、文字や記号、所定の選択肢等を適宜情報処理装置に入力するために用いられるものである。

以下、本発明を実施するための形態を図示例と共に説明する。図１は、本発明の情報入力装置の構成を説明するための概略ブロック図である。図示の通り、利用者１の瞳孔径の変動に基づく本発明の情報入力装置は、表示部１０と、輝度変動部２０と、計測部３０と、入力決定部４０とから主に構成されている。

表示部１０は、利用者１に対して入力対象となる複数の選択肢１１を表示するものである。表示部１０としては、例えばコンピュータやゲーム機器のモニタや携帯端末の画面であれば良い。入力対象となる複数の選択肢１１として、例えば図示例では１０キーを示した。しかしながら、本発明はこれに限定されず、例えばＱＷＥＲＴＹキーやＹｅｓ・Ｎｏキー等、あらゆる選択肢を表示可能である。

輝度変動部２０は、表示部１０に表示される複数の選択肢１１に対して各々に固有の輝度変動を施すものである。具体的には、輝度変動部２０は、選択肢１１に対して例えば輝度変動部は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかにより輝度変動を施せば良い。即ち、例えば周波数変調であれば、各選択肢１１に対して輝度変動のリズム（周波数）をそれぞれ異ならせて表示させる。また、振幅変調であれば、各選択肢１１に対して輝度変動のピークの明るさ（強度）をそれぞれ異ならせて表示させる。また、位相変調であれば、輝度変動のピーク位置（位相）をそれぞれ異ならせて表示させる。さらに、デューティ比変調であれば、輝度変動のピーク時間（デューティ比）をそれぞれ異ならせて表示させる。また、変動波形は、正弦波や三角波、方形波等、表示部１０に表示される選択肢１１の輝度を変動させることが可能な波形であれば良い。

計測部３０は、利用者１の瞳孔径の変動を計測するものである。計測部３０は、利用者１の瞳孔径をリアルタイムに計測可能なものであることが好ましい。具体的には、例えば計測部３０は、利用者１の眼球を撮像する撮像部と、撮像された眼球映像から、瞳孔の大きさを計測する瞳孔計測部とからなる。瞳孔径の計測については、例えばアイトラッカやアイマークレコーダ等、瞳孔径の変化が計測できる手法であれば良い。瞳孔径の計測手法は特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により計測されれば良い。

入力決定部４０は、複数の選択肢１１の中から利用者１が意識する（注意を向ける）ことにより入力を希望する選択肢を決定するものである。これは、輝度変動部２０による輝度変動と計測部３０による瞳孔径変動との関係を用いて決定される。ここで、輝度変動と瞳孔径変動の関係について説明する。一般的に、視線を輝度の明るい方に向けた場合には、瞳孔は収縮し小さくなり、視線を輝度の暗い方に向けた場合には、瞳孔は拡大し、大きくなることが知られている。即ち、この現象によれば、輝度変動部２０による輝度変動に連動して瞳孔径変動が起こることになる。しかしながら、本発明では、このような一般的な視線の先の輝度変動に連動する瞳孔径変動を用いるものではない。本発明では、視線を向けなくても特定の選択肢を意識する、即ち、意識を向けた先の輝度変動に連動する瞳孔径変動を用いている。これは、視線を動かさなくても、入力を希望する選択肢に意識を向けることで、意識を向けた先の選択肢の輝度変動に合わせて瞳孔径が変動する現象を用いているのである。この現象は本願発明者により見出されたものである。即ち、仮に利用者１が特定の選択肢に視線を向けていたとしても、意識をしている選択肢が他のものであれば、他の選択肢の輝度変動に合せて瞳孔径変動が起こるのである。したがって、頭部を固定しておらず視線が動いたとしても、瞳孔径の計測では視線の移動の影響を受けず、特定の意識している選択肢を入力を希望する選択肢として決定可能となる。

ここで、輝度変動と瞳孔径変動の関係について具体的に説明する。輝度変動の周波数が高すぎたり低すぎたりした場合、これに瞳孔径の変動が追従しなくなる場合もある。したがって、瞳孔径変動が追従可能な範囲で輝度変動の周波数範囲を決定すれば良い。具体的な数値としては、例えば以下に挙げたような条件で輝度変動と瞳孔径変動の関係を調べた。表示部１０に表示する選択肢１１として、直径約６．５ｄｅｇのものを１２種類用意した。なお、背景色は１６．４ｃｄ／ｍ^２で一定とした。そして、輝度変動部２０により、最低輝度０．３７ｃｄ／ｍ^２から最高輝度１０８．３ｃｄ／ｍ^２の範囲の輝度変動振幅で、各選択肢１１に対してそれぞれ異なる周波数変調を施した。この結果、例えば低周波側は、約０．５０Ｈｚ以上、より好ましくは０．８２Ｈｚ以上の輝度変動周波数に対して、瞳孔径変動の追従性が高くなることが分かった。また、高周波側は、約２．００Ｈｚ程度まで十分な追従性が見られた。そして、各選択肢１１に対して０．１２Ｈｚ程度以上の周波数の差異があれば、複数の選択肢１１をそれぞれ十分に区別可能な程度に瞳孔径変動の追従性が見られた。なお、これらの数値はあくまでも一例であり、本発明の情報入力装置がこれらの数値に限定されるわけではない。

図２を用いて輝度変動と瞳孔径変動の関係について変動グラフにより詳細に説明する。図２は、本発明の情報入力装置における輝度変動と瞳孔径変動の関係を説明するための変動グラフである。図中、横軸が時間であり、縦軸は輝度又は瞳孔径である。また、図２（ａ）が周波数変調、図２（ｂ）が振幅変調、図２（ｃ）が位相変調、図２（ｄ）がデューティ比変調の場合の変動グラフである。なお、図２（ａ），図２（ｂ），図２（ｃ）では、輝度を正弦波で変動させたものを示し、図２（ｄ）では、方形波で変動させたものを示した。しかしながら、何れの変調方式であっても、正弦波や方形波だけでなく、三角波等により輝度を変動させることが可能である。また、各図の上段が輝度変動部２０による輝度変動グラフであり、下段が計測部３０による瞳孔径変動グラフである。そして、一例として異なる変調を施した２つの選択肢の変動を黒線とグレー線で示した。なお、これらは説明のために模式的に表したものであり、実際の計測データを示すものではない。図示の通り、輝度変動と瞳孔径変動とは、同期していることが分かる。即ち、表示部１０に複数の選択肢１１に対してそれぞれ異なる輝度変動が施されていた場合であっても、利用者１が意識を向けている選択肢１１に同期した瞳孔径変動が得られることが分かる。具体的には、図２（ａ）に示される通り、輝度変動の周波数が変われば、瞳孔径変動の周波数も変わっていることが分かる。また、図２（ｂ）に示される通り、輝度変動の振幅が変われば、瞳孔径変動の振幅も変わっていることが分かる。同様に、図２（ｃ）に示される通り、輝度変動の位相が変われば、瞳孔径変動の位相も変わっていることが分かる。さらに、図２（ｄ）に示される通り、輝度変動のデューティ比が変われば、瞳孔径変動のデューティ比も変わっていることが分かる。

本発明の情報入力装置では、このような現象を利用して、入力決定部４０で、複数の選択肢１１の中から利用者１が意識することにより入力を希望する選択肢を決定する。瞳孔径の変動速度の個人差はあるものの、輝度変動に対する瞳孔径変動は所定の関係性を有して同期するため、視線を用いるよりも個人差による誤差は少ない。

ここで、入力決定部による選択肢の決定の手法についてより具体的に説明する。上述の通り、入力決定部４０では、輝度変動と瞳孔径変動の関係を用いて入力を希望する選択肢を決定するが、この際に、所定の時間、即ち、複数回分の変動の振幅の観測を待って選択肢を決定すれば良い。しかしながら、本発明の情報入力装置はこれに限定されない。例えば、入力決定部４０は、瞳孔径変動の立ち上がり時間又は立ち下がり時間を用いて選択肢を決定しても良い。即ち、利用者１が入力を希望する選択肢を意識した際に、その選択肢の輝度変動に応じた瞳孔径変動が始まるので、その瞳孔径変動の立ち上がり時間や立ち下がり時間を計測すれば、輝度変動の立ち上がり時間や立ち下がり時間と同期した特定の選択肢を決定可能となる。これは、立ち上がり時間や立ち下がり時間だけでなく、瞳孔径変動の立ち上がり角度又は立ち下がり角度であっても良い。これにより、複数回分の変動の振幅の観測を行うことなく、より反応速度の速い情報入力装置が実現可能である。具体的には、例えば１秒以下で選択肢の決定も可能となる。

次に、図３を用いてノイズ除去について説明する。図３は、本発明の情報入力装置の入力決定部において除去すべきノイズを説明するための瞳孔径変動グラフである。図中、横軸が時間であり、縦軸は瞳孔径である。なお、輝度変動として周波数変調を用いた際の瞳孔径変動の結果を示した。ノイズが存在しない場合には、周波数変調の場合には、入力を希望する特定の選択肢を意識すれば、所定の周波数で一定の変動となるはずである。しかしながら、図示の通り、輝度変動部で施される輝度変動に無い変動が瞳孔径変動に現れる場合がある。即ち、一定の周波数から外れた周波数の変動が生じる場合がある。このときには、入力決定部４０により、その変動をノイズとして除去すれば良い。例えば、まず各振幅のピーク値を検出する。そして、ピーク値間の間隔が他の間隔と大きく異なる点を除外することでノイズを除去する。そして、それ以外のピーク値間の間隔の平均を計算する。このようなノイズ除去を施した上で、瞳孔径変動に同期した輝度変動が施された選択肢を決定するように構成すれば良い。

また、ノイズについては、瞳孔径変動は例えば呼吸や心拍の影響を受ける場合もある。このノイズを除去するには、以下のように構成すれば良い。まず、計測部３０で、瞳孔径以外にも例えば利用者の呼吸及び／又は心拍もさらに計測する。そして、入力決定部４０では、計測部３０により計測される呼吸及び／又は心拍と同期した変動をノイズとして除去した上で、選択肢を決定すれば良い。なお、瞬きについては、瞳孔径変動グラフに欠損が生じることになるが、それによる影響は特にない。即ち、周波数や位相等が検出できる程度に変動が計測されれば、欠損があったとしても問題なく同期した輝度変動の選択肢を決定可能である。

なお、計測部３０は、他にも輻輳眼球運動や追従眼球運動、脳波変動等をさらに計測し、必要により入力決定部４０の選択肢の決定に際し、補助的情報として利用しても良い。

上述の図示例では、複数の選択肢を表示部１０の１つの画面に表示した例を示したが、本発明はこれに限定されない。例えば、利用者が１つの選択肢を所定の時間意識することで、階層的にさらに複数の選択肢を表示するようにしても良い。即ち、１つの選択肢と、それに関連付けられて枝分かれする複数の選択肢を階層的に表示可能に構成しても良い。これにより、所謂長押しにより別の選択肢を表示する機能を本発明の情報入力装置でも実現可能である。具体的には、例えば五十音の場合、最初の画面では「あ」、「か」、「さ」、「た」、「な」というように「あ」段のみを選択肢として表示する。そして、利用者１がこの中から例えば「か」を入力を希望する選択肢として所定時間だけ意識すると、新たな複数の選択肢として、「か」行の「か」、「き」、「く」、「け」、「こ」が表示されるように構成される。これにより、表示部１０の表示画面が小さい場合等であっても、効率良い入力が可能となる。

このように、本発明の情報入力装置によれば、視線を向けなくても入力を希望する選択肢を決定することができるようになる。したがって、仮に眼球が動かせず視線を向けられないような場合であっても、利用者が入力を希望する選択肢を意識するだけで高精度に選択肢を決定可能である。

また、本発明の情報入力装置では、表示部に表示する入力対象となる複数の選択肢は、文字だけでなく図形等、あらゆるものを用いることが可能である。また、輝度変動部による選択肢に対する輝度変動は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかの変調方式を選択可能である。ここで、選択肢によって最適な輝度変動が存在する場合には、輝度変動部では選択肢毎に最適な変調方式を動的に切り替えても良い。さらに、輝度変動部による選択肢に対する輝度変動は、１つの選択肢全体を一様に変動させなくても良く、１つの選択肢の一部分に対して輝度変動を施しても良い。また、各選択肢の変調状態を時間的に変化させ、その変調状態の変化に同期した瞳孔径変動を用いて選択肢を決定するようにしても良い。具体的には、１つの選択肢に対して、輝度変動周波数を例えば１Ｈｚから２Ｈｚに動的に変化させることで、これに同期する瞳孔径変動を特徴的な動きとなるようにすることで、より精度を高めることが可能となる。また、選択肢毎の変調状態の関係についても、それぞれ時間的に変化させても良い。具体的には、ある時間では選択肢Ａに対しては輝度変動周波数を例えば１Ｈｚで変調しその隣の選択肢Ｂに対しては輝度変動周波数を例えば２Ｈｚで変調し、次の時間では選択肢Ａを２Ｈｚで変調し選択肢Ｂを１Ｈｚで変調するというように、時間的に変化させても良い。このように、１つの選択肢や複数の選択肢間で変調状態を時間的に変化させて、識別精度を高めることも可能である。

なお、本発明の瞳孔径の変動に基づく情報入力装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１ 利用者
１０ 表示部
１１ 選択肢
２０ 輝度変動部
３０ 計測部
４０ 入力決定部

Claims (6)

1. 利用者の瞳孔径の変動に基づく情報入力装置であって、該情報入力装置は、
   利用者に対して入力対象となる複数の選択肢を表示する表示部と、
   前記表示部に表示される複数の選択肢に対して各々に固有の輝度変動を施す輝度変動部と、
   利用者の瞳孔径の変動を計測する計測部と、
   前記輝度変動部による輝度変動と計測部による瞳孔径変動との関係を用いて、複数の選択肢の中から利用者が意識することにより入力を希望する選択肢を決定する入力決定部と、
   を具備することを特徴とする情報入力装置。
2. 請求項１に記載の情報入力装置において、前記輝度変動部は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかにより輝度変動を施すことを特徴とする情報入力装置。
3. 請求項１又は請求項２に記載の情報入力装置において、前記入力決定部は、瞳孔径変動の立ち上がり時間若しくは立ち下がり時間、又は立ち上がり角度若しくは立ち下がり角度を用いて選択肢を決定することを特徴とする情報入力装置。
4. 請求項１乃至請求項３の何れかに記載の情報入力装置において、前記入力決定部は、輝度変動部で施される輝度変動に無い変動が瞳孔径変動に現れる場合、その変動をノイズとして除去した上で、選択肢を決定することを特徴とする情報入力装置。
5. 請求項４に記載の情報入力装置において、前記計測部は、さらに利用者の呼吸及び／又は心拍を計測し、
   前記入力決定部は、計測部により計測される呼吸及び／又は心拍と同期した変動をノイズとして除去した上で、選択肢を決定する、
   ことを特徴とする情報入力装置。
6. 請求項１乃至請求項５の何れかに記載の情報入力装置において、前記表示部は、選択肢を利用者が所定の時間意識することで階層的にさらに複数の選択肢を表示可能に構成されることを特徴とする情報入力装置。