JP2019139743A - 視線方向検知装置、視線方向検知方法 - Google Patents

Abstract

【課題】デザインの制約が少ない視線方向検知装置を提供すること。【解決手段】視線方向検知装置１００であって、赤外線を眼球に照射する赤外線照射部１１．１８と、レンズに形成された、可視光に対し少なくとも半透明な１つ以上の赤外線センサ１２と、前記眼球から反射した赤外線の入射により前記赤外線センサが出力した信号を解析して視線方向を決定する制御部１３と、を有することを特徴とする。【選択図】図１

Description

本発明は、視線方向検知装置、及び、視線方向検知方法に関する。

加速度センサ及びジャイロセンサ等により頭部の動きを把握して、頭部の向きに応じたＶＲ（Virtual Reality）映像を提供する主にエンターテイメント向けのメガネ型の情報処理装置が知られている。これに対し、視線追跡機能のみがメガネ型の情報処理装置に付与された視線方向検知装置も知られている。例えばマーケティング用途の場合、カメラで周囲の風景を撮像しその情報と視線情報とを組み合わせることで、被験者の視線の向いた方向に何があったのかを解析して、何が注目され易いか等の情報を得る目的で用いられる。また、視線追跡機能によりＰＣ（Personal Computer）などにおいてマウスの位置を制御可能になる。

また、ＶＲ映像の視聴機能と視線追跡機能とを有する視線方向検知装置も開発されている。例えば、視線が向いた方向によってストーリーが変わるインタラクティブシネマ（映画）等、ＶＲ映像の視聴機能と視線追跡機能により新しいコンテンツを提供出来るようになる。更には、フォビエィテッドレンダリング（視線中心のみ高精細表示し、周辺の画素数を減らす表示法）が可能となるため、表示機能の画像処理負荷を低減可能となっている。

また、ＶＲ映像の視聴と外界の視認とが可能なＡＲ（Augmented Reality）型の視線方向検知装置が開発されている。ＡＲ型の視線方向検知装置は外界と遮断されておらず、かつ、視線を完全には遮らないディスプレイ機能を有している。ＡＲ型の視線方向検知装置の場合、ユーザは例えば液晶ディスプレイの地図表示情報を見ながら歩行することも容易となる。

視線方向検知装置では視線を検知する機能を備える必要があるが、従来から赤外線が角膜に反射して得られる基準点と瞳孔などの動点の位置関係から視線を検知する技術が知られている（例えば、特許文献１参照。）。特許文献１には、可視光又は赤外光を照射する照射ユニットと、少なくとも一方の眼におけるパラメータを光学的に捕捉する捕捉ユニットと有する光学的測定装置について開示されている。

しかしながら、従来の視線方向検知装置はデザインに制約があるという問題がある。図２５を用いて説明する。図２５は、ユーザの目の位置とカメラの位置を説明する図である。従来の視線方向検知装置は眼球に赤外線を照射し、眼球及び眼球で反射する赤外線を斜め方向からカメラ６０１（赤外線に感度を持つ）で撮像する。このため、カメラ６０１と目の距離が長く設定されると必然的にメガネも大きくなってしまい、水中メガネのようなデザインにならざるを得なかった。これを回避するため、カメラ６０１と目の距離を短くすると、ユーザの視界にカメラ６０１が入ってしまい、ユーザにとって邪魔になる。

カメラ６０１を小さくすることも検討されるが、一見して見えない程度にカメラ６０１を小さくすると、カメラ６０１の撮像素子の受光面積も小さくなり感度低下をきたす。感度低下を補うためにサイズに制約があるカメラ６０１で画素を大きくすると画素数を上げられないので精細な画像を撮像できず正確な視線追跡が困難になる。また、カメラ６０１が小さいと、ユーザが装着するメガネがずれた場合、目と撮像素子及び光源の位置関係が変化することで、正確な視線追跡が出来なくなるおそれがある。

したがって、現状ではカメラ６０１と目の距離がある程度、長いことが合理的であるが、この場合はデザインに制約があるという問題がある。

本発明は、上記課題に鑑み、デザインの制約が少ない視線方向検知装置を提供することを目的とする。

上記課題に鑑み、本発明は、視線方向検知装置であって、赤外線を眼球に照射する赤外線照射部と、レンズに形成された、可視光に対し少なくとも半透明な１つ以上の赤外線センサと、前記眼球から反射した赤外線の入射により前記赤外線センサが出力した信号を解析して視線方向を決定する制御部と、を有することを特徴とする。

デザインの制約が少ない視線方向検知装置を提供することができる。

視線方向検知装置の概略的な動作を説明する図の一例である。 視線方向検知装置の概略斜視図の一例である。 左側のレンズをユーザから見た図の一例である。 制御ユニットの一例のハードウェア構成図である。 赤外線センサの形成方法を説明する図の一例である。 赤外線センサが有するｐ型半導体の構造式の一例である。 赤外線センサが有するｐ型半導体の構造式の一例である。 ＬＥＤ光源の点灯及び赤外線センサの出力電圧に関する周辺回路の構成を説明する図の一例である。 視線追跡に関して制御ユニットが有する機能をブロック状に示す機能ブロック図の一例である。 シミュレーションの条件を説明する図の一例である。 シミュレーション結果を視覚的に示した図の一例である。 より詳細なシミュレーション結果の一例を示す図である。 メガネ型の視線方向検知装置が視線方向を決定する手順を示すフローチャート図の一例である。 赤外線センサの他の配置例を説明する図の一例である。 視線方向検知装置の概略的な動作を説明する図の一例である（実施例２）。 メガネ型の視線方向検知装置の構成図の一例である。 メガネ型の視線方向検知装置の構成を説明する図の一例である。 赤外線センサアレイの構成例を説明する図である。 制御ユニットが有する機能をブロック状に示す機能ブロック図の一例である。 視線方向の検出イメージを説明する図の一例である。 視線方向検知装置の概略的な動作を説明する図の一例である。 シミュレーション結果を説明する図の一例である。 メガネ型の視線方向検知装置が視線方向を決定する手順を示すフローチャート図の一例である。 レンズの断面図の一例である。 ユーザの目の位置とカメラの位置を説明する図の一例である。

以下、本発明を実施するための形態の一例として、視線方向検知装置と視線方向検知装置が行う視線方向検知方法について図面を参照しながら実施例を挙げて説明する。

図１は、本実施例の視線方向検知装置１００の概略的な動作を説明する図の一例である。図１（ａ）はメガネ型の視線方向検知装置１００の正面図を示している。まず、視線方向検知装置１００にはメガネのリム２１の顔側に少なくとも１つ以上のＬＥＤ光源１１（赤外線を照射する）が配置されている。また、レンズ２２の顔側には複数の透明な赤外線センサ１２がリム２１に沿ってリム２１の内側に形成されている。ＬＥＤ光源１１と赤外線センサ１２はいずれも顔側にある。図１では右側のレンズ２２の構成のみを示すが左側のレンズ２２にもＬＥＤ光源１１が配置され赤外線センサ１２が形成されている。

ＬＥＤ光源１１と赤外線センサ１２はテンプル２３等に配置された後述する制御ユニットに接続されており、制御ユニットによりＬＥＤ光源１１の点灯が制御され、また、赤外線センサ１２が赤外線を検出して出力する出力電圧が取得される。

レンズ２２と目の距離は、一般的なメガネにおけるレンズ２２と目の距離と同等でよい。したがって、図１に示すようにレンズ２２に赤外線センサ１２を形成することで、デザインの制約が少ない視線方向検知装置１００を提供することができる。また、赤外線センサ１２は透明か又は少なくとも半透明なので、ユーザの視線が外界と遮断されず、ＡＲ（Augmented Reality）グラスのような用途に使うことができる。また、当然ながら、ユーザの視線が外界と遮断されたＶＲ（Virtual Reality）グラスのような用途に使うことも可能である。

図１（ｂ）は、視線方向検知装置１００を装着したユーザの視線方向の検知例を説明する図の一例である。図１（ｂ）では視線方向が正面の場合のＬＥＤ光源１１の点灯と赤外線センサ１２の出力電圧について説明する。

眼球が正面を向いているものとする。この場合、ＬＥＤ光源１１が照射して眼球で反射した赤外線はどの赤外線センサ１２にも概ね均等に入射することになるので、眼球の周囲の各赤外線センサ１２はそれぞれ同程度の出力電圧を出力する。すなわち、特に大きな出力電圧を出力する赤外線センサ１２はない。この関係は、点灯するＬＥＤ光源１１の位置に関わらず同じため、例えば、閾値以上の出力電圧を出力する赤外線センサ１２がない場合に、視線方向が正面であることを推定できる。

一方、図１（ｃ）に示すように、視線方向がユーザから見て上向き（１２時の方向）の場合、赤外線センサ１２には均等に赤外線が入射せず、眼球で反射した赤外線が６時の方向の赤外線センサ１２に多く入射する傾向が生じる。この関係は、点灯するＬＥＤ光源１１の位置に関わらず同じため、大きな出力電圧を出力する赤外線センサ１２とはおおよそ１８０度逆方向が視線方向であると推定できる。

より詳細には、視線方向によって、点灯したＬＥＤ光源１１に対しどの方向の赤外線センサ１２で強い出力電圧が検出され、どの方向の赤外線センサ１２で弱い出力電圧が検出されるかをパターン化しておけば、視線方向を推定できる。

このように、本実施形態の視線方向検知装置１００は透明又は半透明な赤外線センサ１２をレンズ２２に形成することで、デザインの制約が少ない視線方向検知装置１００を提供することができる。

＜用語について＞
メガネとは、視力矯正の機能又は光線の低減の機能を有するレンズとそれを人が目の装着するための部品とを言う。本実施形態では、メガネ型の視線方向検知装置について説明するが、視力矯正や光線の低減の機能は必要とされず、レンズを人が目に装着するための機能を有していればよい。メガネ型はサングラス型と呼ばれてもよい。また水中メガネなどのようにレンズが１つであってもよい。

また、視線方向検知装置１００はメガネに搭載されることで視線方向検知装置として機能してもよく、メガネに搭載されていない状態で流通してよい。

赤外線とは、スペクトルが赤色の外に現れる電磁波であり、光の一種である。波長は主に８００ナノメートルから１ミリメートルの光を言うが厳密にこの波長でなくてもよい。赤外光、近赤外線、近赤外光などと呼ばれる場合がある。

＜構成例＞
図２は、本実施例の視線方向検知装置１００の概略斜視図の一例を示す。図１と同様に、左側のレンズのリム２１にＬＥＤ光源１１が配置され、左側のレンズ２２に同心円状に赤外線センサ１２が形成されている。また、左側のテンプル２３には制御ユニット１３が埋め込まれている。制御ユニット１３はテンプル２３に外付けされていてもよいし、メガネのフレームとケーブルを介して接続されていてもよい。

リム２１に配置されるＬＥＤ光源１１は、ユーザの目の側のリム２１に形成された凹部に埋め込まれているが一部又は全体がリム２１からユーザの目の側に突出していてもよい。ＬＥＤ光源１１は目を取り囲むように配置されることが好ましい。また、ＬＥＤ光源１１の数は少なくとも１つ以上であればよいが、ＬＥＤ光源１１の数が多い方が反射光も検出しやすいと考えられるため、ＬＥＤ光源１１の数は２〜４つ以上であってもよい。あるいは、特に検知したい視線方向（例えば、正面とそれ以外）のみを検知するために１つのみのＬＥＤ光源１１が配置されていてもよい。あるいは、リム２１にドーナツ状に配置された１つのＬＥＤ光源１１があってもよい。

同様に、レンズ２２のユーザの目の側に形成されている赤外線センサ１２も目を取り囲むように配置されることが好ましい。また、赤外線センサ１２の数が多い方が検知される視線方向の分解能の向上に有利であると推測される。あるいは、特に検知したい視線方向（例えば、正面とそれ以外）のみを検知するために１つのみの赤外線センサ１２が配置されていてもよい。ＬＥＤ光源１１と赤外線センサ１２の数は同じでなくてよい。

図３は、左側のレンズ２２をユーザから見た図の一例を示す。なお、左側のテンプルは省略されている。図３に示すように、レンズ２２には制御ユニット１３と赤外線センサ１２とを電気的に接続するアノード側の透明配線１４ａとカソード側の透明配線１４ｂが形成される。赤外線センサ１２だけでなく配線も透明であることで、ユーザの視界を遮ることを抑制した視線方向検知装置１００を提供できる。

透明配線１４はリム２１から赤外線センサ１２までを導通させればよく、リム２１から制御ユニット１３までは一般の金属配線で接続されてよい。透明配線１４は、ＩＴＯ(酸化インジウム・スズ)、導電性ポリマー、グラフェン、カーボンナノチューブ等どのような材料で形成されてもよい。

なお、ＬＥＤ光源１１も制御ユニット１３と電気的に接続されるか、ＬＥＤ光源１１はリム２１に配置されるため（視界に入りにくいため）、ＬＥＤ光源１１と制御ユニット１３とを接続する配線は透明でなくてよい。

＜制御ユニットのハードウェア構成例＞
図４は、本実施形態に係る制御ユニット１３の一例のハードウェア構成図である。制御ユニット１３は、出力電圧を解析して視線方向を決定する情報処理装置である。一般に、マイコン、ＳｏＣ（System On Chip）、LSIなどと呼ばれていてもよい。

制御ユニット１３は、ＣＰＵ１０１（Central Processing Unit）と、ＲＡＭ１０２と、入力装置１０３と、外部Ｉ/Ｆ１０４と、フラッシュメモリ１０５と、ＲＯＭ１０６と、無線通信装置１０７と、表示制御部１０８と、バッテリ１０９とを有する。バッテリ１０９を除く各ハードウェア要素は、それぞれがバスＢで接続されている。

ＣＰＵ１０１は、ＲＯＭ１０６やフラッシュメモリ１０５からＲＡＭ１０２に展開されたプログラムを実行することで、制御ユニット１３全体の制御や機能を実現する演算装置である。ＲＯＭ１０６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ１０６には、制御ユニット１３が起動時に実行するＢＩＯＳ（Basic Input/Output System）、ＯＳ（Operating System）等が格納されている。ＲＡＭ１０２は、プログラムやデータを一時保持する揮発性の半導体メモリである。フラッシュメモリ１０５は、格納しているプログラムやデータを所定のファイルシステムやＤＢにより管理している。

入力装置１０３は、ユーザが各操作信号を制御ユニット１３に入力するのに用いられる。例えば、電源オン/オフのスイッチ、マウスのクリックボタン、ハードキーなどを有している。

外部Ｉ/Ｆ１０４は、外部装置とのインタフェースである。外部装置には、ＬＥＤ光源１１や赤外線センサ１２等がある。外部Ｉ/Ｆ１０４はＬＥＤ光源１１を点灯させる制御信号を出力し、赤外線センサ１２から出力電圧を取得する。

無線通信装置１０７は、例えばＰＣ、スマートフォン、タブレット端末等のホスト装置と、例えば、Bluetooth（登録商標）、Bluetooth Low Energy、ZigBee（登録商標）、ＮＦＣ（Near Filed Communication）、赤外線通信、可視光通信、音波通信等により通信する。また、無線通信装置１０７が無線ＬＡＮや携帯電話網の基地局と通信してもよい。無線通信装置１０７は外部から映像や音声のコンテンツを取得し、フラッシュメモリ１０５に記憶させる。

表示制御部１０８は、メガネ型の視線方向検知装置１００がレンズ２２の全体又は一部に液晶ディスプレイ等を有する場合、液晶ディスプレイに映像を表示する。例えば、メガネのレンズがシースルーディスプレイ（透明な液晶ディスプレイ）により構成されている場合、ユーザは外界を視認しながらコンテンツを目視できる。シースルーディスプレイとしては、例えば透過型無機ＥＬディスプレイTASEL 等が適用可能である。バッテリ１０９は視線方向検知装置１００に電力を供給する。

シースルーディスプレイと視線追跡装置が一体化することで、単に映像が見られるというだけでなく、視線によりディスプレイの操作も可能になる。

＜赤外線センサの形成＞
続いて、図５を用いて赤外線センサ１２の形成方法を説明する。図５は赤外線センサ１２の形成方法を説明する図の一例である。赤外線センサ１２は透過度が高いことが好ましい。例えば、可視光を４００〜７００ｎｍとすると、この範囲の光の平均的な透過率が３０％以上あることが好ましい。更に好ましくは５０％以上あるとなおよい。

本実施例における赤外線センサ１２は、例えば以下のような材料により形成される。
・ｐ型半導体；シグマアルドリッチ社製、Octabutoxy−2,3−naphthalocyanine
・ｎ型半導体：フロンティアカーボン社製、PCBM
・HBL：シグマアルドリッチ社製；ポリエチレンイミン、８０％エトキシ化
・EBL：MoOx
・アノード電極：ITO
また、本実施例における赤外線センサ１２のｐ型半導体は、例えば図６に示すような材料により形成されてもよい。図６に示す材料は非特許文献１にも記載されている（SQ880）。

また、赤外線センサ１２のｐ型材料として、図７に示す構造式の材料も適用可能である。図７に示す材料は非特許文献２にも記載されている（PDTP−DFBT）。

赤外線センサ１２は、例えば以下のような手順で形成される。まず、図５に示すように、透明配線１４を含む透明基板上にＩＴ０電極５１が所定形状にパターニングされている。
（１）赤外線センサ１２の形成位置が開口したマスクパターン５２を用いて、スプレー５３がＨＢＬを透明基板にスプレーする。
（２）次に、ｐ型半導体とｎ型半導体を１：３の重量比で混合したトルエン溶液を調製し、これを同様のマスクパターンでＨＢＬ上にスプレー塗工し、乾燥させる。
（３）その後、真空蒸着により、ＥＢＬ、アノード電極を順次メタルマスクでパターニング蒸着する。

なお、図５で説明した赤外線センサ１２の形成方法は一例に過ぎず、各材料、各材料の製造元、及び、形成手順はそれぞれ一例に過ぎない。

＜回路構成＞
図８は、ＬＥＤ光源１１の点灯及び赤外線センサ１２の出力電圧に関する周辺回路の構成を説明する図の一例である。図８（ａ）はＬＥＤ光源１１の点灯回路２０１を示す。ＬＥＤ光源１１の点灯回路２０１は、それぞれ直列に接続された、電源Ｐ、スイッチＳＷ、抵抗Ｒ、及び、ＬＥＤ光源１１を有する。制御ユニット１３がスイッチＳＷをＯＮすると、電源Ｐから流れる電流が抵抗Ｒで制限されＬＥＤ光源１１に流れＬＥＤ光源１１が発光する。図８（ａ）ではＬＥＤ光源１１は１つだけ図示されているが、リム２１に配置されたＬＥＤ光源１１は同様の点灯回路２０１により点灯制御される。制御ユニット１３は、同時には１つのＬＥＤ光源１１のみが点灯するように制御しながら、ユーザから見て時計回り又は反時計回りにリム２１の全周に配置されたＬＥＤ光源１１を点灯させる。

例えば、１つのＬＥＤ光源１１を５０Ｈｚで点灯し、ＬＥＤ光源１１が１０個あるとすると、５０Ｈｚ×１０＝５００ＨｚでいずれかのＬＥＤ光源１１が点灯する。視線方向を１回、検出するためにリム２１の全周の１０個のＬＥＤ光源１１を点灯したとしても、十分に短い時間で視線方向を検出できる。

図８（ｂ）は赤外線センサ１２の出力電圧を検出する電圧検出回路２０２の一例を示す。図８（ｂ）の電圧検出回路２０２は、それぞれ直列に接続された、電源Ｖ、赤外線センサ１２、及び、抵抗Ｒを有し、抵抗Ｒに並列に電圧計Ｓが接続されている。電源Ｖはバイアス電源で、赤外線センサ１２に赤外線が入射されると回路に流れる電流が増加し、この電流増加に応じて抵抗Ｒの両端電位差が変化し、これを電圧計Ｓで測定する。これにより、赤外線が赤外線センサ１２に入射して得られた出力電圧を取得する。

＜機能について＞
図９は、視線追跡に関して制御ユニット１３が有する機能をブロック状に示す機能ブロック図の一例である。制御ユニット１３は、制御部３１、光源発光部３２、点灯時刻記録部３３、出力電圧取得部３４、電圧時刻記録部３５、及び、視線方向決定部３６を有する。制御ユニット１３が有するこれらの機能は、図４に示された各構成要素のいずれかが、フラッシュメモリ１０５からＲＡＭ１０２に展開されたプログラムに従ったＣＰＵ１０１からの命令により動作することで実現される機能又は手段である。

また、制御ユニット１３は、図４に示されたフラッシュメモリ１０５又はＲＡＭ１０２等に構築される時刻ＤＢ２９を有している。

制御部３１は、視線方向を決定するため制御ユニット１３が有する各ブロックを制御する。制御部３１は、全てのＬＥＤ光源１１が１回ずつ発光するまでを処理を１つのサイクルとして、光源発光部３２にＬＥＤ光源１１を順番に発光させる。また、１つのサイクルが終了するごとに、視線方向決定部３６に視線方向を決定させる。

光源発光部３２は、リム２１の周囲に配置された各ＬＥＤ光源１１を所定の周期で順番に発光させる。制御部３１はこの周期を光源発光部３２に設定してもよいし、光源発光部３２に随時、ＬＥＤ光源１１の発光を指示してもよい。

点灯時刻記録部３３は、光源発光部３２が実際にＬＥＤ光源１１を発光した時刻（又は制御部３１から点灯を指示された時刻でもよい）とＬＥＤ光源１１の識別情報を時刻ＤＢ２９に記録する。したがって、全てのＬＥＤ光源１１について発光時刻と識別情報が記録される。

出力電圧取得部３４は各赤外線センサ１２から出力電圧を取得する。出力電圧をアナログ値として記録してもよいし、閾値以上の出力電圧を検出してもよい。本実施例では説明を容易にするために出力電圧のアナログ値を赤外線センサ１２ごとに取得するものとする。

電圧時刻記録部３５は、赤外線センサ１２が検出した出力電圧を、出力電圧が検出された電圧検出時刻と共に時刻ＤＢ２９に記録する。出力電圧は、赤外線センサ１２の識別情報に対応付けてに記録される。

視線方向決定部３６は、ＬＥＤ光源１１の１サイクルの発光が終わると、時刻ＤＢ２９に記録されたＬＥＤ光源１１の発光時刻と同時期の赤外線センサ１２の電圧検出時刻を特定し、この電圧検出時刻に対応付けられている各赤外線センサ１２の出力電圧に基づいて視線方向を決定する。詳細は後述する。

表１（ａ）は時刻ＤＢ２９に記録される発光時刻の記録例を示す。表１（ａ）ではＬＥＤの識別情報に対応付けて発光時刻が記録されている。発光時刻は、１つのサイクルの開始をゼロとする相対時刻である。絶対時刻を記録してもよい。例えば、識別情報が００１のＬＥＤ光源１１は０ミリ秒（サイクルの開始と同時）に発光し、識別情報が００２のＬＥＤ光源１１は２ミリ秒に発光したことが記録されている。

表１（ｂ）は電圧検出時刻の記録例を示す。表１（ｂ）では電圧検出時刻に対応付けて各赤外線センサ１２が検出した出力電圧が記録されている。表１（ｂ）では８つの赤外線センサ１２の出力電圧が記録されているが、赤外線センサ１２の数は一例である。

表１（ａ）の発光時刻と表１（ｂ）の電圧検出時刻が絶対時刻であれば発光時刻と電圧検出時刻とは容易に対応付けられる。絶対時刻でない場合でも、制御部３１がＬＥＤ光源１１の発光とほぼ同時に出力電圧取得部３４に赤外線センサ１２の出力電圧をサンプリングすることで発光時刻と電圧検出時刻はほぼ同じになる。

視線方向決定部３６は表１（ａ）の発光時刻と最も近い表１（ｂ）の電圧検出時刻を特定することで、どのＬＥＤ光源１１が発行した際にどの赤外線センサ１２がどのくらいの出力電圧を出力したかを特定できる。

なお、出力電圧の単位は説明の便宜上、階調値に変換されている。絶対的な数値よりも各赤外線センサ１２の数値の相対的な相違が視線方向の判断に有効なため、階調値でも支障はない。

＜視線方向の検知例＞
以下では、図１０〜図１２を用いてシミュレーションによる視線方向の決定方法を説明する。図１０は、シミュレーションの条件を説明する図の一例である。シミュレーションでは、メガネのリム２１の顔側に８つのＬＥＤ光源１１が配置され、レンズ２２には８つの赤外線センサ１２が形成されていることが設定された。

また、その他の条件は以下のように設定された。
・赤外線に対する白目の反射率は３０％、黒目の反射率は１０％
・眼球の形状は球体をベースとして、白目の曲率をＲ１２，黒目の曲率をＲ８
・眼軸長（黒目部表面と白目部表面の間の最大長）は２５．６〔mm〕
シミュレータは、簡単のため８つのＬＥＤ光源１１を１つずつ順番に点灯させることは行わず、８つのＬＥＤ光源１１を同時に点灯させ、眼球表面で反射した赤外線が８つの赤外線センサ１２でどのように検知されるかをシミュレートした。

図１１は、シミュレーション結果を視覚的に示した図の一例である。図１１で示す左向き、右向きは、ユーザ側（メガネ側）から見た方向である。図１１（ａ）は視線方向が右向きの場合のシミュレーション結果であり、図１１（ｂ）は視線方向が正面の場合のシミュレーション結果であり、図１１（ｃ）は視線方向が下向きの場合のシミュレーション結果である。なお、８つのＬＥＤ光源１１を同時に点灯させるシミュレーション結果は、８つのＬＥＤ光源１１を１つずつ順番に点灯させ、１つのＬＥＤが光るごとに８つの赤外線センサ１２で出力電圧を検出し、８つのＬＥＤの点灯が終わったら（１サイクルが終わったら）、各センサごとに出力電圧を合計するシミュレーション結果と同等である。なお、図１１では出力電圧が階調値に変換され、階調値が大きいほど大きい輝度で赤外線センサ１２が示されている。

例えば、視線方向が右向きの場合、左側の階調値が大きくなる傾向にあることが分かる。正面の場合、８つの赤外線センサ１２の階調値はいずれも小さくなる傾向にあることが分かる。下向きの場合、上方向の階調値が大きくなる傾向にあることが分かる。

図１２は、より詳細なシミュレーション結果の一例を示す図である。図１２では、右向き、下向き、左向き、正面、及び上向きの各視線方向について、各赤外線センサ１２の階調値が示されている。また、図１２の下にはレーダーチャートが図示されている。レーダーチャートは、各赤外線センサの階調値を中心からの距離で表し、赤外線センサ１２が配置された８方向ごとに階調値を結線している。したがって、外側に階調値があるほど、階調値が大きい。

図１２に示すように、視線方向とは反対方向の階調値が大きくなることが確認され、本実施形態のメガネ型の視線方向検知装置１００により視線方向を検知又は追跡できることがわかる。

視線方向決定部３６は、１サイクルごとに最も大きい階調値の方向（第一の方向）とは反対の方向（第二の方向）が視線方向であると判断すればよい。あるいは、シミュレーション結果や被験者を使った実験などで図１２のような階調値のパターンを機械学習して識別器を作り、この識別器を視線方向決定部３６として用いてもよい。

＜動作手順＞
図１３は、メガネ型の視線方向検知装置１００が視線方向を決定する手順を示すフローチャート図の一例である。図１３の処理は、視線方向検知装置１００の電源がＯＮの間、繰り返し実行される。

まず、制御部３１は光源発光部３２に対し１つのＬＥＤ光源１１を点灯させる（Ｓ１０）。メガネのレンズ２２に配置されたＬＥＤ光源１１を重複なく順番に点灯させればどのような順番で点灯させてもよい。例えば、反時計回りの順、又は、時計回りの順に点灯させる。

次に、点灯時刻記録部３３はＬＥＤ光源１１の識別情報と点灯時刻を時刻ＤＢ２９に記録する（Ｓ２０）。

また、出力電圧取得部３４は、ＬＥＤ光源１１が点灯したタイミングかそれよりもやや遅いタイミングで各赤外線センサ１２の出力電圧を検出する（Ｓ３０）。あるいは、ＬＥＤ光源１１の点灯周期よりも十分に短い周期で常に赤外線センサ１２の出力電圧を検出してもよい。

電圧時刻記録部３５は、出力電圧を検出した時刻と共に出力電圧を階調値に変換して時刻ＤＢ２９に記録する（Ｓ４０）。

制御部３１は、１サイクルのＬＥＤ光源１１の点灯が終了したか否かを判断する（Ｓ５０）。ステップＳ５０の判断がＮｏの場合、処理はステップＳ１０に戻る。

ステップＳ５０の判断がＹｅｓの場合、視線方向決定部３６はＬＥＤ光源１１の点灯と同時刻に赤外線を検出した赤外線センサ１２を、ＬＥＤ光源１１ごとに特定する（Ｓ６０）。したがって、ＬＥＤ光源１１が８つあり、発光と同じタイミングで出力電圧が検出された場合、８グループの階調値が得られる。１グループには８つの赤外線センサ１２の階調値が含まれている。

視線方向決定部３６は、各グループごとに図１２で説明したような方法で視線方向を決定する（Ｓ７０）。全てのグループで視線方向が同じとは限らないため、各グループから決定された視線方向を合成して、視線方向を決定する。こうすることで、実際の目の向きと決定される視線方向の違いを少なくできる。

なお、ステップＳ６０の処理を省略し、図１２で説明したように、視線方向決定部３６は１サイクル分の出力電圧を赤外線センサ１２ごとに合計して視線方向を検知してもよい。

＜赤外線センサの配置の他の例＞
赤外線センサ１２は目を囲むように配置されていることが好ましいが、図１等に示した配置例には限られない。図１４は赤外線センサ１２の配置例を説明する図の一例である。図１４（ａ）ではメガネのリム２１の形状に関係なく長方形（又は正方形）の形状に赤外線センサ１２が配置されている。眼球に反射した赤外線は目の外側に進行するので、長方形であっても支障なく赤外線を検知できる。

図１４（ｂ）は目の形状に沿って目に対する距離が最短になるように配置された赤外線センサ１２の配置例を示す。このように、目に対し近い位置に赤外線センサ１２があれば、眼球に反射された赤外線の減衰が小さいうちに赤外線センサ１２に入射するので、赤外線センサ１２が赤外線を効率的に検出できる。

図１４（ｃ）は赤外線センサ１２が２重に配置された赤外線センサ１２の配置例を示す。このような配置例では、目で反射した赤外線が内側と外側の２つの赤外線センサ１２で検出され得るため視線方向の精度が向上することを期待できる。

＜まとめ＞
以上説明したように、本実施例の視線方向検知装置１００は、透明又は半透明な赤外線センサ１２をレンズ２２に形成することで、デザインの制約が少ない視線方向検知装置１００を提供することができる。

本実施例では赤外線センサ１２がレンズ２２にアレイ状に配置された視線方向検知装置１００について説明する。

図１５は、本実施例の視線方向検知装置１００の概略的な動作を説明する図の一例である。図１５に示すように、テンプル２３のレンズ２２に近い部位に光源ユニット１８が配置され、鼻当て２４にはミラー１９が配置されている。更に、レンズ２２の鼻側の領域にはローパスフィルタ１５が形成されており、レンズ２２の中央部には赤外線センサアレイ１７が形成されている。ＬＥＤ光はライン状又はドット状となっている。
（１）光源ユニット１８が赤外線を照射する。
（２）ミラー１９がローパスフィルタ１５に向けて赤外線を反射させる。
（３）ローパスフィルタ１５は赤外線を眼球に向けて反射する。
（４）目に到達した赤外線は、目のどの部分に到達したかによって異なる湾曲の程度で湾曲する。目は角膜で大きく湾曲し、白目では緩やかに湾曲しているためである。赤外線センサアレイ１７には目で反射した赤外線が入射する。図１５（ａ）で説明した（１）〜（４）の照射方法を(i)とする。

赤外線センサアレイ１７にはマトリックス状に赤外線センサ１２が配置されているので、どの赤外線センサ１２が赤外線を検出したかによって、湾曲の程度を検出できる。制御ユニット１３は、予め視線方向と湾曲の態様の関係を対応付けたパターンを保持しており、赤外線センサ１２が検出した出力電圧をこのパターンと比較することにより視線方向を決定できる。

＜構成例＞
図１６は、メガネ型の視線方向検知装置１００の構成図の一例を示す。図１５にて説明したように、視線方向検知装置１００は一例として、光源ユニット１８、ミラー１９、ローパスフィルタ１５、及び、赤外線センサアレイ１７を有する。以下では、これらについて詳細に説明する。

図１７（ａ）は光源ユニット１８の構造の一例を示す。光源ユニット１８は、光源１８ａと、光源１８ａが発光する赤外線を集光して平行光（コリメート光）に調整するコリメートレンズ１８ｂを有する。赤外線をコリメート光に調整することで、光源１８ａが照射する赤外線が広がらずにミラー１９に到達するので、鮮明なライン光が得られやすくなる。

コリメートレンズ１８ｂは、必ずしも必須ではなく凸レンズや集光レンズで代用できる場合がある。

図１７（ｂ）はローパスフィルタ１５の一例を示す図である。

ローパスフィルタ１５の一例として、朝日分光社製のSIO810又はこれと同等の分光特性を持つフィルターが適用可能である。このようなローパスフィルタ１５の場合、概ね８２０〔nm〕以下は透過し（ローパスし）、それよりも長い波長の光は反射する。このため、赤外線をローパスフィルタ１５に照射させた場合、ライン状又はドット状の赤外線が形成される。

なお、レンズ２２の中央部には赤外線センサアレイ１７が形成されるため、ローパスフィルタ１５として確保できる領域（面積）はそれほど大きくない。ローパスフィルタ１５の面積が小さいとローパスフィルタ１５で反射したライン状の反射光が視線方向を検知するために十分な幅にならず、目の幅をカバーしきれないおそれがある。

そこで、好ましくはローパスフィルタ１５又はローパスフィルタ１５が形成されるレンズ２２の部分が凸ミラーの形状を有することが好ましい。図１７（ｃ）はメガネ型の視線方向検知装置１００の上面図である。図１７（ｃ）ではローパスフィルタ１５が形成される領域が凸形状２２ａを有している。凸ミラーで反射した光が拡大されるように、ローパスフィルタ１５が凸ミラー上に形成されることで、ローパスフィルタ１５の面積が小さくてもライン状の反射光が拡大され、視線方向を検知するために十分な幅になり、目の幅をカバーできる。

また、図１７（ｃ）に示すように鼻当て２４のレンズ２２側にはミラー１９が形成されている。必ずしも鼻当て２４にミラー１９が形成される必要はなく、光源ユニット１８が照射する赤外線をローパスフィルタ１５に向けて反射できればよい。しかし、鼻当て２４がミラー１９を兼用できることで限られたスペースにミラー１９を配置しやすくなる。

なお、光源ユニット１８がテンプルでなく鼻当て２４側に配置されてもよい。この場合はミラー１９が不要になる。しかし、光源ユニット１８と制御ユニット１３の配線が長くなってしまう。

続いて、図１８を用いて赤外線センサアレイ１７について説明する。図１８は、赤外線センサアレイ１７の構成例を説明する図である。なお、図１８は赤外線センサアレイ１７の一部を取り出したものである。レンズ２２にはより多くの赤外線センサ１２が形成されている。

赤外線センサアレイ１７には、赤外線センサ１２がマトリックス状（アレイ状又は格子状という場合がある）に形成されており、各赤外線センサ１２は行方向及び列方向の透明配線１４の上に形成されている。すなわち、行方向と列方向の透明配線１４の交点に赤外線センサ１２が形成されている。これにより、行方向と列方向のそれぞれから赤外線センサ１２と電気的に接続可能となる。

各行の赤外線センサ１２には電源Ｖからバイアス電源を印加できるようになっている。電源Ｖと各行の透明配線１４の間にはそれぞれ、バイアス電源の印加をＯＮ/ＯＦＦできるスイッチ素子Ｔｒが形成されている。このスイッチ素子Ｔｒには制御ユニット１３が接続されている。

列方向の透明配線１４にはそれぞれ抵抗Ｒと電圧計Ｓが並列に接続されている。抵抗Ｒは出力電圧を検出するために使用され、電圧計Ｓは抵抗に生じた電圧を検出する。電圧計Ｓは制御ユニット１３と接続されている。

行方向のある透明配線１４に接続されたスイッチ素子ＴｒのみがＯＮで他のスイッチ素子Ｔｒが全てＯＦＦの場合、スイッチ素子ＴｒがＯＮとなった行の赤外線センサ１２のみが赤外線を検出可能になる。目で反射した複数の縦のライン光が赤外線センサアレイ１７に到達すると、ライン光を検出した赤外線センサ１２が出力電圧を生じさせる。制御ユニット１３はこの出力電圧と赤外線センサ１２の列番号を記録する。

次に、制御ユニット１３は別の行のスイッチ素子ＴｒのみをＯＮにして他のスイッチ素子ＴｒをＯＦＦにする。すると、スイッチ素子ＴｒがＯＮになった行の赤外線センサ１２が同様にライン光を検出して、各列の赤外線センサ１２が出力電圧を生じさせる。行単位で赤外線センサ１２を順次ＯＮとすることで、眼球で反射された垂直方向（その他の方向でも良い）のライン光の入射位置を面で捕らえることができる。

制御ユニット１３が全ての行についてスイッチ素子ＴｒをＯＮにして、各列の赤外線センサ１２の出力電圧を記録すると、目の凹凸で湾曲した形状のライン光が赤外線センサ１２に入射するため、出力電圧が高い赤外線センサ１２を辿ると同様の形状になることが期待される。つまり、出力電圧を閾値などと比較することで、目に当たったライン光とほぼ同じ形状とみなせる複数の赤外線センサ１２を抽出可能になる。

例えば行の数（走査線）が１００本で眼球の動きを１００Ｈｚで観測する場合は、１００×１００Hz＝１０ｋＨｚで、制御ユニット１３が１つの走査線をＯＮに制御する。よって、視線方向の変化よりも十分に速い速度で１回の視線方向を検出できる。

＜機能について＞
図１９は、本実施例の制御ユニット１３が有する機能をブロック状に示す機能ブロック図の一例である。本実施例の制御ユニット１３は制御部３１、電源ＯＮ部４１、出力電圧検出部４２、電圧記録部４３、及び、視線方向決定部３６を有する。制御ユニット１３が有するこれらの機能は、図４に示された各構成要素のいずれかが、フラッシュメモリ１０５からＲＡＭ１０２に展開されたプログラムに従ったＣＰＵ１０１からの命令により動作することで実現される機能又は手段である。

また、制御ユニット１３は、図４に示されたフラッシュメモリ１０５又はＲＡＭ１０２等に構築される電圧記録ＤＢ４４を有している。

制御部３１は、視線方向を決定するため制御ユニット１３が有する各ブロックを制御する。制御部３１は、赤外線センサアレイ１７の全ての行に接続されたスイッチ素子Ｔｒを１回ずつＯＮするまでを処理の１つのサイクルに設定して、電源ＯＮ部４１にスイッチ素子ＴｒをＯＮにさせる。また、スイッチＯＮのタイミングを出力電圧検出部４２と電圧記録部４３に通知する。また、１つのサイクルが終了するごとに、視線方向決定部３６に視線方向を決定させる。

電源ＯＮ部４１は、制御部３１からの指示により、赤外線センサアレイ１７の行に接続されたスイッチ素子Ｔｒを順番にＯＮする。なお、同時には１つのスイッチ素子ＴｒのみをＯＮにする。なお、スイッチ素子ＴｒをＯＮにする順番は、最上部又は最下部のどちらからでもよいし、中央部から始めてもよい。

出力電圧検出部４２はスイッチＯＮのタイミングで列方向の赤外線センサ１２から出力電圧を取得する（サンプリングする）。赤外線センサアレイ１７のどの行がＯＮになっても、全ての列の赤外線センサ１２が赤外線を検出する可能性がある。出力電圧検出部４２は列番号と出力電圧を電圧記録部４３に通知する。出力電圧をアナログ値として記録してもよいし、閾値以上の出力電圧を検出してもよい。本実施例では説明を容易にするために出力電圧をそのまま記録し、後に閾値と比較して出力電圧を１，０に二値化する。

電圧記録部４３は、制御部３１からスイッチＯＮのタイミングを受け取ることで、スイッチがＯＮにされた行番号を検知している。更に、電圧記録部４３は、出力電圧検出部４２から列番号とその出力電圧を取得する。電圧記録部４３は、制御部３１からの通知により得た行番号と出力電圧検出部４２から取得した列番号に対応付けて出力電圧を電圧記録ＤＢ４４に記録する。

視線方向決定部３６は、１つのサイクルごとに、電圧記録ＤＢ４４に記憶された情報を用いて視線方向を決定する。

表２は電圧記録ＤＢ４４に記録された出力電圧の一例を示す。なお、表２の出力電圧は実施例１と同様に階調値である。電圧記録ＤＢ４４には、赤外線センサアレイ１７の行と列に対応付けられて１サイクル分の出力電圧が記録されている。例えば、１行目の各列の出力電圧は、１行目のスイッチ素子ＴｒがＯＮになった時に１行目の赤外線センサ１２が検出した出力電圧である。

＜視線方向の検知例＞
以下では、図２０〜図２２を用いてシミュレーションによる視線方向の決定方法を説明する。

図２０は、視線方向の検出イメージを説明する図の一例である。図２０（ａ）のI〜IVの縦方向の直線は、ローパスフィルタ１５で反射したライン光である。本実施形態ではライン光は常に照射されていてもよいし、赤外線センサ１２が出力電圧を検出するタイミングでのみ照射されていてもよい。

図２０（ｂ）は赤外線センサ１２が検出する出力電圧を模式的に示すイメージ図である。図２０（ｂ）では一定以上の出力電圧を検出した列方向の赤外線センサ１２が結線されている。ライン１はIのライン光に対応して検出される出力電圧であり、ライン２はIIのライン光に対応して検出される出力電圧であり、ライン３はIIIのライン光に対応して検出される出力電圧であり、ライン４はIVのライン光に対応して検出される出力電圧である。ライン２，３は湾曲しているが、これは眼球の湾曲によるものである。また、ライン１〜４の形状は視線方向によって異なる。したがって、ライン光を照射して赤外線センサ１２が検出する出力電圧を監視することで視線方向を決定できる。

なお、図２０の出力電圧は説明を容易にするためのイメージであり、図２０（ｂ）に示すようなきれいなカーブが得られなくてもよい。カーブが得られなくても、出力電圧のパターンにより視線方向が決定される。

図１５では、ローパスフィルタ１５で反射したライン光により視線方向を検知すると説明したが、ローパスフィルタ１５はなくてもよい。図２１を用いて、説明する。図２１は、視線方向検知装置の概略的な動作を説明する図の一例である。なお、図２１では主に図１５（ａ）との相違を説明する。図２１ではローパスフィルタ１５がレンズ２２に配置されていない。また、鼻当て２４のミラー１９は、光源ユニット１８から照射された赤外線を眼球方向に反射する向きに取り付けられている。この構成では以下のような赤外線の照射方法で視線方向を検知できる。

(ii) 光源ユニット１８として通常のＬＥＤ光（例えば出射角度25°）を用い、鼻当て２４のミラー１９のみでＬＥＤ光を反射して目に照射する。

(iii) また、ＬＥＤ光をライン状又はドット状とし、鼻当て２４のミラー１９のみで反射して目に照射する。

したがって、上記の(i)と合わせて３つの照射方法がある。

図２２は、シミュレーション結果を説明する図の一例である。シミュレーションの条件は以下のとおりである。
・メガネフレームのサイズ：６３〔mm〕×３８〔mm〕
・光源の出射角度（テンプル２３に対し）：約２５度
・白目の曲率：Ｒ１２，黒目の曲率：Ｒ８
・眼軸長（黒目部表面と白目部表面の間の最大長）：２５．６〔mm〕
・鼻かけ分のミラー１９反射率：９０％
シミュレータは、光源ユニット１８に光を照射させ、行方向のスイッチ素子Ｔｒを１つずつ順番にＯＮにして、各列の赤外線センサ１２がどのくらいの出力電圧を検知するかをシミュレートした。

図２２（ａ）は、目が正面を向いている場合の１サイクル分の出力電圧を輝度で表したシミュレーション結果の一例である。輝度が大きいほど（明るいほど）出力電圧が大きいことを示す。図２２（ｂ）は図２２（ａ）の出力電圧を１，０に二値化して、１を白に、０を黒に置き換えて表す図である。二値化することで、ある部分の赤外線センサ１２の出力電圧が大きくなることが分かる。

なお、二値化の閾値は、視線方向の違いが現れるように実験的に決定してよい。例えば、１に変換される出力電圧が一定数以下になるように決定されてよい。

同様のシミュレーションをいくつかの視線方向で行ったものが図２２（ｃ）〜図２２（ｈ）である。図２２（ｃ）は左２０度、図２２（ｄ）は右２０度、図２２（ｅ）は左１０度、図２２（ｆ）は右１０度、図２２（ｇ）は上２０度、図２２（ｈ）は下２０度を、視線方向とする場合のシミュレーション結果である。

例えば、図２２（ｃ）と（ｄ）では白くなるほど出力電圧が高い赤外線センサ１２の場所が異なっており、右２０度と左２０度の視線方向の違いが出力電圧に表れている。図２２（ｅ）と（ｆ）では白くなるほど出力電圧が高い赤外線センサ１２の場所が異なっており、右１０度と左１０度の視線方向の違いが出力電圧に表れている。図２２（ｇ）と（ｈ）では白くなるほど出力電圧が高い赤外線センサ１２の場所が異なっており、上２０度と下２０度の視線方向の違いが出力電圧に表れている。

このように視線方向によって赤外線センサ１２が検出する出力電圧のパターンが異なるため、視線追跡が可能になる。したがって、視線方向によって異なる出力電圧のパターンと得られた出力電圧のパターンを比較して最も近いパターンの視線方向であると判断する。例えば、８方向、１６方向などの各視線方向ごとに出力電圧が１になる行番号と列番号が対応付けられた輝度パターンを保持しておく。視線方向の追跡時には、測定されたパターンで、各視線方向の輝度パターンとパターンマッチングを行う。すなわち、測定されたパターンと輝度パターンの同じ行列の要素ごとに差分を算出し差分の絶対値を合計する。合計値が最も小さくなる輝度パターンの視線方向が、ユーザが向いている視線方向であると判断する。なお、視線方向と出力電圧のパターンの関係を機械学習で対応付けておき、学習結果に出力電圧のパターンを入力して視線方向を検出してもよい。

＜動作手順＞
図２３は、メガネ型の視線方向検知装置１００が視線方向を決定する手順を示すフローチャート図の一例である。図２３の処理は、視線方向検知装置１００の電源がＯＮの間、繰り返し実行される。

まず、制御部３１は電源ＯＮ部４１に対し１つずつスイッチ素子ＴｒをＯＮにさせる（Ｓ１１０）。全ての行の赤外線センサ１２をＯＮすればどのような順番でＯＮにしてもよい。例えば、上又は下から順にＯＮにする。

出力電圧検出部４２はスイッチ素子ＴｒがＯＮになるたびに各列の赤外線センサ１２が検出する出力電圧を取得する（Ｓ１２０）。

電圧記録部４３は赤外線センサアレイ１７の行と列に対応付けて出力電圧を記録する（Ｓ１３０）。

制御部３１は、１サイクル分のスイッチをＯＮに制御したか否かを判断する（Ｓ１４０）。ステップＳ１４０の判断がＮｏの場合、処理はステップＳ１１０に戻る。

ステップＳ１４０の判断がＹｅｓの場合、視線方向決定部３６は出力電圧を二値化する（Ｓ１５０）。

視線方向決定部３６は、図２２で説明したように出力電圧のパターンに基づいて視線方向を決定する（Ｓ１６０）。

本実施形態によれば、レンズ面の全面に透明な赤外線センサアレイ１７が付いているため、眼鏡が多少ズレたとしても、目の反射光をセンシング可能である。

＜外光のカット＞
目から反射した赤外線の他、外光に含まれる赤外線が赤外線センサ１２により検出されるおそれがある。そこで、図２４に示すように、レンズ２２に外光をカットするローパスフィルタ２６が配置されることが好ましい。図２４は、レンズ２２の断面図の一例を示す。図２４に示すように、レンズ２２の目とは反対側の全面にローパスフィルタ２６が配置される。ローパスフィルタ２６は、赤外線よりも低い波長の光を通し、それよりも高い波長の光を反射する。これにより、外光による誤検知を軽減する。なお、ローパスフィルタに代えて、可視光だけを透過するバンドパスフィルタを適用してもよい。バンドパスフィルタにより、可視光よりも波長の短い紫外線もカットでき、目への影響を軽減可能である。

＜ポインティングデバイスとしての使用例＞
視線方向検知装置１００をマウスなどのポインティングデバイスとしてユーザが使用することでディスプレイ操作（入力）が可能になる。まず、視線方向検知装置１００はBluetooth（登録商標）などの近距離無線通信でＰＣ（Personal Computer）などの情報処理装置と通信する。

視線方向検知装置１００は、検知した視線方向を情報処理装置に送信するので、情報処理装置は視線方向にカーソル（ポインタ）を移動する。クリックは例えば目の瞬きによって行う。瞬きにより眼球からの反射光のパターンが変化するため、視線方向検知装置１００は瞬きを認識して情報処理装置にクリック信号を送信する。あるいは、視線方向検知装置１００にクリック用のボタンを設けてもよい。

更に、ドラッグやズーム等の操作を情報処理装置に反映させるには、視線方向検知装置１００のテンプル２３やフレーム等にタッチパッドを組み込む。フレームへのタッチ操作を例えばズーム操作として情報処理装置に送信すると、容易にズームアップ、ズームダウンが可能となる。

＜まとめ＞
以上説明したように、本実施例の視線方向検知装置１００は、透明又は半透明な赤外線センサ１２をレンズ２２に形成することで、デザインの制約が少ない視線方向検知装置１００を提供することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、図９、図１９などの構成例は、制御ユニット１３の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、制御ユニット１３処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、ＬＥＤ光源１１又は光源ユニット１８は赤外線照射部の一例であり、制御ユニット１３は制御部の一例である。

１１ ＬＥＤ光源
１２ 赤外線センサ
１３ 制御ユニット
１５ ローパスフィルタ
１７ 赤外線センサアレイ
１８ 光源ユニット
１９ ミラー
２１ リム
２２ レンズ
２３ テンプル
３１ 制御部
１００ 視線方向検知装置

特許６１５９２６３公報 Karen Strass, et al,"Squaraine Dye for a Visibly Transparent All−Organic Optical Upconversion Device with Sensitivity at 1000 nm"ACS Applied Materials & Interfaces 2018 10 (13), 11063−11069 Jingbi You, et al, "A polymer tandem solar cell with 10.6% power conversion efficiency"Nat Commun. 2013 Feb 5; 4: 1446.

Claims (12)

1. 視線方向検知装置であって、
   赤外線を眼球に照射する赤外線照射部と、
   レンズに形成された、可視光に対し少なくとも半透明な１つ以上の赤外線センサと、
   前記眼球から反射した赤外線の入射により前記赤外線センサが出力した信号を解析して視線方向を決定する制御部と、
   を有することを特徴とする視線方向検知装置。
2. 前記赤外線センサは少なくとも半透明な透明配線を介して前記制御部と電気的に接続されていることを特徴とする請求項１に記載の視線方向検知装置。
3. 前記赤外線センサは、前記レンズにマトリックス状に形成されており、
   前記眼球で反射して前記赤外線センサに入射する赤外線であることを特徴とする請求項１又は２に記載の視線方向検知装置。
4. 前記制御部は、
   マトリックス状に形成されている前記赤外線センサのそれぞれから前記信号を取得し、
   赤外線センサのそれぞれが出力する前記信号のパターンに基づいて視線方向を決定することを特徴とする請求項３に記載の視線方向検知装置。
5. 前記レンズの少なくとも一部にローパスフィルタを有し、
   前記赤外線照射部が照射したライン状又はドット状の赤外線は前記ローパスフィルタで反射し、前記眼球で反射してマトリックス状の前記赤外線センサに入射し、
   前記制御部は、マトリックス状に形成されている前記赤外線センサを行単位でＯＮにするスイッチ素子を有し、
   前記スイッチ素子を行単位でＯＮにした際に、各列の前記赤外線センサから前記信号を取得する処理をマトリックス状に形成された前記赤外線センサの行ごとに繰り返すことで、
   各赤外線センサが出力する前記信号のパターンを取得することを特徴とする請求項４に記載の視線方向検知装置。
6. 目を囲むように複数の前記赤外線照射部がメガネのリムに形成されており、
   目を囲むように複数の前記赤外線センサが前記レンズに形成されていることを特徴とする請求項１又は２に記載の視線方向検知装置。
7. 前記制御部は、前記赤外線照射部に対し１つずつ順番に赤外線を照射させ、
   複数の前記赤外線センサが検出する前記信号をそれぞれ取得し、
   各赤外線センサが出力する前記信号のパターンに基づいて視線方向を決定することを特徴とする請求項６に記載の視線方向検知装置。
8. 前記制御部は、
   メガネをかけたユーザから見て、第一の方向の前記赤外線センサが他の前記赤外線センサよりも大きい前記信号を出力した場合、ユーザは前記第一の方向とは反対の第二の方向を向いていると判断することを特徴とする請求項７に記載の視線方向検知装置。
9. 前記視線方向検知装置はメガネに搭載されていることを特徴とする請求項１〜８のいずれか１項に記載の視線方向検知装置。
10. 前記レンズは、シースルーディスプレイであることを特徴とする請求項９に記載の視線方向検知装置。
11. 前記レンズの目とは反対側の全面にローパスフィルタ又はバンドパスフィルタが配置されていることを特徴とする請求項１〜９のいずれか１項に記載の視線方向検知装置。
12. 情報処理装置が視線方向を検知する視線方向検知方法であって、
    赤外線照射部が、赤外線を眼球に照射するステップと、
    レンズに形成され、可視光に対し少なくとも半透明な１つ以上の赤外線センサが、前記眼球から反射した赤外線の入射により信号を出力するステップと、
    制御部が、前記信号を解析して視線方向を決定するステップと、
    を有することを特徴とする視線方向検知方法。