JP2019532443A - ビデオグラスの眼球追跡モジュール - Google Patents

Abstract

ビデオグラスの眼球追跡モジュールであって、少なくとも二つの赤外光源（１）と、少なくとも一つのイメージセンサモジュール（２）と、赤外フィルタユニット（１１）と、追跡モジュールケース（６）と、を含み、追跡モジュールケース（６）には、赤外光源固定体（６−１）、イメージセンサモジュール固定体（６−２）とコネクタ（６−４）を含む固定体が設置されていて、赤外光源固定体（６−１）やイメージセンサモジュール固定体（６−２）と追跡モジュールケース（６）が脱着可能に固定して接続され、または脱着不能に固定して接続され、コネクタ（６−４）と追跡モジュールケース（６）が脱着可能に固定して接続される。眼球追跡モジュールによると、構造が簡単で、占める空間が小さく、眼球追跡の精度が高く、組み立てが柔軟で、使用が便利であるメリットを有する。

Description

本発明は、眼球追跡技術分野に関し、特に、ビデオグラスの眼球追跡モジュールに関する。

眼球追跡は、機械、電子、光学などの各種の検出手段によって被験者の現在の「注視方向」を取得する技術である。コンピュータ視覚、人工知能技術やデジタル化技術が高速に発展するに伴って、眼球追跡技術はすでに注目される研究分野になっていて、例えば車両の補助運転、バーチャルリアリティ、認知障害診断などのようにヒューマンインタラクション分野に汎用されている。

既存の眼球追跡機器は通常構造が複雑で、大きい空間を占め、眼球追跡精度が制限されるなどの問題を有する。

本発明は、既存技術に存在する問題に対して、上記問題を解決できるビデオグラスの眼球追跡モジュールを提供する。

本発明において以下の技術案を用いる。
本発明は、少なくとも二つの赤外光源と、少なくとも一つのイメージセンサモジュールと、赤外フィルタユニットと、追跡モジュールケースと、を含み、
赤外光源は、眼球の前方側面領域に固定して設置されかつビデオグラスの視野角の縁部または外部に位置し、眼球へ赤外光を発光し、眼球によって赤外光を反射することで、眼球反射光路を形成し、
イメージセンサモジュールは、眼球の前方側面領域に固定して設置されかつビデオグラスの視野角の縁部または外部に位置し、眼球反射光路上に配置されて直接に眼球の画像を収集し、
赤外フィルタユニットは、イメージセンサモジュールから眼球までの間の搬送路に設置され、
追跡モジュールケースには、赤外光源固定体、イメージセンサモジュール固定体とコネクタを含む固定体が設置されていて、
赤外光源固定体は、赤外光源を追跡モジュールケースに固定し、
イメージセンサモジュール固定体は、イメージセンサモジュールを追跡モジュールケースに固定し、
コネクタは、眼球追跡モジュールをビデオグラスケースに固定し、
赤外光源固定体やイメージセンサモジュール固定体と追跡モジュールケースが脱着可能に固定して接続され、または脱着不能に固定して接続され、コネクタと追跡モジュールケースが脱着可能に固定して接続されるビデオグラスの眼球追跡モジュールを提供する。

固定体が、レンズを追跡モジュールケースに固定するためのレンズ固定体をさらに含み、レンズ固定体と追跡モジュールケースが脱着可能に固定して接続され、または脱着不能に固定して接続されることが好ましい。

脱着可能に固定して接続されることは、ねじ接続またはピン接続または弾性変形接続または留め金接続または挿入接続されることであって、脱着不能に固定して接続されることは、溶接または接着またはリベット接続されることであることが好ましい。

眼球からディスプレイまでの間の搬送路上に固定して設置されて、外周がビデオグラスの視野角の縁部または外部に位置して、焦点距離の調節を補助するレンズをさらに含むことが好ましい。

レンズが眼球から赤外光源までの間の搬送路上に固定して設置され、または、レンズが赤外光源からディスプレイまでの間の搬送路上に固定して設置されることが好ましい。

レンズの側面及び表面にアンチリフレクションフィルムがメッキされて、迷光を除去することが好ましい。

レンズが、視力矯正レンズであることが好ましい。

視力矯正レンズが、凸レンズまたは凹レンズであることが好ましい。

赤外光源それぞれが、ビデオグラスの接眼レンズの前方に設置されることが好ましい。

赤外光源の周辺にほやがさらに設置されることが好ましい。

赤外光源固定体及び/またはほやには非透明材が用いられて、赤外光源の照射角度の範囲を１０°以上１８０°以下に制限し、赤外光源から発光された光が反射されたりまたは直接に接眼レンズを照射したりすることを防止することが好ましい。

赤外フィルタユニットがイメージセンサモジュールの内部または表面に集積され、
または、追跡モジュールケースに赤外フィルタユニット固定体がさらに設置され、赤外フィルタユニットが赤外フィルタユニット固定体によって追跡モジュールケースに固定されることが好ましい。

本発明で提供するビデオグラスの眼球追跡モジュールは以下のメリットを有する：
構造が簡単で、占める空間が小さく、眼球追跡の精度が高く、組み立てが柔軟で、使用が便利である。

本発明で提供する単眼眼球追跡モジュールの組み立て関係を示す図である。 本発明で提供する単眼眼球追跡モジュールの分解状態を示す図である。 本発明で提供する単眼眼球追跡モジュールの組み立て状態での第１の角度を示す図である。 本発明で提供する単眼眼球追跡モジュールの組み立て状態での第２の角度を示す図である。 本発明で提供する単眼眼球追跡モジュールの組み立て状態での第３の角度を示す図である。 本発明で提供する単眼眼球追跡モジュールにおいてレンズとして凹レンズを用いた際のイメージング光路を示す図である。 本発明で提供する単眼眼球追跡モジュールにおいてレンズとして凸レンズを用いた際のイメージング光路を示す図である。 本発明で提供する両眼眼球追跡モジュールの立体構造を示す図である。

１：赤外光源、２：イメージセンサモジュール、３：レンズ、４：ディスプレイ、５：接眼レンズ、６：追跡モジュールケース、７：眼球、８：ビデオグラスケース、１１：赤外フィルタユニット、６ー１：赤外光源固定体、６ー２：イメージセンサモジュール固定体、６ー４：コネクタ、６ー３：レンズ固定体、１ー１：ほや、９：メイン処理ユニット、１０：スマートデバイス。

以下、図面を結合して本発明を詳しく説明する。

本発明においてビデオグラスの眼球追跡モジュールを提供し、バーチャルリアリティメガネ装置に設置されることができ、バーチャルリアリティメガネの内部構造をユニークに設計して眼球追跡を完成することで、使用者がメガネをかけてメガネの前方に位置する表示端末を見る時、眼球追跡技術を基に、表示端末を操作したり制御することができ、ヒューマンインタラクションと中心窩レンダリングなどの機能を実現することができる。

本発明で提供するビデオグラスの眼球追跡モジュールは単眼眼球追跡モジュールまたは両眼眼球追跡モジュールであって、図１〜図７を参照すると、単眼眼球追跡モジュールの構造を示し、図８を参照すると、両眼眼球追跡モジュールの構造を示す。両眼眼球追跡モジュールが二つの単眼眼球追跡モジュールを一つに統合してなる製品で、その実現原理が単眼眼球追跡モジュールと基本的に同様であるので、説明の便宜を図るため、以下、単眼眼球追跡モジュールを例に説明する。

図１〜図７を結合すると、本発明で提供するビデオグラスの眼球追跡モジュールは、少なくとも二つの赤外光源１と、少なくとも一つのイメージセンサモジュール２と、赤外フィルタユニット１１と、追跡モジュールケース６と、を含む。

ここで、赤外光源１は、眼球７の前方側面領域に固定して設置されかつビデオグラスの視野角の縁部または外部に位置し、眼球７へ赤外光を発光し、眼球７が赤外光を反射することで眼球反射光路を形成する。

イメージセンサモジュール２は、眼球の前方側面領域に固定して設置されかつビデオグラスの視野角の縁部または外部に位置し、また、イメージセンサモジュール２は眼球反射光路上に設置されて、直接に眼球画像を収集する。

赤外フィルタユニット１１は、イメージセンサモジュール２から眼球７までの間の搬送路上に設置される。ここで、イメージセンサモジュール２の前に赤外フィルタユニットを追加することで、赤外光源から発光された光線のみをイメージングレンズを透過させ、他の波長の光線による画像に対する影響を除去し、イメージング品質を向上させることができる。

追跡モジュールケース６に固定体が設置され、図３〜５に各種類の固定体の設置形態を示し、固定体は赤外光源固定体６ー１と、イメージセンサモジュール固定体６ー２と、コネクタ６ー４と、を含む。

赤外光源固定体６ー１は、赤外光源を追跡モジュールケース６上に固定する。イメージセンサモジュール固定体６ー２は、イメージセンサモジュール２を追跡モジュールケース６上に固定する。コネクタ６ー４は、眼球追跡モジュールをビデオグラスケース８上に固定する。

赤外光源固定体６ー１、イメージセンサモジュール固定体６ー２、追跡モジュールケース６は、脱着可能に固定して接続され、または脱着不能に固定して接続される。コネクタ６ー４と追跡モジュールケース６は脱着可能に固定して接続される。実際の応用において、脱着可能に固定して接続されることは、ねじ接続またはピン接続または弾性変形接続または留め金接続または挿入接続されることである。脱着不能に固定して接続されることは、溶接または接着またはリベット接続されることである。

本発明で提供するビデオグラスの眼球追跡モジュールの主要な革新点は以下のとおりである。

（１）追跡モジュールケース６に固定体が設置され、固定体によって赤外光源とイメージセンサモジュールを装着し、組み立てが容易であるメリットを有する。

（２）今販売されているバーチャルリアリティメガネの場合、殆どが表示端末が直接に接眼レンズの真後ろに設置され、イメージセンサモジュールのレンズが接眼レンズの真後ろに設置されていて、このような設置形態では、使用者がイメージセンサモジュールのレンズを観測でき、使用者が正常にスクリーン上の情報を見るに影響を及ぼすことになる。本発明においては、図面に示すように、眼球の前方側面領域であってビデオグラスの視野角の縁部または外部にイメージセンサモジュールを装着したので、眼球追跡を行う時、使用者が正常にスクリーン上の情報を見るに影響を及ぼすことがない。
そして、既存技術において、ビデオグラスの接眼レンズとディスプレイとの間の領域に赤外カットフィルター素子を設置したので、眼球に反射された近赤外光線はビデオグラスの接眼レンズ５によって屈折された後、赤外カットフィルター素子によって反射されてから、最終的にイメージセンサモジュールにイメージングされる。
本発明において、赤外カットフィルター素子を設置する必要がないので、眼球に反射された近赤外光線は直接にイメージセンサモジュールへ反射される。これにより、赤外カットフィルター素子に反射されて迷光が発生することを回避し、フレネルレンズ（一部のビデオグラスの接眼レンズ５はフレネルレンズである）の溝による屈折が画像に不利な影響を及ぼすことを回避するので、本発明のイメージセンサモジュール２によって収集された画像の品質は一層高く、眼球追跡の精度を向上させる。

（３）そして、各種類の固定体が、追跡モジュールケースと脱着可能に固定して接続されることが好ましいので、使用者は実際の需要に応じて、対応する部品を装着するか否かを柔軟に選択することができ、使用が柔軟であるメリットを有する。

実際の応用において、以上の構造の他、さらに以下のような改善を行うことができる。

改善１：レンズ固定体とレンズ。
固定体が、レンズ３を追跡モジュールケース６上に固定するためのレンズ固定体６ー３をさらに含む。レンズ固定体６ー３と追跡モジュールケース６は脱着可能に固定して接続され、または脱着不能に固定して接続される。ここでの脱着可能に固定して接続されることは、ねじ接続またはピン接続または弾性変形接続または留め金接続または挿入接続されることである。脱着不能に固定して接続されることは、溶接または接着またはリベット接続されることである。

レンズ固定体について、使用者は実際の需要に応じて、レンズ固定体を装着するか、及びレンズを装着するかを選択することができる。

レンズ３をさらに含み、レンズ３の外周はビデオグラスの視野角の縁部または外部に位置する。目が悪い使用者の場合、レンズ３は視力矯正レンズであることができ、例えば凸レンズまたは凹レンズであることができ、具体的な厚みとタイプは使用者の視力状況に応じて決定して、焦点距離の調節を補助し、目が悪い使用者が画像をはっきり見ることができ、図６は単眼眼球追跡モジュールにおいてレンズとして凹レンズを用いた際のイメージング光路を示す図であって、図７は単眼眼球追跡モジュールにおいてレンズとして凸レンズを用いた際のイメージング光路を示す図である。そして、視力が正常である使用者の場合、レンズを配置しないことができ、平行板を配置することもでき、平行板の表面に例えば反射膜などの膜をトーピングして、視力を保護する作用を実現することができる。

つまり、本発明において、レンズ３は選択可能な部品で、使用者の需要に応じて具体的なタイプを柔軟に選択することができる。

図６と図７において、レンズ３はいずれも眼球７から赤外光源１までの間の搬送路上に設置され、眼球追跡モジュールのイメージング光路は以下のとおりである。

（１）赤外光源１から発光された赤外光はレンズ３に屈折されてから眼球７に到達し、眼球７によって赤外光を反射する。
具体的に、ヒトの目が感知可能な波長は３８０ｎｍ〜７８０ｎｍで、表示端末の正常な観察に影響を及ぼすことがないように、赤外光源１として、基本的にはヒトの目の感度が低く、有害性が小さい近赤外光源を選択する。

（２）眼球７に反射された赤外光は、赤外フィルタユニット１１によってろ過された後、イメージセンサモジュールにイメージングされる。
具体的に、レンズ３は眼球７からディスプレイ４までの間の搬送路上に固定して設置され、さらに具体的には、レンズ３が眼球７から赤外光源１までの間の搬送路上に固定して設置される。図３にこのような組み立て位置を示す。または、レンズ３が赤外光源１からディスプレイ４までの間の搬送路上に固定して設置され、図４にこのような組み立て位置を示す。つまり、赤外光はレンズ３を透過するか、またはレンズ３を透過しない。
そして、レンズ３の側面及表面に赤外アンチリフレクションフィルムがメッキされて、迷光を除去する。

改善２：赤外光源
赤外光源１それぞれはビデオグラスの接眼レンズ５の前方に設置される。赤外光源１の周辺にはほや１ー１がさらに設置される。赤外光源固定体６ー１及び/またはほや１ー１は非透明材からなり、赤外光源１の照射角度の範囲を１０°以上１８０°以下に制限して、赤外光源１から発光された光が反射されまたは直接に接眼レンズ５を照射して迷光が発生することを防止する。

改善３：赤外フィルタユニット
赤外フィルタユニット１１はイメージセンサモジュール２の内部または表面に集積され、または、追跡モジュールケース６に赤外フィルタユニット固定体がさらに設置され、赤外フィルタユニット１１が赤外フィルタユニット固定体によって追跡モジュールケース６に固定される。

改善４：メイン処理ユニット９とスマートデバイス１０をさらに含む。
スマートデバイスは携帯電話、タブレット、コンピュータ、スマートメガネなどの端末デバイスであることができる。メイン処理ユニット９は赤外光源１、イメージセンサモジュール、スマートデバイス１０にそれぞれ接続される。

なお、本発明におけるメイン処理ユニット９は、単独のメイン制御回路基板であることができ、スマートデバイス１０に集積されることもできる。

メイン処理ユニット９は、赤外光源１の開閉状態を制御する。そして、イメージセンサモジュール２によって収集された画像を受信して、スマートデバイス１０へ伝送する。

本発明で提供するビデオグラスの眼球追跡モジュールによると、以下のメリットを有する：
構造が簡単で、占める空間が小さく、眼球追跡の精度が高く、組み立てが柔軟で、使用が便利である。

以上は、本発明の好適な実施形態に過ぎず、当業者であれば本発明の原理を離脱せずに様々な改善や修正が可能である。このような改善や修正は本発明の保護範囲内に含まれる。

１：赤外光源
１ー１：ほや
２：イメージセンサモジュール
３：レンズ
４：ディスプレイ
５：接眼レンズ
６：追跡モジュールケース
６ー１：赤外光源固定体
６ー２：イメージセンサモジュール固定体
６ー３：レンズ固定体
６ー４：コネクタ
７：眼球
８：ビデオグラスケース
９：メイン処理ユニット
１０：スマートデバイス。
１１：赤外フィルタユニット

Claims (12)

1. 少なくとも二つの赤外光源（１）と、少なくとも一つのイメージセンサモジュール（２）と、赤外フィルタユニット（１１）と、追跡モジュールケース（６）と、を含み、
   前記赤外光源（１）は、眼球（７）の前方側面領域に固定して設置されかつビデオグラスの視野角の縁部または外部に位置し、前記眼球（７）へ赤外光を発光し、前記眼球（７）によって赤外光を反射することで、眼球反射光路を形成し、
   前記イメージセンサモジュール（２）は、眼球の前方側面領域に固定して設置されかつビデオグラスの視野角の縁部または外部に位置し、前記眼球反射光路上に配置されて直接に眼球の画像を収集し、
   前記赤外フィルタユニット（１１）は、前記イメージセンサモジュール（２）から前記眼球（７）までの間の搬送路に設置され、
   前記追跡モジュールケース（６）には、赤外光源固定体（６−１）、イメージセンサモジュール固定体（６−２）とコネクタ（６−４）を含む固定体が設置されていて、
   前記赤外光源固定体（６−１）は、赤外光源を前記追跡モジュールケース（６）に固定し、
   前記イメージセンサモジュール固定体（６−２）は、前記イメージセンサモジュール（２）を前記追跡モジュールケース（６）に固定し、
   前記コネクタ（６−４）は、前記眼球追跡モジュールをビデオグラスケース（８）に固定し、
   前記赤外光源固定体（６−１）や前記イメージセンサモジュール固定体（６−２）と前記追跡モジュールケース（６）が脱着可能に固定して接続され、または脱着不能に固定して接続され、前記コネクタ（６−４）と前記追跡モジュールケース（６）が脱着可能に固定して接続されることを特徴とするビデオグラスの眼球追跡モジュール。
2. 前記固定体が、レンズ（３）を前記追跡モジュールケース（６）に固定するためのレンズ固定体（６−３）をさらに含み、前記レンズ固定体（６−３）と前記追跡モジュールケース（６）が脱着可能に固定して接続され、または脱着不能に固定して接続されることを特徴とする請求項１に記載のビデオグラスの眼球追跡モジュール。
3. 前記脱着可能に固定して接続されることは、ねじ接続またはピン接続または弾性変形接続または留め金接続または挿入接続されることであって、前記脱着不能に固定して接続されることは、溶接または接着またはリベット接続されることであることを特徴とする請求項１または２に記載のビデオグラスの眼球追跡モジュール。
4. 前記眼球（７）からディスプレイ（４）までの間の搬送路上に固定して設置されて、外周がビデオグラスの視野角の縁部または外部に位置して、焦点距離の調節を補助するレンズ（３）をさらに含むことを特徴とする請求項１に記載のビデオグラスの眼球追跡モジュール。
5. 前記レンズ（３）が前記眼球（７）から前記赤外光源（１）までの間の搬送路上に固定して設置され、または、前記レンズ（３）が前記赤外光源（１）から前記ディスプレイ（４）までの間の搬送路上に固定して設置されることを特徴とする請求項４に記載のビデオグラスの眼球追跡モジュール。
6. 前記レンズ（３）の側面及び表面にアンチリフレクションフィルムがメッキされて、迷光を除去することを特徴とする請求項４に記載のビデオグラスの眼球追跡モジュール。
7. 前記レンズ（３）が、視力矯正レンズであることを特徴とする請求項４に記載のビデオグラスの眼球追跡モジュール。
8. 前記視力矯正レンズが、凸レンズまたは凹レンズであることを特徴とする請求項７に記載のビデオグラスの眼球追跡モジュール。
9. 前記赤外光源（１）それぞれが、ビデオグラスの接眼レンズ（５）の前方に設置されることを特徴とする請求項１に記載のビデオグラスの眼球追跡モジュール。
10. 前記赤外光源（１）の周辺にほや（１−１）がさらに設置されることを特徴とする請求項１に記載のビデオグラスの眼球追跡モジュール。
11. 前記赤外光源固定体（６−１）及び/または前記ほや（１−１）には非透明材が用いられて、赤外光源の照射角度の範囲を１０°以上１８０°以下に制限し、前記赤外光源（１）から発光された光が反射されたりまたは直接に接眼レンズ（５）を照射したりすることを防止することを特徴とする請求項１０に記載のビデオグラスの眼球追跡モジュール。
12. 前記赤外フィルタユニット（１１）が前記イメージセンサモジュール（２）の内部または表面に集積され、
    または、前記追跡モジュールケース（６）に赤外フィルタユニット固定体がさらに設置され、前記赤外フィルタユニット（１１）が赤外フィルタユニット固定体によって前記追跡モジュールケース（６）に固定されることを特徴とする請求項１に記載のビデオグラスの眼球追跡モジュール。

Images