JP2020047238A - 仮想現実システムにおける視線追跡によるパスワード認証方法 - Google Patents

Abstract

【課題】 視線追跡によるパスワード認証方法を提供すること。【解決手段】 仮想現実（VR）システムのコンピュータ装置のための視線追跡によるパスワード認証方法が開示される。この方法は、ユーザの焦点を取得するステップと、ＶＲシステムのヘッドマウントディスプレイ（HMD）によって、少なくともグラフィカル・ロック解除パターンをユーザに表示するステップと、ユーザの焦点が時間間隔内にグラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従うかどうかを判定するステップと、焦点が時間間隔内にグラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従う場合に、パスワード認証操作によってロックを解錠すると決定するステップと、を含む。【選択図】図３

Description

本発明は、仮想現実システムに関し、より具体的には、仮想現実システムにおける視線追跡（eye tracking）によるパスワード認証方法に関する。

殆どの仮想現実（VR: virtual
reality）システムは、ユーザが携行するヒューマンインターフェイス装置からルームスケール（room-scale）領域内のユーザの動きを追跡することができる。ヒューマンインターフェイス装置（例えば、ジョイスティック、コントローラ、タッチパッド等）は、ユーザがコンピュータ装置によって実行されるソフトウェアシステム、例えばＶＲゲームと対話するために使用される。さらに、ユーザが装着するヘッドマウントディスプレイ（HMD）は、ＶＲ体験のために、コンピュータ装置によって生成された対話イメージをユーザに表示するために使用される。

ＶＲイマージョン（immersion）のユーザの意欲を高めるために、新しいユーザ体験及び人間化されたユーザインターフェイスを形成するための視線追跡が提案されている。ＶＲシステムは、ユーザの目の位置及び目の動きを迅速且つ正確に測定することにより、ＨＭＤの内部でユーザの意図を「知る」。

しかしながら、視線追跡技術を用いたパスワード認証操作の仕様は存在していない。こうして、パスワード認証操作は、依然として従来のリモート又はジョイスティックを用いて実行されている。

そこで、上記課題を解決するために、視線追跡によるパスワード認証方法を提供することを目的とする。

本発明は、仮想現実（VR）システムのコンピュータ装置のための視線追跡によるパスワード認証の方法を開示する。この方法は、ユーザの焦点（focus point）を取得するステップと、ＶＲシステムのヘッドマウントディスプレイ（HMD）によって、少なくともグラフィカル・ロック解除パターンをユーザに表示するステップと、ユーザの焦点が時間間隔内にグラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従うどうかを判定するステップと、焦点が時間間隔内にグラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従う場合に、パスワード認証操作によりロックを解錠すると決定するステップと、を含む。

本発明は、視線追跡によるパスワード認証のための仮想現実システムを開示する。仮想現実システムは、ソフトウェアシステムを実行して仮想現実イメージを生成するコンピュータ装置と、コンピュータ装置に接続され、仮想現実イメージをユーザに表示するヘッドマウントディスプレイ（HMD）と、コンピュータ装置に接続され、ユーザの焦点を検出する少なくとも視線追跡装置と、を有する。コンピュータ装置は、プログラムを実行する処理手段と、処理手段に結合され、プログラムを記憶する記憶ユニットとを含む。プログラムは、処理手段に指示して、視線追跡装置からユーザの焦点を取得することと、ＨＭＤによって、少なくともグラフィカル・ロック解除パターンをユーザに表示することと、ユーザの焦点が時間間隔内にグラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従うかどうかを判定することと、焦点がグラフィカル・ロック解除パターンにあるとき、又は事前設定された焦点シーケンスに従う場合に、パスワード認証操作によってロックを解除すると決定すること、を行わせる。

本発明のこれら目的及び他の目的は、様々な図及び図面に示される好ましい実施形態の以下の詳細な説明を読めば、当業者には明らかになるであろう。

仮想現実システムの概略図である。 本開示の実施形態による仮想現実システムの仮想現実装置の概略図である。 本開示の実施形態によるフローチャートである。 本開示の実施形態によるパスワード認証操作の概略図である。 本開示の実施形態によるパスワード認証操作の概略図である。 本開示の実施形態によるパスワード認証操作の概略図である。

図１を参照すると、図１は、本開示の一実施形態による仮想現実システムの概略図である。仮想現実（VR）システムによって、ユーザがＶＲ環境で自由に移動して探索することが可能になる。詳細には、ＶＲシステムは、ヘッドマウントディスプレイ（HMD）１００、コントローラ１０２Ａ及び１０２Ｂ、ライトハウス（lighthouse）１０４Ａ及び１０４Ｂ、及びコンピュータ装置１０６（例えば、パーソナルコンピュータ）を含む。ライトハウス１０４Ａ及び１０４ＢはＩＲ光を放射するために使用され、コントローラ１０２Ａ及び１０２Ｂはコンピュータ装置１０６への制御信号を生成するために使用され、プレイヤはコンピュータ装置１０６によって実行されるソフトウェアシステム、ＶＲゲームと対話することができ、ＨＭＤ１００は、コンピュータ装置１０６によって生成された対話イメージをプレイヤに表示するために使用される。ＶＲシステムの動作は、当該技術分野において周知であるので、ここでは省略する。

図２は、本開示の一実施形態によるＶＲ装置の概略図である。ＶＲ装置２０は、図１のコンピュータ装置１０６であってもよく、マイクロプロセッサ又は特定用途向け集積回路（ASIC）等の処理ユニット２００と、記憶ユニット２１０と、通信インターフェイスユニット２２０とを含む。記憶ユニット２１０は、処理ユニット２００によるアクセスのためのプログラムコード２１４を記憶することができる任意のデータ記憶装置であってもよい。記憶ユニット２１０の例には、限定されるものではないが、ＳＩＭ（Subscriber
Identity Module）、ＲＯＭ（Read Only
Memory）、フラッシュメモリ、ＲＡＭ（Random-Access
Memory）、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、光データ記憶装置等が含まれる。通信インターフェイスユニット２２０は、処理ユニット２００の処理結果に従って、図１のＨＭＤ１００及びコントローラ１０２Ａ１０２Ｂと信号を交換するための有線又は無線の通信を行う。なお、通信インターフェイスユニット２２０は、ＨＭＤ１００に取り付け可能な視線追跡装置１０００からの視線追跡データを受け取るためにさらに使用される。

詳細には、上記の問題を克服するために、本発明は、視線追跡技術によるパスワード認証を提案する。視線追跡技術は、いくつかの方法の１つで眼の回転を測定することを目的とするが、主に３つのカテゴリー：（ｉ）眼に取り付けられた物体（通常は、特殊なコンタクトレンズ）の動きの測定、（ｉｉ）眼に直接接触しない光学追跡、（ｉｉｉ）眼の周りに配置された電極を用いた電位の測定に分類される。

実施形態では、視線追跡データは、ＨＭＤ１００に取り付けられ、従ってコンピュータ装置１０６に接続される「視線追跡装置」、すなわち、視線追跡装置１０００によって収集される。視線追跡装置１０００は、一般的な２つの要素：光源及びカメラを含む。光源（例えば、近赤外線）は、目の方に向けられる。カメラは、光源の反射を、瞳孔等の目に見える眼球の特徴と共に追跡する。このデータを使用して、目の回転、最終的に視線の方向を推定する。これら収集された視線追跡データを解析することにより、ユーザの焦点が取得される。

図３を参照する。本開示の実施形態によるプロセス３０のフローチャートが示されている。プロセス３０は、図２のＶＲ装置２０においてパスワード認証のために利用することができる。プロセス３０は、記憶ユニット２１０に記憶するべくプログラムコード２１４にコンパイルされ、以下のステップを含むことができる。
ステップ３００：ユーザの焦点を取得する。
ステップ３１０：ＨＭＤによって、少なくともグラフィカル・ロック解除パターンをユーザに表示する。
ステップ３２０：ユーザの焦点が、時間間隔内にグラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従うかどうかを判定する。
ステップ３３０：焦点が時間間隔内にグラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従う場合に、パスワード認証操作によりロックを解除すると決定する。

プロセス３０によれば、ＶＲ装置２０（例えば、コンピュータ装置１０６）は、視線追跡装置１０００（近赤外線及びカメラ）から視線追跡データ／眼球運動情報（例えば、ユーザの視界、視線、及び焦点）を取得し、次にユーザの焦点が時間間隔（例えば、３秒）内にグラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従うかどうかを判定する。ユーザの焦点が所定の時間間隔内にグラフィカル・ロック解除パターンになく、又は事前設定された焦点シーケンスに従わない場合に、ＶＲ装置２０は、パスワード認証操作によってもロック状態にすると決定する。こうして、ユーザは、ＨＭＤ１００によって表示される機密情報を見ることができない。反対に、ユーザの焦点が所定の時間間隔内にグラフィカル・ロック解除パターンにあり、事前設定された焦点シーケンスに従う場合に、ＶＲ装置２０は、パスワード認証操作によりロックを解除すると決定する。こうして、ＶＲ装置２０は、ＨＭＤ１００によってユーザに機密情報を表示する。また、ＶＲ装置２０は、機密情報の代わりに、ユーザがＶＲゲームを継続するために次のアプリケーション（ＶＲゲームの次のシーン）を起動することができる。

なお、焦点は、視線追跡機構に応じて、２次元画像又は３次元画像においてグラフィカル・ロック解除パターンに投影してもよい。

さらに、パスワード認証は、ＶＲシステムのヒューマンインターフェイス装置からのユーザのジェスチャ及び／又は音声によってトリガしてもよく、又はＶＲゲームの相互に関連するアプリケーションが起動され、ＶＲ装置が、ユーザがロックを解除するためのパスワード認証のグラフィカル・ロック解除パターンを表示する。

実施形態では、事前設定された焦点シーケンスは、グラフィカル・ロック解除パターンの軌跡（track）、マッチングするグラフィカル・ロック解除パターン、及びマッチングするグラフィカル・ロック解除パターンに対応するベクトルを含むが、これに限定されない。図４〜図６は、本開示の実施形態によるパスワード認証操作の概略図である。図４〜図５では、グラフィカル・ロック解錠パターンがドットＡ１〜Ａ９で示されている。ユーザは、事前設定された焦点シーケンスを満たすために、ドットＡ１〜Ａ９を順番に見る。例えば、ユーザは、所定の時間間隔（例えば、５秒）内に、最初にドットＡ７を見つめ、次にドットＡ４、ドットＡ１、ドットＡ８、ドットＡ３、ドットＡ６、ドットＡ９、ドットＡ６、ドットＡ２、ドットＡ４、ドットＡ５、そして最終的にドットＡ６を見つめる。これにより、パスワード認証により首尾よくロックが解除される。他の実施形態では、ユーザは、事前設定された焦点シーケンスに従ってグラフィカル・ロック解除パターンの軌跡を満たすために、ドットＡ１、ドットＡ４、ドットＡ７、ドットＡ８、ドットＡ９、ドットＡ６、ドットＡ３、ドットＡ２、ドットＡ５を順番に見つめる。

図６では、グラフィカル・ロック解除パターンが、異なるオブジェクト・グラフで図示されている。例えば、図６の対象物（オブジェクト）は、異なる椅子パターンＢ１〜Ｂ１２である。ユーザは、ＨＭＤ１００によって表示されるコンピュータ装置１０６からの表示／通知、又はＶＲゲームにおける予め設定された規則に合わせて、椅子パターンＢ１〜Ｂ１２を見つめる。この場合に、ユーザは、パスワード認証をロック解除するために、肘掛けのない椅子を見るように指示され得る。予め設定された規則は、本明細書では限定されるものではなく、ユーザが視線追跡装置によって見るパターンを認識するために使用可能な任意の規則／順序が当該物品に適用可能である。

示唆されたステップを含むプロセスの上述したステップは、ハードウェア、ハードウェア装置とコンピュータ命令との組合せとして知られるファームウェア、及びハードウェア装置又は電子システム上の読み取り専用ソフトウェアとして存在するデータによって実現してもよい。ハードウェアの例には、マイクロ回路、マイクロチップ、又はシリコンチップとして知られるアナログ、デジタル、及び混合回路が含まれ得る。電子システムの例には、システムオンチップ（SOC）、システムインパッケージ（SiP）、コンピュータオンモジュール（COM）、及びＶＲ装置２０が含まれ得る。

結論として、本発明は、仮想環境におけるユーザの情報を保護するために、視線追跡によるパスワード認証に取り組んでいる。詳細には、パスワード認証は、ユーザの焦点が時間間隔内にグラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従うことによって操作され、秘密情報をロック解除する、又はＶＲゲームの次のアプリケーションに進む。

当業者であれば、本発明の教示を保持しながら、装置及び方法の多数の改変及び変更を行うことができることを容易に理解するであろう。従って、上記の開示は、添付の特許請求の範囲及び境界によってのみ制限されると解釈すべきである。

Claims (13)

1. 仮想現実（VR）システムのコンピュータ装置のための視線追跡によるパスワード認証の方法であって、当該方法は、
   ユーザの焦点を取得するステップと、
   前記ＶＲシステムのヘッドマウントディスプレイ（HMD）によって、パスワード認証操作のための少なくともグラフィカル・ロック解除パターンを前記ユーザに表示するステップと、
   前記ユーザの焦点が時間間隔内に前記グラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従うかどうかを判定するステップと、
   前記焦点が前記時間間隔内に前記グラフィカル・ロック解除パターンにあるか、又は前記事前設定された焦点シーケンスに従う場合に、前記パスワード認証操作によりロックを解除すると決定するステップと、を含む、
   方法。
2. 前記ＶＲシステムのヒューマンインターフェイス装置によりユーザからコマンドを取得したとき、又は前記コンピュータ装置のアプリケーションが起動されたときに、前記パスワード認証操作をトリガするステップをさらに含む、請求項１に記載の方法。
3. 前記コマンドは、前記ユーザのジェスチャ又は音声から取得される、請求項２に記載の方法。
4. 前記パスワード認証のロックが解除された後に、前記ＨＭＤによって機密情報を前記ユーザに表示するステップ、又は
   前記パスワード認証のロックが解除された後に、前記コンピュータ装置の次のアプリケーションを起動するステップをさらに含む、請求項２に記載の方法。
5. 前記事前設定された焦点シーケンスは、グラフィカル・ロック解除パターンの軌跡と、マッチングするグラフィカル・ロック解除パターンと、該マッチングするグラフィカル・ロック解除パターンに対応するベクトルとを含む、請求項１に記載の方法。
6. 前記ユーザの焦点を取得するステップは、２次元画像又は３次元画像において前記グラフィカル・ロック解除パターンに投影される前記焦点を取得するステップを含む、請求項１に記載の方法。
7. 視線追跡によるパスワード認証のための仮想現実システムであって、当該仮想現実システムは、
   ソフトウェアシステムを実行して仮想現実イメージを生成するコンピュータ装置と、
   該コンピュータ装置に接続され、仮想現実イメージをユーザに表示するヘッドマウントディスプレイ（HMD）と、
   前記コンピュータ装置に接続され、ユーザの焦点を検出する少なくとも視線追跡装置と、を有しており、
   前記コンピュータ装置は、
   プログラムを実行する処理手段と、
   該処理手段に結合され、前記プログラムを記憶する記憶ユニットと、を含み、
   前記プログラムは、前記処理手段に指示して、
   前記視線追跡装置からユーザの焦点を取得することと、
   前記ＨＭＤによって、パスワード認証操作のための少なくともグラフィカル・ロック解除パターンを前記ユーザに表示することと、
   前記ユーザの焦点が時間間隔内に前記グラフィカル・ロック解除パターンにあるか、又は事前設定された焦点シーケンスに従うかどうかを判定することと、
   前記焦点が前記時間間隔内に前記グラフィカル・ロック解除パターンにあるか、又は前記事前設定された焦点シーケンスに従う場合に、前記パスワード認証操作によりロックを解除すると決定することと、を行わせる、
   仮想現実システム。
8. 前記プログラムは、前記処理手段にさらに指示して、
   前記ＶＲシステムのヒューマンインターフェイス装置によりユーザからコマンドを取得したとき、又は前記ソフトウェアシステムの動作が実行されたときに、前記パスワード認証操作をトリガすること、を行わせる、請求項７に記載の仮想現実システム。
9. 前記コマンドは、前記ユーザのジェスチャ又は音声から取得される、請求項８に記載の仮想現実システム。
10. 前記プログラムは、前記処理手段にさらに指示して、
    前記パスワード認証のロックが解除された後に、前記ＨＭＤによって機密情報を前記ユーザに表示すること、又は
    前記パスワード認証のロックが解除された後に、前記ソフトウェアシステムの次の動作を実行すること、を行わせる、請求項８に記載の仮想現実システム。
11. 前記事前設定された焦点シーケンスは、グラフィカル・ロック解除パターンの軌跡と、マッチングするグラフィカル・ロック解除パターンと、該マッチングするグラフィカル・ロック解除パターンに対応するベクトルとを含む、請求項７に記載の仮想現実システム。
12. 前記プログラムは、前記処理手段にさらに命令して、
    ２次元画像又は３次元画像において前記グラフィカル・ロック解除パターンに投影される前記焦点を取得すること、を行わせる、請求項７に記載の仮想現実システム。
13. 前記視線追跡装置は、前記ユーザの眼球運動を検出するためのカメラ及び近赤外線を含む、請求項７に記載の仮想現実システム。

Images