JP4693329B2 - 命令を入力する方法と端末装置 - Google Patents

Description

【０００１】
本発明は、命令をデータ処理装置に入力する、特に目で制御してデータ処理装置に入力する方法と端末装置に関する。
目による機器の制御を可能にするシステムが既に公知である。このようなシステムは、特に手動制御が不可能であるか若しくは実際に役に立たないときに使用されるか、又は装置を制御するための付加的な高速入力チャネルとして使用される。
【０００２】
英国特許発明第２２８１８３８号明細書は、ユーザの瞬きに反応する装置を記す。人の目によって周囲を制御するシステムが、ドイツ連邦共和国実用新案第２９６１０７６６号明細書中にも記されている。ヨーロッパ特許発明第８１６９８４号明細書は、観察者が興味をもっているイメージ部分を特定するためにディスプレイ上で視線を特定するシステムを記す。
米国特許発明第５８４４５４４号明細書は、目で制御する装置を記す。この装置では、ユーザは、符号を目で選択するために特別のプロトコルにしたがう必要がある。この装置は、各ユーザに合わせるために較正される。プロトコルは、各ユーザに対して同一である。
【０００３】
多くの場合、命令を拒絶しないことは、安全性にとって重要である。特にトランザクション方法では、トランザクションが後で認められ得ないことが重要である。
システム又はサービスへのアクセスを可能にするため、目パラメータが生物測定学的な鍵として使用されるその他のシステムが公知である。特に、虹彩又は網膜のモチーフを使用して、観察者にアクセス権を与え、さらにその観察者を身元確認することが提唱されている。
【０００４】
本発明の課題は、命令が目で入力できる新規でより良好な方法を提供することにある。
本発明のその他の課題は、命令入力の意思が否認（拒絶）され得ないように、命令が入力される新規でより良好なシステムを提供することにある。
本発明のもう１つの課題は、命令が許可されたユーザによってしか入力され得ない新規でより良好なシステムを提供することにある。
この課題は、本発明により、特に、前記端末装置２は、ユーザ１の眼部の運動を測定するモジュール２０を備え、ユーザ１が表示画像５中の複数の文字の各々を順に見るときの眼部の運動を、前記モジュール２０が測定することによって、そのユーザ１の自発的な眼部の運動のシーケンスが得られ、前記方法は、学習段階と命令を前記端末装置２に入力する段階とから成り、前記学習段階では、ユーザ１が、前記表示画像５中の複数の文字の各々を順に見ることによって、１つの命令を前記端末装置２に入力するためにそのユーザ１に要求される、そのユーザ１の自発的な眼部の運動のシーケンスが決定され、当該決定されたシーケンスが、前記命令に対応付けられてデータバンク４０又は端末装置２内に登録され、前記命令を前記端末装置２に入力する段階では、そのユーザ１が、表示画像５中の複数の文字の各々を順に見ることによって、そのユーザ１の自発的な眼部の運動のシーケンスが入力され、当該入力されたシーケンスが、前記データバンク４０又は前記端末装置２内に登録されている複数のシーケンスと比較され、一致が見出されたときに、当該一致したシーケンスに対応付けられた命令が実行されることによって解決される。その他の好適な実施形は、従属請求項及び明細書にさらに記載されている。
【０００５】
特にこの課題は、命令が眼部の自発的な運動のシーケンスによって入力されることによって解決される。この場合、特定の命令を入力するために必要になるこのシーケンスは、各ユーザに対して固有である。
このことには、命令が、場合によっては無意識にされうる簡単な目の運動によってだけで入力されるのではなくて、専ら自発的にされうる眼部の多くの運動のシーケンスで入力されるという利点がある。したがって、命令が拒絶されないことが保証される。命令を入力するシーケンスが各ユーザに対して固有であるので、このシーケンスは、ユーザにアクセス権を与えるためにも使用され得る。
このようにして、安全性に重要な命令（例えば、電子取引き用の命令）も入力され得る。これらの命令は、否認され得ず、ユーザの確実なアクセス権の付与に対して重要である。
【０００６】
本発明のトランザクション方法に加えて、本発明は、特に端末装置及びこの方法を実行するサーバに関する。
以下に、本発明の構成を事例に基づいて説明する。本発明の構成の事例を以下の添付した図によって説明する：
図１中には、端末装置２のユーザ１が示されている。遠隔サーバ４に対する命令が、この端末装置４によって入力され、通信ネットワーク３を経由して送信され得る。この端末装置２は、特に携帯可能であり、好適な別形態では携帯電話，パームトップ，ラップトップ，ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ），移動アシスタント又は互いに接続されている各種の構成要素の組み合わせから構成され得る。この場合、接続は、例えばＰＣカードによる端子付きインターフェースを介して、又はＩｒＤＡ若しくはブルートゥースによる特に無線式のインターフェースを介して実施され得る。公的な別形態では、端末装置が、図示しなかったチップカード、例えばＳＩＭカード（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｍｏｄｕｌｅ）を有する。ユーザに固有のデータが、これらのチップカード内に記憶されている。
【０００７】
端末装置は、眼部の運動を測定するモジュール２０を有する。このモジュール２０は、例えば視点方向測定モジュール（アイ・トラッカー）から構成される。このモジュール２０は、ユーザの瞳孔及び／又は頭に基づいて実際の観察方向を測定する。このような目測定モジュールは、特に国際特許出願第９４／０９４７２号明細書中に記されている。別の形態では、モジュール２０は、眼部の自発的な運動の別の種類、例えば上述した英国特許出願公開第２２８１８３８号明細書中のような瞬き，焦点合わせ等も測定可能である。片目だけ又は両目の運動が、別の形態にしたがって検出され得る；この最後の場合では、斜視の目運動も検出され得る。
【０００８】
頭の位置を検出しない簡単な視点方向測定モジュールが使用されるときは、絶対注視方向が測定できない。この場合には、特に目の異なる運動、例えば左上−右上−中央−左上が記録される。
端末装置が生身の人間の運動だけに反応でき、例えば動画のイメージによって欺かれることのないようにするため、身体の反応が、特にモジュール２０によって検出される。好適な別の形態では、身体の温度に依存するパラメータが測定される。例えば、端末装置２によって引き起こされた温度上昇に対する網膜の反応が測定される。その他の別の形態では、端末装置２によって引き起こされた光の変化に対する虹彩の反応が検出される。こうして、目の検出イメージが、人間に対して本当に投影されたかどうかが確認され得る。
【０００９】
端末装置２は、画像再生手段２１をさらに有する。この画像再生手段２１は、目視可能な画像をユーザ１に対して再生できる。第１の別の形態では、画像再生手段２１が、従来の表示器、例えばＣＲＴ，液晶又はプラズマの表示器から構成される。１つの好適な別の形態では、画像再生手段２１は、適切なレンズ系を有するいわゆるマイクロディスプレイから、特に仮想網膜表示装置（ＶＲＤ，Ｖｉｒｔｕａｌ Ｒｅｔｉｎａｌ Ｄｉｓｐｌａｙ）から構成される。この表示装置は、表示された画像をユーザ１の片目又は両目上に直接投影する。
【００１０】
仮想網膜表示装置は、例えば特許国際公開第９４／０９４７２，９７／３７３３９及び第９８／１３７２０号明細書中に記されているので、もはや説明する必要はない。２次元又は３次元画像に相当する画像信号をユーザの中心視覚上に投影するため、ＶＲＤ装置は、ビデオ制御装置２２によって制御される。
端末装置２は、例えば図示しなかった記憶領域を有するプロセッサ２３の形態をしたデータ処理装置２３によって制御される。プロセッサ２３は、特にビデオ制御装置２２を制御して、眼部の運動を測定するモジュール２０のデータを処理する。後で説明するように、例えば確実な通信経路が構築されることによって、プロセッサ２３内にあるか又はこのプロセッサに接続されているソフトウェア及び／又はハードウェアモジュール２３０には、外部装置４との確実なデータ伝送に対して権限がある。
【００１１】
データ処理手段２３及び信頼性モジュール２３０が、個々のチップからか又は互いに論理的に接続されている多数の構成要素から製造され得ることが当業者によって理解できる。端末装置２が携帯電話から構成される好適な別の形態では、データ処理手段２３が、特に携帯電話内の構成要素及び取外し可能なチップカード（ＳＩＭカード）内の構成要素を有する。このチップカードは、この携帯電話に接続される。好適な別の形態では、特に安全性にとって重要な構成要素がチップカード内に存在する。これらの構成要素は、信頼性モジュール２３０によって使用される。
端末装置は、通信部２４をさらに有する。端末装置は、この通信部２４によって通信ネットワーク３に接続できる。通信部２４は、特にＧＳＭ若しくはＵＭＴＳ通信部又はモデムから構成されるか、又は近い範囲内では例えばＩｒＤＡ，ブルートゥース若しくはＤＥＣＴによる無線式のインターフェースから構成される。
【００１２】
通信ネットワーク３は、例えばＧＳＭ又はＵＭＴＳによる、例えば移動無線ネットワークであり、インターネットでもよく、多数のネットワークから構成してもよい。端末装置は、通信ネットワーク３を介して遠隔サーバ４、例えばｈｔｔｐ又はＷＡＰサーバに接続できる。この遠隔サーバ４は、通信ネットワーク３によって及び／又はサービスプロバイダによって管理される。端末装置２と遠隔サーバ４との間のデータ伝送は、例えばプロトコルＳＳＬ（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ），ＴＬＳ（Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ）及び／又はＷＴＬＳ（Ｗｉｒｅｌｅｓｓ Ｔｒａｎｓｐｏｒｔ Ｓｅｃｕｒｉｔｙ）によって特にエンド・ツー・エンド（ｅｎｄ ｔｏ ｅｎｄ）で制御される。端末装置２からサーバ４に送信されるデータは、特に信頼性モジュール２３０によって、特に電子的な個人鍵によって電子的に信号化される。この個人鍵は、電子証明書の形態でＳＩＭカード又は信頼性モジュール２３０内に記憶されている。
【００１３】
端末装置２は、特に付加的な図示しなかったデータ入力手段、例えばキーボード，マウス，画面移動要素，マイクロフォン等を有する。プロセッサ２３内のアプリケーションが、これらの入力手段によって制御され得る。
ユーザ１は、サーバ４とのセッションを構築できる。ユーザ１は、このサーバ４によって対応するＵＲＬアドレス又は電話番号をそのユーザ１の端末装置２内に入力する。セッションは、例えばユーザ１とサーバを稼動するサービスプロバイダとの間のトランザクションの実行のために、例えばサービスプロバイダ４の製品又はサービスの注文及び／又は支払いのために構築され得る。
一般にサーバ４の画像データ（例えば、画像内容を有するＨＴＭＬページ又はＷＡＰカード）が、セッションの間に伝送され、ユーザ１に再生される。少なくとも特定の画像データが、特にＧＵＩオブジェクト（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、例えばハイパーリンク，コントロールボックス，無線ボタン等を含む。これらの画像データは、特定の命令を入力するために、例えば別のページを転送するために又はトランザクションを確認するためにユーザによって選択又は起動され得る。
【００１４】
（例えば、少なくとも片目が、少なくとも予め定義した時間の間にこの方向に指向されていることによって）命令を入力するため、少なくとも特定のＧＵＩオブジェクトが、目によって選択されるか又は起動される。好ましくは、オブジェクトが選択された直後に、視覚的な及び／又は聴覚的なフィードバックが得られる。
サービスプロバイダの遠隔サーバ４は、ユーザー・プロフィール・データバンク４０を有する。各ユーザのプロフィールデータが、このデータバンク４０内に記録されている。これらの記憶されたプロフィールデータは、特に各ユーザに対してユーザに固有の目の運動のシーケンスを有する。
【００１５】
図２は、本発明の端末装置の実施の形態を装着したユーザ１を概略的に示す。この端末装置は、ここではメガネに内蔵されている。このメガネは、移動無線部２４，ユーザ１の網膜上に画像を投影できるＶＲＤ表示装置２１及びアイ・トラッカーシステムを有する。符号５は、投影された画像を示す。示した例では、この画像が多数のＧＵＩオブジェクト５０を有する。このＧＵＩオブジェクトは、ここでは仮想の数値キーボードに相当する。キー「Ｃ」は得られたデータの修正を可能にする一方で、キー「ｏｋ」は確認を可能にする。
少なくとも特定の命令が、眼部の自発的な運動のシーケンスによって本発明にしたがって入力される。この場合、特定の命令を入力するために必要になるこのシーケンスは、各ユーザに対して固有である。この示した例では、特定の命令が、ユーザに固有のキー５０のシーケンスを目で選択することによって入力される。
【００１６】
図４は、データの流れ図を示す。学習段階における命令用のユーザに固有のシーケンスを記録１００するために可能な方法ステップが、この流れ図中に示されている。第１ステップ１０１では、命令がユーザによって選択される。この命令は、目の運動のシーケンスによって入力される。多数の命令が特定の用途に対してコード化できる場合は、所望の命令が、例えばサーバ４によって用意されるリストから選択できる。
ステップ１０２では、ユーザが、選択された命令によって連想されるべき目の運動のシーケンスを入力する。シーケンスには、眼部の運動による例えば以下の種類がある：
【００１７】
・特にＧＵＩオブジェクト、例えば仮想キー５０の方向の予め定義した視線方向。こうして、数値コードが、対応するキーを見ることによって簡単に入力され得る。
・特定の片目又は両目の瞬き運動。
・自発的な目の斜視運動。
・特定の距離に目を焦点合わせする。これによって、例えば、いろいろに異なって離れた複数のＧＵＩオブジェクトを選択することが可能である。３次元の仮想キーボードが、例として図３に示されている。このキーボードは、ユーザに再生され得る。ユーザが視線方向と焦点を合わせることによって、ユーザは、１つのキーを選択できる。
・等々。
【００１８】
このようにして認識された個々の目の運動が、特にこの学習段階の間にプロセッサ２３によって確認される。シーケンスの終りは、特にユーザが仮想キー「ｏｋ」を選択することによって、又は予め定義した特別な目の運動によって決定される。このシーケンスの全体が、特に２回確認される（ステップ１０３）か、又は予め規定した再現性に関する基準が満たされるまで確認される。
ステップ１０４では、この確認が第１のシーケンスと比較される。両シーケンスが相違する場合、ユーザは、プロセスの全体を繰返すことを要求される（矢印１０５）。ユーザは、信頼性の要求に応じて１シーケンス当たり最小数の目の運動を入力すること、又は少なくとも２種類の目の運動を入力することが要求される。反対にシーケンスが容認された場合は、このシーケンスは、データ処理手段２３によってコード化され、例えば簡単に数値シーケンスとしてドキュメントの形態でパックされる。このドキュメントは、信頼性モジュール２３０によって特に署名されて暗号化される（ステップ１０６）。ステップ１０７では、このドキュメントが、通信ネットワーク３によって送信され、サービスプロバイダのサーバ４によって受信されて復号される。方法ステップ１０８では、復号されたシーケンスが、ユーザ１と選択された命令とに結合され、ユーザー・プロフィール・データバンク４０内に記憶される。
【００１９】
別の形態では、記憶されたシーケンスを遠隔サーバ内の代わりに端末装置２内に記憶してもよい。
ステップ１０６の署名は、特にユーザ１を確実に身元確認するために実施される。別の形態では、ドキュメントが、ユーザの固有の電子鍵によって電子的に署名される；サーバ４は、ユーザの対応する公開鍵を自由に使用できる。受信した署名は、この公開鍵によって確認され得る。別の形態では、ドキュメントが、ユーザの生物測定学的なパラメータ、例えば（図示しなかった網膜イメージ記録ユニットによって記録された）ユーザの網膜及び／又は虹彩のイメージと結合される。これらのドキュメントは、サーバ４にも送信される。そして、ユーザの同一性が、これらのドキュメントによって確実に確認され得る。これらの両署名方法を同時に使用することも可能である。
【００２０】
上述したように、端末装置２が本当に人間によって操作され、再生された画像シーケンスによって欺かれないように、身体温度に依存するパラメータをさらに算出し、ドキュメントと結合してもよい。
図５は、データの流れ図を示す。自発的な目の運動のシーケンスによる命令を入力１０９するための方法ステップが、この流れ図によって示されている。特定の命令に対して必要になる目の運動のシーケンスは、ステップ１１０でユーザ１によって入力され、ステップ１１１で、例えば瞬きによって又は別の特別な目の運動によって確認される。入力されたシーケンスは、ステップ１１２でコード化され、信頼性モジュール２３０によって電子的に署名され、特に暗号化される。この場合、この署名は、ユーザの生物測定学的な特徴を有してもよい。この署名されたシーケンスは、ステップ１１３で通信ネットワーク３によって遠隔サーバ４に送信される。この署名されたシーケンスは、そこで復号されて、そこで署名が確認される。この署名が正しい場合は、受信したシーケンスがユーザの記憶されたシーケンスと一致するかどうかが、ステップ１１４時にデータバンク４０内で確認される（マッチング）。
【００２１】
受信したシーケンスに一致する命令がデータバンク内で見つからない場合は、ユーザ１は、方法ステップ１１５で新しいシーケンスを入力することを要求される（矢印１１６）。反対に一致した場合は、ユーザによって規定された命令が、データバンクから取り出され得（ステップ１１７）、命令に応じて又は別の形態に応じてサーバ４によって実行されるか又は端末装置２に送信される。
学習段階の間に記録されたシーケンスが端末装置２内だけに記憶された別の形態では、使用段階で入力されたシーケンスが、端末装置内に記憶された全てのシーケンスと比較される。
いろいろな命令が用途に応じて入力され得ることが、当業者によって公知である。本発明の方法は、特に秘密（例えば、パスワード又はＰＩＮ番号）を使用するのに適する。しかし、その他の命令（特に、テキスト及び／又は変数としての数も含みうる「はい」若しくは「いいえ」によるトランザクションの確認、又はより複雑な問合せ）をこの方法で入力してもよい。
【００２２】
この説明した実施の変形では、ユーザによって入力されるシーケンスが、サービスプロバイダの遠隔サーバ４内で確認される。本発明の別の形態では、目の運動のシーケンスが、端末装置２内でか又は通信ネットワーク３内で確認される。この場合では、個々の確認シーケンスが、端末装置２内でか又は特にこの端末装置２の個別のＩＤカード内に記憶され得る。同じシステムで用途に応じて確認を端末装置２内でか又は遠隔サーバ４内で許可することも可能である。
【図面の簡単な説明】
【図１】 本発明の端末装置及び本発明のサーバを概略的に示すブロック図である。このサーバは、通信ネットワークを介してこの端末装置に接続されている。
【図２】 ユーザの網膜上に投影されるキーボードの画像の例を示す。
【図３】 ユーザの網膜上に投影されるキーボードの三次元画像の例を示す。
【図４】 本発明の実施の形態における命令に対するシーケンスを記録するための可能な方法ステップを概略的に示すデータの流れ図である。
【図５】 本発明の実施の形態における命令の入力に対する可能な方法ステップを概略的に示す流れ図である。
【符号の説明】
１ ユーザ
２ 端末装置
３ 通信ネットワーク
４ 遠隔サーバ
５ 投影画像
２０ 眼部の運動を測定するモジュール
２１ 画像再生手段
２２ ビデオ制御装置
２３ プロセッサ
２４ 通信部
４０ データバンク
５０ ＧＵＩオブジェクト
２３０ ソフトウェア及び／又はハードウェアモジュール

Claims (21)

1. ユーザ（１）が、端末装置（２）内に命令を入力する方法において、
   前記端末装置（２）は、ユーザ（１）の眼部の運動を測定するモジュール（２０）を備え、ユーザ（１）が表示画像（５）中の複数の文字の各々を順に見るときの眼部の運動を、前記モジュール（２０）が測定することによって、そのユーザ（１）の自発的な眼部の運動のシーケンスが得られ、
   前記方法は、学習段階と命令を前記端末装置（２）に入力する段階とから成り、
   前記学習段階では、ユーザ（１）が、前記表示画像（５）中の複数の文字の各々を順に見ることによって、１つの命令を前記端末装置（２）に入力するためにそのユーザ（１）に要求される、そのユーザ（１）の自発的な眼部の運動のシーケンスが決定され、当該決定されたシーケンスが、前記命令に対応付けられてデータバンク（４０）又は端末装置（２）内に登録され、
   前記命令を前記端末装置（２）に入力する段階では、そのユーザ（１）が、表示画像（５）中の複数の文字の各々を順に見ることによって、そのユーザ（１）の自発的な眼部の運動のシーケンスが入力され、当該入力されたシーケンスが、前記データバンク（４０）又は前記端末装置（２）内に登録されている複数のシーケンスと比較され、一致が見出されたときに、当該一致したシーケンスに対応付けられた命令が実行されることを特徴とする方法。
2. 前記シーケンスは、複数の視点方向を含む請求項１に記載の方法。
3. 前記表示画像（５）は、３次元である請求項１に記載の方法。
4. 前記表示画像（５）は、仮想キーボードに一致する請求項１に記載の方法。
5. 前記表示画像（５）は、ディスプレイ上に表示される請求項１に記載の方法。
6. 前記表示画像（５）は、ＶＲＤ装置によって再生される請求項１に記載の方法。
7. 前記シーケンスは、異なる焦点距離を含む請求項１に記載の方法。
8. 前記シーケンスは、少なくとも１回の瞬きを含む請求項１に記載の方法。
9. 前記シーケンスは、少なくとも１回の自発的な斜視の目の運動を含む請求項１に記載の方法。
10. 前記シーケンスは、数値コードとして変換される請求項１に記載の方法。
11. 前記数値コードは、電子署名される請求項１０に記載の方法。
12. 前記数値コードは、前記ユーザの生物測定学的な特徴によって電子署名される請求項１１に記載の方法。
13. 前記ユーザの生物測定学的な特徴は、目の特徴を有する請求項１２に記載の方法。
14. 前記ユーザの生物測定学的な特徴は、両目の眼部の特徴を有する請求項１３に記載の方法。
15. 身体温度に依存するパラメータが、測定され、前記シーケンスに結合される請求項１に記載の方法。
16. 虹彩の温度上昇に依存するパラメータが測定され、前記シーケンスに結合される請求項１に記載の方法。
17. 光の変化に対する虹彩の反応が測定され、パラメータとして前記シーケンスに結合される請求項１に記載の方法。
18. 前記データバンク（４０）は、端末装置（２）及び移動無線ネットワーク（３）を介して接続可能な遠隔サーバ（４）に設けられ、前記端末装置（２）は、移動無線部（２４）を有する携帯可能な端末装置（２）であり、前記シーケンスは、当該携帯可能な端末装置（２）に入力され、この入力されたシーケンスは、前記携帯可能な端末装置（２）内の前記移動無線部（２４）によって前記移動無線ネットワーク（３）を介して前記遠隔サーバ（４）に送信され、この遠隔サーバ（４）の前記データバンク（４０）内に登録されている複数のシーケンスと比較され、一致が見出されたときに、当該一致したシーケンスに対応付けられた命令が実行される請求項１に記載の方法。
19. 前記遠隔サーバ（４）は、サービスプロバイダによって管理され、前記移動無線部（２４）と前記遠隔サーバ（４）との間の接続が、エンド・ツー・エンドで暗号化される請求項１８に記載の方法。
20. 前記命令に対応付けられるシーケンスは、ユーザごとに異なる請求項１に記載の方法。
21. 前記端末装置（２）は、携帯可能な端末装置（２）であり、前記シーケンスは、この携帯可能な端末装置（２）に入力され、この携帯可能な端末装置（２）内に登録されている複数のシーケンスと比較され、一致が見出されたときに、当該一致したシーケンスに対応付けられた命令が実行される請求項１に記載の方法。

Images