JP2012198608A - 入力装置および入力方法 - Google Patents

Abstract

【課題】公共の場においても、他人に情報が漏洩しないように安全にパスワードの入力が可能となることにある。
【解決手段】複数のキーを有する入力パネル像が空間上の位置に展開するようにディスプレイ１１から投影しておき、ユーザの目の位置を検出し、ユーザの指先の位置を検出し、制御部１０ｈは、検出したユーザの目の位置と、検出したユーザの指先の位置との相対的な位置関係によって、入力パネル像の複数のキーのうちどのキーが入力されたか判定する。
【選択図】図２

Description

本発明は、他人に情報が漏洩しないように安全にパスワードの入力が可能となる入力装置および入力方法に関する。

従来、パスワード入力装置としては、例えば銀行やコンビニエンスストア等に設けられた一般的なＡＴＭ（Automated Teller Machine;自動出納機）のように、入力装置の左右に衝立を設けておき、他人が覗き込むのを難しい状態にすることで、入力情報の漏えいを防止している。
このように、入力装置のキーボードについて、キートップの文字を他人から視認できないように構成されているものとしては、特許文献１、２が報告されている。

特許文献１にあっては、眼鏡型表示装置を装着してキーボードを見ると、透過型表示部に表示された文字や記号等がキーボード上の対応するキーと重なって見えるため、各キーに対応する入力情報の識別を容易に行うことが可能となる。これにより、ユーザ以外の者からはキーボード上の各キーがどのような入力に対応しているかを判断することができないという利点がある。すなわち、パスワード入力の際に、眼鏡をかけたユーザだけが、キーボードのキートップの文字が視認できるので、第三者にパスワードを盗まれないように構成できる。

特許文献２にあっては、キーボード上の表示を赤外線化したことにより不可視化し、オペレータだけは眼鏡形式でその表示を識別できることで、第三者がキーボード入力している文字、数値などを特定できないという利点がある。すなわち、特定のディスプレイを通さないとキートップの文字が読めないキーボードを構成できる。

特許文献３にあっては、光を反射する反射部材１０と、カメラを備えたメガネ型ディスプレイ２０とを備えており、メガネ型ディスプレイ２０のカメラによって撮影した画像において、反射部材１０の領域を検出し、その領域にユーザインターフェースの画像が重畳して表示される。そして、メガネ型ディスプレイ２０を装着したユーザは、その反射部材１０のユーザインターフェースに入力操作を行うと、その入力操作が検出され、ユーザインターフェースにおいて入力操作を行った位置に対応する情報の入力が行われる。これにより、入力装置を有していない情報処理装置に対し、簡単に入力操作を行うことが可能となるという利点がある。

特開２００９-２１１４４７号公報 特開２０１０-０４９６６２号公報 特開２００９−１２９０２１号公報

特許文献１、２に記載された技術にあっては、入力装置として物理的なキーボードが用意されており、どのキーボードを押しているか第三者に覗かれたり、第三者によりキーボードが改造されることによって、入力情報が漏洩する恐れがあるといった問題があった。また、特許文献３に記載された技術にあっては、入力装置に代わって、物理的な反射部材を必要としていた。
そこで、公共の場においても、他人に情報が漏洩しないように安全にパスワードの入力が可能となることが切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、公共の場においても、他人に情報が漏洩しないように安全にパスワードの入力が可能となる入力装置および入力方法を提供することにある。

上記課題を解決するために、請求項１記載の発明は、複数のキーを有する入力パネル像が空間上の位置に展開するように投影する投影手段と、ユーザの目の位置を検出する第１の位置検出手段と、ユーザの指先の位置を検出する第２の位置検出手段と、前記第１の位置検出手段が検出した前記ユーザの目の位置と、前記第２の位置検出手段が検出した前記ユーザの指先の位置との相対的な位置関係によって、前記入力パネル像の前記複数のキーのうちどのキーが入力されたか判定する判定手段とを有することを特徴とする入力装置である。

請求項６記載の発明は、複数のキーを有する入力パネル像が空間上の位置に展開するように表示装置から投影する投影ステップと、ユーザの目の位置を検出する第１の位置検出ステップと、ユーザの指先の位置を検出する第２の位置検出ステップと、前記第１の位置検出ステップが検出した前記ユーザの目の位置と、前記第２の位置検出ステップが検出した前記ユーザの指先の位置との相対的な位置関係によって、前記入力パネル像の前記複数のキーのうちどのキーが入力されたか判定する判定ステップとを有することを特徴とする入力方法である。

本発明は、公共の場においても、他人に情報が漏洩しないように安全にパスワードの入力が可能となる。

本発明の第１実施形態に係るパスワード入力装置の構成を示す図である。 図１に示す情報処理装置の構成を示す図である。 図１に示す入力パネル像１３を示す図である。 図１に示す入力パネル像１３に対する位置調整手順について説明するための図である。 図１に示すディスプレイ１１に表示された調整用の合成画像（ａ）と、３Ｄメガネを装着したユーザにのみ視認可能な入力パネル像１３（調整画像）（ｂ）である。 本発明の第１実施形態に係るパスワード入力装置による位置調整手順について説明するためのフローチャートである。 本発明の第１実施形態に係るパスワード入力装置によるパスワード入力手順について説明するための説明図である。 本発明の第１実施形態に係るパスワード入力装置によるパスワード入力手順について説明するためのフローチャートである。 本発明の第１実施形態に係るパスワード入力装置による位置座標の算出手順について説明するための説明図である。 本発明の第１実施形態に係るパスワード入力装置による位置座標の算出手順について説明するためのフローチャートである。 本発明の第１実施形態に係るパスワード入力装置による入力パネル像に対する押下判定手順について説明するための説明図である。 本発明の第１実施形態に係るパスワード入力装置による押下判定手順について説明するためのフローチャートである。 本発明の第２実施形態に係るパスワード入力装置によるパスワード入力手順について説明するための説明図である。 本発明の第２実施形態に係るパスワード入力装置によるパスワード入力手順について説明するためのフローチャートである。 本発明の第２実施形態に係るパスワード入力装置による入力パネル像に対する押下判定手順について説明するための説明図である。 本発明の第２実施形態に係るパスワード入力装置による押下判定手順について説明するためのフローチャートである。 本発明の第３実施形態に係るパスワード入力装置による押下判定手順について説明するためのフローチャートである。

以下、図面を参照して本発明の実施形態に係るパスワード入力装置について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態に係るパスワード入力装置の構成を示す図である。
図１に示すように、パスワード入力装置は、情報処理装置１０と、ディスプレイ１１と、カメラ部１２と、３Ｄメガネ１４を備えている。
図２は、図１に示す情報処理装置の構成を示す図である。情報処理装置１０は、図２に示すように、画像解析部１０ａと、位置演算部１０ｃと、通信制御部１０ｄと、画像表示部１０ｅと、出力ＩＦ部１０ｇと、制御部１０ｈとを備えている。

画像解析部１０ａは、カメラ部１２ａにより撮影された映像データを記憶するフレームメモリ１０ｂを有し、フレームメモリ１０ｂに格納された映像データの中から、ユーザの指像の基準となる予め記憶しておいた基準パターンと比較し、比較結果の中で最も相関の高い画像を抽出し、その位置を指像の位置座標として求める。
位置演算部１０ｃは、通信制御部１０ｄを介して取得したユーザの視線方向データ、測距部１２ｃにより測距された距離データ等に基づいて、ユーザがどのキー像を押したかを判定する。
通信制御部１０ｄは、３Ｄメガネ１４に設けられた通信モジュールから無線または赤外線を介してユーザの視線方向データを受信し、位置演算部１０ｃに出力する。

画像表示部１０ｅは、入力パネル像に関する左右の映像データからラインバイライン方式の３Ｄ映像を生成してディスプレイ１１に出力し、３Ｄ映像の入力パネル像を表示させる。
出力ＩＦ部１０ｇは、キー入力が確定したキーコードを外部へ出力する。
制御部１０ｈは、ＲＯＭ、ＲＡＭ、ＣＰＵ等を有し、ＲＯＭから読み出した制御プログラムによりパスワード入力装置に設けられた各部の機能を制御する。

図１に戻り、ディスプレイ１１は、例えば液晶ディスプレイを有し、液晶ディスプレイ上に位相差フィルムとして重ね合わせ、ライン（水平走査線）毎に直交する偏光で入力パネル像１３のＬ（左眼映像）とＲ（右眼映像）を表示する。
カメラ部１２は、図２に示すように、カメラ部１２ａと、測距部１２ｃとを備えている。
カメラ部１２ａは、例えば２次元のＣＣＤを有し、ディスプレイ１１から投影された３Ｄ映像の入力パネル像１３に対してユーザが行う入力操作を撮影し、撮影された映像データを情報処理装置１０の画像解析部１０ａに出力する。

測距部１２ｃは、受信された反射波の電圧値の最小値を記憶するホールド部を備え、測定対象物に対して所定周期の超音波を発信し、発信された超音波が測定対象物により反射された反射波を受信し、所定周期よりも短い周期でホールド部に記憶されている最小値を読み出し、読み出された値の変化が所定期間にわたって所定値以内である場合に、超音波発信部１２ｄより超音波が発信されたタイミングから、当該所定期間の最初に値が読み出されたタイミングまでの時間に基づき、超音波発信部１２ｅと測定対象物との距離を算出する。測距部１２ｃにより測距された距離データは、情報処理装置１０に設けられた位置演算部１０ｃに出力される。

なお、上記測距部１０ｃにおいては、測定対象物までの距離を測定したが、カメラ部１２ａにおいて撮影対象物まで距離を測定してもよい。
すなわち、このときレンズから被写体までの距離ａ、レンズから像点までの距離ｂは、レンズの公式により、焦点距離ｆから、
１／ａ＋１／ｂ＝１／ｆ ……（１）
同様に、X'の位置の被写体はP'点に像ができるが、スクリーン面上のP点に於いては、光軸からδだけ像が大きくボケる。
１／ａ'＋１／ｂ'＝１／ｆ ……（２）
δが許容錯乱円の場合、前方被写界深度ａ−ａ'のことである。

さて、（１）と（２）は同じ１／ｆであるから、
１／ａ＋１／ｂ＝１／ａ'＋１／ｂ'
∴ １／ａ−１／ａ'＝１／ｂ'−１／ｂ……（３）
通分すると（ａ'−ａ）／ａａ'＝（ｂ−ｂ'）／ｂ'ｂ……（４）
ここで、レンズから被写体までの距離Lを、ａａ'≒Ｌ＾２（Ｌの２乗）とし、
ｂ'／Ｄ＝（ｂ'−ｂ）／δ ≒Ｆ （Ｆ値のこと）
と近似すれば、ｂ'−ｂ＝δＦとなり、（４）式は、
ａ'−ａ＝δＦ・ａａ'・（１／ｂ'ｂ）＝δＦ・Ｌ＾２／ｂ'ｂ……（５）
となりる。
ここでｂ'ｂ≒ｆ＾２（焦点距離の２乗）という近似をすれば、
ａ'−ａ≒δＦ・Ｌ＾２／ｆ＾２……（６）
が求まる。この式は簡便な被写界深度の計算式であり、すなわち、被写界深度の値はおおよそＦに比例し、被写体までの距離の２乗に比例し、焦点距離の２乗に反比例する。この近似式は、被写体が遠いときの近似値となる。

３Ｄメガネ１４は、図１に示すように、ユーザが装着するものであり、ディスプレイ１１上に表示された視差画像のうち右目用画像のみを透過する右目用透過部１４Ｒと、ディスプレイ１１上に表示された視差画像のうち左目用画像のみを透過する左目用透過部１４Ｌとを有している。そして、ユーザが３Ｄメガネ１４を装着した際に、右目用透過部１４Ｒがユーザの右目の前に配置され、左目用透過部１４Ｌがユーザの左目の前に配置される。
具体的には、３Ｄメガネ１４は、右目用透過部１４Ｒと左目用透過部１４Ｌとで異なる回転方向の円偏光光を透過する円偏光眼鏡であり、右目用透過部１４Ｒがディスプレイ１１から３Ｄメガネ１４の方向に見て右回転方向の円偏光光のみを透過する円偏光板として構成されており、左目用透過部１４Ｌがディスプレイ１１から３Ｄメガネ１４の方向に見て左回転方向の円偏光光のみを透過する円偏光板として構成されている。

３Ｄメガネ１４は、図１に示すように、眼球撮影カメラ１４ａ，１４ｂを有しており、眼球撮影カメラ１４ａ，１４ｂには視線方向検出部（図示しない）が設けられ、近赤外光により眼球を照明するための照明部と、眼球撮影カメラとを被験者の頭部に取り付け、近赤外光により眼球を照明するための１個または複数個の照明部を被験者の頭部から離れた位置に配置し、撮影カメラから得られる眼の画像を処理することにより、頭部に取付けた照明部からの照明光が角膜で反射して作る反射像の位置と、頭部から離れた位置に配置された照明の照明光が角膜で反射して作る反射像の位置と、瞳孔の中心座標、各照明部の座標等を検出し、空間座標における視線を演算する。また、基準座標に対する頭部の姿勢と、角膜の曲率中心を基準とした視線方向を出力する出力部を設けている。なお、眼球撮影カメラはユーザの左眼または右眼の視線方向を検出すればよく、３Ｄメガネ１４の一方の眼のフレーム近傍に設けてもよい。

３Ｄメガネ１４は、方位角センサ（図示しない）を有しており、方位角センサは地磁気式センサやジャイロスコープを内蔵して方位角を検出する。方位角センサから出力された方位角により、眼球撮影カメラ１４ａ，１４ｂの取り付け姿勢角を補正し、視線方向を精度良く検出してもよい。
また、３Ｄメガネ１４は、通信モジュール（図示しない）を有しており、眼球撮影カメラで検出された視線方向データを通信モジュールを介して無線や赤外線により情報処理装置１０の通信制御部１０ｄに送信する。

図３は、ユーザが３Ｄメガネ１４をかけた場合に、当該ユーザのみが視認可能な入力パネル像１３を示す図である。図４（ａ），（ｂ）は、入力パネル像１３に対する位置調整手順について説明するための図である。
次に、図５（ａ）は調整用の合成画像であり、図５（ｂ）は３Ｄメガネを装着したユーザにのみ視認可能な入力パネル像１３（調整画像）を示す。
ディスプレイには、ディスプレイ画面と手前に浮かぶ入力パネル画面を表示するために必要な右眼用画像と左眼用映像が合成されて表示されている。この合成された画面は、３Ｄメガネ１４を通して見ると入力パネル画面１３が空間に浮かんで見えるように調整されているため、合成された映像を裸眼で見ると一般的には像が２重にぶれた焦点が合わないような映像となり、図５（ａ）に示すように、一見すると何が表示されているか視認し難い映像となる。

３Ｄメガネ１４は、合成された映像を正しくデコードし、ユーザにディスプレイの画面と手前に浮かぶ入力パネル像１３を再現するに必要な映像をユーザの左右の眼にそれぞれ映し出す。一方、３Ｄメガネ１４を装着しない場合、入力パネルの画面を再現するに必要な映像をユーザの左右の眼に別々に与えることができないため、ユーザは入力パネル像１４を認識することができない。
なお、別の実施形態として、裸眼で映像を見たときの表示画面内容についての推測をより困難にさせる方法として、ディスプレイにスクランブル機能、メガネにデスクランブル機能を搭載することで、映像にスクランブルをかけ、裸眼では更に推測しづらい映像にしてしまうことも可能である。

次に、図４、図５示す入力パネル像の説明図、図６に示すフローチャートを参照して、パスワード入力装置における、入力パネル像１３に対応する位置調整手順について説明する。
入力パネル像１３は、ユーザごとに表示位置、大きさ、見え方が異なる可能性があるため、まず、最初に位置調整作業を行う。
まず、ステップＳ１０では、制御部１０ｈは、位置調整用の入力パネル像の枠像を表示する。図４（ａ）に示すように、位置調整用の表示画面の枠像が３Ｄ画面としてディスプレイ１１に表示される。
ステップＳ１５では、制御部１０ｈは、３Ｄメガネの装着と、表示した枠像を指先でなぞるように促すメッセージを表示する。３Ｄメガネ１４の装着と、表示した枠像１３ａに対して、空間上において指先１５でなぞるように促すメッセージをディスプレイ１１に表示する。
このとき、ユーザは、３Ｄメガネ１４を装着した後に、位置調整用の表示画面の枠像１３ａに対して、空間上において指１５でなぞることとする。

ステップＳ２０では、制御部１０ｈは、カメラ部１２ａにより、枠像に対する指先の空間上の移動に関する軌跡画像を取得する。カメラ部１２ａでは、ユーザの指１５が空間上を移動することによる枠像１３ａに関する軌跡画像を画像解析部１０ａに出力し、画像解析部１０ａにおいてユーザの指１５の軌跡画像をパターン認識手法により認識し、なぞったときの指先１５の枠像１３ａに関する軌跡画像の座標情報を位置演算部１０ｃに出力する。
次いで、指１５の枠像１３ａに関する軌跡画像の座標情報から、ユーザが空間上のどの位置に入力パネル像１３を見えているかが判明した。しかし、ユーザの立ち位置、姿勢、背丈には個人差があるので、ディスプレイ１１の表示画面上では上記枠像１３ａは正方形状であるが、ユーザが視認している枠像１３ａは非対称な略台形状となる場合がある。
そこで、ステップＳ２５では、制御部１０ｈは、指先の軌跡画像から、ユーザが視認している枠像１３ａの４つの頂点位置を位置演算部１０ｃに算出させる。

ステップＳ３０では、制御部１０ｈは、位置演算部１０ｃにおいて、ユーザが視認している枠像１３ａの４つの頂点位置から、枠像が正方形になるように位置調整する。すなわち、位置演算部１０ｃでは、指１５の枠像１３ａに関する軌跡画像の座標情報に基づいて、アフィン変換（Affine Transformation）処理により平行移動、拡大・縮小、回転、この３種類の変形を組み合わせた図形変換を施し、枠像１３ａが正方形になるように位置調整する。なお、制御部１０ｈに設けられたＲＯＭに変換テーブルを設け、ユーザが視認している枠像１３ａの４つの頂点位置に基づいて、変換テーブルを参照して、キー像に対する枠像の位置座標を求めて位置調整しもよい。

さらに、位置演算部１０ｃでは、入力パネル像１３のそれぞれのキー像に対する枠像の位置座標を算出して決定して画像表示部１０ｅに出力する。この結果、図３に示すような３Ｄ画像の入力パネル像１３がユーザに視認することができる。
なお、パスワード入力装置は、３Ｄメガネ１４を装着したユーザだけが空間上に３Ｄ表示された入力パネル像を視認できるように構成することによって、物理的な入力デバイス無しにパスワード入力が可能な装置である。また、物理的な入力デバイスがないので、入力パネル像に含まれる各キー像の配置を任意に設定することが可能となり、秘匿性を向上することができる。
さらに、入力パネル像に含まれるそれぞれのキー像を納める枠像は、当該入力装置の利用の都度に変更可能とすることで、秘匿性を向上することができる。

次に、図１、図２を参照して、３Ｄメガネ１４に設けられた眼球撮影カメラ１４ａ，１４ｂが取得した位置情報データの情報処理装置１０に転送する手法について説明する。
３Ｄメガネ１４に設けられた視線カメラ１４ａ又は１４ｂは、通信モジュールを有しており、ユーザの瞳を撮影して得られた視線方向データを通信モジュールから無線や赤外線等を介して通信制御部１０ｄに送信する。この場合、通信制御部１０ｄからのデータ要求に応じて通信モジュールからデータを送信することが好ましい。

次に、図７に示す説明図、図８に示すフローチャートを参照して、パスワード入力装置の動作について説明する。図７は、本発明の第１実施形態に係るパスワード入力装置によるパスワード入力手順について説明するための説明図である。図８は、本発明の第１実施形態に係るパスワード入力装置によるパスワード入力手順について説明するためのフローチャートである。
まず、ステップＳ５０では、制御部１０ｈは、画像表示部１０ｆに入力パネル像を出力させ、ディスプレイ１１から表示する。３Ｄメガネを装着したユーザには、ユーザとディスプレイ１１との間の空間に入力パネル像１３が視認可能となる。

次いで、ステップＳ５５では、制御部１０ｈは、画像表示部１０ｆに入力したい文字に指先を重ねるように促すメッセージを出力させ、ディスプレイ１１に表示する。
ここで、ユーザは、視認中の入力パネル像１３に対して、入力したいキー像の空間上の位置に指先１５が重なるよう、指先１５の位置を移動することとする。
次いで、ステップＳ６０では、制御部１０ｈは、位置演算部１０ｃに対して、カメラ部１２ａからの映像と、３Ｄメガネ１４に設けられた視線カメラ１４ａ（又は視線カメラ１４ｂ）からの視線方向とを入力し、両者の３次元の座標軸を同一に揃えるように制御する。

具体的には、ステップＳ６５では、制御部１０ｈは、通信制御部１０ｄを介して視線カメラ１４ａに対して、ユーザの瞳の様子を撮影させ、視線方向を出力させることで、位置演算部１０ｃは視線カメラ１４ａから取得した視線方向をベクトルＣＡとして算出する。
次いで、ステップＳ７０では、制御部１０ｈは、位置演算部１０ｃに対して、上記ベクトルＣＡを用いて、視線の先の文字（例えば、「５」）位置を算出させる。
次いで、ステップＳ７５では、制御部１０ｈは、位置演算部１０ｃに対して、カメラ部１２ａの位置とユーザの瞳の位置とを結んだ線分の方向となるベクトルＯＣと、カメラ部１２ａの位置と指先１５の位置とを結んだ線分の方向となるベクトルＯＤを算出させる。
次いで、ステップＳ８０では、制御部１０ｈは、位置演算部１０ｃに対して、視線の先の文字とユーザの瞳１６とを結んだ線分の方向となるベクトルＣＡと、指先１５とユーザの瞳１６とを結んだ線分の方向となるベクトルＣＤを比較させる。

この比較の結果、ベクトルＣＡとベクトルＣＤとが一致した場合に、ステップＳ８５では、制御部１０ｈは、位置演算部１０ｃに対して、選択されている文字の位置座標を出力させ、選択されている文字の位置座標を含むキー像の表示色を他のキー像の表示色と異なるように色反転させ、画像表示部１０からディスプレイ１１に表示させる。
次いで、ステップＳ９０では、制御部１０ｈは、上記一致状態（ＣＡ＝ｎＣＤ、ｎは任意の正の値）が一定時間（例：２秒）以上継続か判断する。
次いで、ステップＳ９５では、制御部１０ｈは、の状態が所定の時間（例：２秒）継続した時点で、キー入力が確定したこととみなす。そして、制御部１０ｈは、出力ＩＦ部１０ｇからキー入力が確定したキーコードを出力する。

このように、一致状態の経過時間が所定時間に到達したときに、キー入力があったこととすることで、誤入力を防止することができる。
ステップＳ９７では、制御部１０ｈは、入力確定と判定した場合に、入力パネル像の色反転した文字の表示色を黄色に変更して表示する。
このように、視線の先の文字の位置とユーザの瞳１６の位置とを結んだ線分の方向となるベクトルＣＡと、指先１５の位置とユーザの瞳１６の位置とを結んだ線分の方向となるベクトルＣＤとが一致した場合に、当該キー像が選択されたこととみなすように判定することで、公共の場においても、他人に情報が漏洩しないように安全にパスワードの入力が可能となる。

次に、図９に示す説明図、図１０に示すフローチャートを参照して、パスワード入力装置の動作について説明する。図９は、本発明の第１実施形態に係るパスワード入力装置による位置座標の算出手順について説明するための説明図である。図１０は、本発明の第１実施形態に係るパスワード入力装置による位置座標の算出手順について説明するためのフローチャートである。
まず、ステップＳ１００では、制御部１０ｈは、画像解析部１０ａに対して、カメラ部１２ａ自身の焦点設定によりＢ（0,0,z1）点の位置座標を算出させる。

次いで、ステップＳ１０５では、制御部１０ｈは、画像解析部１０ａに対して、カメラ部１２ａによりＤ'(x1,y1,z1)点の位置の指先の映像を撮影させる。
次いで、ステップＳ１１０では、制御部１０ｈは、測距部１２ｃにより指先（Ｄ）までの距離を測定する。
次いで、ステップＳ１１５では、制御部１０ｈは、位置演算部１０ｃに対して、Ｏ(0,0,0)点の位置座表、Ｄ'点の位置座表、ＯＤ間の距離に基づいて、△ＯＢＤ'と△ＯＥＤが相似形であることからＤ(x4,y4,z4)点の位置座標を算出させる。
次いで、ステップＳ１２０では、制御部１０ｈは、位置演算部１０ｃに対して、同様の手法により、△ＯＢＤ'と△ＯＣＦが相似形であることからＣ(x3,y3,z3)点の位置を算出させる。

次に、図１１に示す説明図、図１２に示すフローチャートを参照して、パスワード入力装置の動作について説明する。図１１は、本発明の第１実施形態に係るパスワード入力装置による入力パネル像に対する押下判定手順について説明するための説明図である。図１２は、本発明の第１実施形態に係るパスワード入力装置による押下判定手順について説明するためのフローチャートである。
まず、ステップＳ１５０では、制御部１０ｈは、キャリブレーション操作を促すメッセージとして、例えば「枠をなぞってください」というテキストを画像表示部１０ｅからディスプレイ１１に表示させる。
次いで、ステップＳ１５５では、制御部１０ｈは、カメラ部１２ａにより指先の動作を撮影させる。
次いで、ステップＳ１６０では、制御部１０ｈは、位置演算部１０ｃに対して、入力パネル像(A1〜A12)の位置を算出する。

次いで、ステップＳ１６５では、制御部１０ｈは、「キー像に視線を合わせて、指先で押してください」というメッセージを画像表示部１０ｅからディスプレイ１１に表示させる。
次いで、ステップＳ１７０では、制御部１０ｈは、画像解析部１０ａに対して、指先で押されているキー像の位置を算出させ、キー像の位置を位置演算部１０ｃに出力させる。
次いで、ステップＳ１７５では、制御部１０ｈは、位置演算部１０ｃに対して、ユーザの瞳（Ｃ）の位置から、押されたキー像とＣ(x20,y20,z20)点間のベクトル（ベクトルα）を算出させる。

次いで、ステップＳ１８０では、制御部１０ｈは、位置演算部１０ｃに対して、指先(D)の位置から、Ｃ点とＤ(x30,y30,z30)点との間のベクトル（ベクトルβ）を算出させる。
次いで、ステップＳ１８５では、制御部１０ｈは、位置演算部１０ｃに対して、瞳（Ｃ）の位置と、視線カメラ１４ａからの視線方向に基づいて、視線ベクトル(ベクトルγ)を算出させる。

次いで、ステップＳ１９０では、制御部１０ｈは、位置演算部１０ｃに対して、算出されたベクトルα,β,γが一致しているか否かを判断させる。
ここで、ベクトルα,β,γが一致している場合には、ステップＳ１９５に進み、制御部１０ｈは、ユーザがキー像上に指先１５を置いていると判断する。
次いで、ステップＳ２００では、制御部１０ｈは、上記ベクトルα,β,γの一致状態が一定時間（例えば、２秒）以上継続か否かを判断する。
ここで、上記ベクトルα,β,γの一致状態が一定時間以上継続している場合には、ステップＳ２０５に進み、制御部１０ｈは、キー像が押されたこととみなし、出力ＩＦ部１０ｇからキー入力が確定したキーコードを出力する。

このように、ユーザの瞳（Ｃ）の位置とキー像の位置との間のベクトル（ベクトルα）と、指先(D)の位置から、ユーザの瞳（Ｃ）の位置と指先の位置との間のベクトル（ベクトルβ）と、視線ベクトル(ベクトルγ)とが一致した場合に、当該キー像が選択されたこととみなすように判定することで、公共の場においても、他人に情報が漏洩しないように安全にパスワードの入力が可能となる。
また、一致状態の経過時間が所定時間に到達したときに、キー入力があったこととすることで、誤入力を防止することができる。

＜第２実施形態＞
次に、図１３に示す説明図、図１４に示すフローチャートを参照して、パスワード入力装置の動作について説明する。図１３は、本発明の第２実施形態に係るパスワード入力装置によるパスワード入力手順について説明するための説明図である。図１４は、本発明の第２実施形態に係るパスワード入力装置によるパスワード入力手順について説明するためのフローチャートである。
まず、ステップＳ２５０では、制御部１０ｈは、画像表示部１０ｆに入力パネル像を出力させ、ディスプレイ１１から表示する。３Ｄメガネを装着したユーザには、ユーザとディスプレイ１１との間の空間に入力パネル像１３が視認可能となる。

次いで、ステップＳ２５５では、制御部１０ｈは、視線カメラで瞳を撮影し、視線方向にあるキー像の文字を算出する。ここで、制御部１０ｈは、通信制御部１０ｄを介して視線カメラ１４ａに対して、ユーザの瞳の様子を撮影させ、視線方向を出力させることで、位置演算部１０ｃは視線カメラ１４ａから取得した視線方向を求める。さらに、制御部１０ｈは、位置演算部１０ｃに対して、上記視線方向を用いて、視線の先の文字（例えば、「５」）位置を算出させる。
次いで、ステップＳ２６０では、制御部１０ｈは、カメラ部１２ａに対して、指先１５と３Ｄメガネ１４のレンズとのなす角度αを測定させる。
次いで、ステップＳ２６５では、制御部１０ｈは、画像表示部１０ｆに対して、指先をキー像に向かって押し出すように促すメッセージを出力させ、ディスプレイ１１に表示する。

次いで、ステップＳ２７０では、制御部１０ｈは、カメラ部１２ａに対して、指先１５と３Ｄメガネ１４のレンズとのなす角度γを測定させる。
次いで、ステップＳ２７５では、制御部１０ｈは、γ＝αか否かを判断する。
ここで、角度γ＝αの場合には、ステップＳ２８０に進み、制御部１０ｈは、距離|Ｙ−Ｘ|＞Ａ（予め定められた特定の値）か否かを判断する。
しそて、距離|Ｙ−Ｘ|＞Ａの場合には、ステップＳ２８５に進み、制御部１０ｈは、キー入力が確定したこととみなす。そして、制御部１０ｈは、出力ＩＦ部１０ｇからキー入力が確定したキーコードを出力する。

次いで、ステップＳ２９０では、制御部１０ｈは、入力した文字色を色反転して表示する。
このように、指先１５と３Ｄメガネ１４のレンズとのなす角度αと、指先１５と３Ｄメガネ１４のレンズとのなす角度γとが一致した場合に、当該キー像が選択されたこととみなすように判定することで、公共の場においても、他人に情報が漏洩しないように安全にパスワードの入力が可能となる。
また、ユーザの指の位置と入力パネル像に含まれるいずれか１つのキー像の位置とが一致した場合に、この一致した位置が奥行き方向に所定の距離以上に移動されたときに、キー入力があったこととすることで、誤入力を防止することができる。

次に、図１５に示す説明図、図１６に示すフローチャートを参照して、パスワード入力装置の動作について説明する。図１５は、本発明の第２実施形態に係るパスワード入力装置による入力パネル像に対する押下判定手順について説明するための説明図である。図１６は、本発明の第２実施形態に係るパスワード入力装置による押下判定手順について説明するためのフローチャートである。
なお、図１６に示すフローチャートは、図１２に示すフローチャートの一部を変更したものであり、共通のステップには同じ符号を割り付けており、その説明を省略する。
ステップＳ３１０では、制御部１０ｈは、Ｏ−Ｄ間の距離が一定距離以上に変動したか否か判断する。
ここで、上記Ｏ−Ｄ間の距離が一定距離以上に変動した場合には、ステップＳ２０５に進み、制御部１０ｈは、キー像が押されたこととみなし、出力ＩＦ部１０ｇからキー入力が確定したキーコードを出力する。

＜第３実施形態＞
次に、図１１に示す説明図、図１７に示すフローチャートを参照して、パスワード入力装置の動作について説明する。図１７は、本発明の第２実施形態に係るパスワード入力装置による押下判定手順について説明するためのフローチャートである。
なお、図１７に示すフローチャートは、図１２に示すフローチャートの一部を変更したものであり、共通のステップには同じ符号を割り付けており、その説明を省略する。
本実施形態では、ユーザの目の位置と、ユーザの指先の位置との相対的な位置関係によって、入力パネル像の複数のキーのうちどのキーが入力されたか判定する。

すなわち、ステップＳ３５０では、制御部１０ｈは、位置演算部１０ｃに対して、算出されたベクトルα,γが一致しているか否かを判断させる。ここで、ベクトルα,γが一致している場合には、ステップＳ１９５に進み、制御部１０ｈは、ユーザがキー像上に指先１５を置いていると判断する。
ここで、ベクトルγにおけるユーザの視線の方向と、ベクトルαにおけるユーザの目の位置と前記入力パネル像に含まれるキー像とを結ぶ直線の方向とが一致した場合に、当該キー像が選択されたこととみなすように判定する。

このように、ユーザの視線の方向と、ユーザの目の位置と前記入力パネル像に含まれるキー像とを結ぶ直線の方向とが一致した場合に、当該キー像が選択されたこととみなすように判定することで、公共の場においても、他人に情報が漏洩しないように安全にパスワードの入力が可能となる。
また、一致状態の経過時間が所定時間に到達したときに、キー入力があったこととすることで、誤入力を防止することができる。

本発明は、公共の場において他人に情報が漏洩しないように安全にパスワードの入力を必要とする、ＡＴＭ装置に利用することができる。

１０ 情報処理装置
１０ａ 画像解析部
１０ｂ フレームメモリ
１０ｃ 位置演算部
１０ｄ 通信制御部
１０ｅ 画像表示部
１０ｆ ＶＲＡＭ
１０ｇ 出力ＩＦ部
１０ｈ 制御部
１１ ディスプレイ
１２ カメラ部
１２ａ カメラ部
１２ｃ 測距部
１３ 入力パネル像
１４ ３Ｄメガネ
１４Ｒ 右目用透過部
１４Ｌ 左目用透過部
１４ａ，１４ｂ 眼球撮影カメラ

Claims (6)

1. 複数のキーを有する入力パネル像が空間上の位置に展開するように投影する投影手段と、
   ユーザの目の位置を検出する第１の位置検出手段と、
   ユーザの指先の位置を検出する第２の位置検出手段と、
   前記第１の位置検出手段が検出した前記ユーザの目の位置と、前記第２の位置検出手段が検出した前記ユーザの指先の位置との相対的な位置関係によって、前記入力パネル像の前記複数のキーのうちどのキーが入力されたか判定する判定手段とを有することを特徴とする入力装置。
2. 前記判定手段は、ユーザの視線の方向と、ユーザの目の位置と前記入力パネル像に含まれるキー像とを結ぶ直線の方向とが一致した場合に、当該キー像が選択されたか否かを判定することを特徴とする請求項１記載の入力装置。
3. 前記判定手段は、前記一致した場合の経過時間が所定時間に到達したときに、キー入力があったこととすることを特徴とする請求項２記載の入力装置。
4. 前記判定手段は、ユーザの指の位置と前記入力パネル像に含まれるキー像の位置とが一致した場合に、前記一致した位置が奥行き方向に所定の距離以上に移動されたときに、キー入力があったこととすることを特徴とする請求項２記載の入力装置。
5. 前記入力パネル像に含まれるキー像を納める枠像は、当該入力装置の利用の都度に変更可能であることを特徴とする請求項１記載の入力装置。
6. 複数のキーを有する入力パネル像が空間上の位置に展開するように表示装置から投影する投影ステップと、
   ユーザの目の位置を検出する第１の位置検出ステップと、
   ユーザの指先の位置を検出する第２の位置検出ステップと、
   前記第１の位置検出ステップが検出した前記ユーザの目の位置と、前記第２の位置検出ステップが検出した前記ユーザの指先の位置との相対的な位置関係によって、前記入力パネル像の前記複数のキーのうちどのキーが入力されたか判定する判定ステップとを有することを特徴とする入力方法。

Images