JP2016081508A - Authentication system and input device - Google Patents
Authentication system and input device Download PDFInfo
- Publication number
- JP2016081508A JP2016081508A JP2015108879A JP2015108879A JP2016081508A JP 2016081508 A JP2016081508 A JP 2016081508A JP 2015108879 A JP2015108879 A JP 2015108879A JP 2015108879 A JP2015108879 A JP 2015108879A JP 2016081508 A JP2016081508 A JP 2016081508A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- user
- information processing
- software key
- pin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、認証システム、及び入力装置に関する。 The present invention relates to an authentication system and an input device.
近年、ウェアラブルデバイスやＡＲ（Augmented Reality）技術の発展に伴い、ＡＲ技術を用いた種々の装置が提案されている。例えば、特許文献１には、ユーザ装置に予めインストールされた特定のアプリケーションを起動して対象人物にユーザ装置を向けると、ユーザ装置の画面には、対象人物を含む映像が表示されると共に、映像上に対象人物が予め公開している公開情報が表示されるという技術が開示されている。
In recent years, with the development of wearable devices and AR (Augmented Reality) technology, various apparatuses using the AR technology have been proposed. For example, in
この特許文献１に開示された技術では、公開情報が表示されるようになっているが、公開情報へのアクセスは、実際に対象人物を特定してから所定の期間内のみ可能としたり、アクセスＩＤを変化させることにより、特定の対象人物を追跡することが出来ないようにしてもよいことになっている。
In the technique disclosed in
このような技術背景において、コンピューティングデバイスにおける入力機能は重要な機能の１つであり、ウェアラブルデバイスにおいても、秘密情報などを入力するための十分な入力機能を備えておくことが好ましい。 In such a technical background, an input function in a computing device is one of important functions, and it is preferable that a wearable device also has a sufficient input function for inputting secret information and the like.
しかしながら、従来のウェアラブルデバイスでは、入力機能を提供するためにタッチパネルが用いられているが、このタッチパネルはスマートホンのように表示部と一体となったタッチパネルではないため、暗証番号などの秘密情報の入力には非常に時間を要するという問題点があった。 However, in a conventional wearable device, a touch panel is used to provide an input function. However, since this touch panel is not a touch panel integrated with a display unit like a smartphone, secret information such as a password is not provided. There was a problem that input takes a very long time.
さらに、秘密情報が入力される銀行のＡＴＭ（automated teller machine）では、暗証番号を入力するタッチパネルに表示させるキー配列をその都度変更するＡＴＭもあるが、変更したとしても覗き見される危険性がある。 Furthermore, in ATMs (automated teller machines) of banks where confidential information is input, there are ATMs that change the key layout displayed on the touch panel for entering the password each time, but there is a risk of peeping even if they are changed. is there.
本発明は、このような事情に鑑みてなされたもので、その目的は、秘密情報を安全に入力可能な認証システム、及び入力装置を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide an authentication system and an input device capable of safely inputting secret information.
上述した課題を解決するために、本発明は、ユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示する表示部と、前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と、前記文字列取得部により取得された文字列を用いて、認証処理を実行する認証部とを有することを特徴とする認証システムである。 In order to solve the above-described problem, the present invention provides a display unit that displays a software key for inputting a character string on a transparent display that can be viewed by a user, and the software key displayed by the display unit. An operation content acquisition unit that acquires user operation content, a character string acquisition unit that acquires, as secret information, a character string input by the user operation from the operation content acquired by the operation content acquisition unit, An authentication system comprising: an authentication unit that executes an authentication process using a character string acquired by a character string acquisition unit.
また、本発明の一態様は、上記の認証システムにおいて、前記透過型ディスプレイの動きを示す物理量を検出する検出部と、前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする。 According to another aspect of the present invention, in the above authentication system, a detection unit that detects a physical quantity indicating the movement of the transmissive display, and a position specified by the user based on the physical quantity detected by the detection unit. And a correction unit that corrects the relative position of the software key, and the operation content acquisition unit acquires the user operation content from the relative position corrected by the correction unit. It is characterized by that.
また、本発明の一態様は、上記の認証システムにおいて、前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。 According to another aspect of the present invention, in the authentication system, the physical quantity detected by the detection unit is a rotation angle in a pan direction and a rotation angle in a tilt direction of the transmissive display, and the correction unit The relative position between the specified position and the software key is corrected based on the rotation angle in the pan direction and the rotation angle in the tilt direction detected by the detection unit.
また、本発明の一態様は、上記の認証システムにおいて、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置の補正量または前記ソフトウェアキーの補正量を算出することにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。 Further, according to one aspect of the present invention, in the authentication system, the correction unit may determine the correction amount of the specified position or the correction amount based on the rotation angle in the pan direction and the rotation angle in the tilt direction detected by the detection unit. By calculating the correction amount of the software key, the relative position between the specified position and the software key is corrected.
また、本発明の一態様は、上記の認証システムにおいて、前記補正部は、算出された前記指定位置の補正量に応じて、前記指定位置を前記ソフトウェアキーに対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。 According to another aspect of the present invention, in the authentication system, the correction unit moves the specified position relative to the software key according to the calculated correction amount of the specified position. A relative position between the position and the software key is corrected.
また、本発明の一態様は、上記の認証システムにおいて、前記補正部は、算出された前記ソフトウェアキーの補正量に応じて、前記ソフトウェアキーを前記指定位置に対して移動させることにより、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。 Further, according to one aspect of the present invention, in the authentication system, the correction unit moves the software key to the specified position in accordance with the calculated correction amount of the software key. A relative position between the position and the software key is corrected.
上述した課題を解決するために、本発明は、ユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示する表示部と、前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部とを有することを特徴とする入力装置である。 In order to solve the above-described problem, the present invention provides a display unit that displays a software key for inputting a character string on a transparent display that can be viewed by a user, and the software key displayed by the display unit. An operation content acquisition unit that acquires user operation content, and a character string acquisition unit that acquires, as confidential information, a character string input by the user operation from the operation content acquired by the operation content acquisition unit This is an input device.
また、本発明の一態様は、上記の入力装置において、前記透過型ディスプレイの動きを示す物理量を検出する検出部と、前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする。 According to another aspect of the present invention, in the above input device, a detection unit that detects a physical quantity indicating the movement of the transmissive display, and a position specified by the user based on the physical quantity detected by the detection unit. And a correction unit that corrects the relative position of the software key, and the operation content acquisition unit acquires the user operation content from the relative position corrected by the correction unit. It is characterized by that.
また、本発明の一態様は、上記の入力装置において、前記検出部が検出する前記物理量は、前記透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする。 According to another aspect of the present invention, in the input device, the physical quantity detected by the detection unit is a rotation angle in a pan direction and a rotation angle in a tilt direction of the transmissive display, and the correction unit The relative position between the specified position and the software key is corrected based on the rotation angle in the pan direction and the rotation angle in the tilt direction detected by the detection unit.
以上説明したように、この発明によれば、秘密情報を安全に入力可能な認証システム、及び入力装置を提供できる。 As described above, according to the present invention, it is possible to provide an authentication system and an input device that can safely input secret information.
図１は、本発明の実施形態に係る眼鏡型ウェアラブルデバイスとしてのスマートグラス１０の外観構成を示す図である。
スマートグラス１０は、マイク１２、カメラ１３、タッチパネル１４、ディスプレイ１５を含んで構成される。このディスプレイ１５は、透過型ディスプレイであり、スマートグラス１０を装着したユーザの網膜に画像が投影されることで、当該ユーザが目視可能となっている。また、ディスプレイ１５には、文字列を入力するためのソフトウェアキーが表示される。具体的には、ＡＴＭの暗証番号など秘密情報（以下、「ＰＩＮ」という）を入力するためのＰＩＮ配列１０００、１００１が表示される。なお、本実施形態において、文字列は文字、数字、記号を含む文字列である。
FIG. 1 is a diagram showing an external configuration of a
The
左側のＰＩＮ配列１０００は、番号を整列させた場合の表示例を示し、右側のＰＩＮ配列１００１は番号の位置をランダムに変えた場合の表示例を示している。なお、このＰＩＮ配列１０００、１００１は、０から９の数字キーと、エンターキー（Ｅ）、及びクリアキー（Ｃ）が設けられているが、ＰＩＮを入力可能な配列であれば、図１に示されるＰＩＮ配列に限定されない。このように、本実施形態では、スマートグラス１０を装着したユーザにのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列がスマートグラス１０を装着したユーザ以外に盗み見されることはない。
The
図２は、ユーザから見えるＰＩＮ配列を示す図である。
図２には、スマートグラス１０のレンズ枠１００２、ユーザの指１００３、及びＰＩＮ配列１００４が示されている。
図１に示したように、ディスプレイ１５は右目に対応するレンズの右斜め上方向に位置されているので、ＰＩＮ配列１００４は、レンズ枠１００２の右斜め上方向に存在するようにユーザからは見える。このＰＩＮ配列１００４に対し、ユーザは指１００３による操作を行う。このとき、指１００３はカメラ１３により撮影されており、指１００３の動きはカメラ１３により検出されている。こうしてカメラ１３により撮影されている状態で、ユーザが指１００３による操作を行うことで、ＰＩＮを入力することができる。
FIG. 2 is a diagram showing a PIN array visible to the user.
FIG. 2 shows a
As shown in FIG. 1, since the
ここで、ユーザが行う操作について説明する。ディスプレイ１５は、上述したように透過型ディスプレイであるので、このディスプレイ１５を透過して、ユーザの眼とディスプレイ１５との直線上に存在する物体も、ユーザは目視可能となっている。従って、ユーザが目とディスプレイ１５とを結ぶ直線上に指をかざすと、ＰＩＮ配列と指とが重なっているように見える。このように見える状態は、ユーザにとって、例えばハードキーやタッチパネルを指で操作する場合と実質的に同じ状態となる。その状態で、ユーザは次に説明する操作を行うことで、文字列を入力可能となっている。
Here, operations performed by the user will be described. Since the
図３は、入力内容を検出するための指の操作Ａ，Ｂ，Ｃを示す図である。図３には、ＰＩＮ配列１０２０、指の軌跡１０１０，１０１１，１０１２，１０１３が示されている。
まず、操作Ａは、軌跡１０１０に示されるように、対象キーの上（直線上において重なる位置）に１秒など予め定められた秒数だけ留まる操作である。図３の場合、ユーザは「１」の上に指を１秒留めることで、「１」を入力することができる。
操作Ｂは、軌跡１０１１に示されるように、対象キーの上を予め定められた角度以下でなぞる操作である。図３の場合、ユーザは、「３」の上を指で予め定められた角度以下でなぞることで、「３」を入力することができる。この予め定められた角度については後述する。
操作Ｃは、軌跡１０１２，１０１３に示されるように、対象キーの上を２回連続して予め定められた角度範囲内でなぞる操作である。図３の場合、ユーザは、「８」の上を２回連続して予め定められた角度範囲内でなぞることで、「８」を入力することができる。
FIG. 3 is a diagram showing finger operations A, B, and C for detecting input contents. FIG. 3 shows a
First, the operation A is an operation that remains for a predetermined number of seconds such as 1 second on the target key (position overlapping on the straight line) as indicated by the
The operation B is an operation of tracing the target key at a predetermined angle or less as indicated by the
The operation C is an operation of tracing the target key twice continuously within a predetermined angle range as indicated by the
このように、各操作が行われたことが検出されると、その操作により、ユーザが入力したいと考えた入力位置を確定する必要がある。その入力位置の確定方法の一例として、操作Ａ，Ｂ，Ｃのいずれの操作においても、各操作が検出された時点での指の位置を入力位置とする方法があるが、これに限るものではない。 Thus, when it is detected that each operation has been performed, it is necessary to determine the input position that the user wishes to input by the operation. As an example of the method for determining the input position, there is a method in which the position of the finger at the time when each operation is detected is used as the input position in any of the operations A, B, and C. However, the present invention is not limited to this. Absent.
図４は、予め定められた角度の一例を示す図である。図４には、ＰＩＮ配列１０３０、軌跡１０３１，１０３２が示されている。なお、図４のＰＩＮ配列１０３０では、分かりやすくするために数字、Ｅ、Ｃを示していない。
一般的に、ユーザは指を正確に直線で動かすことはできないので、若干曲がりながらなぞることとなる。そのような意図しない曲がりと、意図した曲がりとを区別するには、予め定められた角度を、概ね１５０°以下とすればよいことが現段階では実験的に得られている。従って、軌跡１０３１の場合は、操作Ｂとして検出され、軌跡１０３２の場合は、操作Ｂとして検出されない。
FIG. 4 is a diagram illustrating an example of a predetermined angle. FIG. 4 shows a
In general, since the user cannot move his / her finger accurately in a straight line, the user traces while slightly bending. At this stage, it has been experimentally obtained that a predetermined angle should be approximately 150 ° or less in order to distinguish such an unintended bend from an intended bend. Accordingly, the
図５は、ユーザが行った操作Ａ，Ｂ，Ｃの検出例を示す図である。図５には、ＰＩＮ配列１０４０、指１０４１、軌跡１０４２が示されている。
図５において、ユーザは位置Ａで操作Ａを行い、軌跡１０４２に示されるようになぞっていき、位置Ｂで操作Ｂを行い、さらに軌跡１０４２に示されるようになぞっていき、位置Ｃで操作Ｃを行っている。これにより、ＰＩＮとして「１」、「３」、「８」が入力されたこととなる。位置Ｂと位置Ｃの間の「５」と「６」をなぞっている軌跡が若干曲がっているが、この軌跡のなす角は１５０°以上であるため、操作Ｂとして検出されない。
なお、ユーザは、上述した操作Ａ，Ｂ，Ｃの全てを用いて入力する必要はなく、操作Ａ，Ｂ，Ｃのうち、いずれか１つの操作で入力できるようにしてもよい。また、操作Ａ，Ｂ，Ｃのうち、いずれか２つの操作で入力できるようにしてもよい。
さらに、操作Ａ，Ｂ，Ｃに限らず、指でタッチをする操作などを検出するようにしてもよい。また、指に代えて、発光体や特定の色の物体を用いるようにしてもよい。また、ユーザは、指で位置を示すのではなく、音声で位置を示すようにしてもよいし、ユーザが頭を動かすことで位置を示すようにしてもよい。
FIG. 5 is a diagram illustrating a detection example of operations A, B, and C performed by the user. FIG. 5 shows a
In FIG. 5, the user performs the operation A at the position A, traces as indicated by the
Note that the user does not have to input using all of the operations A, B, and C described above, and the user may be able to input by any one of the operations A, B, and C. Moreover, you may enable it to input by any two operation among operation A, B, and C. FIG.
Furthermore, not only the operations A, B, and C, an operation of touching with a finger may be detected. Further, instead of the finger, a light emitter or a specific color object may be used. Further, the user may indicate the position by voice instead of indicating the position by the finger, or may indicate the position by moving the head of the user.
図６は、ディスプレイ１５で表示される画像とカメラ１３で撮影された指の位置とのずれを示す図である。図６には、ユーザの視界１０５０、画像表示領域１０５１、及びカメラ撮影領域１０５２が示されている。
まず、ユーザの右目の視界１０５０の中に、ディスプレイ１５があり、そこにはＰＩＮ配列などの画像が表示される。このユーザの視界に表示される画像の領域を画像表示領域１０５１としている。そしてこの画像表示領域１０５１の枠をユーザがなぞる操作を予め行っておく。また、前提として、ＰＩＮ配列はこの画像表示領域全体に表示されるものとする。
画像表示領域１０５１の枠をユーザがなぞると、その操作はカメラにより撮影される。カメラにより撮影された指の軌跡も画像表示領域１０５１と同じく矩形の領域となるが、この領域をカメラ撮影領域１０５２としている。
FIG. 6 is a diagram illustrating a deviation between the image displayed on the
First, the
When the user traces the frame of the
ユーザが画像表示領域１０５１の枠をなぞる操作を行った際に得られたカメラ撮影領域１０５２の４隅の座標（ｘ１、ｙ１）、（ｘ１、ｙ２）、（ｘ２、ｙ２）、（ｘ２、ｙ１）の要素であるｘ１、ｘ２、ｙ１，ｙ２を、スマートグラス１０に設けられたＲＯＭなどの記憶装置に予め記憶しておく。これにより、カメラ１３で撮影されるカメラ撮影領域１０５２で検出された座標と画像表示領域１０５１の座標とを対応させることが可能となる。すなわち、カメラで撮影された指の位置が対応するＰＩＮ配列における位置を求めることができる。
The coordinates (x1, y1), (x1, y2), (x2, y2), (x2, y1) of the four corners of the
図７（Ａ）は、カメラで撮影された指の座標（ｓ、ｔ）の変換例を示す図である。図７（Ａ）には、上述した画像表示領域１０５１とカメラ撮影領域１０５２とが座標上に示されている。
撮影された指の座標を（ｓ、ｔ）とし、画像表示領域１０５１のｘ軸方向の長さをＰとし、ｙ軸方向の長さをＱとする。また、カメラ撮影領域１０５２の４隅の座標をそれぞれ（ｘ１、ｙ１）、（ｘ１、ｙ２）、（ｘ２、ｙ２）、（ｘ２、ｙ１）とする。上述したように、ｘ１、ｘ２、ｙ１，ｙ２は記憶装置に記憶されている。
このとき、座標（ｓ、ｔ）に対応する画像表示領域１０５１での座標は、以下の式１で求められる。
ｘ＝Ｐ×（ｓ−ｘ１）／（ｘ２−ｘ１）
ｙ＝Ｑ×（ｔ−ｙ１）／（ｙ２−ｙ１）…（式１）
FIG. 7A is a diagram illustrating a conversion example of the coordinates (s, t) of the finger photographed by the camera. In FIG. 7A, the
The coordinates of the photographed finger are (s, t), the length of the
At this time, the coordinates in the
x = P × (s−x1) / (x2−x1)
y = Q × (t−y1) / (y2−y1) (Formula 1)
上述したように、ＰＩＮ配列は、画像表示領域全体に表示されるので、ＰＩＮ配列における座標と、画像表示領域１０５１における座標は１対１で対応する。そして、ＰＩＮ配列と照合するために、ＰＩＮ配列を画像として表示した場合の座標情報を予め保持しておく。
図７（Ｂ）は、ＰＩＮ配列の座標情報の一例を示す図である。なお、図７（Ｂ）のＰＩＮ配列１０５３では、分かりやすくするために数字、Ｅ、Ｃを示していない。図７（Ｂ）に示されるＰＩＮ配列の場合の座標情報は、α１、α２、α３（＝Ｐ）、β１、β２、β３、β４（＝Ｑ）となる。
As described above, since the PIN array is displayed in the entire image display area, the coordinates in the PIN array and the coordinates in the
FIG. 7B is a diagram illustrating an example of the coordinate information of the PIN array. Note that the numbers, E, and C are not shown in the
この座標情報と、ａ０〜ａ９の数列により、ＰＩＮ配列は表現される。具体的には、座標情報により格子を作り、数列により格子の枠に表示する数字が決定される。例えば、図１のＰＩＮ配列１０００を示す数列は、１，２，３，４，５，６，７，８，９，０であり、ＰＩＮ配列１００１を示す数列は、５，８，３，７，９，６，２，１，０，４である。以下の説明では、座標情報と数列とをまとめてＰＩＮ配列情報と表現する。
このようにして、式１で求まった（ｘ、ｙ）とＰＩＮ配列情報とを照合することで、ユーザが入力した文字を正確に取得することができる。
以下の説明では、（ｓ、ｔ）を元座標と表現し、元座標（ｓ、ｔ）から変換された（ｘ、ｙ）を変換座標と表現する。
以上説明した座標の変換において、ＰＩＮ配列は画像表示領域１０５１全体に表示されるものとしたが、画像表示領域１０５１の一部に表示される場合であっても、式１のパラメータを変更することで対応可能である。
The PIN array is expressed by this coordinate information and a number sequence of a0 to a9. Specifically, a grid is created based on the coordinate information, and a number to be displayed on the grid frame is determined by a numerical sequence. For example, the number sequence indicating the
In this way, the character input by the user can be accurately acquired by collating (x, y) obtained in
In the following description, (s, t) is expressed as original coordinates, and (x, y) converted from the original coordinates (s, t) is expressed as converted coordinates.
In the coordinate conversion described above, the PIN array is displayed in the entire
図１から図７まで説明した内容をもとに、以下、各実施形態を説明する。また、各実施形態では、情報処理装置が認証システムの構成の１つとなっているが、この情報処理装置は、ＰＩＮが入力され、認証された場合にサービスをユーザに提供する銀行のＡＴＭを想定している。具体的には、キャッシュカードを挿入した際に、ユーザが暗証番号を入力する場合が想定されている。 Each embodiment will be described below based on the contents described in FIGS. In each embodiment, the information processing apparatus is one of the configurations of the authentication system. This information processing apparatus is assumed to be an ATM of a bank that provides a service to a user when a PIN is input and authenticated. doing. Specifically, it is assumed that the user inputs a personal identification number when a cash card is inserted.
[第１の実施形態]
図８は、本発明の第１の実施形態に係る認証システム１のブロック図である。
認証システム１は、スマートグラス１０、情報処理装置２０、及び認証装置３０を含んで構成される。
スマートグラス１０は、ＰＩＮ配列情報を情報処理装置２０から受信し、受信したＰＩＮ配列を表示して、そのＰＩＮ配列に対してユーザが行った操作Ａ，Ｂ，Ｃに対応する元座標（ｓ、ｔ）を情報処理装置２０に送信する。従って、本実施形態におけるスマートグラス１０は、ＰＩＮ配列を表示し、元座標を取得するが、座標変換を行わない構成となっている。
[First embodiment]
FIG. 8 is a block diagram of the
The
The
情報処理装置２０は、スマートグラス１０から元座標を受信し、それを変換して変換座標を取得し、その変換座標とＰＩＮ配列情報とを照合してＰＩＮを取得する。情報処理装置２０は、キャッシュカードからユーザを識別するＩＤを取得できるので、そのＩＤと取得したＰＩＮとを認証装置３０に送信する。情報処理装置２０は、認証装置３０から認証されたことを示すＯＫを受信すると、サービスをユーザに提供し、認証されなかったことを示すＮＧを受信すると、サービスをユーザに提供しない。
認証装置３０は、ＩＤとＰＩＮが正規のＩＤとＰＩＮであればＯＫを送信し、そうでなければＮＧを送信する。
The
The
次に各装置の構成について説明する。スマートグラス１０は、制御部１１、入力部１７、ディスプレイ１５、及び通信部１８を含んで構成される。
制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの記憶装置を含み、スマートグラス１０全体を制御する。入力部１７は、マイク１２、カメラ１３、及びタッチパネル１４を含む。入力部１７は、入力された内容を制御部１１に出力したり、制御部１１の指示により各種処理を行う。ディスプレイ１５は、制御部１１の指示により、上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部１８は、情報処理装置２０と無線通信を行う。以下の各実施形態において、スマートグラス、情報処理装置、及び認証装置での無線通信はセキュリティが保たれているものとする。
Next, the configuration of each device will be described. The
The
情報処理装置２０は、制御部２１、入力部２５、照合部２８、座標変換部２４、ＰＩＮ配列生成部２７、及び通信部２６を含んで構成される。制御部２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置２０全体を制御する。入力部２５は、キーパッド２２、及びタッチパネル２３を含む。入力部２５は、入力された内容を制御部２１に出力したり、制御部２１の指示により各種処理を行う。
The
座標変換部２４は、図７で説明した方法により、スマートグラス１０から受信した元座標を変換した変換座標を取得する。照合部２８は、変換座標とＰＩＮ配列とを照合し、入力されたＰＩＮを取得する。ＰＩＮ配列生成部２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列情報を生成し、それを保持する。通信部２６は、スマートグラス１０及び認証装置３０と無線通信を行う。
The coordinate
認証装置３０は、制御部３１、認証部３２、ＤＢ３３、及び通信部３４を含んで構成される。制御部３１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、認証装置３０全体を制御する。認証部３２は、情報処理装置２０から受信したＩＤとＰＩＮから、ＤＢ３３を参照して認証処理を実行し、認証された場合にはＯＫを出力し、認証されなかった場合にＮＧを出力する。出力されたＯＫ／ＮＧは、情報処理装置２０に送信される。通信部３４は、情報処理装置２０と無線通信を行う。
The
図９は、第１の実施形態におけるスマートグラス１０、情報処理装置２０、及び認証装置３０での処理を示すシーケンス図である。
図９において、スマートグラス１０は、ＰＩＮ配列要求を情報処理装置２０に送信する（ステップＳ１０１）。このＰＩＮ配列要求は、例えばキャッシュカードを情報処理装置２０に挿入し、スマートグラス１０のタッチパネル１４でユーザが操作することで、情報処理装置２０に送信されるようになっており、実装方法によってはログイン要求と称される場合もある。情報処理装置２０は、ＰＩＮ配列生成部２７で生成されたＰＩＮ配列情報をスマートグラス１０に送信する（ステップＳ１０２）。このとき、ＰＩＮ配列情報が保持される。
FIG. 9 is a sequence diagram illustrating processing in the
In FIG. 9, the
スマートグラス１０は、ＰＩＮ配列情報を受信し、ＰＩＮ配列をディスプレイ１５に表示する（ステップＳ１０３）。そして、ユーザの操作から元座標（ｓ、ｔ）を取得する（ステップＳ１０４）。スマートグラス１０が取得する元座標の数は、ＰＩＮの桁数であり、これは以下の実施形態でも同じである。例えば、日本の銀行の場合は４桁であるので、そのときは元座標を４つ取得することとなる。
スマートグラス１０は、取得された元座標（ｓ、ｔ）と、記憶装置に記憶されているｘ１,ｘ２,ｙ１,ｙ２（図６，７参照）とを情報処理装置２０に送信する（ステップＳ１０５）。情報処理装置２０は、受信した元座標を座標変換部２４により変換し（ステップＳ１０６）、照合部２８が変換座標からＰＩＮを取得する（ステップＳ１０７）。
The
The
情報処理装置２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ１０８）。認証装置３０は、受信したＰＩＮとＩＤから、認証部３２による認証処理を行い（ステップＳ１０９）、認証部３２が出力したＯＫまたはＮＧを情報処理装置２０に送信する（ステップＳ１１０）。情報処理装置２０は、ＯＫまたはＮＧをスマートグラス１０に送信する（ステップＳ１１１）。情報処理装置２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
The
図１０は、第１の実施形態に係るスマートグラス１０における処理手順を示したフローチャートである。図１０において、スマートグラス１０は、ＰＩＮ配列要求を情報処理装置２０に送信する（ステップＳ２０１）。次いで、情報処理装置２０からＰＩＮ配列情報を受信する（ステップＳ２０２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ１５に表示する（ステップＳ２０３）。
FIG. 10 is a flowchart showing a processing procedure in the
そして、ユーザの操作から元座標（ｓ、ｔ）を取得する元座標取得処理を行う（ステップＳ２０４）。この元座標取得処理により取得された元座標（ｓ、ｔ）と、記憶装置に記憶されているｘ１,ｘ２,ｙ１,ｙ２（図６，７参照）とを情報処理装置２０に送信する（ステップＳ２０５）。そして、情報処理装置２０からＯＫを受信した場合には（ステップＳ２０６でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ２０６でＮＯ）、ステップＳ２０１に戻る。 And the original coordinate acquisition process which acquires original coordinate (s, t) from a user's operation is performed (step S204). The original coordinates (s, t) acquired by the original coordinate acquisition process and x1, x2, y1, y2 (see FIGS. 6 and 7) stored in the storage device are transmitted to the information processing device 20 (steps). S205). If OK is received from the information processing apparatus 20 (YES in step S206), the process ends. If NG is received (NO in step S206), the process returns to step S201.
図１１は、図１０における元座標取得処理における処理手順を示したフローチャートである。この元座標取得処理で取得された元座標（ｓ、ｔ）がユーザの操作内容に対応しているので、以下で説明する元座標取得処理は、ソフトウェアキーに対するユーザの操作内容を取得する処理である。
図１１において、制御部１１は、カメラ１３で撮影された指の軌跡をトレースする（ステップＳ３０１）。その間、操作Ａ，Ｂ，Ｃのいずれかを検出したか否か判定する（ステップＳ３０２）。
FIG. 11 is a flowchart showing a processing procedure in the original coordinate acquisition processing in FIG. Since the original coordinates (s, t) acquired in this original coordinate acquisition process correspond to the user's operation content, the original coordinate acquisition process described below is a process for acquiring the user's operation content for the software key. is there.
In FIG. 11, the
操作Ａ，Ｂ，Ｃのいずれも検出していない場合には（ステップＳ３０２でＮＯ）、ステップＳ３０１に戻る。一方、操作Ａ，Ｂ，Ｃのいずれかを検出した場合には（ステップＳ３０２でＹＥＳ）、検出した時の指の位置を示す座標（ｓ、ｔ）を制御部１１に設けられたＲＡＭに記憶する（ステップＳ３０３）。
次いで、ＰＩＮの桁数分だけ元座標を取得したか否か判定し（ステップＳ３０４）、ＰＩＮの桁数分だけ元座標を取得した場合には（ステップＳ３０４でＹＥＳ）、本処理を終了し、ＰＩＮの桁数分だけ元座標を取得していない場合には（ステップＳ３０４でＮＯ）、ステップＳ３０１に戻る。
If none of operations A, B, and C has been detected (NO in step S302), the process returns to step S301. On the other hand, when any of the operations A, B, and C is detected (YES in step S302), the coordinates (s, t) indicating the position of the finger at the time of detection are stored in the RAM provided in the
Next, it is determined whether or not the original coordinates have been acquired for the number of digits of the PIN (step S304). If the original coordinates have been acquired for the number of digits of the PIN (YES in step S304), this processing is terminated. If the original coordinates are not acquired for the number of digits of PIN (NO in step S304), the process returns to step S301.
図１２は、第１の実施形態に係る情報処理装置２０における処理手順を示したフローチャートである。
図１２において、情報処理装置２０は、スマートグラス１０からＰＩＮ配列要求を受信する（ステップＳ４０１）。情報処理装置２０は、ＰＩＮ配列生成部２７でＰＩＮ配列情報を生成する（ステップＳ４０２）。このとき、上述したＰＩＮ配列情報が保持される。そして、生成されたＰＩＮ配列情報をスマートグラス１０に送信する（ステップＳ４０３）。
FIG. 12 is a flowchart illustrating a processing procedure in the
In FIG. 12, the
情報処理装置２０は、スマートグラス１０から元座標（ｓ、ｔ）と、ｘ１,ｘ２,ｙ１,ｙ２（図６，７参照）とを受信する（ステップＳ４０４）。そして、受信した元座標を座標変換部２４により変換する変換処理を行う（ステップＳ４０５）。
次いで、情報処理装置２０は、照合部２８が変換座標とＰＩＮ配列情報とを照合することでＰＩＮを取得する（ステップＳ４０６）。こうして、本実施の形態では、元座標である操作内容から、ユーザの操作により入力された文字列を取得する。
The
Next, the
情報処理装置２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ４０７）。情報処理装置２０は、ＯＫまたはＮＧを認証装置３０から受信し、受信したＯＫまたはＮＧをスマートグラス１０に送信する（ステップＳ４０８）。
そして、情報処理装置２０は、ＯＫを受信したか否か判定する（ステップＳ４０９）。ＯＫを受信した場合には（ステップＳ４０９でＹＥＳ）、サービスの提供を開始し（ステップＳ４１０）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ４０９でＮＯ）、そのまま本処理を終了する。
The
Then, the
図１３は、図１２における変換処理における処理手順を示したフローチャートである。図１３において、座標変換部２４は、ｘ１,ｘ２,ｙ１,ｙ２を取得し（ステップＳ５０１）、さらに元座標（ｓ、ｔ）を取得する（ステップＳ５０２）。これらを用いて、座標変換部２４は、式１により、変換座標（ｘ、ｙ）を求める（ステップＳ５０３）。
次いで、座標変換部２４は、ＰＩＮの桁数分だけ変換座標を取得したか否か判定し（ステップＳ５０４）、ＰＩＮの桁数分だけ変換座標を取得した場合には（ステップＳ５０４でＹＥＳ）、本処理を終了し、ＰＩＮの桁数分だけ変換座標を取得していない場合には（ステップＳ５０４でＮＯ）、ステップＳ５０２に戻る。
FIG. 13 is a flowchart showing a processing procedure in the conversion processing in FIG. In FIG. 13, the coordinate
Next, the coordinate
以上説明したように、第１の実施形態によれば、スマートグラス１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第１の実施形態におけるスマートグラス１０は、ＰＩＮ配列を表示し、元座標を取得するが、変換することなく情報処理装置２０に送信するので、スマートグラスの負荷を軽減することができる。なお、情報処理装置２０と認証装置３０は１つの装置で実現されていてもよい。
As described above, according to the first embodiment, since only the user wearing the
Moreover, although the
[第２の実施形態]
図１４は、本発明の第２の実施形態に係る認証システム１００のブロック図である。
認証システム１００は、スマートグラス１１０、情報処理装置１２０、及び認証装置３０を含んで構成される。スマートグラス１１０は、本実施形態において、ＰＩＮ配列情報を情報処理装置１２０から受信し、受信したＰＩＮ配列情報が示すＰＩＮ配列を表示して、そのＰＩＮ配列に対してユーザが行った操作Ａ，Ｂ，Ｃに対応する元座標（ｓ、ｔ）を変換して、変換座標を情報処理装置１２０に送信する。従って、本実施形態におけるスマートグラス１１０は、ＰＩＮ配列を表示し、元座標を取得するだけではなく、座標変換を行う構成となっている。
[Second Embodiment]
FIG. 14 is a block diagram of an
The
情報処理装置１２０は、スマートグラス１１０から変換座標を受信し、その変換座標とＰＩＮ配列情報とを照合してＰＩＮを取得する。情報処理装置１２０は、キャッシュカードからユーザを識別するＩＤを取得できるので、そのＩＤと取得したＰＩＮとを認証装置３０に送信する。情報処理装置１２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。認証装置３０は、第１の実施形態と同じであるので、説明を省略する。
The
次に各装置の構成について説明する。スマートグラス１１０は、制御部１１１、入力部１１７、ディスプレイ１１５、座標変換部１２４、及び通信部１１８を含んで構成される。
制御部１１１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、スマートグラス１１０全体を制御する。入力部１１７は、マイク１１２、カメラ１１３、及びタッチパネル１１４を含む。入力部１１７は、入力された内容を制御部１１１に出力したり、制御部１１１の指示により各種処理を行う。ディスプレイ１１５は、制御部１１１の指示により上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部１１８は、情報処理装置１２０と無線通信を行う。座標変換部１２４は、図７で説明した方法により、制御部１１１から出力された元座標を変換して変換座標を取得する。
Next, the configuration of each device will be described. The
The
情報処理装置１２０は、制御部１２１、入力部１２５、照合部１２８、ＰＩＮ配列生成部１２７、及び通信部１２６を含んで構成される。制御部１２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置１２０全体を制御する。入力部１２５は、キーパッド１２２、及びタッチパネル１２３を含む。入力部１２５は、入力された内容を制御部１２１に出力したり、制御部１２１の指示により各種処理を行う。
照合部１２８は、変換座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する。ＰＩＮ配列生成部１２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列情報を生成し、それを保持する。通信部１２６は、スマートグラス１１０及び認証装置３０と無線通信を行う。
The
The
図１５は、第２の実施形態におけるスマートグラス１１０、情報処理装置１２０、及び認証装置３０での処理を示すシーケンス図である。
図１５において、スマートグラス１１０は、ＰＩＮ配列要求を情報処理装置１２０に送信する（ステップＳ６０１）。情報処理装置１２０は、ＰＩＮ配列生成部１２７で生成されたＰＩＮ配列情報をスマートグラス１１０に送信する（ステップＳ６０２）。このとき、上述したＰＩＮ配列情報が保持される。
スマートグラス１１０は、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ１１５に表示する（ステップＳ６０３）。そして、ユーザの操作から元座標（ｓ、ｔ）を取得する（ステップＳ６０４）。
スマートグラス１１０は、元座標を座標変換部１２４により変換し（ステップＳ６０５）、変換座標（ｘ、ｙ）を情報処理装置１２０に送信する（ステップＳ６０６）。情報処理装置１２０は、受信した変換座標から照合部１２８によりＰＩＮを取得する（ステップＳ６０７）。
FIG. 15 is a sequence diagram illustrating processing in the
In FIG. 15, the
The
The
情報処理装置１２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ６０８）。認証装置３０は、受信したＰＩＮとＩＤから、認証部３２による認証処理を行い（ステップＳ６０９）、認証部３２が出力したＯＫまたはＮＧを情報処理装置１２０に送信する（ステップＳ６１０）。情報処理装置１２０は、ＯＫまたはＮＧをスマートグラス１１０に送信する（ステップＳ６１１）。情報処理装置１２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
The
図１６は、第２の実施形態に係るスマートグラス１１０における処理手順を示したフローチャートである。図１６において、スマートグラス１１０は、ＰＩＮ配列要求を情報処理装置１２０に送信する（ステップＳ７０１）。次いで、情報処理装置１２０からＰＩＮ配列情報を受信する（ステップＳ７０２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ１１５に表示する（ステップＳ７０３）。
FIG. 16 is a flowchart showing a processing procedure in the
次いで、上述した元座標取得処理（図１１参照）を行い（ステップＳ７０４）、さらに変換処理（図１３参照）を行う（ステップＳ７０５）。この元座標取得処理と変換処理により取得された変換座標（ｘ、ｙ）を情報処理装置１２０に送信する（ステップＳ７０６）。そして、情報処理装置１２０からＯＫを受信した場合には（ステップＳ７０７でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ７０７でＮＯ）、ステップＳ７０１に戻る。 Next, the above-described original coordinate acquisition process (see FIG. 11) is performed (step S704), and further the conversion process (see FIG. 13) is performed (step S705). The converted coordinates (x, y) acquired by the original coordinate acquisition process and the conversion process are transmitted to the information processing apparatus 120 (step S706). If OK is received from the information processing apparatus 120 (YES in step S707), the process ends. If NG is received (NO in step S707), the process returns to step S701.
図１７は、第２の実施形態に係る情報処理装置１２０における処理手順を示したフローチャートである。
図１７において、情報処理装置１２０は、スマートグラス１１０からＰＩＮ配列要求を受信する（ステップＳ８０１）。情報処理装置１２０は、ＰＩＮ配列生成部１２７でＰＩＮ配列情報を生成する（ステップＳ８０２）。このとき、ＰＩＮ配列情報が保持される。そして、生成されたＰＩＮ配列をスマートグラス１１０に送信する（ステップＳ８０３）。
FIG. 17 is a flowchart illustrating a processing procedure in the
In FIG. 17, the
情報処理装置１２０は、スマートグラス１１０から変換座標（ｘ、ｙ）を受信する（ステップＳ８０４）。そして、情報処理装置１２０は、照合部１２８が変換座標とＰＩＮ配列とを照合することでＰＩＮを取得する（ステップＳ８０５）。情報処理装置１２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ８０６）。情報処理装置１２０は、ＯＫまたはＮＧを認証装置３０から受信し、受信したＯＫまたはＮＧをスマートグラス１１０に送信する（ステップＳ８０７）。
そして、情報処理装置１２０は、ＯＫを受信したか否か判定する（ステップＳ８０８）。ＯＫを受信した場合には（ステップＳ８０８でＹＥＳ）、サービスの提供を開始し（ステップＳ８０９）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ８０８でＮＯ）、そのまま本処理を終了する。
The
Then, the
以上説明したように、第２の実施形態によれば、スマートグラス１１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第２の実施形態におけるスマートグラス１１０は、ＰＩＮ配列を表示し、元座標を取得し、変換座標を情報処理装置１２０に送信するので、第１の実施形態と比較して、スマートグラス１１０と情報処理装置１２０との間のトラヒックの軽減でき、さらに情報処理装置１２０の負荷を軽減することができる。なお、情報処理装置１２０と認証装置３０は１つの装置で実現されていてもよい。
As described above, according to the second embodiment, since only the user wearing the
In addition, the
[第３の実施形態]
図１８は、本発明の第３の実施形態に係る認証システム２００のブロック図である。
認証システム２００は、スマートグラス２１０、情報処理装置２２０、及び認証装置３０を含んで構成される。スマートグラス２１０は、本実施形態において、ＰＩＮ配列情報を情報処理装置２２０から受信し、受信したＰＩＮ配列を表示して、そのＰＩＮ配列に対してユーザが行った操作Ａ，Ｂ，Ｃに対応する元座標（ｓ、ｔ）を変換する。さらに、スマートグラス２１０は、変換座標とＰＩＮ配列情報とを照合してＰＩＮを取得し、ＰＩＮを情報処理装置２２０に送信する。従って、本実施形態におけるスマートグラス２１０は、ＰＩＮ配列情報が示すＰＩＮ配列を表示し、元座標を取得し、座標変換し、ＰＩＮ配列情報との照合を行うことでＰＩＮを取得する構成となっている。
[Third embodiment]
FIG. 18 is a block diagram of an
The
情報処理装置２２０は、スマートグラス２１０からＰＩＮを受信し、キャッシュカードからユーザを識別するＩＤを取得できるので、そのＩＤと受信したＰＩＮとを認証装置３０に送信する。情報処理装置２２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。認証装置３０は、第１の実施形態と同じであるので、説明を省略する。
Since the
次に各装置の構成について説明する。スマートグラス２１０は、制御部２１１、入力部２１７、ディスプレイ２１５、座標変換部２２４、照合部２２８、及び通信部２１８を含んで構成される。
制御部２１１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、スマートグラス２１０全体を制御する。入力部２１７は、マイク２１２、カメラ２１３、及びタッチパネル２１４を含む。入力部２１７は、入力された内容を制御部２１１に出力したり、制御部２１１の指示により各種処理を行う。ディスプレイ２１５は、制御部２１１の指示により上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部２１８は、情報処理装置２２０と無線通信を行う。座標変換部２２４は、図７で説明した方法により、制御部２１１から出力された元座標を変換して変換座標を取得する。照合部２２８は、座標変換部２２４が出力した変換座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する。
Next, the configuration of each device will be described. The
The
情報処理装置２２０は、制御部２２１、入力部２２５、ＰＩＮ配列生成部２２７、及び通信部２２６を含んで構成される。制御部２２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置２２０全体を制御する。入力部２２５は、キーパッド２２２、及びタッチパネル２２３を含む。入力部２２５は、入力された内容を制御部２２１に出力したり、制御部２２１の指示により各種処理を行う。ＰＩＮ配列生成部２２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列を生成し、上述したＰＩＮ配列情報を保持する。ここで保持されたＰＩＮ配列情報は、スマートグラス２１０に送信される。通信部２２６は、スマートグラス２１０及び認証装置３０と無線通信を行う。
The
図１９は、第３の実施形態におけるスマートグラス２１０、情報処理装置２２０、及び認証装置３０での処理を示すシーケンス図である。
図１９において、スマートグラス２１０は、ＰＩＮ配列要求を情報処理装置２２０に送信する（ステップＳ９０１）。情報処理装置２２０は、ＰＩＮ配列生成部２２７で生成されたＰＩＮ配列情報をスマートグラス２１０に送信する（ステップＳ９０２）。
スマートグラス２１０は、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ２１５に表示する（ステップＳ９０３）。そして、ユーザの操作から元座標（ｓ、ｔ）を取得する（ステップＳ９０４）。
スマートグラス２１０は、元座標を座標変換部２２４により変換し（ステップＳ９０５）、変換座標から照合部２２８によりＰＩＮを取得し（ステップＳ９０６）、ＰＩＮを情報処理装置２２０に送信する（ステップＳ９０７）。
FIG. 19 is a sequence diagram illustrating processing in the
In FIG. 19, the
The
The
情報処理装置２２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ９０８）。認証装置３０は、受信したＰＩＮとＩＤから、認証部３２による認証処理を行い（ステップＳ９０９）、認証部３２が出力したＯＫまたはＮＧを情報処理装置２２０に送信する（ステップＳ９１０）。情報処理装置２２０は、ＯＫまたはＮＧをスマートグラス２１０に送信する（ステップＳ９１１）。情報処理装置２２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
The
図２０は、第３の実施形態に係るスマートグラス２１０における処理手順を示したフローチャートである。図２０において、スマートグラス２１０は、ＰＩＮ配列要求を情報処理装置２２０に送信する（ステップＳ１００１）。次いで、情報処理装置２２０からＰＩＮ配列情報を受信する（ステップＳ１００２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ２１５に表示する（ステップＳ１００３）。
FIG. 20 is a flowchart illustrating a processing procedure in the
次いで、上述した元座標取得処理（図１１参照）を行い（ステップＳ１００４）、さらに変換処理（図１３参照）を行う（ステップＳ１００５）。次いで、スマートグラス２１０は、照合部２２８が変換座標とＰＩＮ配列情報とを照合することでＰＩＮを取得し（ステップＳ１００６）、ＰＩＮを情報処理装置２２０に送信する（ステップＳ１００７）。
そして、情報処理装置２２０からＯＫを受信した場合には（ステップＳ１００８でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ１００８でＮＯ）、ステップＳ１００１に戻る。
Next, the above-described original coordinate acquisition process (see FIG. 11) is performed (step S1004), and the conversion process (see FIG. 13) is further performed (step S1005). Next, in the
If OK is received from the information processing apparatus 220 (YES in step S1008), the process ends. If NG is received (NO in step S1008), the process returns to step S1001.
図２１は、第３の実施形態に係る情報処理装置２２０における処理手順を示したフローチャートである。
図２１において、情報処理装置２２０は、スマートグラス２１０からＰＩＮ配列要求を受信する（ステップＳ１１０１）。情報処理装置２２０は、ＰＩＮ配列生成部２２７でＰＩＮ配列情報を生成する（ステップＳ１１０２）。そして、生成されたＰＩＮ配列情報をスマートグラス２１０に送信する（ステップＳ１１０３）。
FIG. 21 is a flowchart illustrating a processing procedure in the
In FIG. 21, the
情報処理装置２２０は、スマートグラス２１０からＰＩＮを受信する（ステップＳ１１０４）。そして、情報処理装置２２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ１１０５）。情報処理装置２２０は、ＯＫまたはＮＧを認証装置３０から受信し、受信したＯＫまたはＮＧをスマートグラス２１０に送信する（ステップＳ１１０６）。
そして、情報処理装置２２０は、ＯＫを受信したか否か判定する（ステップＳ１１０７）。ＯＫを受信した場合には（ステップＳ１１０７でＹＥＳ）、サービスの提供を開始し（ステップＳ１１０８）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ１１０７でＮＯ）、そのまま本処理を終了する。
The
Then, the
以上説明したように、第３の実施形態によれば、スマートグラス２１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第３の実施形態におけるスマートグラス２１０は、ＰＩＮ配列を表示し、元座標を取得し、座標変換し、ＰＩＮ配列情報との照合を行うことでＰＩＮを取得して、ＰＩＮを情報処理装置２２０に送信するので、第１の実施形態と比較して、情報処理装置２２０の負荷を軽減することができる。なお、情報処理装置２２０と認証装置３０は１つの装置で実現されていてもよい。
As described above, according to the third embodiment, since only the user wearing the
In addition, the
[第４の実施形態]
図２２は、本発明の第４の実施形態に係る認証システム３００のブロック図である。
第４の実施形態が第１〜３の実施形態と異なる大きな点は、スマートグラス３１０が認証装置３３０にＰＩＮとＩＤを直接送信する点である。スマートグラス３１０が認証装置にＩＤを送信するためには、情報処理装置３２０が取得しているＩＤを送信してもらうか、ユーザに入力させるか、予めスマートグラス３１０が記憶しておくことが考えられるが、ここでは情報処理装置３２０がキャッシュカードの挿入により既にＩＤを取得しているため、情報処理装置３２０がスマートグラス３１０にＩＤを送信する構成としている。
[Fourth Embodiment]
FIG. 22 is a block diagram of an
The major difference between the fourth embodiment and the first to third embodiments is that the
第４の実施形態において、認証システム３００は、スマートグラス３１０、情報処理装置３２０、及び認証装置３３０を含んで構成される。スマートグラス３１０は、上述したようにＩＤとＰＩＮ配列情報とを情報処理装置３２０から受信し、受信したＰＩＮ配列情報が示すＰＩＮ配列を表示して、そのＰＩＮ配列に対してユーザが行った操作Ａ，Ｂ，Ｃに対応する元座標（ｓ、ｔ）を変換する。さらに、スマートグラス３１０は、変換座標とＰＩＮ配列情報とを照合してＰＩＮを取得し、ＰＩＮとＩＤとを認証装置３３０に送信する。従って、本実施形態におけるスマートグラス３１０は、ＩＤを取得し、ＰＩＮ配列を表示し、元座標を取得し、座標変換し、ＰＩＮ配列との照合を行うことでＰＩＮを取得し、ＰＩＮとＩＤとを認証装置３３０に送信する構成となっている。
In the fourth embodiment, the
情報処理装置３２０は、スマートグラス３１０へＰＩＮ配列情報の送信とともにＩＤを送信する。そして、情報処理装置３２０は、認証装置３３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
The
認証装置３３０は、ＩＤとＰＩＮが正規のＩＤとＰＩＮであればＯＫを送信し、そうでなければＮＧを送信する。
The
次に各装置の構成について説明する。スマートグラス３１０は、制御部３１１、入力部３１７、ディスプレイ３１５、座標変換部３２４、照合部３２８、及び通信部３１８を含んで構成される。
制御部３１１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、スマートグラス３１０全体を制御する。入力部３１７は、マイク３１２、カメラ３１３、及びタッチパネル３１４を含む。入力部３１７は、入力された内容を制御部３１１に出力したり、制御部３１１の指示により各種処理を行う。ディスプレイ３１５は、制御部３１１の指示により上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部３１８は、情報処理装置３２０及び認証装置３３３と無線通信を行う。座標変換部３２４は、図７で説明した方法により、制御部３１１から出力された元座標を変換して変換座標を取得する。照合部３２８は、座標変換部３２４が出力した変換座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する。
Next, the configuration of each device will be described. The
The
情報処理装置３２０は、制御部３２１、入力部３２５、ＰＩＮ配列生成部３２７、及び通信部３２６を含んで構成される。制御部３２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置３２０全体を制御する。入力部３２５は、キーパッド３２２、及びタッチパネル３２３を含む。入力部３２５は、入力された内容を制御部３２１に出力したり、制御部３２１の指示により各種処理を行う。ＰＩＮ配列生成部３２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列情報を生成し、それを保持する。ここで保持されたＰＩＮ配列情報は、スマートグラス２１０に送信される。通信部３２６は、スマートグラス３１０及び認証装置３３０と無線通信を行う。
The
認証装置３３０は、制御部３３１、認証部３３２、ＤＢ３３３、及び通信部３３４を含んで構成される。制御部３３１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、認証装置３３０全体を制御する。認証部３３２は、スマートグラス３１０から受信したＩＤとＰＩＮから、ＤＢ３３３を参照して認証処理を行い、認証された場合にはＯＫを出力し、認証されなかった場合にＮＧを出力する。出力されたＯＫ／ＮＧは、スマートグラス３１０及び情報処理装置３２０に送信される。通信部３３４は、スマートグラス３１０及び情報処理装置３２０と無線通信を行う。
The
図２３は、第４の実施形態におけるスマートグラス３１０、情報処理装置３２０、及び認証装置３３０での処理を示すシーケンス図である。
図２３において、スマートグラス３１０は、ＰＩＮ配列要求を情報処理装置３２０に送信する（ステップＳ１２０１）。情報処理装置３２０は、ＰＩＮ配列生成部３２７で生成されたＰＩＮ配列情報とキャッシュカードにより取得したＩＤとをスマートグラス３１０に送信する（ステップＳ１２０２）。
FIG. 23 is a sequence diagram illustrating processing in the
In FIG. 23, the
スマートグラス３１０は、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ３１５に表示する（ステップＳ１２０３）。そして、ユーザの操作から元座標（ｓ、ｔ）を取得する（ステップＳ１２０４）。
スマートグラス３１０は、元座標を座標変換部３２４により変換し（ステップＳ１２０５）、変換座標から照合部３２８によりＰＩＮを取得し（ステップＳ１２０６）、ＰＩＮとＩＤとを認証装置３３０に送信する（ステップＳ１２０７）。
The
The
認証装置３３０は、受信したＰＩＮとＩＤから、認証部３３２による認証処理を行い（ステップＳ１２０８）、認証部３３２が出力したＯＫまたはＮＧを情報処理装置３２０及びスマートグラス３１０に送信する（ステップＳ１２０９）。情報処理装置３２０は、認証装置３３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
なお、上記処理において、認証装置３３０はスマートグラス３１０と情報処理装置３２０にＯＫ／ＮＧを送信しているが、これに限らず、情報処理装置３２０のみにＯＫ／ＮＧを送信し、スマートグラス３１０は他の実施形態と同じく、情報処理装置３２０からＯＫ／ＮＧを受信するようにしてもよい。
The
In the above process, the
図２４は、第４の実施形態に係るスマートグラス３１０における処理手順を示したフローチャートである。図２４において、スマートグラス３１０は、ＰＩＮ配列要求を情報処理装置３２０に送信する（ステップＳ１３０１）。次いで、情報処理装置２２０からＰＩＮ配列情報とＩＤとを受信する（ステップＳ１３０２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ２１５に表示する（ステップＳ１３０３）。
FIG. 24 is a flowchart showing a processing procedure in the
次いで、上述した元座標取得処理（図１１参照）を行い（ステップＳ１３０４）、さらに変換処理（図１３参照）を行う（ステップＳ１３０５）。さらに、スマートグラス２１０は、照合部３２８が変換座標とＰＩＮ配列情報とを照合することでＰＩＮを取得し（ステップＳ１３０６）、ＰＩＮとＩＤとを認証装置３３０に送信する（ステップＳ１３０７）。
そして、認証装置３３０からＯＫを受信した場合には（ステップＳ１３０８でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ１３０８でＮＯ）、ステップＳ１３０１に戻る。
Next, the above-described original coordinate acquisition process (see FIG. 11) is performed (step S1304), and the conversion process (see FIG. 13) is further performed (step S1305). Further, in the
If OK is received from the authentication device 330 (YES in step S1308), the process ends. If NG is received (NO in step S1308), the process returns to step S1301.
図２５は、第４の実施形態に係る情報処理装置３２０における処理手順を示したフローチャートである。
図２５において、情報処理装置３２０は、スマートグラス３１０からＰＩＮ配列要求を受信する（ステップＳ１４０１）。情報処理装置３２０は、ＰＩＮ配列生成部３２７でＰＩＮ配列情報を生成する（ステップＳ１４０２）。そして、生成されたＰＩＮ配列情報とキャッシュカードから取得したＩＤとをスマートグラス３１０に送信する（ステップＳ１４０３）。
FIG. 25 is a flowchart illustrating a processing procedure in the
In FIG. 25, the
情報処理装置３２０は、ＯＫまたはＮＧを認証装置３３０から受信する（ステップＳ１４０４）。情報処理装置３２０は、ＯＫを受信したか否か判定する（ステップＳ１４０５）。ＯＫを受信した場合には（ステップＳ１４０５でＹＥＳ）、サービスの提供を開始し（ステップＳ１４０６）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ１４０５でＮＯ）、そのまま本処理を終了する。
The
以上説明したように、第４の実施形態によれば、スマートグラス３１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。
また、第４の実施形態におけるスマートグラス３１０は、ＩＤを取得し、ＰＩＮ配列を表示し、元座標を取得し、座標変換し、ＰＩＮ配列情報との照合を行うことでＰＩＮを取得して、さらにＰＩＮとＩＤとを認証装置３３０に送信するので、第１の実施形態と比較して、情報処理装置２２０の負荷を軽減することができる。なお、情報処理装置３２０と認証装置３３０は１つの装置で実現されていてもよい。
As described above, according to the fourth embodiment, since only the user wearing the
Further, the
[第５の実施形態]
第５の実施形態が第１〜４の実施形態と異なる大きな点は、ユーザがＰＩＮを情報処理装置に入力するという点である。
図２６は、第５の実施形態でのユーザの入力例を示す図である。図２６には、スマートグラスのレンズ枠１００２、ＰＩＮ配列１００４、ＡＴＭ画面１１００、ブランクキーボード１１０１、及びユーザの指１００３が示されている。
図２６に示されるように、ユーザはレンズ枠１００２内のＰＩＮ配列１００４を確認できる。一方、情報処理装置のＡＴＭ画面１１００に設けられたソフトキーはブランクキーボード１１０１となっている。
ＰＩＮ配列１００４及びブランクキーボード１１０１は、ともに４×３のマスからなっているので、ＰＩＮ配列１００４及びブランクキーボード１１０１のマスは１対１で対応している。
[Fifth Embodiment]
The major difference between the fifth embodiment and the first to fourth embodiments is that the user inputs a PIN to the information processing apparatus.
FIG. 26 is a diagram illustrating an example of user input in the fifth embodiment. FIG. 26 shows a
As shown in FIG. 26, the user can confirm the
Since both the
そこで、ユーザは、ＰＩＮ配列１００４のマスに対応するブランクキーボード１１０１のソフトキーをタッチすることで、ＰＩＮを入力することができる。
図２７は、本発明の第５の実施形態に係る認証システム４００のブロック図である。
第５の実施形態において、認証システム４００は、スマートグラス４１０、情報処理装置４２０、及び認証装置４３０を含んで構成される。スマートグラス４１０は、ＰＩＮ配列情報を情報処理装置４２０から受信し、受信したＰＩＮ配列情報が示すＰＩＮ配列を表示する。従って、本実施形態におけるスマートグラス４１０は、ＰＩＮ配列を表示する構成となっている。
Therefore, the user can input the PIN by touching the soft key of the
FIG. 27 is a block diagram of an
In the fifth embodiment, the
情報処理装置４２０は、スマートグラス４１０へＰＩＮ配列情報を送信する。そして、情報処理装置４２０は、ブランクキーボード１１０１をタッチパネル４２３に表示する。照合部４２８は、タッチパネル４２３に表示されたブランクキーボード１１０１にユーザがタッチしたソフトキーの座標とＰＩＮ配列情報とを照合することにより、ＰＩＮを取得する。
情報処理装置４２０は、キャッシュカードからユーザを識別するＩＤを取得できるので、そのＩＤと取得したＰＩＮとを認証装置３０に送信する。情報処理装置４２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。認証装置３０は、第１の実施形態と同じであるので、説明を省略する。
The
Since the
次に各装置の構成について説明する。スマートグラス４１０は、制御部４１１、入力部４１７、ディスプレイ４１５、及び通信部４１８を含んで構成される。
制御部４１１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、スマートグラス４１０全体を制御する。入力部４１７は、マイク４１２、カメラ４１３、及びタッチパネル４１４を含む。入力部４１７は、入力された内容を制御部４１１に出力したり、制御部４１１の指示により各種処理を行う。ディスプレイ４１５は、制御部４１１の指示により上述したＰＩＮ配列の他に、画像やアプリケーションの画面などを表示する。通信部４１８は、情報処理装置４２０と無線通信を行う。
Next, the configuration of each device will be described. The
The
情報処理装置４２０は、制御部４２１、入力部４２５、ＰＩＮ配列生成部４２７、及び通信部４２６を含んで構成される。制御部４２１は、ＣＰＵやＲＯＭ、ＲＡＭなどの記憶装置を含み、情報処理装置４２０全体を制御する。入力部４２５は、キーパッド４２２、及びタッチパネル４２３を含む。入力部４２５は、入力された内容を制御部４２１に出力したり、制御部４２１の指示により各種処理を行う。
The
特に本実施形態において、タッチパネル４２３はユーザがタッチした座標を照合部４２８に出力する。ＰＩＮ配列生成部４２７は、ＰＩＮ配列１０００のように、番号を整列させたＰＩＮ配列や、ＰＩＮ配列１００１のようにランダムなＰＩＮ配列を示すＰＩＮ配列情報を生成する。照合部４２８は、タッチパネル４２３が出力した座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する。通信部４２６は、スマートグラス４１０及び認証装置３０と無線通信を行う。
In particular, in the present embodiment, the
図２８は、第５の実施形態におけるスマートグラス４１０、情報処理装置４２０、及び認証装置３０での処理を示すシーケンス図である。
図２８において、スマートグラス４１０は、ＰＩＮ配列要求を情報処理装置４２０に送信する（ステップＳ１５０１）。情報処理装置４２０は、ＰＩＮ配列生成部４２７で生成されたＰＩＮ配列情報をスマートグラス４１０に送信する（ステップＳ１５０２）。このとき、上述したＰＩＮ配列情報が保持される。
スマートグラス４１０は、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ４１５に表示する（ステップＳ１５０３）。
FIG. 28 is a sequence diagram illustrating processing in the
In FIG. 28, the
The
一方、情報処理装置４２０において、ブランクキーボード１１０１にユーザがタッチしたソフトキーの座標をタッチパネル４２３が取得する（ステップＳ１５０４）。次いで、照合部４２８は、タッチパネル４２３が出力した座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する（ステップＳ１５０５）。
情報処理装置４２０は、ＰＩＮとＩＤとを認証装置４３０に送信する（ステップＳ１５０６）。認証装置３０は、受信したＰＩＮとＩＤから、認証部３２による認証処理を行い（ステップＳ１５０７）、認証部３２が出力したＯＫまたはＮＧを情報処理装置４２０に送信する（ステップＳ１５０８）。情報処理装置４２０は、ＯＫまたはＮＧをスマートグラス４１０に送信する（ステップＳ１５０９）。情報処理装置４２０は、認証装置３０からＯＫを受信すると、サービスをユーザに提供し、ＮＧを受信すると、サービスをユーザに提供しない。
On the other hand, in the
The
図２９は、第５の実施形態に係るスマートグラス４１０における処理手順を示したフローチャートである。図２９において、スマートグラス４１０は、ＰＩＮ配列要求を情報処理装置４２０に送信する（ステップＳ１６０１）。次いで、情報処理装置４２０からＰＩＮ配列情報を受信する（ステップＳ１６０２）。そして、受信したＰＩＮ配列情報が示すＰＩＮ配列をディスプレイ４１５に表示する（ステップＳ１６０３）。
そして、情報処理装置４２０からＯＫを受信した場合には（ステップＳ１６０４でＹＥＳ）、本処理を終了し、ＮＧを受信した場合には（ステップＳ１６０４でＮＯ）、ステップＳ１６０１に戻る。
FIG. 29 is a flowchart showing a processing procedure in the
If OK is received from the information processing apparatus 420 (YES in step S1604), the process ends. If NG is received (NO in step S1604), the process returns to step S1601.
図３０は、第５の実施形態に係る情報処理装置４２０における処理手順を示したフローチャートである。
図３０において、情報処理装置４２０は、スマートグラス４１０からＰＩＮ配列要求を受信する（ステップＳ１７０１）。情報処理装置４２０は、ＰＩＮ配列生成部４２７でＰＩＮ配列情報を生成する（ステップＳ１７０２）。このとき、上述したＰＩＮ配列情報が保持される。そして、生成されたＰＩＮ配列情報をスマートグラス４１０に送信する（ステップＳ１７０３）。
次いで、ブランクキーボード１１０１にユーザがタッチしたソフトキーの座標をタッチパネル４２３が取得する（ステップＳ１７０４）。次いで、照合部４２８は、タッチパネル４２３が出力した座標とＰＩＮ配列情報とを照合し、入力されたＰＩＮを取得する（ステップＳ１７０５）。
FIG. 30 is a flowchart showing a processing procedure in the
In FIG. 30, the
Next, the
情報処理装置４２０は、ＰＩＮとＩＤとを認証装置３０に送信する（ステップＳ１７０６）。情報処理装置４２０は、ＯＫまたはＮＧを認証装置３０から受信し、受信したＯＫまたはＮＧをスマートグラス４１０に送信する（ステップＳ１７０７）。
そして、情報処理装置４２０は、ＯＫを受信したか否か判定する（ステップＳ１７０８）。ＯＫを受信した場合には（ステップＳ１７０８でＹＥＳ）、サービスの提供を開始し（ステップＳ１７０９）、本処理を終了する。一方、ＮＧを受信した場合には（ステップＳ１７０８でＮＯ）、そのまま本処理を終了する。
The
Then, the
以上説明したように、第５の実施形態によれば、スマートグラス３１０を装着したユーザのみＰＩＮ配列が目視可能であるため、ＰＩＮ配列が他人に盗み見されることはないので、秘密情報を安全に入力可能となっている。なお、情報処理装置４２０と認証装置３０は１つの装置で実現されていてもよい。
また、第５の実施形態におけるスマートグラス３１０は、ＰＩＮ配列を表示するのみであるため、スマートグラス３１０の負荷を軽減することができる。さらに、認証システム４００全体として、元座標の取得や座標の変換が不要となるため、各装置の負荷を軽減することができる。また、ブランクキーボードを表示する処理やタッチされた座標を取得して、ＰＩＮ配列情報と照合する処理は、従来のＡＴＭにおける処理を流用することができる。
このように、本実施形態によれば、予め定められたユーザであるスマートグラスを装着したユーザが目視可能な透過型ディスプレイに文字列を入力するためのソフトウェアキーを表示し、表示されたソフトウェアキーに対するユーザの操作内容である元座標を取得し、取得された操作内容から、ユーザの操作により入力された文字列を取得し、取得された文字列を用いて、認証処理を実行するので、秘密情報を安全に入力可能となっている。
なお、以上説明した各実施形態では、ウェアラブルデバイスの例として、スマートグラスを用いたが、スマートグラスに代えて、ヘッドマウントディスプレイを用いるようにしてもよい。
As described above, according to the fifth embodiment, since only the user wearing the
Moreover, since the
As described above, according to the present embodiment, the software key for inputting the character string is displayed on the transmissive display visible to the user wearing the smart glass as the predetermined user, and the displayed software key is displayed. The original coordinates that are the user's operation contents for the user are acquired, the character string input by the user's operation is acquired from the acquired operation contents, and the authentication process is executed using the acquired character string. Information can be entered safely.
In each embodiment described above, smart glasses are used as an example of a wearable device, but a head mounted display may be used instead of smart glasses.
[第６の実施形態]
スマートグラスは、ユーザの頭部に装着されるため、ユーザの頭部が動いた場合、それに伴い透過型ディスプレイも動くことから、誤入力が発生する可能性がある。従って、透過型ディスプレイの動きに応じて生じるズレを補正する必要がある。そこで、第６の実施形態では、図１１で説明した元座標を取得する元座標取得処理において、透過型ディスプレイの動きに応じて、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する補正処理について説明する。元座標取得処理は、第１〜第４実施形態において共通の処理であるため、この補正処理は第１〜第４実施形態に適用される。なお、透過型ディスプレイは、ユーザの頭部に一体的に装着されることから、ユーザの頭部（または顔）の動きに伴って透過型ディスプレイが動くため、以下の説明では、透過型ディスプレイの動きを、頭部または顔の動きと表現することがある。
[Sixth Embodiment]
Since the smart glasses are attached to the user's head, when the user's head moves, the transmissive display also moves with the movement, which may cause an erroneous input. Therefore, it is necessary to correct the deviation that occurs according to the movement of the transmissive display. Therefore, in the sixth embodiment, in the original coordinate acquisition process for acquiring the original coordinates described with reference to FIG. 11, the specified position indicating the position specified by the user according to the movement of the transmissive display, and the software key A correction process for correcting the relative position will be described. Since the original coordinate acquisition process is a process common to the first to fourth embodiments, this correction process is applied to the first to fourth embodiments. Since the transmissive display is integrally attached to the user's head, the transmissive display moves in accordance with the movement of the user's head (or face). Movement may be expressed as head or face movement.
図３１は、第１〜第４実施形態におけるスマートグラス１０、１１０、２１０、３１０に、頭部の動きを示す物理量を検出する検出部としての加速度センサＡＳを設けた構成を示す図である。図３１（Ａ）は、第１実施形態のスマートグラス１０に加速度センサＡＳを設けた構成を示す図である。図３１（Ｂ）は、第２実施形態のスマートグラス１１０に加速度センサＡＳを設けた構成を示す図である。図３１（Ｃ）は、第３、４実施形態のスマートグラス２１０、３１０に加速度センサＡＳを設けた構成を示す図である。
いずれの実施形態においても、加速度センサＡＳは制御部１１、１１１、２１１、３１１に接続する。そして、加速度センサＡＳが検出する物理量は、透過型ディスプレイのパン方向の回転角及びチルト方向の回転角である。加速度センサＡＳは、回転角を定期的（例えば１０ミリ秒ごと）に検出し、検出するたびに回転角を制御部１１、１１１、２１１、３１１に通知する。
FIG. 31 is a diagram illustrating a configuration in which an acceleration sensor AS as a detection unit that detects a physical quantity indicating the movement of the head is provided in the
In any embodiment, the acceleration sensor AS is connected to the
制御部１１、１１１、２１１、３１１が実行する補正処理では、加速度センサＡＳが検出したパン方向の回転角及びチルト方向の回転角に基づき、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する。なお、スマートグラス１０、１１０、２１０、３１０における補正処理は、いずれの構成であっても同じ処理となることから、以下の実施形態では便宜的にスマートグラス１０及びその構成を用いて説明する。
In the correction process executed by the
図３１で示した構成で実行される補正処理では、現実世界での距離と画面内での距離を対応付けておく必要がある。図３２は、現実世界での距離と、ディスプレイ１５の画面内での距離との対応を説明するための図である。
まず、図３２（Ａ）に示されるように、ユーザが例えば長さｍ１の基準物（例えば物差し）２０００Ｒを腕に持ち、それをスマートグラス１０のカメラ１３で撮影することで、図３２（Ｂ）に示されるように、ディスプレイ１５の画面内での長さがｍ２の基準物２０００Ｖが表示される。これは、ユーザが長さＡの腕を伸ばした状態で操作したときの現実世界での距離とディスプレイ１５の画面内での距離の対応を示している。
In the correction processing executed with the configuration shown in FIG. 31, it is necessary to associate the distance in the real world with the distance in the screen. FIG. 32 is a diagram for explaining the correspondence between the distance in the real world and the distance in the screen of the
First, as shown in FIG. 32A, the user holds, for example, a reference object (for example, a ruler) 2000R having a length m1 in his / her arm and shoots it with the
従って、まずスマートグラス１０に物差しの長さｍ１を予め登録しておき、スマートグラス１０が長さｍ２を検出することで、現実世界での距離ｄと画面内での距離Ｄは、ｍ１：ｍ２＝ｄ：Ｄで対応付けられる。以下、ｍ２／ｍ１をｍとし（Ｄ＝ｍｄ）、制御部１１は、このｍを保持しておく。
次に、頭部の動きをパン方向とチルト方向の２軸の回転角で検出したときの画面内での距離について説明する。まず、スマートグラス１０の加速度センサＡＳは、上述したようにパン方向の回転角θとチルト方向の回転角φとを定期的に検出する。
Therefore, first, the length m1 of the ruler is registered in advance in the
Next, the distance in the screen when the movement of the head is detected with the rotation angles of the two axes in the pan direction and the tilt direction will be described. First, the acceleration sensor AS of the
図３３は、頭部が動いたことによる現実世界での距離と画面内での距離との対応を示す図である。本実施形態では、右方向及び上方向をプラス方向とし、左方向及び下方向をマイナス方向と定義している。加速度センサＡＳは、検出した方向に従って、回転角に符号をつけて通知するものとする。まず図３３（Ａ）を用いてパン方向の距離について説明する。
加速度センサＡＳから、左右いずれかの方向の回転角θが取得された場合、ユーザの腕の長さがＡであるので、現実世界での距離ｘは、余弦定理によりｘ＝２Ａ（１−ｃｏｓθ）１／２となる。従って、画面内での距離Ｘは、上記ｍを用いてＸ＝ｍｘ…（式２）となる。
FIG. 33 is a diagram illustrating the correspondence between the distance in the real world and the distance in the screen due to the movement of the head. In the present embodiment, the right direction and the upward direction are defined as positive directions, and the left direction and the downward direction are defined as negative directions. It is assumed that the acceleration sensor AS notifies the rotation angle with a sign according to the detected direction. First, the distance in the pan direction will be described with reference to FIG.
When the rotation angle θ in either the left or right direction is acquired from the acceleration sensor AS, the length of the user's arm is A, and therefore the distance x in the real world is x = 2A (1−cos θ) according to the cosine theorem. ) 1/2 . Accordingly, the distance X in the screen is expressed as X = mx (Expression 2) using m.
次に、図３３（Ｂ）を用いてチルト方向の距離について説明する。加速度センサＡＳから、上下いずれかの方向の回転角φが取得された場合、ユーザの腕の長さがＡであるので、現実世界での距離ｙは、余弦定理によりｙ＝２Ａ（１−ｃｏｓφ）１／２となる。従って、画面内での距離Ｙは、上記ｍを用いてＹ＝ｍｙ…（式３）となる。 Next, the distance in the tilt direction will be described with reference to FIG. When the rotation angle φ in either the upper or lower direction is acquired from the acceleration sensor AS, the length of the user's arm is A. Therefore, the distance y in the real world is y = 2A (1−cos φ by the cosine theorem. ) 1/2 . Therefore, the distance Y in the screen is Y = my (Expression 3) using m.
このようにして得られた補正量Ｘ、Ｙを用いて補正が行われる。本実施形態では、上述したように、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する。具体的に、本実施形態に係る補正処理は２つある。
１つは、算出された指定位置（以下、「ポインタ」ともいう）の補正量Ｘ、Ｙに応じて、ポインタをソフトウェアキーに対して移動させることにより、ポインタと、ソフトウェアキーとの相対位置を補正する補正処理（以下、「ポインタ補正処理」という）である。もう１つは、算出されたソフトウェアキーの補正量Ｘ、Ｙに応じて、ソフトウェアキーをポインタに対して移動させることにより、ポインタと、ソフトウェアキーとの相対位置を補正する補正処理（以下、「ソフトウェアキー補正処理」という）である。これらの補正処理を説明するために、以下の説明では、図７（Ａ）で示した画像表示領域１０５１の座標を絶対座標と表現する。
Correction is performed using the correction amounts X and Y thus obtained. In the present embodiment, as described above, the relative position between the designated position representing the position designated by the user and the software key is corrected. Specifically, there are two correction processes according to the present embodiment.
One is that the relative position between the pointer and the software key is changed by moving the pointer with respect to the software key according to the correction amounts X and Y of the calculated designated position (hereinafter also referred to as “pointer”). This is correction processing to be corrected (hereinafter referred to as “pointer correction processing”). The other is a correction process for correcting the relative position between the pointer and the software key by moving the software key with respect to the pointer in accordance with the calculated correction amounts X and Y of the software key (hereinafter, “ Software key correction process). In order to describe these correction processes, in the following description, the coordinates of the
図３４は、ポインタと、ソフトウェアキーとの相対位置の補正例を示す図である。図３４では、パン方向の一例として右方向、チルト方向の一例として上方向に顔が向いた場合の補正例を示している。
まず、ポインタ補正処理について説明する。顔が右方向に向いた場合、ポインタＰは、ソフトウェアキーＳＫの左側に移動することとなる。それを補正するためには、図３４（Ａ）のポインタＰ’に示されるように、右側にポインタＰを移動させる。
FIG. 34 is a diagram illustrating a correction example of the relative position between the pointer and the software key. FIG. 34 shows a correction example when the face is directed to the right as an example of the pan direction and upward as an example of the tilt direction.
First, the pointer correction process will be described. When the face turns to the right, the pointer P moves to the left side of the software key SK. In order to correct this, the pointer P is moved to the right as indicated by the pointer P ′ in FIG.
一方、顔が左方向に向いた場合は図示していないが、右方向の場合とは逆に、左側にポインタＰを移動させることで補正する。よって、パン方向におけるポインタ補正処理では、顔が向いた方向と同方向にポインタを移動させる補正を行うこととなる。
次に、顔が上方向に向いた場合、ポインタＰは、ソフトウェアキーＳＫの下側に移動することとなる。それを補正するためには、図３４（Ｂ）のポインタＰ’に示されるように、上側にポインタＰを移動させる。
On the other hand, although not shown when the face is directed to the left, the correction is performed by moving the pointer P to the left, contrary to the case of the right. Therefore, in the pointer correction process in the pan direction, correction is performed in which the pointer is moved in the same direction as the face is facing.
Next, when the face faces upward, the pointer P moves to the lower side of the software key SK. In order to correct this, the pointer P is moved upward as indicated by the pointer P ′ in FIG.
一方、顔が下方向に向いた場合は図示していないが、上方向の場合とは逆に、下側にポインタＰを移動させる。よって、チルト方向におけるポインタ補正処理では、顔が向いた方向と同方向にポインタを移動させる補正を行うこととなる。
以上より、ポインタ補正処理では、パン方向及びチルト方向のいずれの場合も、顔が向いた方向と同方向にポインタＰを移動させる補正を行うこととなる。よって、ポインタＰの絶対座標における座標を（ｐ、ｑ）と置くと、ポインタ補正処理による補正後のポインタＰ’の絶対座標における座標（ｐ’、ｑ’）は以下のようになる。
（ｐ’、ｑ’）＝（ｐ＋ｓｇｎ（θ）Ｘ、ｑ＋ｓｇｎ（φ）Ｙ）…（式４）
ここで、ｓｇｎは符号関数であり、ｓｇｎ（ｘ）は、ｘが負のときは「−１」、ｘが０のときは「０」、ｘが正のときは「１」となる。上述したように、ポインタ補正処理では、顔が向いた方向と同方向にポインタを移動させるので、Ｘ、Ｙはプラス方向に作用する。こうして得られた座標（ｐ’、ｑ’）にポインタを表示する。また、この座標（ｐ’、ｑ’）が元座標（ｓ、ｔ）となる。
On the other hand, although not shown when the face is directed downward, the pointer P is moved downward, contrary to the upward direction. Therefore, in the pointer correction process in the tilt direction, correction is performed in which the pointer is moved in the same direction as the face is facing.
As described above, in the pointer correction process, in both the pan direction and the tilt direction, correction is performed in which the pointer P is moved in the same direction as the face is facing. Therefore, if the coordinates in the absolute coordinates of the pointer P are set as (p, q), the coordinates (p ′, q ′) in the absolute coordinates of the pointer P ′ after correction by the pointer correction processing are as follows.
(P ′, q ′) = (p + sgn (θ) X, q + sgn (φ) Y) (Formula 4)
Here, sgn is a sign function, and sgn (x) is “−1” when x is negative, “0” when x is 0, and “1” when x is positive. As described above, in the pointer correction process, the pointer moves in the same direction as the face faces, so X and Y act in the plus direction. A pointer is displayed at the coordinates (p ′, q ′) thus obtained. Further, the coordinates (p ′, q ′) become the original coordinates (s, t).
次にソフトウェアキー補正処理について説明する。顔が右方向に向いた場合、ソフトウェアキーＳＫは、ポインタＰの右側に移動することとなる。それを補正するためには、図３４（Ｃ）のソフトウェアキーＳＫ’に示されるように、左側にソフトウェアキーＳＫを移動させる。
一方、顔が左方向に向いた場合は図示していないが、右方向の場合とは逆に、右側にソフトウェアキーＳＫを移動させる。よって、パン方向におけるソフトウェアキー補正処理では、顔が向いた方向と逆方向にソフトウェアキーを移動させる補正を行うこととなる。
Next, software key correction processing will be described. When the face turns to the right, the software key SK moves to the right side of the pointer P. In order to correct this, the software key SK is moved to the left as shown by the software key SK ′ in FIG.
On the other hand, although not shown when the face is directed leftward, the software key SK is moved to the right, contrary to the rightward direction. Therefore, in the software key correction process in the pan direction, correction is performed by moving the software key in the direction opposite to the direction in which the face is directed.
次に、顔が上方向に向いた場合、ソフトウェアキーＳＫは、ソフトウェアキーＳＫの上側に移動することとなる。それを補正するためには、図３４（Ｄ）のソフトウェアキーＳＫ’に示されるように、下側にソフトウェアキーＳＫを移動させる。
一方、顔が下方向に向いた場合は図示していないが、上方向の場合とは逆に、上側にソフトウェアキーＳＫを移動させる。よって、チルト方向におけるソフトウェアキー補正処理では、顔が向いた方向と逆方向にソフトウェアキーを移動させる補正を行うこととなる。
以上より、ソフトウェアキー補正処理では、パン方向及びチルト方向のいずれの場合も、顔が向いた方向と逆方向にソフトウェアキーを移動させる補正を行うこととなるが、ソフトウェアキー補正処理は、ポインタ補正処理と比較して若干複雑であるため、さらに図を用いて説明する。図３５は、ソフトウェアキー補正処理を説明するための図である。
Next, when the face is directed upward, the software key SK moves to the upper side of the software key SK. In order to correct it, the software key SK is moved downward as shown by the software key SK ′ in FIG.
On the other hand, although not shown when the face is directed downward, the software key SK is moved upward, contrary to the upward direction. Therefore, in the software key correction process in the tilt direction, correction is performed by moving the software key in the direction opposite to the direction in which the face is directed.
As described above, in the software key correction process, in both the pan direction and the tilt direction, correction is performed by moving the software key in the direction opposite to the face direction. However, the software key correction process performs pointer correction. Since it is slightly more complicated than the processing, it will be further described with reference to the drawings. FIG. 35 is a diagram for explaining the software key correction process.
図３５に示される座標は絶対座標であり、ソフトウェアキーＳＫからソフトウェアキーＳＫ’に補正するものとする。また、ソフトウェアキーＳＫの４隅をＰｎ（αｎ、βｎ）、（ｎ＝１、２、３、４）（Ｐ１（α１、β１）、Ｐ２（α２、β２）、Ｐ３（α３、β３）、Ｐ４（α４、β４））とする。
このとき、補正後のソフトウェアキーＳＫ’の絶対座標における４隅の座標Ｐｎ’（αｎ’、βｎ’）、（ｎ＝１、２、３、４）は以下のようになる。
（αｎ’、βｎ’）＝（αｎ−ｓｇｎ（θ）Ｘ、βｎ−ｓｇｎ（φ）Ｙ）…（式５）
The coordinates shown in FIG. 35 are absolute coordinates, and are corrected from the software key SK to the software key SK ′. The four corners of the software key SK are Pn (αn, βn), (n = 1, 2, 3, 4) (P1 (α1, β1), P2 (α2, β2), P3 (α3, β3), P4. (Α4, β4)).
At this time, coordinates Pn ′ (αn ′, βn ′) and (n = 1, 2, 3, 4) of the four corners in the absolute coordinates of the corrected software key SK ′ are as follows.
(Αn ′, βn ′) = (αn−sgn (θ) X, βn−sgn (φ) Y) (Formula 5)
上述したように、ソフトウェアキー補正処理では、顔が向いた方向と逆方向にソフトウェアキーを移動させるので、Ｘ、Ｙはマイナス方向に作用する。こうして得られた４隅の座標Ｐｎ’（αｎ’、βｎ’）で定まる矩形をＸ軸方向に３分割し、Ｙ軸方向に４分割することで、ソフトウェアキーＳＫ’を表示することができる。
さらに、ソフトウェアキー補正処理では、図３５に示されるように、ポインタＰの表示位置はそのまま変化しないが、ソフトウェアキーＳＫ’は絶対座標からずれているため、ポインタＰが表示されている絶対座標における座標と、ユーザが指定している座標は異なる。実際、図３５に示されるように、絶対座標と一致するソフトウェアキーＳＫでは、ポインタＰは右上の領域Ｚに存在する。例えば、図１のＰＩＮ配列１０００では、ユーザは「３」を指定していることとなる。しかし、ユーザはソフトウェアキーＳＫ’を見ているため、ポインタＰは、領域Ｚ’に存在する。例えば、図１のＰＩＮ配列１０００では、ユーザは「５」を指定していることとなる。
As described above, in the software key correction process, since the software key is moved in the direction opposite to the direction in which the face is directed, X and Y act in the minus direction. The rectangle defined by the four corner coordinates Pn ′ (αn ′, βn ′) thus obtained is divided into three in the X-axis direction and divided into four in the Y-axis direction, whereby the software key SK ′ can be displayed.
Furthermore, in the software key correction process, as shown in FIG. 35, the display position of the pointer P does not change as it is, but the software key SK ′ is deviated from the absolute coordinates, and therefore the absolute coordinates at which the pointer P is displayed. The coordinates and the coordinates specified by the user are different. In fact, as shown in FIG. 35, the pointer P exists in the upper right region Z in the software key SK that matches the absolute coordinates. For example, in the
そこで、ポインタＰが表示されている絶対座標における座標を（ｐ、ｑ）と置くと、ユーザの指定位置を示す座標（ｐ’、ｑ’）は以下のようになる。
（ｐ’、ｑ’）＝（ｐ−ｓｇｎ（θ）Ｘ、ｑ−ｓｇｎ（φ）Ｙ）…（式６）
この計算を行う補正処理を、ソフトウェアキーポインタ補正処理と表現する。また、座標（ｐ’、ｑ’）が元座標（ｓ、ｔ）となる。
Therefore, if the coordinates in the absolute coordinates where the pointer P is displayed are (p, q), the coordinates (p ′, q ′) indicating the user's designated position are as follows.
(P ′, q ′) = (p−sgn (θ) X, q−sgn (φ) Y) (Formula 6)
The correction processing for performing this calculation is expressed as software key pointer correction processing. The coordinates (p ′, q ′) are the original coordinates (s, t).
以上説明した補正処理を適用した図１１の元座標取得処理について説明する。上記補正処理は、図１１の元座標取得処理のステップＳ３０１での軌跡をトレースする処理（以下、「トレース処理」という）において実行される。具体的には、加速度センサＡＳからθ、φが通知されるたびにトレース処理が実行される。なお、加速度センサＡＳは、頭部が動いていない場合でも、θ＝０、及びφ＝０を通知するものとする。
また、以下の補正処理では、頭部の動きと同時に頭部と同方向に腕が動いた場合には補正を行わないようにしている。例えば、顔が右に向き、腕も右方向に同時に移動した場合、加速度センサＡＳからは右に向いたことを示すθが通知されるが、ディスプレイ１５の画面内のソフトウェアキーとポインタの相対位置はほとんど変化しない。従って、相対位置がほとんど変化していない場合は、頭部の動きと同時に頭部と同方向に腕が動いたと判定し、補正を行わない。
The original coordinate acquisition process of FIG. 11 to which the correction process described above is applied will be described. The correction process is executed in the process of tracing the locus in step S301 of the original coordinate acquisition process in FIG. 11 (hereinafter referred to as “trace process”). Specifically, the trace processing is executed every time θ and φ are notified from the acceleration sensor AS. Note that the acceleration sensor AS notifies θ = 0 and φ = 0 even when the head is not moving.
Further, in the following correction processing, correction is not performed when the arm moves in the same direction as the head simultaneously with the movement of the head. For example, when the face is turned to the right and the arm is moved to the right at the same time, the acceleration sensor AS is notified of θ indicating that the face is turned to the right. Hardly changes. Therefore, when the relative position hardly changes, it is determined that the arm moves in the same direction as the head simultaneously with the movement of the head, and correction is not performed.
さらに、ポインタ補正処理を適用した場合、ユーザが指定している絶対座標における座標と表示するポインタの位置に補正した分のズレが生じる。このズレを示すベクトルをオフセットと表現する。例えば、絶対座標におけるポインタの座標が（ａ、ｂ）であったが、補正により（ｃ、ｄ）に表示することとなったとする。このときベクトル（ｃ−ａ、ｄ−ｂ）がオフセットとなり、補正後は、絶対座標におけるポインタの座標をオフセットでずらすオフセット補正を行う。オフセット補正された座標は、ポインタの表示位置であり、ユーザの指定位置でもある。また、オフセットは、ポインタ補正処理が行われた場合に再びズレが生じるため、ポインタ補正処理が行われるたびに更新される。 Further, when the pointer correction process is applied, a deviation corresponding to the coordinates in the absolute coordinates designated by the user and the position of the pointer to be displayed occurs. A vector indicating this deviation is expressed as an offset. For example, it is assumed that the coordinates of the pointer in absolute coordinates are (a, b), but are displayed at (c, d) by correction. At this time, the vector (c−a, db) becomes an offset, and after correction, offset correction is performed by shifting the coordinates of the pointer in absolute coordinates by the offset. The offset-corrected coordinates are the display position of the pointer and also the position designated by the user. In addition, the offset is updated every time the pointer correction process is performed because the deviation occurs again when the pointer correction process is performed.
ソフトウェアキー補正処理を適用した場合もオフセット補正が必要である。ソフトウェアキー補正処理におけるオフセットは、絶対座標とソフトウェアキーのズレを示すベクトルであり、具体的には、ソフトウェアキーの原点の絶対座標における座標となる。図３５で説明すると、ベクトルＰ２’がオフセットとなる。表示している座標からＰ２’を引くことにより、ユーザの指定位置を補正する。ソフトウェアキー自体がずれて表示されているため、表示するポインタの座標に対するオフセット補正は不要であるが、指定位置の座標に対するオフセット補正は必要である。
このように、補正処理では、加速度センサＡＳが検出したパン方向の回転角及びチルト方向の回転角に基づき、指定位置の補正量またはソフトウェアキーの補正量を算出することにより、ユーザにより指定された位置を表す指定位置と、ソフトウェアキーとの相対位置を補正する。なお、以下に説明するポインタ補正処理及びソフトウェアキー補正処理は、ユーザがいずれかを選択可能となっており、ユーザに選択された補正処理を実行する。
Even when software key correction processing is applied, offset correction is necessary. The offset in the software key correction process is a vector indicating the deviation between the absolute coordinate and the software key, and specifically, the coordinate in the absolute coordinate of the origin of the software key. Explaining in FIG. 35, the vector P2 ′ is an offset. The position designated by the user is corrected by subtracting P2 ′ from the displayed coordinates. Since the software key itself is displayed shifted, offset correction for the coordinates of the pointer to be displayed is unnecessary, but offset correction for the coordinates of the designated position is necessary.
As described above, in the correction process, the correction amount of the specified position or the correction amount of the software key is calculated based on the rotation angle in the pan direction and the rotation angle in the tilt direction detected by the acceleration sensor AS. The relative position between the specified position representing the position and the software key is corrected. The pointer correction process and the software key correction process described below can be selected by the user, and the correction process selected by the user is executed.
図３６は、元座標取得処理におけるステップＳ３０１のトレース処理にポインタ補正処理を適用した処理手順を示したフローチャートである。
図３６において、制御部１１は、加速度センサＡＳから、パン方向の回転角θ、及びチルト方向の回転角φが通知されると（ステップＳ１８０１でＹＥＳ）、絶対座標における現在のポインタの座標を取得し（ステップＳ１８０２）、上述したオフセット補正を行い、オフセット補正後の座標を（ｕ，ｖ）とする（ステップＳ１８０３）。なお、オフセットは、デフォルトでは（０、０）がスマートグラス１０の初期化時にセットされる。
FIG. 36 is a flowchart showing a processing procedure in which the pointer correction process is applied to the trace process in step S301 in the original coordinate acquisition process.
In FIG. 36, when the rotation angle θ in the pan direction and the rotation angle φ in the tilt direction are notified from the acceleration sensor AS (YES in step S1801), the
次いで、制御部１１は、通知されたθまたはφの絶対値が閾値Ｔ１以上か否か判定する（ステップＳ１８０４）。この閾値Ｔ１は、０以上の値であって、補正を行う対象とする回転角を規定するものである。例えば、比較的ゆっくりと回転している場合、すなわちθまたはφの絶対値が小さく、ユーザの入力に支障が出ない程度の回転角の場合は、補正を行わないようにすることができる。閾値Ｔ１は、ユーザにより設定可能としてもよい。
Next, the
通知されたθまたはφの絶対値が閾値Ｔ１以上ではない場合、すなわち｜θ｜＜Ｔ１かつ｜φ｜＜Ｔ１の場合には（ステップＳ１８０４でＮＯ）、制御部１１は、補正を行わずに（ｓ、ｔ）に（ｕ、ｖ）を代入（ｓ←ｕ、ｔ←ｖ）して（ステップＳ１８０９）、ステップＳ１８０８に進む。この（ｓ、ｔ）は、ポインタの座標を保持する変数で、デフォルトでは例えばソフトウェアキーの中央の座標がスマートグラス１０の初期化時にセットされる。
通知されたθまたはφの絶対値が閾値Ｔ１以上の場合には（ステップＳ１８０４でＹＥＳ）、制御部１１は、（ｓ、ｔ）と（ｕ、ｖ）との距離が閾値Ｔ２以上か否か判定する（ステップＳ１８０５）。この閾値Ｔ２は、上述した頭部の動きと同時に頭部と同方向に腕が動いた場合に該当するか否かを判定するための閾値である。閾値Ｔ２は、ユーザにより設定可能としてもよい。
If the notified absolute value of θ or φ is not greater than or equal to the threshold T1, that is, if | θ | <T1 and | φ | <T1 (NO in step S1804), the
If the notified absolute value of θ or φ is greater than or equal to the threshold T1 (YES in step S1804), the
（ｓ、ｔ）と（ｕ、ｖ）との距離が閾値Ｔ２以上ではない場合には（ステップＳ１８０５でＮＯ）、制御部１１は、頭部の動きと同時に頭部と同方向に腕が動いたと判定して、上述したステップＳ１８０９に進む。
一方、（ｓ、ｔ）と（ｕ、ｖ）との距離が閾値Ｔ２以上の場合には（ステップＳ１８０５でＹＥＳ）、制御部１１は、上述したポインタ補正処理を行う（ステップＳ１８０７）。ポインタ補正処理では、式２、式３、式４等を用いて補正する。このポインタ補正処理により、（ｓ、ｔ）が更新される。次いで、制御部１１は、オフセットを更新する（ステップＳ１８０７）。オフセットは、（ｓ、ｔ）とユーザが指定している絶対座標における座標を用いて更新される。
次いで、制御部１１は、座標（ｓ、ｔ）にポインタを表示して（ステップＳ１８０８）、本処理を終了する。この座標（ｓ、ｔ）は、元座標取得処理のステップＳ３０３で記憶される座標である。
When the distance between (s, t) and (u, v) is not greater than or equal to the threshold T2 (NO in step S1805), the
On the other hand, when the distance between (s, t) and (u, v) is greater than or equal to the threshold T2 (YES in step S1805), the
Next, the
図３７は、元座標取得処理におけるステップＳ３０１のトレース処理にソフトウェアキー補正処理を適用した処理手順を示したフローチャートである。
図３７において、制御部１１は、加速度センサＡＳから、パン方向の回転角θ、及びチルト方向の回転角φが通知されると（ステップＳ１９０１でＹＥＳ）、絶対座標における現在のポインタの座標（ｕ，ｖ）を取得する（ステップＳ１９０２）。
FIG. 37 is a flowchart showing a processing procedure in which software key correction processing is applied to the tracing processing in step S301 in the original coordinate acquisition processing.
In FIG. 37, when the
次いで、制御部１１は、通知されたθまたはφの絶対値が閾値Ｔ１以上か否か判定する（ステップＳ１９０３）。この閾値Ｔ１は、図３６のＴ１と同じ閾値である。
通知されたθまたはφの絶対値が閾値Ｔ１以上ではない場合には（ステップＳ１９０３でＮＯ）、制御部１１は、補正を行わずに（ｓ、ｔ）に（ａ、ｂ）を代入（ａ←ｕ、ｂ←ｖ）して（ステップＳ１９１０）、ステップＳ１９０７に進む。この（ａ、ｂ）は、ポインタの座標を保持する変数で、デフォルトでは例えばソフトウェアキーの中央の座標がスマートグラス１０の初期化時にセットされる。
Next, the
If the notified absolute value of θ or φ is not equal to or greater than the threshold value T1 (NO in step S1903), the
通知されたθまたはφの絶対値が閾値Ｔ１以上の場合には（ステップＳ１９０３でＹＥＳ）、制御部１１は、（ａ、ｂ）と（ｕ、ｖ）との距離が閾値Ｔ２以上か否か判定する（ステップＳ１９０４）。この閾値Ｔ２は、図３６のＴ２と同じ閾値である。
（ａ、ｂ）と（ｕ、ｖ）との距離が閾値Ｔ２以上ではない場合には（ステップＳ１９０４でＮＯ）、制御部１１は、頭部の動きと同時に頭部と同方向に腕が動いたと判定して、上述したステップＳ１９０８に進む。
If the notified absolute value of θ or φ is greater than or equal to the threshold T1 (YES in step S1903), the
When the distance between (a, b) and (u, v) is not greater than or equal to the threshold T2 (NO in step S1904), the
一方、（ａ、ｂ）と（ｕ、ｖ）との距離が閾値Ｔ２以上の場合には（ステップＳ１９０４でＹＥＳ）、制御部１１は、上述したオフセット補正を行う（ステップＳ１９０５）。このオフセット補正は、現在の座標（ｕ，ｖ）に対して行われる。次いで制御部１１は、上述したソフトウェアキー補正処理を行う（ステップＳ１９０６）。ソフトウェアキー補正処理では、式２、式３、式５等を用いて補正する。そして、制御部１１は、オフセット補正された（ｕ，ｖ）に対して、上述した式６に示されるソフトウェアキーポインタ補正処理を行う（ステップＳ１９０６）。これにより、ユーザが指定している座標（ｓ、ｔ）が更新される。この座標（ｓ、ｔ）は、元座標取得処理のステップＳ３０３で記憶される座標である。次いで、制御部１１は、ソフトウェアキーの補正に伴い、オフセットも変化するため、オフセットを更新する（ステップＳ１９０８）。
次いで、制御部１１は、座標（ｕ、ｖ）にポインタを表示して（ステップＳ１９０９）、本処理を終了する。
On the other hand, when the distance between (a, b) and (u, v) is equal to or greater than the threshold T2 (YES in step S1904), the
Next, the
以上説明したポインタ補正処理、及びソフトウェアキー補正処理によれば、加速度センサＡＳにより検出された物理量に基づき、ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正するので、ユーザによる誤入力を抑制することができる。
さらに、加速度センサＡＳが検出する物理量は、透過型ディスプレイのパン方向の回転角及びチルト方向の回転角であり、頭部が動く可能性のある左右方向及び上下方向の動きに対応できるため、より精度よく補正することが可能となる。
According to the pointer correction process and the software key correction process described above, the relative position between the specified position representing the position specified by the user and the software key is corrected based on the physical quantity detected by the acceleration sensor AS. Incorrect input by the user can be suppressed.
Furthermore, the physical quantity detected by the acceleration sensor AS is the rotation angle in the pan direction and the tilt direction in the transmissive display, and can cope with the horizontal and vertical movements that may cause the head to move. It is possible to correct with high accuracy.
また、ポインタ補正処理及びソフトウェアキー補正処理により、ユーザはポインタ補正処理及びソフトウェアキー補正処理のいずれかを選択できるので、ユーザの使い勝手や利便性を向上させることができる。
なお、上述した実施形態では、ポインタ補正処理及びソフトウェアキー補正処理のいずれか一方を実行する形態について説明したが、組合せて実行するようにしてもよい。ポインタ補正処理及びソフトウェアキー補正処理を組み合わせて実行する処理は、例えば、頭部の動きが大きい場合に有効である。
なお、本実施形態では、加速度センサを用いて頭部の動きを検出したが、角速度センサを用いてもよい。また本実施形態では、パン方向とチルト方向の２軸で頭部の動きを検出したが、例えば３軸または６軸で頭部の動きを検出するようにしてもよい。
Further, since the user can select either the pointer correction process or the software key correction process by the pointer correction process and the software key correction process, it is possible to improve the usability and convenience of the user.
In the above-described embodiment, the mode in which one of the pointer correction process and the software key correction process is executed has been described, but may be executed in combination. A process executed by combining the pointer correction process and the software key correction process is effective, for example, when the movement of the head is large.
In the present embodiment, the movement of the head is detected using an acceleration sensor, but an angular velocity sensor may be used. Further, in the present embodiment, the head movement is detected by the two axes of the pan direction and the tilt direction, but the head movement may be detected by, for example, three axes or six axes.
上述した実施形態におけるスマートグラス１０、１１０、２１０、３１０、４１０の処理をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 You may make it implement | achieve the process of the smart glasses 10,110,210,310,410 in embodiment mentioned above with a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be a program for realizing a part of the above-described functions, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. You may implement | achieve using programmable logic devices, such as FPGA (Field Programmable Gate Array).
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
１，１００，２００，３００，４００ 認証システム
１０，１１０，２１０，３１０，４１０ スマートグラス
１１，２１，３１，１１１，１２１，２１１，２２１，３１１，３２１，３３１，４１１，４２１ 制御部（操作内容取得部、表示部）
１３，１１３，２１３，３１３，４１３ カメラ
１５，１１５，２１５，３１５，４１５ ディスプレイ
１８，２６，３４，１１８，１２６，２１８，２２６，３１８，３２６，３３４，４１８，４２６ 通信部
２０，１２０，２２０，３２０，４２０ 情報処理装置
２４，１２４，２２４，３２４ 座標変換部
２８，１２８，２２８，３２８，４２８ 照合部（文字列取得部）
３０，３３０ 認証装置、３２，３３２ 認証部、ＡＳ 加速度センサ
1,100,200,300,400 Authentication system 10,110,210,310,410
13, 113, 213, 313, 413
30,330 Authentication device, 32,332 Authentication unit, AS acceleration sensor
Claims (9)
前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、
前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と、
前記文字列取得部により取得された文字列を用いて、認証処理を実行する認証部と
を有することを特徴とする認証システム。 A display unit that displays a software key for inputting a character string on a transmissive display visible to the user;
An operation content acquisition unit for acquiring the operation content of the user for the software key displayed by the display unit;
From the operation content acquired by the operation content acquisition unit, a character string acquisition unit that acquires, as confidential information, a character string input by the user's operation;
An authentication system comprising: an authentication unit that performs an authentication process using the character string acquired by the character string acquisition unit.
前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、
前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする請求項１に記載の認証システム。 A detection unit for detecting a physical quantity indicating the movement of the transmissive display;
Based on the physical quantity detected by the detection unit, further includes a specified position that represents the position specified by the user, and a correction unit that corrects the relative position of the software key,
The authentication system according to claim 1, wherein the operation content acquisition unit acquires the user operation content based on the relative position corrected by the correction unit.
前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項２に記載の認証システム。 The physical quantity detected by the detection unit is a rotation angle in a pan direction and a rotation angle in a tilt direction of the transmissive display,
The correction unit corrects a relative position between the designated position and the software key based on the rotation angle in the pan direction and the rotation angle in the tilt direction detected by the detection unit. The authentication system described in.
前記表示部により表示された前記ソフトウェアキーに対する前記ユーザの操作内容を取得する操作内容取得部と、
前記操作内容取得部により取得された前記操作内容から、前記ユーザの操作により入力された文字列を秘密情報として取得する文字列取得部と
を有することを特徴とする入力装置。 A display unit that displays a software key for inputting a character string on a transmissive display visible to the user;
An operation content acquisition unit for acquiring the operation content of the user for the software key displayed by the display unit;
An input device comprising: a character string acquisition unit that acquires, as secret information, a character string input by the user's operation from the operation content acquired by the operation content acquisition unit.
前記検出部により検出された前記物理量に基づき、前記ユーザにより指定された位置を表す指定位置と、前記ソフトウェアキーとの相対位置を補正する補正部とをさらに有し、
前記操作内容取得部は、前記補正部により補正された前記相対位置によって前記ユーザの操作内容を取得することを特徴とする請求項７に記載の入力装置。 A detection unit for detecting a physical quantity indicating the movement of the transmissive display;
Based on the physical quantity detected by the detection unit, further includes a specified position that represents the position specified by the user, and a correction unit that corrects the relative position of the software key,
The input device according to claim 7, wherein the operation content acquisition unit acquires the user operation content based on the relative position corrected by the correction unit.
前記補正部は、前記検出部が検出した前記パン方向の回転角及び前記チルト方向の回転角に基づき、前記指定位置と、前記ソフトウェアキーとの相対位置を補正することを特徴とする請求項８に記載の入力装置。 The physical quantity detected by the detection unit is a rotation angle in a pan direction and a rotation angle in a tilt direction of the transmissive display,
The correction unit corrects a relative position between the designated position and the software key based on the rotation angle in the pan direction and the rotation angle in the tilt direction detected by the detection unit. The input device described in 1.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014210228 | 2014-10-14 | ||
| JP2014210228 | 2014-10-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016081508A true JP2016081508A (en) | 2016-05-16 |
Family
ID=55956353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015108879A Pending JP2016081508A (en) | 2014-10-14 | 2015-05-28 | Authentication system and input device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016081508A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020515923A (en) * | 2016-10-26 | 2020-05-28 | アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ | Performing virtual reality input |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007133835A (en) * | 2005-11-14 | 2007-05-31 | Sharp Corp | Virtual key input device, information terminal device, charger for information terminal device, and program |
| JP2008152441A (en) * | 2006-12-15 | 2008-07-03 | Hitachi Software Eng Co Ltd | Character data input device |
| JP2011203847A (en) * | 2010-03-24 | 2011-10-13 | Konami Digital Entertainment Co Ltd | Item selection device, item selection method, and program |
| JP2012138011A (en) * | 2010-12-27 | 2012-07-19 | Ns Solutions Corp | Information processing system, information processing method and program |
| JP2012174208A (en) * | 2011-02-24 | 2012-09-10 | Sony Corp | Information processing apparatus, information processing method, program, and terminal device |
| JP2014131094A (en) * | 2012-12-28 | 2014-07-10 | Seiko Epson Corp | Display device and method of controlling display device |
| JP2014157482A (en) * | 2013-02-15 | 2014-08-28 | Konica Minolta Inc | Operation display system |
-
2015
- 2015-05-28 JP JP2015108879A patent/JP2016081508A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007133835A (en) * | 2005-11-14 | 2007-05-31 | Sharp Corp | Virtual key input device, information terminal device, charger for information terminal device, and program |
| JP2008152441A (en) * | 2006-12-15 | 2008-07-03 | Hitachi Software Eng Co Ltd | Character data input device |
| JP2011203847A (en) * | 2010-03-24 | 2011-10-13 | Konami Digital Entertainment Co Ltd | Item selection device, item selection method, and program |
| JP2012138011A (en) * | 2010-12-27 | 2012-07-19 | Ns Solutions Corp | Information processing system, information processing method and program |
| JP2012174208A (en) * | 2011-02-24 | 2012-09-10 | Sony Corp | Information processing apparatus, information processing method, program, and terminal device |
| JP2014131094A (en) * | 2012-12-28 | 2014-07-10 | Seiko Epson Corp | Display device and method of controlling display device |
| JP2014157482A (en) * | 2013-02-15 | 2014-08-28 | Konica Minolta Inc | Operation display system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020515923A (en) * | 2016-10-26 | 2020-05-28 | アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ | Performing virtual reality input |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI575424B (en) | Method, storage devices and system for picture gesture authentication | |
| JP2019087279A (en) | Systems and methods of direct pointing detection for interaction with digital device | |
| US20190392422A1 (en) | Mobile terminal and control method therefor | |
| US11112881B2 (en) | Systems and methods for identifying user-operated features of input interfaces obfuscating user navigation | |
| US11301056B2 (en) | Systems and methods for obfuscating user selections | |
| US11526273B2 (en) | Systems and methods of selection acknowledgement for interfaces promoting obfuscation of user operations | |
| Ling et al. | I know what you enter on gear vr | |
| US11209979B2 (en) | Systems and methods for input interfaces promoting obfuscation of user navigation and selections | |
| JP6300705B2 (en) | Authentication management method by device cooperation, information processing device, wearable device, computer program | |
| US11086514B2 (en) | Systems and methods for obfuscating user navigation and selections directed by free-form input | |
| JP2017004354A (en) | Display control method, display control program, information processing terminal, and wearable device | |
| CN105808015A (en) | Peep-proof user interaction device and peep-proof user interaction method | |
| JP6065908B2 (en) | Stereoscopic image display device, cursor display method thereof, and computer program | |
| CN105814575B (en) | Authenticating device, Verification System, program, storage medium and authentication method | |
| US10591986B2 (en) | Remote work supporting system, remote work supporting method, and program | |
| Bianchi et al. | Open sesame: Design guidelines for invisible passwords | |
| JP2016081508A (en) | Authentication system and input device | |
| Lee et al. | Enhancing the security of personal identification numbers with three-dimensional displays | |
| JP2012198608A (en) | Input device and input method | |
| CN113051538A (en) | Information unlocking method and electronic equipment | |
| JP6252042B2 (en) | Information processing system, information processing apparatus, information processing method, and program | |
| WO2021161769A1 (en) | Information processing device, information processing method, and program | |
| WO2022215346A1 (en) | Electronic device | |
| CN117313075A (en) | Password input method, electronic device and storage medium | |
| JP2018028455A (en) | Guide support device, guide support method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190305 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190730 |