JP2023104944A - 個人情報表示装置及びその処理方法 - Google Patents

個人情報表示装置及びその処理方法 Download PDF

Info

Publication number
JP2023104944A
JP2023104944A JP2023077807A JP2023077807A JP2023104944A JP 2023104944 A JP2023104944 A JP 2023104944A JP 2023077807 A JP2023077807 A JP 2023077807A JP 2023077807 A JP2023077807 A JP 2023077807A JP 2023104944 A JP2023104944 A JP 2023104944A
Authority
JP
Japan
Prior art keywords
information
user
display device
personal information
password
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023077807A
Other languages
English (en)
Inventor
仁 秋山
Hitoshi Akiyama
裕明 小野
Hiroaki Ono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2023077807A priority Critical patent/JP2023104944A/ja
Publication of JP2023104944A publication Critical patent/JP2023104944A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35—User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】各種カードやサービスに必要なパスワードを直ちに認識できるように、予めカード情報やサービス情報を認識し、個人を認証した上でその情報に紐付けられたパスワードやＩＤを表示させることが可能な個人情報表示装置及びその処理方法を提供する。【解決手段】それを達成するために、メガネ形状の表示部を持つ個人情報表示装置の処理方法であって、個人情報表示装置を装着している個人の虹彩を撮影し、撮影した虹彩から虹彩情報を取得し、各種カードや各種サービスの情報を撮影し、撮影した各種カードや各種サービスの情報から各種カードや各種サービスの認識情報を取得し、虹彩情報から個人情報を登録するとともに、各種カードや各種サービスの認識情報に紐付けされたＩＤやパスワードを登録する。【選択図】図２

Description

本発明は、多岐にわたる個人用ＩＤやパスワード入力、或いは変更によるパスワードの記憶を補助するための個人情報表示装置及びその処理方法に関する。
近年、パソコン（ＰＣ）／スマホといった個人用デバイス端末や、各種サービス、カード等が普及するのに伴い、使用する際に個人認証を行うために必要となるユーザログインＩＤやパスワードの入力が要求されることが増大している。しかしながら端末やサービスの増加に従いパスワード入力の機会は増加しているが、防犯上の理由により、（１）簡単なパスワードは禁止されているサービスが多い、（２）同じパスワードの使い回しは推奨されない、（３）定期的にパスワード変更が要求される場合がある、等の要因によりパスワード忘れが頻発する状況にある。これに対して、記憶忘れを防ぐ目的で例えばパスワードをメモ帳等に記録しておくこともあるが、セキュリティ的に好ましくない。そこで、例えばパスワード管理ソフトを使い、様々なパスワードを表示するサービスもあるが、毎回マスターパスワードを入力して使いたいサービスを選択する手間が必要であり煩雑である。また、マスターパスワードが漏洩した場合は全てのパスワードが判ってしまう。またパスワードの新規登録や定期的に要求されるパスワードの変更時に、いちいち記録し直しが必要である。
本技術分野における従来技術として特許文献１がある。特許文献１では、ユーザ個人に固有の生体情報であるバイオメトリクス情報とそのユーザの保有する個人情報を記憶した持ち運び可能な記憶媒体と、記憶媒体に記憶された個人情報の内容をユーザ本人の視野内でのみ表示する情報表示手段と、ユーザのバイオメトリクス情報を検出する検出手段と、記憶媒体に記憶されたバイオメトリクス情報と検出手段により検出されたバイオメトリクス情報とを読み取り、両者を照合してユーザ認証を行い、ユーザ認証が確立したときにのみ情報表示手段による個人情報の表示を許可する構成が開示されている。
特開２００７-６３９３号公報
特許文献１では、ヘッドマウントディスプレイ(以下ＨＭＤ)を想定して個人生体情報で認証を行い、個人情報を表示させる。しかしながら、表示させる個人情報は、例えばパスワード等であるが、各種カードやサービス等に対する個人情報は異なる場合が多く、表示させる個人情報と各種カードやサービス等との対応付けについて考慮されていない。
本発明は、上記課題に鑑み、上述の各種カードやサービス等に必要なパスワードを直ちに認識できるようにするために、予めカード情報やサービス情報を認識し、個人を認証した上で簡単にその情報に紐付けされたパスワードやＩＤを表示させることが可能な個人情報表示装置及びその処理方法を提供するものである。
本発明は、上記課題を解決するために、その一例を挙げるならば、メガネ形状の表示部を持つ個人情報表示装置の処理方法であって、個人情報表示装置を装着している個人の虹彩を撮影し、撮影した虹彩から虹彩情報を取得し、各種カードや各種サービスの情報を撮影し、撮影した各種カードや各種サービスの情報から各種カードや各種サービスの認識情報を取得し、虹彩情報から個人情報を登録するとともに、各種カードや各種サービスの認識情報に紐付けされたＩＤやパスワードを登録する。
本発明によれば、より好適な使い勝手を実現する個人情報表示装置及びその処理方法を提供することができる。
実施例における個人情報表示装置のシステム構成図である。 実施例における個人情報表示装置の構成ブロック図である。 実施例における個人情報表示装置のソフトウェア構成図である。 実施例における個人情報表示装置を使ってカード使用時のユーザの作業状態を示す図である。 実施例におけるユーザが実際にカードを持った時に目にするイメージである。 実施例における個人情報表示装置の表示部に、登録時のカメラで撮影したカード映像とパスワードを表示したイメージ図である。 実施例における個人情報表示装置の表示部に、登録時の文字認識したカード情報とパスワードを表示したイメージ図である。 実施例における個人情報表示装置の表示部に、カード使用時の登録済みのパスワードを表示したイメージ図である。 実施例における個人情報表示装置を使ってＰＣ使用時のユーザの作業状態を示す図である。 実施例におけるユーザがＰＣ使用時に目にするイメージである。 実施例における個人情報表示装置の表示部に、登録時の文字認識したサービス名称とＩＤおよびパスワードを表示したイメージ図である。 実施例における個人情報表示装置の表示部に、サービス使用時の文字認識したサービス名称とＩＤおよびパスワードを表示したイメージ図である。 図６Ａにおける表示部の拡大図である。 実施例における個人情報表示装置の表示部に、登録済みのＩＤおよびパスワードを、グラスを通して見ているＰＣ上のＩＤ入力欄及びパスワード入力欄に重畳して表示したイメージ図である。 実施例におけるＰＣ使用時の各種サービス情報を確認する場合の個人情報表示装置の表示部の表示例である。 実施例におけるＰＣ使用時の各種サービス情報を確認する場合の視点により「ＯＫ」を選択する場合の表示例である。 実施例における登録時の処理シーケンスである。 実施例における使用時の処理シーケンスである。
以下、本発明の実施例を、図面を用いて説明する。
図１は本実施例における個人情報表示装置のシステム構成図である。図１において、１は個人情報表示装置であって、ＨＭＤと一般的に言われている形状のものである。図１は、個人情報表示装置１をユーザＡが装着し、例えばＰＣ３２の画面を見ながらＩＤやパスワード入力している状態を示している。個人情報表示装置１には表示部５と前方撮影カメラＣ２を備えており、図示していないが虹彩認証用の小型カメラＣ１が表示部近傍に搭載されている。さらに、個人情報表示装置１が装着されていることを確認するための装着センサ９も搭載されている。さらに、個人情報表示装置１が装着されている場所を特定するためのＧＳＰ等を含む位置センサ(図２の６)も搭載されている。なお、ユーザＡが個人情報表示装置１へ情報を伝達する手段として使う声を集音するマイク７、個人情報表示装置１がユーザＡに情報を音で伝えるための手段として使うイヤホン８を有する。
ユーザＡは例えばＰＣ３２上で各種サービスを行うためにＩＤ等の情報(以下ＩＤ)やパスワード情報(以下パスワード)入力を要求された場合にはユーザＡの声、或いはＰＣ３２の画面形状を前方撮影カメラＣ２が撮影し、認識技術により、各種サービスを特定し、それに紐付けされたＩＤやパスワード入力が必要かの判断を行い、適正なＩＤやパスワードを個人情報表示装置１の表示部５に表示させ、ユーザＡはそのＩＤやパスワード入力を行う。
ユーザＡの個人認証については同じく個人情報表示装置１に搭載されているユーザＡの虹彩を撮影する小型カメラＣ１によりユーザＡの虹彩を撮影し、虹彩認証を行いユーザＡが本人で有るかどうかの判断を行う。またこの小型カメラＣ１はユーザＡの視点追跡を行うことも可能で、ユーザＡが見ている対象物を特定する。これに関しては後述する前方撮影カメラＣ２の撮影範囲から視点位置を特定し、対象物を特定させる機能を有する。この視点追跡結果とそれに伴う視点表示により、後述するが、個人情報表示装置１内で紐付けされた各種データ表示が正しいかどうかの判断をユーザＡに聞くための手段としても利用可能である。
図２は本実施例における個人情報表示装置１の構成ブロック図である。図２において、図1と同じ機能については同じ符号を付している。図２において、個人情報表示装置１には、虹彩の撮影やユーザＡの視点追跡をするための超小型レンズとＣＣＤ或いはＣＭＯＳセンサ等で構成される小型カメラＣ１が搭載されている。なお、レンズ３及びハーフミラー４は、ユーザの眼の虹彩を小型カメラＣ１で撮影するため、及び、ユーザが表示部５に表示された映像を見るための光学系である。
また、通常レンズとカメラセンサ等からなる前方撮影カメラＣ２、ユーザＡの虹彩認識やユーザＡの視点検出する虹彩／視点検出＆認識機能２２、図形や記号、或いは文字等を認識し認識情報として出力する画像認識機能２３等を行う画像処理部等からなる撮影処理部２１、一時的に撮影した画像や映像を保持し、前記した各処理を行うためのワークエリアとしても利用するメモリ２４からなるカメラ部２を有する。
カメラ部２内には各種画像改善と各種認識機能を行う虹彩／視点検出＆認識機能２２、画像認識機能２３、及びメモリ２４が含まれているが、後述するコントローラ１０内でのソフトウェア処理で同様の認識機能を行うことも可能であり、その場合には上記機能はカメラ部２内に必要としない。しかしながら、コントローラ１０内は様々な処理が平行に行われるため、処理の高速化を考慮して上記各種画像改善と各種認識機能をカメラ部２に含めている場合を記載した。後述では主にコントローラ１０内のソフト処理でこれら各種画像改善や各種認識処理を行っている場合について記述するが、それに限ることは無く、当然、一部機能をカメラ部２内で行い、その結果のみコントローラ１０へ送っても良い。
パスワード等の情報等を表示するＬＣＤ等からなる表示部５にはコントローラ１０から情報を伝達する。さらに、位置センサ６との組み合わせで個人情報表示装置１が不正に使われていないかを確認するため、或いは、個人情報表示装置１の内部ソフトウェアのアップデート等に使うためにインターネットと通信するための通信部１４を有する。また、これら全体を制御し、指示を行うコントローラ１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、映像や画像データを保存する外部メモリ１３、システムバス１５を有する。装着センサ９はユーザＡが個人情報表示装置１を装着したと同時にシステムを起動するためなどに使われるもので、その一例としては単純な接触を感知するスイッチ、或いは人間の体温を感知する温度センサなどがある。さらにこれら装置の電源供給を行う小型のバッテリー１６を有する。
なお、マイク７からの音声でユーザＡを特定するための声紋認証でユーザＡの認証を行ってもよい。この場合の処理はコントローラ１０内のソフトウェアで行う。
図３は本実施例における個人情報表示装置１のソフトウェア構成図であり、図２と同じ機能については同じ符号を付している。
コントローラ１０は、所定のプログラムに従って個人情報表示装置１全体を制御するマイクロプロセッサユニットである。システムバス１５はコントローラ１０と個人情報表示装置１内の各部との間でデータ送受信を行うためのデータ通信路である。
ＲＯＭ１１は、オペレーティングシステムなどの基本動作プログラムやその他のアプリケーションプログラムが格納されたメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられ、ＲＯＭ１１に格納されたプログラムを更新することにより、基本動作プログラムやその他のアプリケーションプログラムのバージョンアップや機能拡張が可能である。
ＲＡＭ１２は基本動作プログラムやその他のアプリケーションプログラム実行時のワークエリアとなる。具体的には、例えばＲＯＭ１１に格納された基本動作プログラム１１ａはＲＡＭ１２に展開され、更にコントローラ１０が前記展開された基本動作プログラムを実行することにより、基本動作実行部１２ａを構成する。以下では、説明を簡単にするために、コントローラ１０がＲＯＭ１１に格納された基本動作プログラム１１ａをＲＡＭ１２に展開して実行することにより各部の制御を行う処理を、基本動作実行部１２ａが各部の制御を行うものとして記述する。なお、その他のアプリケーションプログラムに関しても同様の記述を行うものとする。
撮影映像処理実行部１２ｂは撮影処理部２１に対し撮影の指示、停止、画像改善等の処理指示を行う。
撮影対象物認識実行部１２ｃは図１において前方撮影カメラＣ２で撮影されたユーザＡがＩＤの入力やパスワード入力を行う対象物を認識し、外部メモリ１３に保存されたユーザＡが入力を行うであろう各種カードやサービスを特定する機能を有するプログラムである。入力画面認識実行部１２ｄはユーザＡが入力したＩＤやパスワードを認識する機能でありデジタル情報として外部メモリ１３に暗号化して保存する。この時、ＩＤやパスワードを撮影対象物認識実行部１２ｃで認識した各種カードやサービスと紐付けされた状態で外部メモリ１３に保存する。虹彩認証実行部１２ｅは小型カメラＣ１で撮影された個人情報表示装置１を装着した人物の虹彩を撮影し、登録された人物かどうかの判断を行うプログラムである。視点追跡実行部１２ｆは上記の前方撮影カメラＣ２と連動させて、ユーザＡが何を見ているかを判断し、その対象物を特定させるプログラムであり、撮影対象物認識実行部１２ｃと連動させることで、より正しく情報を引き出すことができる。情報表示実行部１２ｇは上記の紐付けされたパスワードを特定し、それを表示部５に表示させるプログラムである。音声認識実行部１２ｈはユーザＡにイヤホン８経由で、音声で質問する時、マイク７から音声入力されたユーザＡの会話の中身を認識するプログラムである。
コントローラ１０は個人情報表示装置１全体の制御を行うアルゴリズムが組み込まれている。
本実施例の個人情報表示装置１の動作は、図３に示したように、主として外部メモリ１３に記憶された、撮影映像プログラム１３ｂと、撮影対象物認識プログラム１３ｃ、入力画面認識プログラム１３ｄ、虹彩認証プログラム１３ｅ、視点追跡プログラム１３ｆ、情報表示プログラム１３ｇ、音声認識プログラム１３ｈが、ＲＡＭ１２に展開され、コントローラ１０により実行される、撮影映像処理実行部１２ｂと、撮影対象物認識実行部１２ｃ、入力画面認識実行部１２ｄ、虹彩認証実行部１２ｅ、視点追跡実行部１２ｆ、情報表示実行部１２ｇ、音声認識実行部１２ｈによって制御されるものとする。なお、１２ｂから１２ｈの実行部は、その一部または全部の動作をハードウェアで実現する各ハードウェアブロックで行っても良い。この際、例えば１２ｂから１２ｆの実行部は、その一部をカメラ部２の撮影処理部２１内にある虹彩／視点検出＆認識機能２２、画像認識機能２３が行っても良い。
また、ＲＯＭ１１及びＲＡＭ１２はコントローラ１０と一体構成であっても良い。また、ＲＯＭ１１は、図２に示したような独立構成とはせず、外部メモリ１３内の一部記憶領域を使用しても良い。また、ＲＡＭ１２は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域を備えるものとする。
外部メモリ１３は撮影処理部２１で撮影されている画像や映像を一時的に蓄える。また、個人情報表示装置１の各動作設定値や個人情報表示装置１の位置情報や各種情報、個人情報表示装置１が撮影した画像や映像情報等の一部または全部のデータを記録する各種情報／データ記録領域１３ａ、撮影映像プログラム１３ｂと、撮影対象物認識プログラム１３ｃ、虹彩認証プログラム１３e、視点追跡プログラム１３ｆ、情報表示プログラム１３ｇ、音声認識プログラム１３ｈ、その他プログラムを格納している。特に、本実施例で重要な各種カードの情報やサービス情報を記憶する入力画面情報１３１、入力画面情報である各種カードやサービス情報に紐付けられたパスワード情報１３２、ユーザＡの個人情報である虹彩情報１３３を記録するのも各種情報/データ記録領域１３ａであり、基本的に解読キーが無ければ解読不能にするため、暗号化されて保存されている。これらのプログラムはＲＯＭ１１や、不揮発性特性を持つ内部メモリに保存してもよい。
また、外部メモリ１３の一部領域を以ってＲＯＭ１１の機能の全部または一部を代替しても良い。また、外部メモリ１３は、個人情報表示装置１に電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えばフラッシュＲＯＭやＳＳＤ（Solid State Drive）等のデバイスが用いられる。
次に、本実施例における個人情報表示装置１を使って具体的に各種カードを使う時の動作について説明する。
まず、第一段階として個人情報表示装置１を使用するユーザ登録を行う。この時は、個人情報表示装置１は、図１に示すようにＨＭＤの形状なので、ユーザＡは例えばメガネを装着するように耳にかけて装着する。個人情報表示装置１の電源のＯＮ／ＯＦＦはユーザが手動で行う物理的なスイッチを設けてもよいが、より簡便にするため、装着センサ９が代用してもよい。この場合、ＨＭＤであるので装着時に耳が当たる部分に設置された装着センサ９の部分に耳が接触した時点で電源のＯＮを行い、耳の接触が外れた時点で電源をＯＦＦにする。或いは、ＯＮは上述の通りであるが、ＯＦＦに関しては耳の接触が外れたことを感知した後、一定の時間が過ぎた後に自動的にＯＦＦしてもよい。装着センサ９としては前述の様に単なる接触したことを検知する接触センサでもよいし、体温を感知する温度センサでもよい。或いは、きっちりと装着をさせる目的で、物理的なスイッチタイプにし、確実に装着していない場合にはスイッチがＯＮにならないタイプにしてもよい。なお、ＨＭＤとしての耳にかけない装着方法の場合も、頭部に接触する部分に装着センサ９を設ければよい。
次にユーザＡの個人情報登録処理を行う。この時には小型カメラＣ１により虹彩の撮影と登録が必要になるが、この時は正しく装着されているかを判断するため、小型カメラＣ１で虹彩が撮影可能な状態かどうかの判断を行い、もし撮影できない状態の場合は表示部より、例えば「正しく装着してください」等のアラームが表示される。或いは、この状態ではユーザＡは表示部の内容を読むこともできない状態であることも有るので、その場合にはアラームを鳴らす。これは上記個人情報表示装置１の不正使用防止にも役立つ。
正しく装着されていることが確認されると、虹彩登録を開始する。小型カメラＣ１を使いユーザＡの虹彩を撮影し、虹彩情報１３３を暗号化して外部メモリ１３に記録する。この時、虹彩登録と共に、個人の名前や年齢、電話番号等の情報を登録してもよい。その登録方法は、例えば図２のマイク７を使った音声入力により行う。その時には例えば図２のイヤホン８からユーザＡに対し、「名前を言ってください」等の質問を行い、それに答える形で音声入力を行う。或いは質問は表示部５から表示させてもよい。音声入力したものについては一旦音声認識技術により認識した名前を表示部に表示させ、正しいかの判断をユーザＡに行いながら個人情報入力を行っていく。或いは、音声入力することが難しい場合や、したくない場合も有るので、通信部１４を使ってキーボードやスマホの入力機能を使って入力を行いながらユーザＡの個人情報を記録してもよい。或いは上記視点追跡機能と表示機能を使い、後述するが、ユーザＡの視点を表示部５に表示させ、表示上に正しいかどうかの判断するような表示、例えば「ＯＫ？」「ＮＧ？」の表示を行い、その位置に視点を持っていくことで判断させても良い。個人情報に関しては例えば名前や年齢、電話番号などの情報に限ることは無く、住所や個人を特定する免許証番号、パスポート番号、個人番号等を登録してもよい。当然ながら上記情報は暗号化されて外部メモリ１３に記録される。また、上記情報をユーザＡが入力するのは煩雑であるので、免許証やパスポート、住所の書かれた書類を個人情報表示装置１の前方撮影カメラＣ２で撮影し、画像認識技術を使って判断して情報を外部メモリ１３に記録しても良い。
次に、対象となる銀行カードやクレジットカード等のカード情報の登録を行う。この時、図４Ａに示すように、カードを前方撮影カメラＣ２が撮影できる状態にユーザＡ自身が移動させ、矢印で示すように前方撮影カメラＣ２でカード全体が認識できる位置まで移動させ、撮影させる。この時、図４Ｂは、ユーザＡが実際にカードを持った時に、目にするイメージである。前方撮影カメラＣ２の撮影画面は表示部５に表示され、ユーザＡ自身が確認して大まかな位置や距離を合わせるようにしてもよい。撮影された画面上の各種情報、例えばカードの種類やカードナンバー、カードの有効期限等の情報は画像認識機能２３を使って認識し、情報は暗号化されたのち外部メモリ１３に記録する。クレジットカードでは裏面に記載されたいわゆるセキュリティーコード等の３桁或いは４桁の数字が使用時に必要な場合もあるので、その情報も登録してもよい。
なお、上述では数字や文字等の登録のみを行う場合を示しているが、これに限ることは無く、クレジットカードそのものを撮影し、画像として登録しても良い。これは後述するように、ユーザＡに登録されたカードかどうかを判断させるために有効である。すなわち、外部メモリに記録する情報は撮影された画面上の画像データでも良いし、撮影された画像より認識されたカード種類やカードナンバー、カードの有効期限等のテキストデータでも良い。その後、認識し、記録ができた時点でユーザＡに認識＆記録が完了したことを表示部５に表示させる。この時、ユーザＡに記録が完了したことを表示するが、単に「完了済み」等の表示だけでも良いし、表示部５に記録された画面上の画像データを表示しても良いし、カード情報として必要な例えばカード種類、カードナンバー、カードの有効期限等のテキストデータのみを表示しても良い。或いは記録が完了したことをイヤホン８から「完了済み」と音声で伝えても良い。あるいは、カード情報として有効なテキストデータを音声で伝えても良い。正しく認識したかをユーザＡに確認するために、認識したカード情報を表示部５に表示をする。或いは、イヤホン８経由で、音声でユーザＡに伝え、確認してもよい。この時、正しければＯＫと音声入力してもよいし、キーボードでＯＫの判断をしてもよいし、視点追跡機能と表示機能を使って判断させても良い。
次に各種カードのパスワードの登録を行う。パスワードの登録はユーザＡが直接入力をする必要があるので、例えば、音声で入力を行い上記同様音声認識した結果を表示部５に表示し、確認を行った後に各種カードに紐付けさせて暗号化させた後、外部メモリ１３に記録する。或いはパスワードを紙に記入し、それを前方撮影カメラＣ２で撮影し、画像認識機能２３で確認してもよい。当然、認識結果はユーザＡに伝え、正しいかの判断を行う。或いは、ユーザがそのクレジットカードを使用する時にユーザＡが例えばパスワード入力する装置でユーザＡが入力する順番、記号や数字を前方撮影カメラＣ２で撮影し、画像認識してその入力された数字や記号を記憶する。その時、入力した数字や記号が正しいかどうかの判断のため、イヤホン８経由でユーザＡに確認しても良い。或いは表示部５に入力した数字や記号を表示しても良い。ユーザＡはそれが正しいかどうかを確認し、例えば正しければ「ＯＫ」等の音声をマイク７に入力すればよい。
上記の暗号化では虹彩情報に紐付けされた暗号化キーを自動生成し、暗号化を行ってもよい。セキュリティを高める目的で、暗号化情報を解錠するキーは各種カード毎に異なるキーを使ってもよい。或いはユーザＡがパスワードを要求する時に虹彩認証を行うが、この時自動で紐付けされた暗号化キーを再度自動生成し、新しいキーで暗号化を行ってもよい。
図４Ｃは、個人情報表示装置１の表示部５（この例では右目）に、前方撮影カメラＣ２で撮影したカード映像３１０とユーザが入力したパスワード３００を表示したイメージ図である。
図４Ｄは、個人情報表示装置１の表示部５に、文字認識したカード情報３１１とユーザＡが入力したパスワード３００を表示したイメージ図である。すなわち、図４Ｃでは、カード映像３１０を表示していたのに対し、図４Ｄに示すように、文字認識したカード情報３１１を表示してもよい。
次に、ユーザＡが各種カードを使う時にパスワード入力する時の方法を示す。この時もユーザＡは個人情報表示装置１を図１に示すようにＨＭＤを装着するように耳にかけて装着する。装着の確認は、前記のユーザ登録時と同じなので説明は省く。
正しく装着されていることを確認すると、虹彩認証が開始される。虹彩認証は小型カメラＣ１を使いユーザＡの虹彩を撮影し、予め登録されているユーザＡの虹彩情報と照合する。同一と判断された場合には登録されている個人の名前を表示部５に表示させる、或いはイヤホン８経由で、音声で伝えてもよい。この時に二重の不正利用を防止する目的で、予め登録されたキーワードを言わせて確認してもよい。虹彩を撮影時にユーザＡは色々な所を見て虹彩撮影が上手くいかない可能性がある。従って、虹彩撮影が正しく行われるように、表示部５の適当な位置に矢印やマーク等を表示し、ユーザＡがその矢印やマークを見るように表示部に「この矢印を見てください」という表示をさせる、或いはイヤホン８から音声で指示を行い、正しい虹彩登録が行われるようにしてもよい。
次に、ユーザＡが使いたい銀行カードやクレジットカード等のカード情報を確認する作業を行う。この時、図４Ａに示すように、カード３１を前方撮影カメラＣ２が撮影できる状態にユーザＡ自身が移動させ、前方撮影カメラＣ２で撮影させる。この時、ユーザＡ自身はカード３１を前方撮影カメラＣ２が認識可能な大まかな位置や距離に合わせる。認識できた場合にはその旨を表示部５に表示してもよい。撮影画面を表示部５に表示して、ユーザＡ自身が確認できるようにしてもよい。従って、その判断された結果を用いて例えばユーザＡに「もう少し手前に動かして下さい」とか、「もう少し遠いほうに動かして下さい」とかを表示部５に表示してもよい。或いはイヤホン８を用いて音声で伝えてカード３１の情報を画像として認識可能な位置に移動させ、撮影してもよい。撮影された画面上の各種情報は、クレジットカードの種類やカードナンバー、カードの有効期限等の情報は画像認識機能２３を使って認識する。
次に、認識したカード情報に対応したパスワードを表示する。すなわち、認識したカード情報と予め登録されている情報の中から合致するカード情報のパスワードを呼び出し、そのパスワードを表示部５に表示させる。図４Ｅはカード使用時に個人情報表示装置１の表示部５に、既に登録済みのパスワード３００を表示しているイメージ図である。図４Ｅに示すように、前方撮影カメラＣ２でユーザＡのクレジットカードを撮影し、画像マッチングを行い予め登録されているカード情報の中から同じと認識されたカードの画像情報を表示部５に表示させる。
なお、パスワードを表示するにあたり、ユーザＡは使用しようとしているカードと認識されたカードが一致しているかを確認するようにしてもよい。その場合は、個人情報表示装置１の表示部５にカード画像を表示し、実際に手に持っているカードと見比べ、一致しているかを確認する。確認方法としては音声でイヤホン８から伝えてもよい。また、ユーザが確認動作を煩雑と感じる場合はその動作を省略してもよい。一致している場合はマイク７を使って例えば「ＯＫ」とか、「合っている」とかを入力し、個人情報表示装置１に伝える。個人情報表示装置１は、マイクからの音声をコントローラ１０に入力し、音声認識実行部１２ｈで音声認識し、一致したかどうか判断する。或いは、ユーザＡの指等によるジェスチャで、例えば、前方撮影カメラＣ２に撮影できる位置に、指で「ＯＫ」サイン表示し、それを画像認識で一致していると認識してもよい。一致しているか確認した場合は、カードに紐付けされたカードのパスワードを図４Ｅに示すように表示部５に表示させる。
このような動作を行うことにより、ユーザＡはパスワードを忘れていたとしてもスムーズにパスワード入力を行うことができる。なお、上記ではパスワードを表示部５に表示させていたが、これに限ることは無く、例えば音声でイヤホン８から伝えてもよい。
このように、本実施例では、各種カードが特定できた時点で各種カードのパスワードを表示部５により表示させる。これにより、その表示に従ってユーザはパスワードの入力を行うことができる。従って、セキュリティの高い個人情報表示ができ、ユーザフレンドリーな個人情報表示装置を提供できる。
次に、ユーザＡが例えばパソコンを使って各種アプリケーションプログラムの使用、ネットワーク利用等を行う場合の動作について説明する。
まず、各種アプリケーションプログラムの使用、ネットワーク利用等の各種サービス情報を登録する。この時、ユーザＡは、図５Ａに示すように、ＰＣ３２を前方撮影カメラＣ２が撮影できる状態で作業を行っている。図５Ｂは、作業状態でユーザが実際に目にするイメージである。
前方撮影カメラＣ２で撮影された画像は解析され、認識されて、表示部５にパソコンの各種情報を表示する。撮影された画面上のパソコンの各種情報は、例えば図５Ｂに示すように各種サービスの種類、インプットが必要なＩＤとパスワードの入力を促す画面等を含んでいる。それらの情報は画像認識機能２３を使って認識し、それぞれの情報を外部メモリ１３に登録する。この際、登録された各種情報は暗号化されて登録する。上記情報は数字や文字等の情報として登録しても良いし、パソコン画面そのものを撮影し、画像として登録しても良い。これは後述するように、登録されたパソコン画面かどうかを判断させるために有効である。
次に各種サービスに必要なパスワードやＩＤ番号等の情報の登録であるが、これはユーザが音声でマイク７を経由してコントローラ１０に入力し、音声認識実行部１２ｈでデジタルデータ化し、上述の各種サービスの情報と紐付けした状態で外部メモリに暗号化して記録する。或いは、ユーザがそのサービス情報を使用する時にユーザＡが例えばキーボード入力するその記号や数字、及びその入力する順番を前方撮影カメラＣ２で撮影し、画像認識してその入力された数字や記号を記憶する。その時、入力した数字や記号が正しいかどうかの判断のため、イヤホン８経由でユーザＡに確認しても良い。或いは表示部５に入力した数字や記号を表示しても良い。ユーザＡはそれが正しいかどうかを確認し、例えば正しければ「ＯＫ」等の音声をマイク７に入力すればよい。また、ログイン画面では、パスワードは登録時も使用時にもパソコン画面上に例えば●●●●等、マスクされて文字や数字として表示されないこともある。特に使用時にはパスワードを入力しても●●●●等としか表示されず、入力が正しいのか分からないケースがある。そこで、パスワードを登録する際には、入力したパスワードを表示部５を使って表示する。この方法としては、例えば、ユーザＡがキーボード入力する時に前方撮影カメラＣ２を使って、ユーザＡがインプットする文字や数字の順序を認識し、その順番に表示部５に表示させる。
図５Ｃは、登録時の、個人情報表示装置１の表示部５に文字認識したサービス名称５１１とユーザが入力したＩＤおよびパスワード５００を表示したイメージ図である。
次に、各種サービスを利用する際のパスワードやＩＤ番号の入力方法について説明する。
図６Ａは、各種サービスの利用時、個人情報表示装置１の表示部５に、文字認識したサービス名称５１１と既に登録済みのＩＤおよびパスワード５００を表示したイメージ図である。また、図６Ｂは、図６Ａにおける表示部５の拡大図であって、点線で示したＰＣ３２はグラスを通して直接見ている状態を示している。
ユーザＡがＰＣ３２を用いてサービスを利用する場合、そのＰＣ３２の画面を前方撮影カメラＣ２が撮影可能な状態にして、図５Ａと同様に、前方撮影カメラＣ２が、ユーザＡが見ているＰＣ３２の画面を撮影し、画像マッチングを行い予め登録されているサービス情報の中から同じと認識されたサービスのサービス名称５１１を表示部５に表示させる。
ユーザＡは表示部５に表示されているサービス名称５１１と実際に見ているパソコン画面とを見比べ、合致しているならばマイク７を使って例えば「ＯＫ」とか、「合っている」とかを入力し、個人情報表示装置１に伝える。個人情報表示装置１はマイクからの音声をコントローラ１０に入力し、音声認識実行部１２ｈで音声認識し、ユーザＡが正しいと判断したことを確認したうえで、サービス情報に紐付けされたサービスのＩＤやパスワード５００や必要に応じてその他情報を、図６Ｂに示すように、表示部５に表示させる。ユーザＡはそのＩＤおよびパスワード５００を確認した上でパソコンのキーボードからＩＤおよびパスワード入力を行う。この時、図５Ｂと同様に、ユーザＡが入力した情報がパスワードの様に●●●●等、表示されない場合に、ユーザＡ自身が入力した情報を確認するために、ＩＤおよびパスワード５００の下部に入力された情報を表示しても良い。
上記ではＩＤやパスワードを表示部５に表示させていたが、これに限ることは無く、例えば音声でイヤホン８から伝えてもよい。
或いは、入力する場所を間違わないように、入力位置、或いは入力位置近傍にＩＤやパスワードを表示させて、ユーザＡに何処にどの情報を入力させるかを示しても良い。例えば、図６Ｃに示すように、グラスを通して直接見ているＰＣ３２上のＩＤ入力欄に既に登録済みのＩＤ５０１を重畳して表示し、また、グラスを通して直接見ているＰＣ３２上のパスワード入力欄に既に登録済みのパスワード５０２を重畳して表示させてもよい。
また、ログイン画面のデザインが変更された時等、個人情報表示装置１に登録されている画面情報と、新しいデザインの画面とでマッチングが取れない場合には、当然個人情報表示装置１はマッチングできないと表示されるが、その場合にはユーザが明示的にサービスを入力・指定することも可能である。また、ＡＩ機能を駆使し、同様の会社名、サービス名であれば、多少のデザイン変更にも対応するシステムでも良い。
上記では各種カードや例えばパソコンを使った各種サービスについて、個人情報表示装置１の使い方について記載したが、例えば家や会社等の特定の場所への立ち入りの時、そのドアの開閉にセキュリティ確保のためにＩＤやパスワードの入力を要求されるケースもある。当然この場合に前方撮影カメラＣ２を使い、そのＩＤやパスワード入力を要求している状況を撮影して認識し、外部メモリ１３より対応するＩＤやパスワードを表示部５に表示しても良いが、予め使用している場所を、位置センサ６を通じて位置情報として登録しておくことで、その登録位置情報と紐付けされたＩＤやパスワードを表示することも可能である。
また、上記の実施例ではユーザＡに対し、個人情報表示装置１側から判断を要求された時に、ユーザＡは音声やキーボード入力により判断結果を伝達していたが、これに限ることは無く、視点追跡機能と表示機能を使って判断させても良い。その一例を、図７Ａ、７Ｂを用いて説明する。
図７Ａは、図５Ａと同様にユーザＡが例えばパソコンを使って各種アプリケーションプログラムの使用、ネットワーク利用等の各種サービス情報を確認する場合の個人情報表示装置１の表示部５の表示例である。前方撮影カメラＣ２のフォーカスが合った時点で個人情報表示装置１はその撮影画面と外部メモリ１３に登録されている情報の中から合致するものを呼び出し、ユーザＡに確認を行う。この時、図７Ａに示すように、ユーザＡの視点７００と確認用ウィンドウ７１０を表示部５に表示させる。確認用ウィンドウ７１０は、登録されている各種サービスの情報と、ユーザＡが見ている画面とが同じかどうかの判断をさせるために、例えば「ＯＫ？」、「ＮＧ？」を表示させ、視点をその「ＯＫ？」、「ＮＧ？」の表示位置に動かすように指示をする表示欄である。図７Ｂに示すように、ユーザＡは例えば「ＯＫ」と判断した場合には視点を「ＯＫ？」の表示位置に動かし、例えば個人情報表示装置１が「ＯＫ」と判断するまで視点を動かさずにいる。個人情報表示装置１は、例えば有る時間視点位置が動かなかった場合には「ＯＫ」とみなし、それに紐付けられたＩＤやパスワード情報を図５Ｃのように表示する。これにより、ユーザＡは音声やキーボード入力等の外部入力なしで確認しながら適切なＩＤやパスワードの入力ができる。勿論、前述したようなジェスチャ等で確認を行っても良い。
次に、パスワード等の個人情報を登録、或いは表示する等の具体的な動作を、処理フロー図を用いて説明する。
図８は個人情報表示装置１内の登録時の処理フロー図である。図８において、まず、前提として、ユーザＡは個人情報表示装置１に電源を入れる(図示せず)。この時、個人情報表示装置１の電源はユーザＡが物理的にスイッチ等で行ってもよいし、個人情報表示装置１が装着された時に自動的にスイッチが入れられてもよい。電源供給と共に各機能に電源供給されると共に各種プログラムがロードされる。そして、ステップＳ１００で、ユーザＡが正しい位置に個人情報表示装置１を装着したかどうかの確認を行う。次にユーザＡの虹彩撮影を行う（Ｓ１０１）。その後、ユーザＡの個人情報の登録を行う（Ｓ１０２）。個人情報と虹彩情報は紐付けされ、暗号化されて外部メモリ１３に登録する。個人情報の登録はマイク７とイヤホン８の音声入力でもよいし、表示部５に表示させ、通信部１４経由で例えばキーボードで入力してもよい。
その後、ＩＤやパスワードを登録したい各種カード＆サービスの情報を登録するために、まず、各種カード＆サービス名の表示を行なう（Ｓ１０３）。各種カード＆サービスの情報は例えば銀行カードであれば銀行名や銀行番号、支店名や支店番号、口座の種類と口座番号などである。クレジットカードであればクレジット会社名、クレジット番号、有効期限、セキュリティーコード等の情報である。各種サービスはそのサービス名や登録されている個人番号などである。
そして、ステップＳ１０４で、ユーザは表示されたサービス名を確認し、登録したいサービスであるかを確認する。ＮＧであればＳ１０３に戻り、ＯＫであれば、各種カード＆サービスの情報を登録し、ステップＳ１０５で、そのカードやサービスを使用するのに必要となるＩＤやパスワードを登録するために、それらを入力する。そして、ステップＳ１０６で、入力内容を確認し、ＮＧであればＳ１０５に戻り、ＯＫであれば、ＩＤやパスワードを登録する。上記各種カード＆サービス情報の登録と、それに紐付けられたパスワードやＩＤ番号の登録は、それぞれ暗号化され、外部メモリ１３に保存される。そして、ステップＳ１０７で、他に登録したいカードやサービスがある場合にはＳ１０３に戻り、同様の登録作業を継続する。無い場合には終了処理Ｓ１０８を行い、終了する。終了処理には各種プログラムや機能の終了処理の他に、例えば画像認識における新たな学習による設定値登録等を行っても良い。上記Ｓ１０７において、ユーザＡの行いたいことを判断する場合には、表示部５やイヤホン８を通じてユーザＡに例えば「他の登録がありますか？」等の表示や音声を使って直接問いかける。ユーザＡはその問いかけに対し、マイク７や通信部１４経由で声やキーボード入力で応答する。
図９は個人情報表示装置１内の各種カードやサービスを利用したい場合の処理フロー図である。図９において、図８の登録時の処理フローと同様に、前提として、個人情報表示装置１の電源をＯＮとすることで各種プログラムがロードされる。そして、ユーザＡが正しい位置に個人情報表示装置１を装着したかどうかの確認を行う（Ｓ２００）。次に、虹彩を撮影し、外部メモリ１３に暗号化されて登録されているユーザＡの登録された虹彩との認証を行う（Ｓ２０１）。ステップＳ２０２で本人であることが確認された場合には各種カード＆サービスの認識に進み（Ｓ２０３）、本人確認できない場合には終了する。
Ｓ２０３の各種カード＆サービスの認識では、ユーザＡは、例えば各種カードの場合には前方撮影カメラＣ２を使ってカードの内容が読み取れる位置にユーザＡ自身が移動させ、認識技術を使ってカード情報を読み取る。そして、ステップＳ２０４で、認識された情報が登録済みか判断する。登録されていない場合、ステップＳ２１０に移行し、新規登録するかどうかをユーザが判断する。新規登録を指示した場合は登録処理を行い（Ｓ２１１）、終了する。新規登録しない場合はＳ２０３の認識待ち状態に戻る。
ステップＳ２０４で、認識された情報が登録済みの場合はステップＳ２０５に移行し、サービス名を表示する。そして、ステップＳ２０６で、サービスの確認を実施する設定かどうかを判断する。なお、この設定はユーザが予め行っておく。確認を実施する設定でない場合はステップＳ２０８でＩＤ／パスワードを表示し、表示したＩＤ／パスワードが正しかったかどうかをＳ２０９で判断し、正しくない場合は新規登録の判断ステップＳ２１０へ進み、正しい場合はＳ２０３の認識待ち状態に戻る。
ステップＳ２０６で、確認を実施する設定の場合は、Ｓ２０７で、サービス名の確認を行う。Ｓ２０７では、ユーザＡに確認するために表示部５やイヤホン８を通じて画面表示や音声で伝える。ユーザＡは正しいかどうかをマイク７や通信部１４経由で声やキーボード入力で応答する。Ｓ２０７の確認後、上記各種カード＆サービスに紐付けされたパスワードを表示する（Ｓ２０８）。この時、パスワードは表示部５に表示してもよいし、イヤホン８経由で、音声で伝達してもよい。なお、処理フローには記載していないが、この時、ユーザＡがパスワードを入力する方法としてはＰＣに向かってキーボード入力、或いは銀行やコンビニエンスストアーに有るＡＴＭ等で入力、或いは店舗でクレジットカード決済端末での入力となる。入力が正しいかどうかの判断は、個人情報表示装置１の前方撮影カメラＣ２で撮影し、画像認識技術を使って正しいかどうかの判断を行い、間違っていた場合にはイヤホン経由で、ブザーで知らせる。あるいは、表示部５に表示させてもよい。これにより、正しいパスワードで目的の動作が終了する。なお、目的の動作が終了したかどうかの判断も、前方撮影カメラＣ２で撮影し、画像認識技術で判断しても良いし、ユーザＡに対し、表示部５やイヤホン８経由で終了したかどうかを聞いて判断しても良い。
また、上記、図８の処理フローでは説明を容易にするため、基本的な処理フローを記載しているが、これに限ることは無い。実際の処理フローでは、例えばＳ１００の装着の確認、或いはＳ１０１の虹彩撮影において、装着や虹彩撮影が上手く出来なかった場合に予め設定するリトライ回数でユーザＡの装着や虹彩撮影時のチェックを繰り返すこと、或いは、それでもユーザＡの装着や虹彩撮影が出来なかった場合にはその旨を表示部５に表示させ、ユーザＡ自身に装着を正しく行わせることや、例えば虹彩撮影ではユーザＡに表示部５の特定位置を見させるように「矢印の部分を見てください」等の表示を行って、正しく虹彩撮影ができるようにしても良い。同じく、Ｓ１０３の各種カード＆サービス名登録やＳ１０５のＩＤ／パスワード入力でも、上手く出来なかった場合にはリトライ回数を設定し、正しい登録を行わせても良い。その場合には上記同様表示部５を使い、上手く登録出来なかったことを表示し、ユーザＡに再度登録を促すことをしても良い。同様に図９の処理フローの場合においても適度のリトライを行い、正しい使用を行わせても良い。
なお、上記の個人情報表示装置１はＨＭＤの形状であれば誰からも見えることは無く、セキュリティは高い。また、装着状態であることを確認する手段を用いることにより、装着状態を条件にパスワードを表示して、装着が外れたことを確認したらパスワード表示をキャンセルさせてもよい。また、上記では虹彩の登録は最初のみに行っている例を示しているが、これに限ることは無く、定期的に虹彩登録を行っても良い。また、虹彩認証も一度だけ行うのではなく、例えばユーザが種々のカードにおけるパスワードを知りたい場合には、その都度虹彩認証を行っても良い。また、ユーザＡの操作に時間が経った場合にはもう一度虹彩認証してパスワード表示させても良い。
また、上記では虹彩を使った個人認証であるが、例えばマイクを使った声紋認証でもよい。また、虹彩や各種カードや各種サービスの情報、それに紐付けされたパスワードやＩＤ情報は定期的に自動的に新しい暗号による暗号化を行い、外部メモリに保存しても良い。
また、上述の各種カード情報や各種サービス情報においてＩＤやパスワードを登録する際、ユーザＡは予めパスワード管理ソフトに例えばキーボード入力や、個人情報表示装置１の前方撮影カメラＣ２を使ってカード認識させてカードのＩＤを入力し、パスワードを声やキーボード入力して認識させてもよい。
当然、このような装置が世の中に出回れば装置の中に個人情報が記録されているとの認識が生じるため、装置を盗み出して外部メモリの情報を吸い上げて情報を獲得することも想定される。従って、各種のパスワードは虹彩認証を行った時のみ解錠できるような仕組みを持ち、記録されたデータは暗号化された状態で記録する。正しい虹彩情報の場合に対応したキーが発行されるような状態にし、認証ごとに新しいキーが発行されて暗号化されて記録してもよい。この様にすることで、常に暗号化情報が同一のキーではないので例え情報が盗まれたとしてもそれぞれのサービスやカードに対応した暗号化されたパスワードは常に違うキーになっているため、よりセキュリティ的に高くなっている。
或いは、ユーザが盗まれていることを確認した時点で中身の情報を消去できるような仕組みを入れる。これは図２の通信手段によって行う。これには予め個人情報表示装置１の登録番号とパスワードにより、携帯電話より簡単に消去するものである。
或いはＧＰＳを使った位置センサ６を利用し、ＧＰＳ機能を使って盗まれたものがどこにあるかを確認して消去することも可能である。上記機能を使えば何時、何処で使われたことを知ることも可能である。また、装着や電源入力、或いは前方撮影カメラＣ２の動作により使われた各種カードや各種サービスの内容を確認することも可能である。
将来のサービスでは、これをユーザに貸し出し、使用回数でサービス料金を得る方法もある。
以上のように、本実施例では、個人情報表示装置には前面撮影カメラとユーザの虹彩撮影や視点追跡を行うための小型カメラが搭載されており、前方撮影カメラでユーザが保持しているキャッシュカードやクレジットカードを撮影し、対象のカードの種類や番号を画像認識技術により特定する。或いは前方撮影カメラでＰＣ／タブレット／スマホなどのパスワード入力画面を撮影し、その後撮影画像の画像認識技術により入力しようとしているサービスを特定する。特定した後、ＨＭＤ内のコントローラ、メモリよりカード情報や各種サービスと紐付けされて登録しているログインＩＤやパスワードをＨＭＤの表示部よりユーザの視野内に表示する。個人認証を虹彩等の生体情報で行うことで、他の人が装着してもパスワードは表示されずセキュリティが保たれる。そして、パスワード入力画面に行くだけでログインＩＤやパスワードが視野内表示されるため、パスワードを間違うことがなく、且つ、セキュリティも十分保障される。
また、新規パスワード登録や定期的なパスワード変更時には同じく前方撮影カメラの文字認識技術等によりパスワード新規登録、或いは定期的なパスワード変更であることを認識し、ユーザがパスワード入力領域に入力した文字を認識し、自動的にＨＭＤ内のパスワードを新規登録/変更する。或いは、パスワード新規登録、或いは定期的なパスワード変更であることを指示するコマンドを音声、ジェスチャやメニューを通してＨＭＤに対し与える。或いは視点追跡を利用し、ユーザがＨＭＤの表示部に表示されている指示を視点で選ばせても良い。コマンドを使わない場合は、ＨＭＤから登録/変更する確認をユーザに出しても良い。
また、ユーザが個人情報表示装置の表示部の表示に従いパスワードを入力する際、入力文字が表示されないサービスでは、ＨＭＤの表示部にはユーザが入力したと認識した全入力文字を表示する。これにより入力内容が確認でき、２重入力が必要なサービスにおける入力間違い防止になる。
また、ユーザが何を見ているかを判断する目的で、小型カメラで視点検知を行い、これと前方撮影カメラで撮影された画像との位置関係からユーザＡが見ているカード等の対象物を特定し、その画像解析よりカードの種類、ＩＤ番号を特定する。例えば銀行のキャッシュカードならば銀行名、口座番号等の情報を認識し、クレジットカードならばクレジット会社名、クレジットカード番号、有効期限、個人名等の情報を認識し、その情報に紐付けられたパスワードをＨＭＤ内の表示部に表示する。この時、当然ユーザＡがＨＭＤを装着していることを確認するために虹彩認証を行い、ユーザＡであることを確認した後パスワードは表示する。
以上、本発明の実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
Ａ：ユーザ、１：個人情報表示装置、２：カメラ部、５：表示部、６：位置センサ、７：マイク、８：イヤホン、９：装着センサ、１０：コントローラ、１１：ＲＯＭ、１２：ＲＡＭ、１３：外部メモリ、１４：通信部、２１：撮影処理部、２２：虹彩/視点検出＆認識機能、２３：画像認識機能、２４：メモリ、３１：カード、３２：ＰＣ、Ｃ１：小型カメラ、Ｃ２：前方撮影カメラ

Claims (7)

  1. メガネ形状の表示部を持つ個人情報表示装置であって、
    外部情報を撮影するカメラと、前記カメラから得られた撮影画像を処理する撮影処理部と、装着者の生体情報を取得する生体情報取得部と、情報入力部と、コントローラを有し、
    前記カメラで各種カード又は各種サービスの情報を撮影し、
    前記撮影処理部は、前記撮影した各種カード又は各種サービスの情報から各種カード又は各種サービスの認識情報を取得し、
    前記生体情報取得部で前記個人情報表示装置を装着している使用者の生体情報を取得し、
    前記コントローラは、前記生体情報を登録するとともに、前記各種カード又は各種サービスの認識情報に紐付けされたＩＤ及びパスワードの少なくとも一方を前記情報入力部により入力させて登録することを特徴とする個人情報表示装置。
  2. 請求項１に記載の個人情報表示装置において、
    前記生体情報は、装着者の音声信号であることを特徴とする個人情報表示装置。
  3. 請求項１に記載の個人情報表示装置において、
    前記コントローラは、前記取得された生体情報と予め登録されている生体情報との照合を行い、その照合結果が正しいと判断された場合にのみ、前記カメラで撮影された各種カード又は各種サービスの認識情報が、予め登録されている認識情報と合致している場合に、該各種カード又は各種サービスに紐付けされたＩＤ又はパスワードの少なくとも一方を前記表示部に表示することを特徴とする個人情報表示装置。
  4. 請求項１に記載の個人情報表示装置において、
    前記カメラは、ＩＤ又はパスワードの少なくとも一方を使用者が入力している画面を撮影し、
    前記撮影処理部は、前記撮影した画面から入力している文字及び数字の少なくとも一方を認識し、
    前記コントローラは、前記認識した文字及び数字の少なくとも一方を前記ＩＤ又はパスワードの少なくとも一方として登録することを特徴とする個人情報表示装置。
  5. 請求項１に記載の個人情報表示装置において、
    前記コントローラは、前記各種カード又は各種サービスの認識情報に紐付けされたＩＤ又はパスワードの少なくとも一方を前記情報入力部により入力させて登録する際に、前記各種カード又は各種サービスの認識情報を前記表示部に表示させ、該表示部に表示された情報が正しいかどうかの判断を使用者にさせ、正しい場合に、前記ＩＤ又はパスワードの少なくとも一方を前記情報入力部により使用者に入力させ、該入力した前記ＩＤ又はパスワードの少なくとも一方を登録することを特徴とする個人情報表示装置。
  6. 請求項５に記載の個人情報表示装置において、
    前記コントローラは、前記表示部に表示された情報が正しいかどうかの判断を使用者の音声で行うことを特徴とする個人情報表示装置。
  7. 請求項５に記載の個人情報表示装置において、
    前記コントローラは、前記表示部に表示された情報が正しいかどうかの判断を使用者のジェスチャで行うことを特徴とする個人情報表示装置。
JP2023077807A 2019-05-29 2023-05-10 個人情報表示装置及びその処理方法 Pending JP2023104944A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023077807A JP2023104944A (ja) 2019-05-29 2023-05-10 個人情報表示装置及びその処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/021418 WO2020240747A1 (ja) 2019-05-29 2019-05-29 個人情報表示装置及びその処理方法
JP2021521665A JP7279159B2 (ja) 2019-05-29 2019-05-29 個人情報表示装置及びその処理方法
JP2023077807A JP2023104944A (ja) 2019-05-29 2023-05-10 個人情報表示装置及びその処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021521665A Division JP7279159B2 (ja) 2019-05-29 2019-05-29 個人情報表示装置及びその処理方法

Publications (1)

Publication Number Publication Date
JP2023104944A true JP2023104944A (ja) 2023-07-28

Family

ID=73553121

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021521665A Active JP7279159B2 (ja) 2019-05-29 2019-05-29 個人情報表示装置及びその処理方法
JP2023077807A Pending JP2023104944A (ja) 2019-05-29 2023-05-10 個人情報表示装置及びその処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021521665A Active JP7279159B2 (ja) 2019-05-29 2019-05-29 個人情報表示装置及びその処理方法

Country Status (4)

Country Link
US (1) US20220222971A1 (ja)
JP (2) JP7279159B2 (ja)
CN (1) CN113994335A (ja)
WO (1) WO2020240747A1 (ja)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006393A (ja) * 2005-06-27 2007-01-11 Institute Of Physical & Chemical Research 情報提示システム
US8645709B2 (en) * 2006-11-14 2014-02-04 Cfph, Llc Biometric access data encryption
US9411944B2 (en) * 2006-11-15 2016-08-09 Cfph, Llc Biometric access sensitivity
US20120194551A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
KR101160681B1 (ko) * 2011-10-19 2012-06-28 배경덕 이동 통신 단말기의 활성화 시에 특정 동작이 수행되도록 하기 위한 방법, 이동 통신 단말기 및 컴퓨터 판독 가능 기록 매체
EP2624180A1 (en) * 2012-02-06 2013-08-07 Xabier Uribe-Etxebarria Jimenez System of integrating remote third party services
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US9130929B2 (en) * 2013-03-15 2015-09-08 Aol Inc. Systems and methods for using imaging to authenticate online users
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
JP6231398B2 (ja) * 2014-02-14 2017-11-15 株式会社Ｎｔｔドコモ 近距離通信デバイス、機能制御方法及び機能制御システム
CN104065817A (zh) * 2014-06-16 2014-09-24 惠州Tcl移动通信有限公司 一种基于虹膜识别的移动终端身份认证处理方法及系统
US9791936B1 (en) * 2016-05-03 2017-10-17 Aram Kavach Audio and motion-based control of a personalized smart appliance, media, and methods of use
JP2017228118A (ja) * 2016-06-23 2017-12-28 富士通株式会社 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法
KR20180013151A (ko) * 2016-07-28 2018-02-07 엘지전자 주식회사 이동 단말기
EP3602399B1 (en) * 2017-03-24 2022-10-05 Magic Leap, Inc. Accumulation and confidence assignment of iris codes
US10775897B2 (en) * 2017-06-06 2020-09-15 Maxell, Ltd. Mixed reality display system and mixed reality display terminal
US10345902B1 (en) * 2018-04-24 2019-07-09 Dell Products, Lp Method and apparatus for maintaining a secure head-mounted display session

Also Published As

Publication number Publication date
JP7279159B2 (ja) 2023-05-22
WO2020240747A1 (ja) 2020-12-03
US20220222971A1 (en) 2022-07-14
CN113994335A (zh) 2022-01-28
JPWO2020240747A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
US11783018B2 (en) Biometric authentication
KR100952540B1 (ko) 통신 장치, 통신 시스템
CN101960493B (zh) 用于移动装置的生物统计智能卡
AU2017221747B2 (en) Method, system, device and software programme product for the remote authorization of a user of digital services
JP6124124B2 (ja) 認証システム
US20180268415A1 (en) Biometric information personal identity authenticating system and method using financial card information stored in mobile communication terminal
JP6840568B2 (ja) 認証システムおよび認証方法
CN104376248B (zh) 一种在密码输入界面进行用户验证的方法及装置
JP2010246132A (ja) 携帯端末装置
US20150332038A1 (en) Secure entry of secrets
JP6856146B2 (ja) 生体データ登録支援システム、生体データ登録支援方法、プログラム
JP6399605B2 (ja) 認証装置、認証方法及びプログラム
KR101576557B1 (ko) 모바일 단말기용 지문인식 해킹방지 장치 및 지문 해킹방지용 표면부재와 그 지문해킹 방지방법
JP6707702B1 (ja) ユーザ認証装置及びプログラム
JP5145179B2 (ja) 光学式読取りコードを用いた本人確認システム
JP2005063342A (ja) カード使用者確認システム、カード使用者確認方法及びそのプログラム
JP6891356B1 (ja) 認証システム、認証装置、認証方法、及びプログラム
JP7279159B2 (ja) 個人情報表示装置及びその処理方法
JP2009026291A (ja) 身分照会システム
JPH05314344A (ja) 現金自動取引装置
JP4811873B2 (ja) 認証装置
JP7184870B2 (ja) 携帯情報端末及びその制御方法
JP2024020778A (ja) 電子機器、カード発行設備、カードシステム、認証情報処理方法、および、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230510