JP2009512911A - Communication apparatus, system, and method - Google Patents
Communication apparatus, system, and method Download PDFInfo
- Publication number
- JP2009512911A JP2009512911A JP2008529617A JP2008529617A JP2009512911A JP 2009512911 A JP2009512911 A JP 2009512911A JP 2008529617 A JP2008529617 A JP 2008529617A JP 2008529617 A JP2008529617 A JP 2008529617A JP 2009512911 A JP2009512911 A JP 2009512911A
- Authority
- JP
- Japan
- Prior art keywords
- user
- communication device
- communication
- virtual
- glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
- Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Image Input (AREA)
- Position Input By Displaying (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本発明は、眼鏡(1)の形状の仮想網膜表示器(VRD)と、前記眼鏡のフレームに搭載され短範囲通信インタフェース(13)で接続された少なくとも一つのハプティックセンサ(12)と、備える通信装置、システム、及び方法を開示する。この少なくとも一つのハプティックセンサ(12)を持つ仮想網膜表示器(VRD)で表示されたイメージを介してカーソルでナビゲートすることは、可能である。中央制御装置(11)は、少なくとも前記仮想網膜表示器及び少なくとも一つのハプティックセンサ(12)を制御する。仮想網膜表示器(VRD)が短範囲通信インタフェース(13)によって外部装置(2,9)で接続されるとき、ユーザは、ハプティックセンサ(12)で外部装置(2,9)の内容を介してナビゲートし得る。 The present invention provides a virtual retinal display (VRD) in the shape of glasses (1) and at least one haptic sensor (12) mounted on a frame of the glasses and connected by a short-range communication interface (13). An apparatus, system, and method are disclosed. It is possible to navigate with a cursor through an image displayed on a virtual retina display (VRD) having this at least one haptic sensor (12). The central controller (11) controls at least the virtual retinal display and at least one haptic sensor (12). When the virtual retina display (VRD) is connected with the external device (2, 9) by the short-range communication interface (13), the user can connect the contents of the external device (2, 9) with the haptic sensor (12). You can navigate.
Description
本発明は、独立請求項に記載の仮想網膜表示(VRD)を備える通信装置及びシステム、そしてユーザの網膜及び前記眼鏡のフレームの少なくとも一つのパプテック(触覚又は皮膚)センサに直接イメージを映し出すために眼鏡の形状で仮想網膜表示(VRD)を備える通信装置を操作するための方法に関し、前記少なくとも一つのパプテック(触覚又は皮膚)センサを持つ仮想網膜表示(VRD)で表示されたイメージを介してカーソルの手段でナビゲート可能となるものである。 The present invention provides a communication device and system comprising a virtual retinal display (VRD) according to the independent claims, and for projecting an image directly on at least one paptec (tactile or skin) sensor of the user's retina and the frame of the glasses. A method for operating a communication device comprising a virtual retina display (VRD) in the form of glasses, a cursor via an image displayed in the virtual retina display (VRD) having the at least one paptec (tactile or skin) sensor It is possible to navigate by means of
仮想網膜表示(VRD)は、例えば、特許出願WO−A2−2004/013676、WO−A1−97/37339及びWO−A−98/13720で記載され従ってもはや記載の必要はない。VRD装置は、装置を身につけ(装着)するユーザの網膜に直接イメージを映し出す。 Virtual retinal display (VRD) is described, for example, in the patent applications WO-A2-2004 / 013676, WO-A1-97 / 37339 and WO-A-98 / 13720 and therefore no longer needs to be described. The VRD device projects an image directly on the retina of a user who wears (wears) the device.
WO−A2−2004/013676は、ハウジング、入力手段、電子回路、メモリ手段、及びイメージ又はデータ源を処理し装置のユーザの網膜の上にレーザビームの形式で同じ物を映し出すための少なくとも一つのVRDシステムを備える電源を提供する移動体マルチメディア通信装置に関する。付け加えると、前記装置は、オーディオ、無線ネットワーク又は他の伝送チャネルを介して信号を受信及び伝送するビデオ、及びデータ通信用のステーションを持つ。前記信号は、ブルーツース、無線LAN,GSM、GPRS,EDGE,UMTS,DAB,4G,5G又は任意の電話ケーブル、無線又はサテライトネットワークで交換可能である。 WO-A2-2004 / 013676 is a housing, input means, electronic circuit, memory means, and at least one for processing an image or data source and projecting the same in the form of a laser beam on the retina of the user of the device. The present invention relates to a mobile multimedia communication device that provides a power supply including a VRD system. In addition, the device has a station for audio and video and data communication for receiving and transmitting signals over a wireless network or other transmission channel. The signals can be exchanged via Bluetooth, wireless LAN, GSM, GPRS, EDGE, UMTS, DAB, 4G, 5G or any telephone cable, wireless or satellite network.
眼球(目)で制御されるべき装置を許容する類似のシステムが既に公知である。WO−A1−01/88680は、眼球の自発的な動作列を使用しながら指示が入力され得るという入力指示をVRD装置に実施可能とする方法に関する。特定の指示に必要な列は、各ユーザに個々に依存する。しかしながら、眼球の動作は、時々、制御困難で眼球は、その状況で制御される装置用の指示として解釈され得る他人のサッカード(無意識の高速眼球運動(saccades))中における非自発的な動作をもする。従って、これら方法は、セキュリティ(安全)指示を入れるのに殆ど適していない。 Similar systems are already known that allow devices to be controlled by the eyeball (eye). WO-A1-01 / 88680 relates to a method for enabling an VRD device to perform an input instruction that an instruction can be input while using a voluntary movement sequence of an eyeball. The columns required for specific instructions depend on each user individually. However, the movement of the eyeball is sometimes difficult to control and the eyeball is involuntary movement during other saccades (unconscious high-speed eye movements) that can be interpreted as instructions for the device controlled in that situation I also do. Therefore, these methods are hardly suitable for entering security instructions.
また、システムは、アイパラメータがシステム又はサービスにアクセスを許容するためにバイオメトリックキーとして使用されて公知である。他人の中で虹彩又は網膜パターンを使用又はビューアを認証又は識別するために提案されている。 Systems are also known where eye parameters are used as biometric keys to allow access to the system or service. It has been proposed to use iris or retinal patterns among others or to authenticate or identify viewers.
WO−A1−02/41069は、視覚分野で表された物が、都合良く且つよく信頼性良く操作され、ユーザの相互作用の制御コマンドの特徴や動作に関して制御又は影響を受けた物をグラフィカルに視覚化するための方法に関する。
標準のマニュアルの操作可能な機械的な接触感知入力機構に加えて、ユーザが発行した制御コマンドを入力するための技術は、ユーザの聴覚や光信号を記録、認証、解釈、処理のための装置の使用を含む。
In addition to the standard manual operable mechanical touch sensing input mechanism, the technology for inputting control commands issued by the user is a device for recording, authenticating, interpreting and processing the user's hearing and light signals. Including the use of
従って、本発明の課題は、仮想網膜表示器(VRD)上に表示されたデータがユーザで容易に制御され得る新しくて改良された通信装置、システム、及び方法を提供する事である。 Accordingly, it is an object of the present invention to provide a new and improved communication device, system and method in which data displayed on a virtual retinal display (VRD) can be easily controlled by a user.
本発明の他の課題は、仮想網膜表示器(VRD)上に表示されたサーバーからのデータ又はイメージを、グラフィックユーザインターフェース(GUI)を介してユーザで容易にナビゲート(例えば、スクロール、エンタ(入力、入れたりする)、ローテート、押圧等する)可能な新しくて改良された通信装置、システム、及び方法を提供する事である。 Another object of the present invention is that data or images from a server displayed on a virtual retina display (VRD) can be easily navigated by a user via a graphic user interface (GUI) (eg, scrolling, enter ( It is to provide a new and improved communication device, system and method capable of (input, input), rotate, press, etc.).
本発明の更に他の課題は、キーパッド用のスペースがなく、眼球ベースの認証が信頼可能でなく利用可能でもない場所のVRD装置上のユーザの装着眼鏡を識別や認証することが可能な新しくて改良された通信装置、システム、及び方法を提供する事である。 Yet another object of the present invention is a new capability to identify and authenticate a user's wearing glasses on a VRD device where there is no space for a keypad and where eye-based authentication is neither reliable nor available. And improved communication devices, systems, and methods.
本発明によれば、これら課題が特に独立請求項の特徴を介して達成される。更なる有利な実施例が従属請求項及び詳細な記載に更に記載される。 According to the invention, these objects are achieved in particular through the features of the independent claims. Further advantageous embodiments are further described in the dependent claims and the detailed description.
発明によれば、これら課題は、独立請求項による通信装置、システム、及び方法の手段で達成される。 According to the invention, these objects are achieved by means of a communication device, system and method according to the independent claims.
特に、これら課題が以下の通信装置によって達成される。 In particular, these problems are achieved by the following communication device.
ユーザの網膜上にイメージを映し出すために眼鏡(スペクタクルス)形状の仮想網膜表示器(VRD)と、
少なくとも一つのハプティックセンサと、この少なくとも一つのハプティックセンサと共に前記仮想網膜表示器で表示されたメニューを介してナビゲートすることは、可能であり、
少なくとも前記仮想網膜表示器及び少なくとも一つのハプティックセンサを制御するための中央制御装置と、を備えることを特徴とする通信装置である。
A spectacle-shaped virtual retina display (VRD) for projecting an image on the user's retina;
It is possible to navigate through at least one haptic sensor and a menu displayed on the virtual retinal display together with the at least one haptic sensor,
And a central control device for controlling at least the virtual retinal display and at least one haptic sensor.
特に、これら課題が以下の通信システムによっても達成される。 In particular, these problems are also achieved by the following communication system.
ユーザの網膜上にイメージを映し出すために眼鏡(スペクタクルス)形状の仮想網膜表示器(VRD)と、
少なくとも一つのハプティックセンサと、この少なくとも一つのハプティックセンサと共に前記仮想網膜表示器で表示されたメニューを介してナビゲートすることは、可能であり、
少なくとも前記仮想網膜表示器(VRD)及び少なくとも一つのハプティックセンサ(12)を制御するための中央制御装置と、
短範囲の通信インターフェースと、
前記短範囲の通信インターフェースで前記仮想網膜表示器(VRD)に接続されるべき少なくとも一つの外部装置と、を備えることを特徴とする通信システムである。
A spectacle-shaped virtual retina display (VRD) for projecting an image on the user's retina;
It is possible to navigate through at least one haptic sensor and a menu displayed on the virtual retinal display together with the at least one haptic sensor,
A central controller for controlling at least the virtual retinal display (VRD) and at least one haptic sensor (12);
A short-range communication interface;
And at least one external device to be connected to the virtual retina display (VRD) via the short-range communication interface.
実施例では、これら課題は、通信装置を操作するための方法に関する独立の方法請求項で達成され得る。 In an embodiment, these tasks can be achieved with independent method claims relating to a method for operating a communication device.
ハプティックセンサは、前記眼鏡のフレームに搭載又は前記仮想網膜表示器(VRD)に短範囲の通信インターフェースと接続され得る。ハプティックセンサは、指紋センサであって認識及び認証眼球的用に十分に使用され得る。VRDからの網膜又は虹彩スキャンデータ又は音声認識は、分離又は上述の認証に加えて使用され得る。バイオメトリック(生物測定学的な)認証は、短範囲通信インターフェースの手段で眼鏡に接続されるサーバー、アプリケーション又は外部装置とアクセスするのに利点と共に使用され得る。外部装置として、移動体ハンドセット、mp3プレーヤ、ゲームコンソール、PC,ラップトップ、DVB−H又はDVB受信器、移動体電話は、認識モジュールを備え、移動体通信ネットワークに接続されており、他のユーザ又は他の適当な装置の仮想網膜表示器(VRD)が使用される。 A haptic sensor can be mounted on the frame of the glasses or connected to the virtual retina display (VRD) with a short range communication interface. The haptic sensor is a fingerprint sensor and can be used well for recognition and authentication ocular. Retina or iris scan data or speech recognition from the VRD can be used in addition to the separation or authentication described above. Biometric authentication can be used with advantages to access a server, application or external device connected to the glasses by means of a short range communication interface. As external devices, mobile handsets, mp3 players, game consoles, PCs, laptops, DVB-H or DVB receivers, mobile phones are equipped with a recognition module and connected to a mobile communication network for other users Alternatively, a virtual retinal display (VRD) of other suitable devices is used.
前記通信装置が無線移動体ネットワークの認識モジュールを備えるとき、このモジュールは、遠隔サーバ又はインターネットにアクセスするのに使用され得る。この場合、VRDはバイオメトリックデータを提供する。 When the communication device comprises a wireless mobile network recognition module, this module can be used to access a remote server or the Internet. In this case, the VRD provides biometric data.
更に、通信装置は、電源、イアホーンや(ボデイスカーフ)マイクロフォンを備えている。眼鏡の透明性は、好ましくは、眼鏡の見通し部分から非見通し部分に順次替わるように制御され得る。このようにして、ユーザは、表示されたグラフィックユーザインターフェース(GUI)だけでなく、環境をも見る(ビュー)ことができる。透明性もまた、サングラスとして作用する。例えば、視覚欠陥を持つユーザに対しては、眼鏡もまた視覚矯正を統合する。 Further, the communication device includes a power source, an earphone, and a (body scarf) microphone. The transparency of the glasses can preferably be controlled to switch sequentially from the line-of-sight portion of the glasses to the non-line-of-sight portion. In this way, the user can view (view) the environment as well as the displayed graphical user interface (GUI). Transparency also acts as sunglasses. For example, for a user with a visual defect, glasses also integrate visual correction.
更なる利点は、従属請求項又は実施例で記載されている。 Further advantages are described in the dependent claims or in the examples.
本発明のより良い理解のために示された実施例の詳細を説明する。 Details of the embodiments shown for better understanding of the present invention will be described.
図1は、本発明による本発明の通信システムを図示する。この例では、仮想網膜表示器(VRD)は、眼鏡1に搭載される。既に公知であるように、
VRD装置1は、眼鏡1をかけているユーザの網膜にイメージ及び画像を直接映し出す。このような眼鏡1は、特に、マイクロビジョン会社によって提案され、最小化され小電流消費のみ利点を有する。眼鏡でなくヘルメットに搭載されるVRD装置、移動電話のようなハンド装置、PDA又はラップトップ、又は車両の部分としては、車内又はATMキャッシュディスペンサのような固定されたインフラストラクチャの部分は、考慮されるかもしれない。
FIG. 1 illustrates the inventive communication system according to the invention. In this example, a virtual retina display (VRD) is mounted on the
The
網膜上のVRDで映されたイメージは、例えば、液晶技術に基づいて、適切な光シャッタを使用している光ビームの空間変調で生成されるかもしれない。
他の好ましい実施例では、単一の光ビームの映し出す方向は、振動鏡、例えば、2つの軸に沿ってそれを移動させるための2つの鏡を使用して、網膜上にイメージをスキャンするように、移動される。両方の実施例では、夫々の鏡の光シャッタは、MEMS技術に基づいている。
An image projected in a VRD on the retina may be generated by spatial modulation of the light beam using an appropriate optical shutter, for example, based on liquid crystal technology.
In another preferred embodiment, the projection direction of a single light beam is such that the image is scanned over the retina using a vibrating mirror, eg, two mirrors for moving it along two axes. To be moved. In both embodiments, the optical shutter of each mirror is based on MEMS technology.
VRD装置1は、統合された網膜のスキャン装置18と共にユーザの眼球の小穴(fovea)に2次元又は3次元イメージに対応するイメージ信号を映し出すために中央制御装置11で制御される。スキャン装置18は、モノクロモード又はフルカラ静止画像又はアニメイメージ、例えば、映画のいずれでも表示可能である。スキャン装置18の解像度は、HDTVまたは平坦でより高いものまであり得る。二重のユニットは、2つの信号、各々の眼球の中への一つを3次元画像のために、ビームできる。ユーザの網膜へ直接イメージを映し出すことが可能であるためには、眼球トラッキングシステムは、眼球の正確な視野方向を任意に監視できる。眼球トラッキングシステムは、一以上の物を持つ映し出された画像についてユーザの視野のスポットを認証するのに使用される。この特徴は、追加の機能を提供、例えば、特定のユーザでどの物が好まれるのかを認証する。
The
制御ユニット11内で装置の全部品の全体制御は、図2以下について説明する。既に公知であるように、VRD装置1は、以下説明するように、ユーザを認証又は認証するために、イメージを直接ユーザの網膜に映し出すだけでなく、ユーザの眼球(網膜スキャン、瞳孔)からバイオメトリックデータを取るように作用可能である。同じ特徴は、ユーザの特徴を映し出すための手段としてだけでなく、スキャンするための手段としてその時に作用する上記の網膜スキャン装置18に統合され得る。
The overall control of all components of the apparatus within the
本発明によれば、VRD装置1は、パプテックセンサ12が、好ましくは、前記眼鏡1のフレームの一方又は両側に、ユーザが指で容易に届き得るように、装備されている。パプテックセンサ12の好ましい例は、容量センサのアレー、例えば、会社ATRUAによって製造されているようにマトリックスが9X192の容量電極におけるものがある。この文献の内容におけるパプテックセンサは、少なくとも2つの、好ましくは、少なくとも4、又は任意の方向にナビゲーションを許容するどれかのセンサをグラフィックやテキストメニューを介して指名する。好ましくは、このアプリケーションのセンサとしてパプテックセンサは、2進選択物だけでなく、指の動く方向に依存する方向及び振幅を許容するセンサである。幾つかの好ましい容量パプティクセンサでも、以下記載するように、指紋を取られるのを許容する。使用され得るパプティクセンサ用の他の例は、GUIの又はカーソルを移動又はメニューでナビゲートするためのタッチパッド、ジョイステック、トラックボール又は任意の指である。
According to the present invention, the
ハプティックセンサ12で獲得された指紋ベースのユーザ認証は、指全体のイメージを獲得するために、ユーザがセンサ上で指を拭う必要である。
Fingerprint-based user authentication obtained with the
前記眼鏡1のフレーム上のハプティックセンサ12と共に、ユーザが、グラフィックユーザインターフェース(GUI)、仮想キーボード上の入力文字、を介してカーソルで選択し、ナビゲート又はVRD装置1で表示されたイメージすなわちビデオシーケンス(ズーミング、リプレー、早送り等)を変化することが可能である。VRD装置で表示された仮想キーボードは、国際公開WO−A1−01/88680から既に公知である。「ナビゲート」という文言は、グラフィックユーザインターフェース(GUI)を介して移動するために、カーソルを表示するような、ローリング、スクローリング、ローテーティング、クリキング、ダブルクリキング、及び押圧のようにカーソルを移動させるための全て公知のマウス特徴を備える。従って、このシステムはパーソナルコンピュータでのマウス又はジョイスティックの入力システムとして作用する。
Along with the
更に、アイコム又はテキストから成るメニューを介してナビゲートすることは、ハプティックセンサで十二分に成され得る。その時、ナビゲーションは、その時、クリッキングで選択された異なるアイコム又はメニュー項目を可能な限り経由して必須のフリップングから成る。そして、ユーザは、例えば、新しいメニューを入れ又はアプリケーションを選択する。メニューにおける幾つかの方向に沿ってナビゲートやより早くスクロールのために、定義ベクトル、例えば、ベクトルの方向及び長さでナビゲートがまだ可能である。そのセンス及び長さもまた、例えば、ラウドスピーカボリューム又は表示器の輝度又はコントラストを制御するためにコマンド用のパラメータとして使用され得る。 In addition, navigating through a menu of icom or text can be more than enough with a haptic sensor. The navigation then consists of mandatory flipping through as much as possible through the different icom or menu items selected at that time. The user then enters a new menu or selects an application, for example. For navigating along several directions in the menu and for faster scrolling, it is still possible to navigate with a definition vector, for example the direction and length of the vector. Its sense and length can also be used as parameters for commands to control, for example, loudspeaker volume or display brightness or contrast.
VRD装置1がユーザの視野すなわちユーザの眼球の移動の予め定められたシーケンスの方向を決定するために眼球トラッキングシステムを備える。この方向又は方向のシーケンスは、システムに更にコマンドを入れるために考慮され得る。このようにして、本発明の一実施例では、ユーザは、同一項目を見る(ビューする)のみで選択されるべき項目を選択する。その後、ユーザはハプティックセンサ12を押圧又は作用させることによって、項目を選択し得る。
The
多くの指示又は入力は、眼球及びハプティックセンサ12の移動を考慮して組み合わされ得る。眼鏡1のフレーム上のハプティックセンサ12の配置及びキーパッド上の文字を入力又はサーバーをアクセスするのにグラフィックユーザインタフェース(GUI)を介して移動させる可能性により、スペースは分離したキーパッドのために必要ではない。
Many instructions or inputs can be combined considering the movement of the eyeball and
他の実施例では、ハプティックセンサは眼鏡に直接搭載されないで、VRD装置に又はVRD装置より同一の処理ユニット、例えば、ワイヤード又はワイヤードレスインターフェースに接続される。例えば、装置が車又は飛行機を駆動するのに使用されるならば、ハプティックセンサがステアリングホイールの近くで都合良く搭載される間は、VRD装置は、ドライバーによって眼鏡またはヘルメット又はコックピットで搭載され得る。相互の認証メカニズムは、好ましくは、VRD装置が期待されたハプティックセンサで常に通信するのを確実にするように提供される。 In other embodiments, the haptic sensor is not mounted directly on the glasses, but is connected to the VRD device or to the same processing unit from the VRD device, eg, a wired or wireless interface. For example, if the device is used to drive a car or airplane, the VRD device can be mounted in glasses or a helmet or cockpit by the driver while the haptic sensor is conveniently mounted near the steering wheel. A mutual authentication mechanism is preferably provided to ensure that the VRD device always communicates with the expected haptic sensor.
ハプティックセンサ12が指紋センサであれば、ハプティックセンサ12は、識別及び認証眼球的用に十分使用され得る。モードスイッチは、ユーザのナビゲーション及び認証の間の即座のスワイプ用に使用され得る結果、ユーザは、指紋が取られるときに知ることになる。異なるモードは、小さいアイコンで映されたVRDイメージで表示され得る結果、ユーザは、モードに気づく。二者択一的には、ユーザがハプティックセンサを操作する度に、指紋が取られても良い。
If the
第1実施例では、権限付与されたユーザのみが、本発明の装置を使用可能である。このようにして、VRD装置1の使用の前に、ユーザの音声認証又は網膜又は瞳孔スキャンのような指紋又はバイオメトリック特徴は、ユーザを認証するために取られ得る。ユーザが装置を身につけバイオメトリックデータが装置1で得られ得るときには、これでさえ、ユーザの活動的な発明なしに装置によって自動的に成され得るであろう。ユーザが最初に装置を使用し、メモリで格納されるときに、参照データは、取られるであろう。参照データを測定データと比較するための手段は、装置で提供される。一実施例では、このメモリは、無線移動体ネットワーク6のアイデンティフィケーション(識別)モジュール(SIM)19のようなスマートカードで、バイオメトリック参照データが格納される所である。変形例では、指紋参照は、特許出願WO−A2−02/01328に記載されている特定のセキュリティチップのようなSIMの同一又は同様な機能を持つ特別なチップに格納される。SIM、又は他のセキュリティチップは、単独又はユーザ認識又は認証のためのバイオメトリックパラメータと共に、使用される。
In the first embodiment, only authorized users can use the apparatus of the present invention. In this way, prior to use of the
認証手順がポジティブであれば、ユーザは、装置を使用し装置内でアプリケーションを実行し得る。もちろん、装置を使用するのを許容される異なるユーザのバイオメトリックデータを格納することが可能であろう。登録及び認証手順は、全てのユーザ用に同一であろう。しかしながら、異なるプログラム又は異なるユーザ用の異なるユーザパラメータを適応可能であろう。また、好ましくは、これらユーザ設定は前記メモリで格納されるであろう。 If the authentication procedure is positive, the user can use the device and execute the application in the device. Of course, it would be possible to store biometric data of different users that are allowed to use the device. The registration and authentication procedure will be the same for all users. However, different user parameters for different programs or different users could be adapted. Also preferably, these user settings will be stored in the memory.
VRD装置1が上記アイデンティフィケーション(識別)モジュール(SIM)19を備え、GSM又はUMTSのような移動体通信ネットワーク6に接続されるならば、装置は、移動体電話として使用され、ユーザがコマンドを入れ、SMS又はMMSを書き込み、ダイアルされるべき電話番号を選択等が、パプティックセンサ12又はパプティックセンサ12及びアイコマンドの両方を使用しながら、可能である。ユーザが電話又は会議パートナーを見る場所であるビデオ電話コール又はビデオ会議は、行われる。このようにして、ユーザは、移動体通信ネットワーク上のインターネットをアクセスし、それを介してナビゲートできる。完全な通信容量を可能にするためには、一以上のマイクロフォンが眼鏡フレーム、例えば、一時的なボーン又は他の従来のマイクロフォンに接触するボディスカーフマイクロフォン15に統合され得る。他の実施例ではイアホーン17との組み合わせのようでも可能である。眼鏡のフレームは、
電気線16上で前記イアホーン又はイアプラグ17に接続される。イアプラグもまた、補聴器と組み合わせても良い。
If the
It is connected to the earphone or
VRD装置1の電源14は、制御論理11において光電圧セル、アキュムレータ、及び制御部から成り得る。光電圧セルは、フレーム又は眼鏡1にコーティングと同じような付加透明層に搭載可能で、US−A−544827で公知の、例えば、グラエッセル(Graetzel)セル又は従来のシリコンセルを使用する。これら要素に加えたコンタクトは、エネルギーシステムを再負荷するのが予測され得る。他のエネルギー源もまた、可能である。付加えると、イアフォン17は、電源用のアキュムレータを統合しても良い。
The
発明の眼鏡1もまた、短範囲のコンタクトレス(非接触)のインターフェース13が備えられる。コンタクトレスインターフェース13の眼鏡1は、コンタクトレスの通信チャネル8で外部装置、例えば、モバイルホーン2又はこのようなコンタクトレスインターフェース23に装備された他のパーソナル装置9に接続されている。コンタクトレスインターフェース13,23は、例えば、ブルーツース(Bluetooth)、Zigbee,IdDA,HomeRF,NFC(near field communmication)、WLAN、又はDECTによる従来技術で公知である。
The
本発明の第1の実施例では、パーソナル装置9からのデータは、コンタクトレス通信チャネル8に伝送される。この手順の前には、ユーザは、バイオメトリック特徴の一つ又は組み合わせや上述したパスワードでVRD装置1自身から認証される。勿論、この手順は、任意だけである。パーソナル装置9とVRD装置1との間の安全な接続を得るために、ユーザは、スタートボタンでクリック又はハプテックセンサ12で即座のスワイプで眼鏡1を開始する。即座のスワイプ(ジェスチャ)は、全体システムの機能を開始し、網膜スキャン装置18を使用することもよってサービスメニュー(グラフィカルユーザインターフェースGUI)を表示する指紋センサ12上の即座のフィンガ移動である。
In the first embodiment of the present invention, data from the
継続のために、ユーザは、前記メニューを見る前に指紋センサ上の特定フィンガをスワイプすることによって認証手順を開始する。ユーザがハプテックセンサ12を使用しているとき、ナビゲートしユーザの指紋を取ることは、同時に行われもする。このようにして、サーバーを介して移動し、前のナビゲーション中に取られた指紋で認証されるときにのみ安全部品をアクセスできる。この第2の認証手順は、パーソナル装置9に格納された参照データで行われる。指紋センサ12は、上述したアイデンティフィケーションモジュール(SIMカード)19(又は後述するSIMカード24)又はどれか特定のセキュリティチップについての通信インターフェースを持つ固体状態指紋センサ又は固体掃引指紋センサ(容量センサ)のいずれかである。
To continue, the user initiates the authentication procedure by swiping a specific finger on the fingerprint sensor before viewing the menu. When the user is using the
WO−A2−02/01328は、ユーザデータベース、プロセッサ、及びバイオメトリックマップ発生機能が、セキュリティデータの内容が集積回路外からアクセス不可の同一集積回路上に位置しているバイオメトリックベースのセキュリティチップを提供する。バイオメトリックデータ、例えば、指紋、彩光、網膜スキャンや音声印刷は、限定された源にアクセスを要求するユーザから取られる。バイオメトリックデータは、バイオメトリックマップに変換され、
集積回路内の不揮発性メモリに格納されたバイオメトリックマップと比較される集積回路に転送される。格納マップは、プリ権限ユーザを表し、一方が信号をホストプロセッサに送信するためにセキュリティ(安全)回路をトリガして、ホストプロセッサが限定された源にユーザアクセスの要求を許可するように権限を有する。集積回路におけるセキュアデータ及びセキュリティ機能が如何なるピン又はポートを介して直接的にアクセス可能でなく、従って、専用のセキュリティアタックを介して読み込み又は監視され得ないので、集積回路は、セキュアデータ用の読み書き専用メモリとして作用するのが必須である。集積回路の外部からアクセス可能な第2の不揮発メモリもまた、非セキュアデータを格納するための集積回路に提供され得る。この第2のメモリは、それ自身のインターフェースポートを持ち、セキュリティ関連機能及びメモリから絶縁される結果、セキュア及び非セキュア機能が物理的に互いに絶縁されその絶縁を克服するのに修正できない。
WO-A2-02 / 01328 is a biometric-based security chip in which a user database, a processor, and a biometric map generation function are located on the same integrated circuit where the contents of security data cannot be accessed from outside the integrated circuit. provide. Biometric data, such as fingerprints, chrominance, retinal scans and voice printing, is taken from users requesting access to limited sources. Biometric data is converted into a biometric map,
Transferred to an integrated circuit to be compared with a biometric map stored in non-volatile memory within the integrated circuit. The storage map represents pre-authorized users, one of which triggers a security circuit to send a signal to the host processor, authorizing the host processor to authorize requests for user access to a limited source. Have. Since the secure data and security functions in the integrated circuit are not directly accessible via any pin or port and therefore cannot be read or monitored via a dedicated security attack, the integrated circuit can read and write secure data It is essential to act as a dedicated memory. A second non-volatile memory accessible from outside the integrated circuit may also be provided in the integrated circuit for storing non-secure data. This second memory has its own interface port and, as a result of being isolated from security related functions and memory, secure and non-secure functions are physically isolated from each other and cannot be modified to overcome that isolation.
もし認証テストがポジティブであれば、ユーザはパーソナル装置9を使用しデータは網膜スキャン装置18に表示され得る。セキュアシステムを創設するために、この認証は、眼球(網膜、瞳孔又は虹彩)、指(指紋、血管)や音声認識と結合された識別、や認証VRD装置1における上述のチップカード又は上述のセキュリティチップに格納されたデータ比較であり得る。
If the authentication test is positive, the user can use the
バイオメトリックデータやパスワード又はPINの異なる結合は、異なるアプリケーションで、同一のアプリケーションの異なる部分で、文脈又は現在のセキュリティレベルに依存して要求される。例えば、網膜認証は、多くのアプリケーションで十分であるが、付加的な認証データ、例えば、指紋、音声印刷、又はパスワードは、セキュリティ感覚アプリケーションによって、又は網膜認証システムで送信される秘密レベルが所定の閾値未満であるときには、要求されている。二者択一的には、様々な利用可能な認証方法はユーザで選択されるか又は、第1認証が失敗ならば後退としてシーケンス的に使用され得る。 Different combinations of biometric data and passwords or PINs are required in different applications, in different parts of the same application, depending on the context or current security level. For example, retinal authentication is sufficient for many applications, but additional authentication data, such as fingerprints, voice prints, or passwords, is given a predetermined secret level transmitted by a security-sensitive application or by a retinal authentication system. Requested when below threshold. Alternatively, various available authentication methods can be selected by the user or used in sequence as a back-up if the first authentication fails.
理解されているように、PIN又はパスワードは、ユーザによってパプティックセンサ12で、例えば、VRD装置1でユーザに表示される仮想キーボードで入れられる。
As will be appreciated, the PIN or password is entered by the user on the
もし認証手続がポジティブであれば、ユーザは、発明の眼鏡1上に搭載された上述のパプティックセンサ12を介してコマンド入力で、パーソナル装置9(又は移動体電話2)を介してナビゲートできる。コマンドもまた、通信チャネル8を伝送される。既に述べたように、ナビゲーションは、ローリング、スクローリング、クリッキング、やプレシング(押圧)のような公知のコマンドを含む。この装置では、ユーザは、表示されるべき、ゲームをするため、又は、パーソナル装置9に格納されたパーソナル文書をリビューするために、ビデオチップを選択可能である。同時に出る音は、前記イアホーン17を介してユーザに出され、例えば、前記通信チャネル8を伝送され得る。パーソナル装置9の例は、移動体ハンドセット、mp3プレーヤ、ゲームコンソール、PC,ラップトップ、DVB−H又はDVB受信器又は他の適切な装置である。
If the authentication procedure is positive, the user can navigate through the personal device 9 (or mobile phone 2) with command input via the above-described
システムが外部装置9(又は移動体電話2の下に外観されるように)に対になっているならば、システムは、この装置9との通信を開始するであろう。一実施例では、システム制御(制御ユニット11)は、対の外部装置2,9の特定のレジスタを含む。もしそうであれば、ユーザが、使用のための登録された装置2,9の一方を選択する。一旦、ユーザが欲しい装置2,9を選択したら、
ユーザは、指紋センサ12を用いて前記外部装置2,9の完璧な制御をするために、指紋センサを使用できる。
If the system is paired with an external device 9 (or as seen under the mobile phone 2), the system will initiate communication with this
The user can use the fingerprint sensor to completely control the
VRD装置1が記述したように、放送受信器に接続されるならば、DRM(デジタルライトマネジメント)システム内で認証用に使用可能である。ユーザは、料金(TV支払い)支払うために前もってあるコンテントを購読する。購読中、例えば、ビデオ店内で、ユーザは、コンテントプロバイダにバイオメトリックデータを表示しなければならない。そして、バイオメトリックデータがユーザのコンテントに沿って送信された特定の暗号データと適合するならば、ユーザだけは、購読のコンテントを復合化できる。勿論、暗号化及び複合化手段は、適当なセキュリティを提供するために使用される。
As described in the
この実施例では、パプテックセンサ12は、チャネル、ボリューム、輝度等の項目を選択するためだけでなく、表示イメージ又はビデオをズーム、リプレイ等のためにも使用され得る。
In this embodiment, the
ユーザは、パーソナル装置9としてパーソナルコンピュータにVRD装置1を接続し、この装置9で特別のアプリケーションをアクセスするならば、このアプリケーションは、好ましくは、バイオメトリック特徴でセキュアされ得る。このようにして、そのアプリケーションは、保護され、権威のある人によって使用され得る。
If the user connects the
第2の実施例では、本発明のVRD装置1は、移動体電話2にコンタクトレスの通信チャネル8上に接続されている。移動体電話2は、表示器22、キーボード23(又は任意の他の入力手段)、前記コンタクトレスのインターフェース23及びユーザ特定データが格納されたチップボード、例えば、SIM(購読者認識モジュール)カード24を備える。再び、任意の型のデータは、VRD装置1から移動体電話2への短範囲通信インターフェース13,23上で双方向に交換され、VRD装置1又は移動体電話2で表示され得る。変形例では、コンタクトベースのインターフェース(例えば、ワイヤ)であり得るし、VRDは、外部装置9又は移動体電話2へのインターフェース上に接続する。
In the second embodiment, the
認証手続は、パーソナル装置9用の説明したものと類似する。参照バイオメトリックデータは、SIMカード24に格納され得る。このバイオメトリックデータは、ユーザから取られた測定されたバイオメトリックデータと比較され、VRD装置1から移動体電話2に又は移動体電話2からVRD装置1に伝送される。
認証がポジティブであれば、ユーザは、ハプティックセンサ12を使用してSMS又はMMSを読み書き又は(移動体)インターネットをブラウスのように、移動体電話からデータを視覚化できる。再び、複数のバイオメトリックデータや付加的なPINコードを使用するのが可能となる。他の実施例では、本発明のシステムの使用中に、ユーザでもまた、例えば、同時に任意の他の光信号を見る間、電話で通話のように、非連動オーディオ信号にアクセスする。
The authentication procedure is similar to that described for the
If the authentication is positive, the user can use the
移動体電話2は、移動体無線インターフェース5上の通信ネットワーク6に接続される。ネットワーク6は、例えば、移動体無線ネットワーク、GSM又はUMTSによるが、ネットワークであるか又は幾つかのネットワークから成る。移動体電話2は、リモートサーバ3を持つ通信ネットワーク6、例えば、通信ネットワーク6のオペレータで管理されたhttp又はWAPサーバに接続され得る。移動体電話2とリモートサーバ3との間のデータ伝送は、好ましくは、例えば、プロトコルSSL(Secure Sockets Layer),TLS(Transport Layer Security),やWTLS(Wireless Transport Security) で端から端まで、セキュアされている。移動体電話2からリモートサーバ3に送信されたデータは、好ましくは、セキュリティモジュールで、好ましくは、眼鏡1又は移動体電話2(エアインターフェース/コンタクトレスの通信チャネル8)のSIMカード24、又はセキュリティモジュール110の内の電子証明に格納されている電子私的キー電子的にサインされる。
The
この実施例によれば、前記仮想網膜表示器1は、前記移動体電話2又は前記移動体ネットワーク6の前記短範囲の通信インターフェース13、23をサーバ3又はコンテントプロバイダ4に接続される。サーバ3は,カスタマデータベース32又はサービスデータベース33内に異なるデータベース内に通信パス7上をアクセスするためのポータル31を含む。サーバ3に対してユーザの識別又は認証が上述した同じ方法で、音声認識やパスワードと共に網膜認証で眼鏡1のフレームに搭載された指紋センサ12で行われる。この実施例は、
ユーザがパプテックセンサをサーバ3又はコンテントプロバイダ4をアクセス又は他のバイオメトリックデータと調和(トーン)するためのナビゲーション道具として使用する間、ユーザから指紋が取られるのを許容する。サーバ3のアクセスのために、セキュリティ制御は、SIMカードにおいて格納された参照データと共にパプテックセンサ12で行われ得る。テストがポジティブであれば、サーバ3は、アクセスされ得る。このようにしてセキュリティは、著しく増大される。変形例では、指紋認証は、SIMの同一又は類似か又は上述されているような特別のセキュリティチップとしての機能を持つ特別のチップに格納される。更なる実施例では、任意のセキュリティチップにおいて、SIM又は任意のセキュリティチップにおけるユーザ認識は、付加的に又は指紋又は他のバイオメトリック認識を取替えるために使用される。
According to this embodiment, the
While the user uses the Paptech sensor as a navigation tool to access the server 3 or content provider 4 or harmonize with other biometric data, the user is allowed to take a fingerprint. For server 3 access, security control can be performed at the
ユーザは、このサーバ3をアクセスしたいならば、認識又は認証されるためにバイオメトリック特徴で前もって登録しなければいけない。サーバ3でユーザに付与された権利は、サーバ3の型及びサービスプロバイダによって申し込まれたサービスの型に依存する。移動体電話2もまた、あるコンテントを購読するために通信ネットワーク6をコンテントプロバイダ4に接続される。これにより、コンテントプロバイダ4にバイオメトリック特徴を伝送する。
If the user wants to access this server 3, he must register in advance with biometric features in order to be recognized or authenticated. The rights granted to the user at the server 3 depend on the type of the server 3 and the type of service subscribed by the service provider. The
コンテントプロバイダ4にアクセスするためのセキュリティコントロールは、SIMカードで格納された参照データと共にパプティックセンサ12で行われ得る。テストがポジティブであれば、コンテントがアクセスされ得る。このようにして、セキュリティは、著しく増大される。変形例では、指紋参照は、叙述したように特別のセキュリティチップのようなSIMの同一又は類似の機能を持つ特別のチップに格納される。更なる実施例では、SIM又は任意のセキュリティチップにおけるユーザ認識は、付加的又はコンテントをアクセスするときの指紋又は他のバイオメトリック認識を取替えるために使用される。
Security control for accessing the content provider 4 can be performed by the
更に実施例では、2つの「センサ眼鏡1」は、コンタクトレスインターフェース13又は通信ネットワーク6又はユーザAとユーザBとの間を介して同一装置1を双方が使用して、一緒に接続され得る。この実施例では、ユーザAは、ユーザB(マクロフォン及び反転された網膜スキャン装置18)のセンサ眼鏡1で獲得された音及びイメージを経験する。付加的な情報は、ユーザAのビームイメージの上にユーザBの観点をマークすることで提供される。この実施例は、ビデオ会議及びビデオゲーム用に部分的に使用可能である。
Further, in an embodiment, two “
システム制御は、図2にある本発明の眼鏡の全機能を制御するマイクロプロセッサである。制御ユニット11は、パプテックセンサ12、コンタクトレスのインターフェース13、電源14、マイクロフォン15、イアホン17、網膜スキャン表示器18、及びメモリや認識モジュール(SIMカード)19のようなVRD装置1の全ての部分を制御する責任がある。制御ユニット11もまた、
暗号で、コンタクトレスの通信チャネル8をセキュアする責任ある。メモリ内では、ハードウェア部品を制御するためのソフトウェア、バイオメトリック特徴、及びユーザ優先が格納される。ユーザによって直接的に実行されるべきアプリケーション又はプログラム、又はユーザがこの装置2,9にアクセスする権利を得るための対の外部装置2,9の特定レジスタを含む。
The system control is a microprocessor that controls all functions of the glasses of the present invention shown in FIG. The
Responsible for securing the
図3に示されているように、眼鏡1は、アプリケーションや書き込まれたテキストに基づいた眼鏡1の透明性は、シースルー(100)から非シースルー(101,102、103)の眼鏡部分及ぶこの連続から制御され得る。このようにして、ユーザは、表示されたグラフィカルユーザインターフェース(GUI)ばかりでなく環境及び周囲であり得る。透明性はまた、サングラスとして作用する。視覚障害を持つユーザのために眼鏡は、視覚訂正を制御する。制御動作は、パプテックセンサ12の機能の一つで行われる。変形例では、透明性は、VRD装置1によって又はユーザビューの背景に表示されるコンテントによる自動的に適用される。このようにして、もしユーザが少なくとも部分的に明確な青空又は白雲、又は黒手紙を見るなら、背景が黒又は灰色であれば、白手紙が表示されない。
As shown in FIG. 3, the
本発明の「センサ眼鏡」の利点は、速度、利便性、品質、秘密、及び信頼の領域において重要である。別途キーボードは、必要でないが、ユーザ用に大変容易く使用するパプテックセンサ12だけである。
The advantages of the “sensor glasses” of the present invention are important in the areas of speed, convenience, quality, secrecy, and trust. A separate keyboard is not required, but only the
1 眼鏡(仮想網膜装置(VRD装置))
2 モバイルホーン
8 コンタクトレスの通信チャネル
9 パーソナル装置
11 制御論理
12 パプテックセンサ(指紋センサ)
13、23 短範囲のコンタクトレスのインターフェース
14 電源
17 イアホーン
16 電気線
18 網膜スキャン装置
19 アイデンティフィケーションモジュール(SIMカード)
1 Glasses (virtual retina device (VRD device))
2
12 Paptec sensor (fingerprint sensor)
13, 23 Short-
Claims (29)
少なくとも一つのハプティックセンサ(12)と、この少なくとも一つのハプティックセンサ(12)と共に前記仮想網膜表示器で表示されたメニューを介してナビゲートすることは、可能であり、
少なくとも前記仮想網膜表示器及び少なくとも一つのハプティックセンサ(12)を制御するための中央制御装置(11)と、を備えることを特徴とする通信装置。 A virtual retina display (VRD) in the form of glasses (1) to project an image on the retina of the user;
It is possible to navigate through at least one haptic sensor (12) and a menu displayed on the virtual retinal display together with the at least one haptic sensor (12),
A central control device (11) for controlling at least the virtual retinal display and at least one haptic sensor (12).
生物測定学的な参照データを蓄積するための手段と、
測定された生物測定学的なデータで蓄積されたデータを比較するための手段と、を備えることを特徴とする請求項1乃至3のいずれかに記載の通信装置。 The device is
Means for accumulating biometric reference data;
4. The communication device according to claim 1, further comprising: means for comparing the accumulated data with the measured biometric data. 5.
非接触の短範囲の接続インターフェース(13)又は接触ベースのインターフェースを備えることを特徴とする請求項1乃至6のいずれかに記載の通信装置。 The communication device
Communication device according to one of the preceding claims, characterized in that it comprises a non-contact short-range connection interface (13) or a contact-based interface.
電源(14)、イヤホーン(17)及び/又は身体スカーフマイクロフォン(15)を備えることを特徴とする請求項1乃至9のいずれかに記載の通信装置。 The communication device
Communication device according to any of the preceding claims, comprising a power supply (14), an earphone (17) and / or a body scarf microphone (15).
少なくとも一つのハプティックセンサ(12)と、この少なくとも一つのハプティックセンサ(12)と共に前記仮想網膜表示器で表示されたメニューを介してナビゲートすることは、可能であり、
少なくとも前記仮想網膜表示器及び少なくとも一つのハプティックセンサ(12)を制御するための中央制御装置(11)と、
短範囲の通信インターフェース(13)と、
前記短範囲の通信インターフェース(13)で前記仮想網膜表示器に接続されるべき少なくとも一つの外部装置と、を備えることを特徴とする通信システム。 A virtual retina display (VRD) in the form of glasses (1) to project an image on the retina of the user;
It is possible to navigate through at least one haptic sensor (12) and a menu displayed on the virtual retinal display together with the at least one haptic sensor (12),
A central controller (11) for controlling at least the virtual retinal display and at least one haptic sensor (12);
A short range communication interface (13);
And at least one external device to be connected to the virtual retina display via the short range communication interface (13).
移動体ヘッドセット、mp3プレーヤ、ゲームコンソール、PC,ラップトップ、DVB−H又はDVB受信器であり、
移動体電話(2)は、識別モジュール(24)を備えて、移動体通信ネットワーク(5)、もう一人のユーザ又は他の適当な装置の仮想網膜装置に接続されることを特徴とする請求項13に記載の通信システム。 The external device is
Mobile headset, mp3 player, game console, PC, laptop, DVB-H or DVB receiver,
The mobile phone (2) comprises an identification module (24) and is connected to a virtual retinal device of the mobile communication network (5), another user or other suitable device. 14. The communication system according to 13.
サーバーと共に、前記短範囲の接続インターフェース(13)、前記移動体電話(2)、及び前記移動体ネットワーク(6)で接続されることを特徴とする請求項13乃至16のいずれかに記載の通信システム。 The virtual retinal device is
Communication according to any of claims 13 to 16, characterized in that it is connected with the short range connection interface (13), the mobile telephone (2) and the mobile network (6) together with a server. system.
ユーザの網膜上にイメージを映し出すために仮想網膜表示器(VRD)にイメージを表示するステップと、
前記眼鏡(1)のフレームに搭載される少なくとも一つのハプティックセンサ(12)でメニューを介してナビゲートするステップと、を備えることを特徴とする通信装置。 A method for operating a communication device, the method comprising:
Displaying the image on a virtual retina display (VRD) to project the image on the user's retina;
Navigating through a menu with at least one haptic sensor (12) mounted on the frame of the glasses (1).
項目を目視することによって、又は、眼球の動作の予め定められたシーケンスによって、前記ユーザの眼球で項目を選択し、前記少なくとも一つのハプティックセンサ(12)で前記項目を選択するステップを更に備えることを特徴とする請求項18に記載の通信装置を操作するための方法。 The method
Further comprising selecting an item with the user's eye by viewing the item or by a predetermined sequence of eye movements and selecting the item with the at least one haptic sensor (12). The method for operating a communication device according to claim 18.
前記イメージ又はビデオを移動、巻回、スクロール、ダブルクリック、押圧、又はズームすることを特徴とする請求項18又は19に記載の通信装置。 The navigating step includes:
The communication device according to claim 18 or 19, wherein the image or video is moved, wound, scrolled, double-clicked, pressed, or zoomed.
仮想キーボード上で文字を入力することを備えることを特徴とする請求項18乃至20のいずれかに記載の通信装置。 The navigating step includes:
21. The communication apparatus according to claim 18, further comprising inputting characters on a virtual keyboard.
前記VRD装置が始めて使用され前記装置のメモリ内に生物測定学的特徴を格納するときに、前記ユーザの生物測定学的特徴を採用するステップを更に備えることを特徴とする請求項18乃至21に記載の通信装置を操作するための方法。 The method
22. The method of claim 18 further comprising adopting the user biometric features when the VRD device is first used and storing biometric features in the memory of the device. A method for operating the described communication device.
前記装置の使用開始時の各々の時に前記ユーザの生物測定学的な特徴で前記格納された生物測定学的な特徴を比較し、前記ユーザの認証を行うステップを更に備えることを特徴とする請求項18乃至22のいずれかに記載の通信装置を操作するための方法。 The method
Comparing the stored biometric features with the user's biometric features at each start of use of the device to further authenticate the user. Item 23. A method for operating the communication device according to any one of Items 18 to 22.
前記ユーザの多数の異なる生物測定学的な特徴で前記ユーザを認証するステップを備えることを特徴とする請求項23に記載の通信装置を操作するための方法。 The method
The method for operating a communication device according to claim 23, comprising authenticating the user with a number of different biometric characteristics of the user.
短範囲の通信インターフェース(13)上の前記仮想網膜表示器を外部装置で接続し、前記仮想網膜表示器でデータを交換するステップを更に備えることを特徴とする請求項18乃至24のいずれかに記載の通信装置を操作するための方法。 The method
25. The method according to any one of claims 18 to 24, further comprising the step of connecting the virtual retinal display on the short range communication interface (13) with an external device and exchanging data with the virtual retinal display. A method for operating the described communication device.
前記装置の使用及びデータの交換前に、前記外部装置に対する指紋、虹彩、網膜スキャン及び/又は音声認証のようなユーザの生物測定学的な特徴の一つ又は組み合わせでユーザを認証又は認証するステップを更に備えていることを特徴とする請求項25に記載の通信装置を操作するための方法。 The method
Authenticating or authenticating the user with one or a combination of the user's biometric features such as fingerprint, iris, retinal scan and / or voice authentication to the external device prior to use of the device and exchange of data 26. A method for operating a communication device according to claim 25, further comprising:
前記ユーザを認証又は認証するためのPINコードを入れるステップを更に備えることを特徴とする請求項18乃至24のいずれかに記載の通信装置を操作するための方法。 The method
25. A method for operating a communication device according to any of claims 18 to 24, further comprising the step of entering a PIN code for authenticating or authenticating the user.
短範囲の接続インターフェース(13)上の前記仮想網膜表示器を移動体ヘッドセット、mp3プレーヤ、ゲームコンソール、PC,ラップトップ、DVB−H又はDVB受信器に接続するステップを更に備え、
移動体電話(2)は、識別モジュール(24)を備えて、移動体通信ネットワーク(6)、もう一人のユーザ又は他の適当な装置の仮想網膜装置に接続されることを特徴とする請求項25のいずれかに記載の通信装置を操作するための方法。 The method
Connecting the virtual retinal display on the short range connection interface (13) to a mobile headset, mp3 player, game console, PC, laptop, DVB-H or DVB receiver;
The mobile telephone (2) comprises an identification module (24) and is connected to a virtual retinal device of a mobile communication network (6), another user or other suitable device. 26. A method for operating a communication device according to any one of 25.
指紋、虹彩、網膜スキャン及び/又は音声認証のようなユーザの生物測定学的な特徴の一つ又は組み合わせでユーザを認証又は認証するステップを更に備えていることを特徴とする請求項23又は26に記載の通信装置を操作するための方法。 The method
27. The method further comprising authenticating or authenticating the user with one or a combination of user biometric features such as fingerprint, iris, retinal scan and / or voice authentication. A method for operating the communication device according to claim 1.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/222,134 US20070052672A1 (en) | 2005-09-08 | 2005-09-08 | Communication device, system and method |
PCT/EP2006/065955 WO2007028778A1 (en) | 2005-09-08 | 2006-09-04 | Communication device, system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009512911A true JP2009512911A (en) | 2009-03-26 |
JP2009512911A5 JP2009512911A5 (en) | 2012-04-12 |
Family
ID=37442030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008529617A Pending JP2009512911A (en) | 2005-09-08 | 2006-09-04 | Communication apparatus, system, and method |
Country Status (5)
Country | Link |
---|---|
US (1) | US20070052672A1 (en) |
EP (2) | EP2998781B1 (en) |
JP (1) | JP2009512911A (en) |
CN (1) | CN101258436A (en) |
WO (1) | WO2007028778A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227769A (en) * | 2010-04-21 | 2011-11-10 | Nikon Corp | Head-mounted type input device |
KR20130030735A (en) * | 2011-09-19 | 2013-03-27 | 오베르뛰르 테크놀로지스 | Method of communication and associated system of glasses type for a user using a viewing station |
Families Citing this family (210)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130225290A1 (en) * | 2011-11-02 | 2013-08-29 | Dylan T. X. Zhou | Wearable personal mini cloud game and multimedia device |
KR20060057917A (en) * | 2004-11-24 | 2006-05-29 | 한국전자통신연구원 | Wearable apparatus for converting vision signal into haptic signal and agent system using the same |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
US20100311390A9 (en) * | 2006-03-20 | 2010-12-09 | Black Gerald R | Mobile communication device |
US7874007B2 (en) * | 2006-04-28 | 2011-01-18 | Microsoft Corporation | Providing guest users access to network resources through an enterprise network |
EP2092474A4 (en) * | 2006-10-17 | 2011-09-28 | Yt Acquisition Corp | A method of distributing information via mobile devices and enabling its use at a point of transaction |
WO2008074342A1 (en) * | 2006-12-19 | 2008-06-26 | Telecom Italia S.P.A. | Method and arrangement for secure user authentication based on a biometric data detection device |
US20080307484A1 (en) * | 2007-06-06 | 2008-12-11 | Dell Products, Lp | System and method of enabling digital video broadcast access within an information handling system |
US7996868B2 (en) | 2007-06-06 | 2011-08-09 | Dell Products, Lp | System and method of accessing digital video broadcasts within an information handling system |
US20080307482A1 (en) * | 2007-06-06 | 2008-12-11 | Dell Products, Lp | System and method of accessing multicast digital video broadcasts |
IL184399A0 (en) * | 2007-07-03 | 2007-10-31 | Yossi Tsuria | Content delivery system |
US20090112695A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Physiological response based targeted advertising |
US20090112849A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc | Selecting a second content based on a user's reaction to a first content of at least two instances of displayed content |
US20090112694A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Targeted-advertising based on a sensed physiological response by a person to a general advertisement |
US9582805B2 (en) * | 2007-10-24 | 2017-02-28 | Invention Science Fund I, Llc | Returning a personalized advertisement |
US9513699B2 (en) * | 2007-10-24 | 2016-12-06 | Invention Science Fund I, LL | Method of selecting a second content based on a user's reaction to a first content |
US20090112693A1 (en) * | 2007-10-24 | 2009-04-30 | Jung Edward K Y | Providing personalized advertising |
US20090113297A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Requesting a second content based on a user's reaction to a first content |
US20090112697A1 (en) * | 2007-10-30 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Providing personalized advertising |
US8090767B2 (en) * | 2008-01-07 | 2012-01-03 | Apple Inc. | Pairing and storage access scheme between a handheld device and a computing system |
US20110112934A1 (en) * | 2008-06-10 | 2011-05-12 | Junichi Ishihara | Sensory three-dimensional virtual real space system |
KR101494642B1 (en) * | 2008-11-10 | 2015-02-23 | 삼성전자주식회사 | Control Method of Portable Device Connected External Device And System Thereof |
CN101655823B (en) * | 2009-06-12 | 2012-12-19 | 中兴通讯股份有限公司 | Realizing method, operating method and system free of installing data card drive |
JP5263049B2 (en) * | 2009-07-21 | 2013-08-14 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
US20110043708A1 (en) * | 2009-08-20 | 2011-02-24 | Dell Products L.P. | Optimized mobile television |
CN101995944A (en) * | 2009-08-24 | 2011-03-30 | 仇锐铿 | Electrooculogram control system and method for controlling cursor by using eye electricity control system |
US8756532B2 (en) * | 2010-01-21 | 2014-06-17 | Cisco Technology, Inc. | Using a gesture to transfer an object across multiple multi-touch devices |
US8665177B2 (en) * | 2010-02-05 | 2014-03-04 | Kopin Corporation | Touch sensor for controlling eyewear |
US20140063054A1 (en) * | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific control interface based on a connected external device type |
US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
US20120200499A1 (en) * | 2010-02-28 | 2012-08-09 | Osterhout Group, Inc. | Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback |
US20120206322A1 (en) * | 2010-02-28 | 2012-08-16 | Osterhout Group, Inc. | Ar glasses with event and sensor input triggered user action capture device control of ar eyepiece facility |
US8964298B2 (en) * | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
US20120200488A1 (en) * | 2010-02-28 | 2012-08-09 | Osterhout Group, Inc. | Ar glasses with sensor and user action based control of eyepiece applications with feedback |
US20120212406A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | Ar glasses with event and sensor triggered ar eyepiece command and control facility of the ar eyepiece |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
US20120206335A1 (en) * | 2010-02-28 | 2012-08-16 | Osterhout Group, Inc. | Ar glasses with event, sensor, and user action based direct control of external devices with feedback |
US9229227B2 (en) * | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US20120194549A1 (en) * | 2010-02-28 | 2012-08-02 | Osterhout Group, Inc. | Ar glasses specific user interface based on a connected external device type |
CN102906623A (en) * | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | Local advertising content on an interactive head-mounted eyepiece |
US9129295B2 (en) * | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
US8722607B2 (en) * | 2010-03-24 | 2014-05-13 | University Of South Carolina | Methods and compositions for eliminating allergens and allergen-producing organisms |
US9030536B2 (en) | 2010-06-04 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for presenting media content |
US9787974B2 (en) | 2010-06-30 | 2017-10-10 | At&T Intellectual Property I, L.P. | Method and apparatus for delivering media content |
US8918831B2 (en) | 2010-07-06 | 2014-12-23 | At&T Intellectual Property I, Lp | Method and apparatus for managing a presentation of media content |
US9049426B2 (en) | 2010-07-07 | 2015-06-02 | At&T Intellectual Property I, Lp | Apparatus and method for distributing three dimensional media content |
US9560406B2 (en) * | 2010-07-20 | 2017-01-31 | At&T Intellectual Property I, L.P. | Method and apparatus for adapting a presentation of media content |
US9232274B2 (en) | 2010-07-20 | 2016-01-05 | At&T Intellectual Property I, L.P. | Apparatus for adapting a presentation of media content to a requesting device |
US9032470B2 (en) | 2010-07-20 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus for adapting a presentation of media content according to a position of a viewing apparatus |
US8994716B2 (en) | 2010-08-02 | 2015-03-31 | At&T Intellectual Property I, Lp | Apparatus and method for providing media content |
US8438502B2 (en) | 2010-08-25 | 2013-05-07 | At&T Intellectual Property I, L.P. | Apparatus for controlling three-dimensional images |
EP2619749A4 (en) * | 2010-09-21 | 2017-11-15 | 4IIII Innovations Inc. | Head-mounted peripheral vision display systems and methods |
US20120127069A1 (en) * | 2010-11-24 | 2012-05-24 | Soma Sundaram Santhiveeran | Input Panel on a Display Device |
CN102681651B (en) * | 2011-03-07 | 2016-03-23 | 刘广松 | A kind of user interactive system and method |
US20120229509A1 (en) * | 2011-03-07 | 2012-09-13 | Liu Guangsong | System and method for user interaction |
US8839411B2 (en) | 2011-03-30 | 2014-09-16 | Elwha Llc | Providing particular level of access to one or more items in response to determining primary control of a computing device |
US8739275B2 (en) | 2011-03-30 | 2014-05-27 | Elwha Llc | Marking one or more items in response to determining device transfer |
US9153194B2 (en) | 2011-03-30 | 2015-10-06 | Elwha Llc | Presentation format selection based at least on device transfer determination |
US8402535B2 (en) | 2011-03-30 | 2013-03-19 | Elwha Llc | Providing greater access to one or more items in response to determining device transfer |
US8745725B2 (en) | 2011-03-30 | 2014-06-03 | Elwha Llc | Highlighting in response to determining device transfer |
US8726366B2 (en) | 2011-03-30 | 2014-05-13 | Elwha Llc | Ascertaining presentation format based on device primary control determination |
US8726367B2 (en) | 2011-03-30 | 2014-05-13 | Elwha Llc | Highlighting in response to determining device transfer |
US9317111B2 (en) * | 2011-03-30 | 2016-04-19 | Elwha, Llc | Providing greater access to one or more items in response to verifying device transfer |
US8713670B2 (en) | 2011-03-30 | 2014-04-29 | Elwha Llc | Ascertaining presentation format based on device primary control determination |
US8918861B2 (en) | 2011-03-30 | 2014-12-23 | Elwha Llc | Marking one or more items in response to determining device transfer |
US8613075B2 (en) | 2011-03-30 | 2013-12-17 | Elwha Llc | Selective item access provision in response to active item ascertainment upon device transfer |
US8863275B2 (en) | 2011-03-30 | 2014-10-14 | Elwha Llc | Access restriction in response to determining device transfer |
US8510166B2 (en) * | 2011-05-11 | 2013-08-13 | Google Inc. | Gaze tracking system |
US8947497B2 (en) | 2011-06-24 | 2015-02-03 | At&T Intellectual Property I, Lp | Apparatus and method for managing telepresence sessions |
US9445046B2 (en) | 2011-06-24 | 2016-09-13 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting media content with telepresence |
US9602766B2 (en) | 2011-06-24 | 2017-03-21 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting three dimensional objects with telepresence |
US9030522B2 (en) | 2011-06-24 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for providing media content |
US9024843B2 (en) * | 2011-06-30 | 2015-05-05 | Google Inc. | Wearable computer with curved display and navigation tool |
US8587635B2 (en) | 2011-07-15 | 2013-11-19 | At&T Intellectual Property I, L.P. | Apparatus and method for providing media services with telepresence |
US8984605B2 (en) * | 2011-08-23 | 2015-03-17 | Zixcorp Systems, Inc. | Multi-factor authentication |
US9213163B2 (en) | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
US9025252B2 (en) | 2011-08-30 | 2015-05-05 | Microsoft Technology Licensing, Llc | Adjustment of a mixed reality display for inter-pupillary distance alignment |
EP2751609B1 (en) * | 2011-08-30 | 2017-08-16 | Microsoft Technology Licensing, LLC | Head mounted display with iris scan profiling |
US8941560B2 (en) * | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
USD666237S1 (en) | 2011-10-24 | 2012-08-28 | Google Inc. | Wearable display device |
US9171304B2 (en) * | 2011-11-22 | 2015-10-27 | Aurus Inc. | Systems and methods for removing point of sale processing from PCI scope |
US9131370B2 (en) * | 2011-12-29 | 2015-09-08 | Mcafee, Inc. | Simplified mobile communication device |
US9857965B1 (en) | 2012-01-06 | 2018-01-02 | Google Inc. | Resolution of directional ambiguity on touch-based interface gesture |
US9684374B2 (en) | 2012-01-06 | 2017-06-20 | Google Inc. | Eye reflection image analysis |
JP5880115B2 (en) | 2012-02-17 | 2016-03-08 | ソニー株式会社 | Head mounted display, head mounted display control program, and head mounted display control method |
US9075249B2 (en) * | 2012-03-07 | 2015-07-07 | Google Inc. | Eyeglass frame with input and output functionality |
USD718305S1 (en) | 2012-03-22 | 2014-11-25 | Google Inc. | Wearable display device |
CN102779000B (en) * | 2012-05-03 | 2015-05-20 | 苏州触达信息技术有限公司 | User interaction system and method |
JP5953963B2 (en) * | 2012-06-13 | 2016-07-20 | ソニー株式会社 | Head-mounted image display device |
US20130339859A1 (en) * | 2012-06-15 | 2013-12-19 | Muzik LLC | Interactive networked headphones |
US20180048750A1 (en) * | 2012-06-15 | 2018-02-15 | Muzik, Llc | Audio/video wearable computer system with integrated projector |
US8973095B2 (en) * | 2012-06-25 | 2015-03-03 | Intel Corporation | Authenticating a user of a system via an authentication image mechanism |
US9965607B2 (en) | 2012-06-29 | 2018-05-08 | Apple Inc. | Expedited biometric validation |
TWI498771B (en) * | 2012-07-06 | 2015-09-01 | Pixart Imaging Inc | Gesture recognition system and glasses with gesture recognition function |
JP2014049934A (en) * | 2012-08-31 | 2014-03-17 | Sony Corp | Head-mounted display |
USD712451S1 (en) | 2012-09-25 | 2014-09-02 | Google Inc. | Removably attachable lens |
US10013024B2 (en) | 2012-09-28 | 2018-07-03 | Nokia Technologies Oy | Method and apparatus for interacting with a head mounted display |
US9134548B1 (en) | 2012-09-28 | 2015-09-15 | Google Inc. | Retention member for a lens system |
KR101691633B1 (en) | 2012-11-01 | 2017-01-09 | 아이캠, 엘엘씨 | Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing |
JP6229260B2 (en) * | 2012-11-20 | 2017-11-15 | セイコーエプソン株式会社 | Virtual image display device |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
CN103873959B (en) * | 2012-12-13 | 2019-02-05 | 联想(北京)有限公司 | A kind of control method and electronic equipment |
US9128284B2 (en) | 2013-02-18 | 2015-09-08 | Google Inc. | Device mountable lens component |
USD721758S1 (en) | 2013-02-19 | 2015-01-27 | Google Inc. | Removably attachable lens |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9049469B2 (en) * | 2013-04-03 | 2015-06-02 | Roy S. Melzer | Encryption and decryption of visible codes for real time augmented reality views |
CN103297233B (en) * | 2013-04-27 | 2016-11-23 | 天地融科技股份有限公司 | Safety equipment and display system |
CN103281184B (en) * | 2013-04-27 | 2018-05-29 | 天地融科技股份有限公司 | Conversion equipment and display system |
CN103248486B (en) * | 2013-04-27 | 2016-12-28 | 天地融科技股份有限公司 | Conversion equipment and display system |
CN103281183B (en) * | 2013-04-27 | 2016-04-13 | 天地融科技股份有限公司 | Conversion equipment and display system |
US9979547B2 (en) | 2013-05-08 | 2018-05-22 | Google Llc | Password management |
KR102028761B1 (en) * | 2013-07-26 | 2019-10-04 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Head Mounted Display and controlling method thereof |
US9928355B2 (en) | 2013-09-09 | 2018-03-27 | Apple Inc. | Background enrollment and authentication of a user |
US9851568B2 (en) | 2013-09-25 | 2017-12-26 | Logitech Europe S.A. | Retinal display projection device |
CN104573540A (en) * | 2013-10-22 | 2015-04-29 | 鸿富锦精密工业(武汉)有限公司 | Mobile terminal user privacy protection method and system |
CN103591958B (en) * | 2013-11-12 | 2017-01-04 | 中国科学院深圳先进技术研究院 | A kind of worker navigation system based on intelligent glasses and method |
EP3077867B1 (en) * | 2013-12-06 | 2018-02-14 | Telefonaktiebolaget LM Ericsson (publ) | Optical head mounted display, television portal module and methods for controlling graphical user interface |
US9578307B2 (en) | 2014-01-14 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US10248856B2 (en) | 2014-01-14 | 2019-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US10024679B2 (en) | 2014-01-14 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US10360907B2 (en) | 2014-01-14 | 2019-07-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US9629774B2 (en) | 2014-01-14 | 2017-04-25 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US9915545B2 (en) | 2014-01-14 | 2018-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
USD747315S1 (en) | 2014-01-28 | 2016-01-12 | Google Inc. | Glasses frame |
USD746817S1 (en) | 2014-01-28 | 2016-01-05 | Google Inc. | Glasses frame |
US20150261968A1 (en) * | 2014-03-12 | 2015-09-17 | Ebay Inc. | Visualizing random characters for keyboard-less devices |
CN105007557A (en) * | 2014-04-16 | 2015-10-28 | 上海柏润工贸有限公司 | Intelligent hearing aid with voice identification and subtitle display functions |
CN105022473B (en) * | 2014-04-30 | 2018-07-06 | 中国海洋大学 | Intelligent glasses device and the percussive man-machine interaction method for intelligent glasses device |
DE102014006776A1 (en) | 2014-05-08 | 2015-11-12 | Audi Ag | Operating device for an electronic device |
US10540907B2 (en) | 2014-07-31 | 2020-01-21 | Intelligent Technologies International, Inc. | Biometric identification headpiece system for test taking |
WO2016028864A1 (en) | 2014-08-22 | 2016-02-25 | Intelligent Technologies International, Inc. | Secure testing device, system and method |
US10024667B2 (en) | 2014-08-01 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable earpiece for providing social and environmental awareness |
US10410535B2 (en) | 2014-08-22 | 2019-09-10 | Intelligent Technologies International, Inc. | Secure testing device |
US20160054791A1 (en) * | 2014-08-25 | 2016-02-25 | Daqri, Llc | Navigating augmented reality content with a watch |
CN106199963B (en) * | 2014-09-01 | 2019-09-27 | 精工爱普生株式会社 | Display device and its control method and computer program |
US10617342B2 (en) | 2014-09-05 | 2020-04-14 | Vision Service Plan | Systems, apparatus, and methods for using a wearable device to monitor operator alertness |
US11918375B2 (en) | 2014-09-05 | 2024-03-05 | Beijing Zitiao Network Technology Co., Ltd. | Wearable environmental pollution monitor computer apparatus, systems, and related methods |
US10448867B2 (en) | 2014-09-05 | 2019-10-22 | Vision Service Plan | Wearable gait monitoring apparatus, systems, and related methods |
US9922236B2 (en) | 2014-09-17 | 2018-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable eyeglasses for providing social and environmental awareness |
US10024678B2 (en) | 2014-09-17 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable clip for providing social and environmental awareness |
USD768024S1 (en) | 2014-09-22 | 2016-10-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Necklace with a built in guidance device |
WO2016057943A1 (en) | 2014-10-10 | 2016-04-14 | Muzik LLC | Devices for sharing user interactions |
WO2016073202A1 (en) | 2014-11-04 | 2016-05-12 | Intelligent Technologies International, Inc. | Smartcard |
FR3028980B1 (en) * | 2014-11-20 | 2017-01-13 | Oberthur Technologies | METHOD AND DEVICE FOR AUTHENTICATING A USER |
US10542431B2 (en) | 2014-11-21 | 2020-01-21 | Carrier Corporation | System and method for network node authentication |
CN204305003U (en) * | 2014-12-11 | 2015-04-29 | 广东电网有限责任公司佛山供电局 | Wear-type virtual image mobile terminal |
US9576460B2 (en) | 2015-01-21 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable smart device for hazard detection and warning based on image and audio data |
US10215568B2 (en) | 2015-01-30 | 2019-02-26 | Vision Service Plan | Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete |
US9747500B2 (en) * | 2015-01-30 | 2017-08-29 | Raytheon Company | Wearable retina/iris scan authentication system |
US10490102B2 (en) | 2015-02-10 | 2019-11-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for braille assistance |
US9586318B2 (en) | 2015-02-27 | 2017-03-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Modular robot with smart device |
US9677901B2 (en) | 2015-03-10 | 2017-06-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing navigation instructions at optimal times |
US9811752B2 (en) | 2015-03-10 | 2017-11-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable smart device and method for redundant object identification |
US9972216B2 (en) | 2015-03-20 | 2018-05-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for storing and playback of information for blind users |
TWI571768B (en) * | 2015-04-29 | 2017-02-21 | 由田新技股份有限公司 | A human interface synchronous system, device, method, computer readable media, and computer program product |
US9921645B2 (en) | 2015-06-29 | 2018-03-20 | Logitech Europe S.A. | Retinal projection device and method for activating a display of a retinal projection device |
US9716969B2 (en) * | 2015-07-01 | 2017-07-25 | Lg Electronics Inc. | Method and apparatus for controlling device in wireless communication system |
US9898039B2 (en) | 2015-08-03 | 2018-02-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Modular smart necklace |
GB2544469B (en) | 2015-11-13 | 2020-05-27 | Sony Interactive Entertainment Europe Ltd | Communication method and device |
CN107741653B (en) * | 2015-11-28 | 2019-11-15 | 宁波市民卡运营管理有限公司 | The method of payment of mobile-payment system |
CN105278110B (en) * | 2015-12-01 | 2019-02-22 | 王占奎 | Intelligent satellite communicates interaction glasses device |
US10678958B2 (en) | 2015-12-28 | 2020-06-09 | Intelligent Technologies International, Inc. | Intrusion-protected memory component |
MX2018008303A (en) * | 2016-02-10 | 2018-09-21 | Mefon Ventures Inc | Authenticating or registering users of wearable devices using biometrics. |
US11255663B2 (en) | 2016-03-04 | 2022-02-22 | May Patents Ltd. | Method and apparatus for cooperative usage of multiple distance meters |
US10024680B2 (en) | 2016-03-11 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Step based guidance system |
JP7027336B2 (en) * | 2016-04-26 | 2022-03-01 | マジック リープ, インコーポレイテッド | Electromagnetic tracking using augmented reality system |
US9958275B2 (en) | 2016-05-31 | 2018-05-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for wearable smart device communications |
US10922393B2 (en) * | 2016-07-14 | 2021-02-16 | Magic Leap, Inc. | Deep neural network for iris identification |
US10561519B2 (en) | 2016-07-20 | 2020-02-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device having a curved back to reduce pressure on vertebrae |
US10432851B2 (en) | 2016-10-28 | 2019-10-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device for detecting photography |
US10012505B2 (en) | 2016-11-11 | 2018-07-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable system for providing walking directions |
US10521669B2 (en) | 2016-11-14 | 2019-12-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing guidance or feedback to a user |
WO2018093796A1 (en) | 2016-11-15 | 2018-05-24 | Magic Leap, Inc. | Deep learning system for cuboid detection |
DK3334189T3 (en) * | 2016-12-08 | 2022-10-31 | Gn Hearing As | METHOD FOR HEARING SYSTEM COMMUNICATION AND RELATED DEVICES |
US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
US10437070B2 (en) | 2016-12-23 | 2019-10-08 | Realwear, Inc. | Interchangeable optics for a head-mounted display |
US10620910B2 (en) * | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
US10393312B2 (en) | 2016-12-23 | 2019-08-27 | Realwear, Inc. | Articulating components for a head-mounted display |
US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
US10172760B2 (en) | 2017-01-19 | 2019-01-08 | Jennifer Hendrix | Responsive route guidance and identification system |
CN107392156B (en) * | 2017-07-25 | 2020-08-25 | 北京七鑫易维信息技术有限公司 | Sight estimation method and device |
EP4002810A1 (en) | 2017-08-28 | 2022-05-25 | Bright Data Ltd. | Method for improving content fetching by selecting tunnel devices |
US11190374B2 (en) | 2017-08-28 | 2021-11-30 | Bright Data Ltd. | System and method for improving content fetching by selecting tunnel devices |
CN111033524A (en) | 2017-09-20 | 2020-04-17 | 奇跃公司 | Personalized neural network for eye tracking |
WO2019079790A1 (en) | 2017-10-21 | 2019-04-25 | Eyecam, Inc | Adaptive graphic user interfacing system |
CA3078530A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
WO2019118679A1 (en) * | 2017-12-13 | 2019-06-20 | Aurelius, Inc. | Systems, devices, and methods for augmented reality |
CN109960039B (en) * | 2017-12-22 | 2021-08-06 | 精工爱普生株式会社 | Display system, electronic device, and display method |
US11092998B1 (en) * | 2018-01-12 | 2021-08-17 | Snap Inc. | Eyewear device with fingerprint sensor for user input |
US10722128B2 (en) | 2018-08-01 | 2020-07-28 | Vision Service Plan | Heart rate detection system and method |
EP3801746B1 (en) | 2018-08-14 | 2023-05-10 | Neurotrigger Ltd. | Apparatus for transcutaneous facial nerve stimulation |
JP7445653B2 (en) | 2018-11-09 | 2024-03-07 | ベックマン コールター, インコーポレイテッド | Repair glasses with selective data provision |
LT3780557T (en) | 2019-02-25 | 2023-03-10 | Bright Data Ltd. | System and method for url fetching retry mechanism |
EP4027618B1 (en) | 2019-04-02 | 2024-07-31 | Bright Data Ltd. | Managing a non-direct url fetching service |
US11983959B2 (en) | 2019-04-18 | 2024-05-14 | Beckman Coulter, Inc. | Securing data of objects in a laboratory environment |
US20220272084A1 (en) * | 2021-02-19 | 2022-08-25 | Lenworth Alexander Hyatt | 5G-WiFi inside secure iris biometrics' login |
WO2022203620A1 (en) * | 2021-03-25 | 2022-09-29 | Dm Dayanikli Tüketi̇m Mallari Sanayi̇ Ve Ti̇caret Li̇mi̇ted Şi̇rketi̇ | Digital cinema system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04104813A (en) * | 1990-08-23 | 1992-04-07 | Osaka Gas Co Ltd | Adsorbing body for adsorption treatment of gas |
JP2001272628A (en) * | 2000-03-24 | 2001-10-05 | Olympus Optical Co Ltd | Spectacle type video display device |
JP2003533816A (en) * | 2000-05-16 | 2003-11-11 | スイスコム・モバイル・アクチエンゲゼルシヤフト | Command input method and terminal device |
JP2005107125A (en) * | 2003-09-30 | 2005-04-21 | Brother Ind Ltd | Retina scanning display device |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4993068A (en) * | 1989-11-27 | 1991-02-12 | Motorola, Inc. | Unforgeable personal identification system |
JP2985231B2 (en) | 1990-05-17 | 1999-11-29 | ソニー株式会社 | Video display device |
US5276472A (en) * | 1991-11-19 | 1994-01-04 | Eastman Kodak Company | Photographic film still camera system with audio recording |
CH686206A5 (en) | 1992-03-26 | 1996-01-31 | Asulab Sa | Cellule photoelectrochimique regeneratrice transparent. |
US5467104A (en) | 1992-10-22 | 1995-11-14 | Board Of Regents Of The University Of Washington | Virtual retinal display |
JPH09508711A (en) * | 1994-02-07 | 1997-09-02 | バーチュアル・アイ/オゥ・インコーポレイテッド | Personal visual display system |
US5886688A (en) * | 1995-06-02 | 1999-03-23 | National Semiconductor Corporation | Integrated solar panel and liquid crystal display for portable computer or the like |
US5701132A (en) | 1996-03-29 | 1997-12-23 | University Of Washington | Virtual retinal display with expanded exit pupil |
WO1998013720A1 (en) | 1996-09-27 | 1998-04-02 | Medcam, Inc. | Method and apparatus for optical scanning |
US6400836B2 (en) * | 1998-05-15 | 2002-06-04 | International Business Machines Corporation | Combined fingerprint acquisition and control device |
ATE229717T1 (en) * | 1999-06-18 | 2002-12-15 | Swisscom Mobile Ag | TRANSMISSION AND DISPLAY OF VIDEO DATA |
EP1192601B1 (en) * | 1999-07-06 | 2005-10-19 | Swisscom Mobile AG | Method for checking tickets of users of public passenger vehicles |
US8482488B2 (en) * | 2004-12-22 | 2013-07-09 | Oakley, Inc. | Data input management system for wearable electronically enabled interface |
CN1300677C (en) * | 2000-06-22 | 2007-02-14 | 微软公司 | Distributed computing services platform |
US6775776B1 (en) | 2000-06-27 | 2004-08-10 | Intel Corporation | Biometric-based authentication in a nonvolatile memory device |
US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
DE10056291A1 (en) | 2000-11-14 | 2002-05-23 | Siemens Ag | Visual display of objects in field of view for man-machine communication by acquiring information input by user using signal or pattern recognition |
US7814516B2 (en) * | 2001-05-03 | 2010-10-12 | Mitsubishi Digital Electronics America, Inc. | Control system and user interface for network of input devices |
US6798392B2 (en) * | 2001-10-16 | 2004-09-28 | Hewlett-Packard Development Company, L.P. | Smart helmet |
US7379053B2 (en) * | 2001-10-27 | 2008-05-27 | Vortant Technologies, Llc | Computer interface for navigating graphical user interface by touch |
AU2003260320A1 (en) | 2002-07-31 | 2004-02-23 | Theodor Heutschi | Electronic device, in particular a mobile multimedia communications device |
WO2004061519A1 (en) * | 2002-12-24 | 2004-07-22 | Nikon Corporation | Head mount display |
US7193767B1 (en) * | 2004-03-03 | 2007-03-20 | Jonathan Peeri | Method for enhancing visibility |
US20060034478A1 (en) * | 2004-08-11 | 2006-02-16 | Davenport Kevin E | Audio eyeglasses |
-
2005
- 2005-09-08 US US11/222,134 patent/US20070052672A1/en not_active Abandoned
-
2006
- 2006-09-04 CN CNA2006800327591A patent/CN101258436A/en active Pending
- 2006-09-04 WO PCT/EP2006/065955 patent/WO2007028778A1/en active Application Filing
- 2006-09-04 JP JP2008529617A patent/JP2009512911A/en active Pending
- 2006-09-04 EP EP15186448.5A patent/EP2998781B1/en active Active
- 2006-09-04 EP EP06793174A patent/EP1922581A1/en not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04104813A (en) * | 1990-08-23 | 1992-04-07 | Osaka Gas Co Ltd | Adsorbing body for adsorption treatment of gas |
JP2001272628A (en) * | 2000-03-24 | 2001-10-05 | Olympus Optical Co Ltd | Spectacle type video display device |
JP2003533816A (en) * | 2000-05-16 | 2003-11-11 | スイスコム・モバイル・アクチエンゲゼルシヤフト | Command input method and terminal device |
JP2005107125A (en) * | 2003-09-30 | 2005-04-21 | Brother Ind Ltd | Retina scanning display device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227769A (en) * | 2010-04-21 | 2011-11-10 | Nikon Corp | Head-mounted type input device |
KR20130030735A (en) * | 2011-09-19 | 2013-03-27 | 오베르뛰르 테크놀로지스 | Method of communication and associated system of glasses type for a user using a viewing station |
KR101976211B1 (en) * | 2011-09-19 | 2019-05-07 | 아이데미아 프랑스 | Method of communication and associated system of glasses type for a user using a viewing station |
Also Published As
Publication number | Publication date |
---|---|
US20070052672A1 (en) | 2007-03-08 |
EP2998781B1 (en) | 2019-12-11 |
WO2007028778A1 (en) | 2007-03-15 |
EP1922581A1 (en) | 2008-05-21 |
EP2998781A1 (en) | 2016-03-23 |
CN101258436A (en) | 2008-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2998781B1 (en) | Communication device, system and method | |
US10341113B2 (en) | Password management | |
EP3179290B1 (en) | Mobile terminal and method for controlling the same | |
CN107037876B (en) | System and method of controlling the same | |
US10033925B2 (en) | Mobile terminal and method of controlling the same | |
US20220269333A1 (en) | User interfaces and device settings based on user identification | |
EP3130993B1 (en) | Mobile terminal and method for controlling the same | |
US9274599B1 (en) | Input detection | |
US9939642B2 (en) | Glass type terminal and control method thereof | |
JP6201024B1 (en) | Method for supporting input to application for providing content using head mounted device, program for causing computer to execute the method, and content display device | |
CN106067833B (en) | Mobile terminal and control method thereof | |
KR20170046415A (en) | Mobile terminal and method for controlling the same | |
US10795508B2 (en) | Mobile terminal and method for controlling the same | |
US20220291829A1 (en) | Mobile terminal and electronic device having mobile terminal | |
US20240020371A1 (en) | Devices, methods, and graphical user interfaces for user authentication and device management | |
WO2023164268A1 (en) | Devices, methods, and graphical user interfaces for authorizing a secure operation | |
WO2015189987A1 (en) | Wearable information display/input system, and portable information input/output device and information input method which are used therein | |
US20230273985A1 (en) | Devices, methods, and graphical user interfaces for authorizing a secure operation | |
KR102593934B1 (en) | Method of providing augmented reality security keyboard using augmented reality glass, and apparatus and system therefor | |
US11747919B1 (en) | Multi-input for rotating and translating crown modules | |
KR20180031240A (en) | Mobile terminal and method for controlling the same | |
KR20230133356A (en) | User interfaces and device settings based on user identification | |
KR20230050160A (en) | Confirmation event handling method and apparatus for head-mounted display apparatus | |
CN116508314A (en) | Image display device and image display method | |
JP2018063704A (en) | Method for assisting in input to application providing content using head-mounted device, program for sing computer to implement the same, and content display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090521 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20100309 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100310 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100511 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120626 |