JP2009512911A - Communication apparatus, system, and method - Google Patents

Communication apparatus, system, and method Download PDF

Info

Publication number
JP2009512911A
JP2009512911A JP2008529617A JP2008529617A JP2009512911A JP 2009512911 A JP2009512911 A JP 2009512911A JP 2008529617 A JP2008529617 A JP 2008529617A JP 2008529617 A JP2008529617 A JP 2008529617A JP 2009512911 A JP2009512911 A JP 2009512911A
Authority
JP
Japan
Prior art keywords
user
communication device
communication
virtual
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008529617A
Other languages
Japanese (ja)
Other versions
JP2009512911A5 (en
Inventor
リッター・ルードルフ
ラウパー・エリク
Original Assignee
スイスコム・モバイル・アクチエンゲゼルシヤフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by スイスコム・モバイル・アクチエンゲゼルシヤフト filed Critical スイスコム・モバイル・アクチエンゲゼルシヤフト
Publication of JP2009512911A publication Critical patent/JP2009512911A/en
Publication of JP2009512911A5 publication Critical patent/JP2009512911A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Abstract

本発明は、眼鏡（１）の形状の仮想網膜表示器（ＶＲＤ）と、前記眼鏡のフレームに搭載され短範囲通信インタフェース（１３）で接続された少なくとも一つのハプティックセンサ（１２）と、備える通信装置、システム、及び方法を開示する。この少なくとも一つのハプティックセンサ（１２）を持つ仮想網膜表示器（ＶＲＤ）で表示されたイメージを介してカーソルでナビゲートすることは、可能である。中央制御装置（１１）は、少なくとも前記仮想網膜表示器及び少なくとも一つのハプティックセンサ（１２）を制御する。仮想網膜表示器（ＶＲＤ）が短範囲通信インタフェース（１３）によって外部装置（２，９）で接続されるとき、ユーザは、ハプティックセンサ（１２）で外部装置（２，９）の内容を介してナビゲートし得る。  The present invention provides a virtual retinal display (VRD) in the shape of glasses (1) and at least one haptic sensor (12) mounted on a frame of the glasses and connected by a short-range communication interface (13). An apparatus, system, and method are disclosed. It is possible to navigate with a cursor through an image displayed on a virtual retina display (VRD) having this at least one haptic sensor (12). The central controller (11) controls at least the virtual retinal display and at least one haptic sensor (12). When the virtual retina display (VRD) is connected with the external device (2, 9) by the short-range communication interface (13), the user can connect the contents of the external device (2, 9) with the haptic sensor (12). You can navigate.

Description

本発明は、独立請求項に記載の仮想網膜表示（ＶＲＤ）を備える通信装置及びシステム、そしてユーザの網膜及び前記眼鏡のフレームの少なくとも一つのパプテック(触覚又は皮膚)センサに直接イメージを映し出すために眼鏡の形状で仮想網膜表示（ＶＲＤ）を備える通信装置を操作するための方法に関し、前記少なくとも一つのパプテック(触覚又は皮膚)センサを持つ仮想網膜表示（ＶＲＤ）で表示されたイメージを介してカーソルの手段でナビゲート可能となるものである。   The present invention provides a communication device and system comprising a virtual retinal display (VRD) according to the independent claims, and for projecting an image directly on at least one paptec (tactile or skin) sensor of the user's retina and the frame of the glasses. A method for operating a communication device comprising a virtual retina display (VRD) in the form of glasses, a cursor via an image displayed in the virtual retina display (VRD) having the at least one paptec (tactile or skin) sensor It is possible to navigate by means of

関連技術の記載Description of related technology

仮想網膜表示（ＶＲＤ）は、例えば、特許出願ＷＯ−Ａ２−２００４／０１３６７６、ＷＯ−Ａ１−９７／３７３３９及びＷＯ−Ａ−９８／１３７２０で記載され従ってもはや記載の必要はない。ＶＲＤ装置は、装置を身につけ(装着)するユーザの網膜に直接イメージを映し出す。   Virtual retinal display (VRD) is described, for example, in the patent applications WO-A2-2004 / 013676, WO-A1-97 / 37339 and WO-A-98 / 13720 and therefore no longer needs to be described. The VRD device projects an image directly on the retina of a user who wears (wears) the device.

ＷＯ−Ａ２−２００４／０１３６７６は、ハウジング、入力手段、電子回路、メモリ手段、及びイメージ又はデータ源を処理し装置のユーザの網膜の上にレーザビームの形式で同じ物を映し出すための少なくとも一つのＶＲＤシステムを備える電源を提供する移動体マルチメディア通信装置に関する。付け加えると、前記装置は、オーディオ、無線ネットワーク又は他の伝送チャネルを介して信号を受信及び伝送するビデオ、及びデータ通信用のステーションを持つ。前記信号は、ブルーツース、無線ＬＡＮ，ＧＳＭ、ＧＰＲＳ，ＥＤＧＥ，ＵＭＴＳ，ＤＡＢ，４Ｇ，５Ｇ又は任意の電話ケーブル、無線又はサテライトネットワークで交換可能である。   WO-A2-2004 / 013676 is a housing, input means, electronic circuit, memory means, and at least one for processing an image or data source and projecting the same in the form of a laser beam on the retina of the user of the device. The present invention relates to a mobile multimedia communication device that provides a power supply including a VRD system. In addition, the device has a station for audio and video and data communication for receiving and transmitting signals over a wireless network or other transmission channel. The signals can be exchanged via Bluetooth, wireless LAN, GSM, GPRS, EDGE, UMTS, DAB, 4G, 5G or any telephone cable, wireless or satellite network.

眼球(目)で制御されるべき装置を許容する類似のシステムが既に公知である。ＷＯ−Ａ１−０１／８８６８０は、眼球の自発的な動作列を使用しながら指示が入力され得るという入力指示をＶＲＤ装置に実施可能とする方法に関する。特定の指示に必要な列は、各ユーザに個々に依存する。しかしながら、眼球の動作は、時々、制御困難で眼球は、その状況で制御される装置用の指示として解釈され得る他人のサッカード（無意識の高速眼球運動（saccades））中における非自発的な動作をもする。従って、これら方法は、セキュリティ（安全）指示を入れるのに殆ど適していない。   Similar systems are already known that allow devices to be controlled by the eyeball (eye). WO-A1-01 / 88680 relates to a method for enabling an VRD device to perform an input instruction that an instruction can be input while using a voluntary movement sequence of an eyeball. The columns required for specific instructions depend on each user individually. However, the movement of the eyeball is sometimes difficult to control and the eyeball is involuntary movement during other saccades (unconscious high-speed eye movements) that can be interpreted as instructions for the device controlled in that situation I also do. Therefore, these methods are hardly suitable for entering security instructions.

また、システムは、アイパラメータがシステム又はサービスにアクセスを許容するためにバイオメトリックキーとして使用されて公知である。他人の中で虹彩又は網膜パターンを使用又はビューアを認証又は識別するために提案されている。   Systems are also known where eye parameters are used as biometric keys to allow access to the system or service. It has been proposed to use iris or retinal patterns among others or to authenticate or identify viewers.

ＷＯ−Ａ１−０２／４１０６９は、視覚分野で表された物が、都合良く且つよく信頼性良く操作され、ユーザの相互作用の制御コマンドの特徴や動作に関して制御又は影響を受けた物をグラフィカルに視覚化するための方法に関する。
標準のマニュアルの操作可能な機械的な接触感知入力機構に加えて、ユーザが発行した制御コマンドを入力するための技術は、ユーザの聴覚や光信号を記録、認証、解釈、処理のための装置の使用を含む。
国際公開第ＷＯ−Ａ２−２００４／０１３６７号パンフレット 国際公開第ＷＯ−Ａ１−９７／３７３３９号パンフレット 国際公開第ＷＯ−Ａ−９８／１３７２０号パンフレット WO-A1-02 / 41069 is a graphical representation of an object represented in the visual field that is manipulated conveniently and reliably and is controlled or influenced in terms of the features and operation of the user interaction control commands. It relates to a method for visualization.
In addition to the standard manual operable mechanical touch sensing input mechanism, the technology for inputting control commands issued by the user is a device for recording, authenticating, interpreting and processing the user's hearing and light signals. Including the use of
International Publication No. WO-A2-2004 / 01367 Pamphlet International Publication No. WO-A1-97 / 37339 Pamphlet International Publication No. WO-A-98 / 13720 Pamphlet

従って、本発明の課題は、仮想網膜表示器（ＶＲＤ）上に表示されたデータがユーザで容易に制御され得る新しくて改良された通信装置、システム、及び方法を提供する事である。   Accordingly, it is an object of the present invention to provide a new and improved communication device, system and method in which data displayed on a virtual retinal display (VRD) can be easily controlled by a user.

本発明の他の課題は、仮想網膜表示器（ＶＲＤ）上に表示されたサーバーからのデータ又はイメージを、グラフィックユーザインターフェース（ＧＵＩ）を介してユーザで容易にナビゲート(例えば、スクロール、エンタ（入力、入れたりする)、ローテート、押圧等する）可能な新しくて改良された通信装置、システム、及び方法を提供する事である。   Another object of the present invention is that data or images from a server displayed on a virtual retina display (VRD) can be easily navigated by a user via a graphic user interface (GUI) (eg, scrolling, enter ( It is to provide a new and improved communication device, system and method capable of (input, input), rotate, press, etc.).

本発明の更に他の課題は、キーパッド用のスペースがなく、眼球ベースの認証が信頼可能でなく利用可能でもない場所のＶＲＤ装置上のユーザの装着眼鏡を識別や認証することが可能な新しくて改良された通信装置、システム、及び方法を提供する事である。   Yet another object of the present invention is a new capability to identify and authenticate a user's wearing glasses on a VRD device where there is no space for a keypad and where eye-based authentication is neither reliable nor available. And improved communication devices, systems, and methods.

本発明によれば、これら課題が特に独立請求項の特徴を介して達成される。更なる有利な実施例が従属請求項及び詳細な記載に更に記載される。   According to the invention, these objects are achieved in particular through the features of the independent claims. Further advantageous embodiments are further described in the dependent claims and the detailed description.

発明によれば、これら課題は、独立請求項による通信装置、システム、及び方法の手段で達成される。   According to the invention, these objects are achieved by means of a communication device, system and method according to the independent claims.

特に、これら課題が以下の通信装置によって達成される。     In particular, these problems are achieved by the following communication device.

ユーザの網膜上にイメージを映し出すために眼鏡（スペクタクルス）形状の仮想網膜表示器（ＶＲＤ）と、
少なくとも一つのハプティックセンサと、この少なくとも一つのハプティックセンサと共に前記仮想網膜表示器で表示されたメニューを介してナビゲートすることは、可能であり、
少なくとも前記仮想網膜表示器及び少なくとも一つのハプティックセンサを制御するための中央制御装置と、を備えることを特徴とする通信装置である。 A spectacle-shaped virtual retina display (VRD) for projecting an image on the user's retina;
It is possible to navigate through at least one haptic sensor and a menu displayed on the virtual retinal display together with the at least one haptic sensor,
And a central control device for controlling at least the virtual retinal display and at least one haptic sensor.

特に、これら課題が以下の通信システムによっても達成される。     In particular, these problems are also achieved by the following communication system.

ユーザの網膜上にイメージを映し出すために眼鏡（スペクタクルス）形状の仮想網膜表示器（ＶＲＤ）と、
少なくとも一つのハプティックセンサと、この少なくとも一つのハプティックセンサと共に前記仮想網膜表示器で表示されたメニューを介してナビゲートすることは、可能であり、
少なくとも前記仮想網膜表示器（ＶＲＤ）及び少なくとも一つのハプティックセンサ（１２）を制御するための中央制御装置と、
短範囲の通信インターフェースと、
前記短範囲の通信インターフェースで前記仮想網膜表示器（ＶＲＤ）に接続されるべき少なくとも一つの外部装置と、を備えることを特徴とする通信システムである。 A spectacle-shaped virtual retina display (VRD) for projecting an image on the user's retina;
It is possible to navigate through at least one haptic sensor and a menu displayed on the virtual retinal display together with the at least one haptic sensor,
A central controller for controlling at least the virtual retinal display (VRD) and at least one haptic sensor (12);
A short-range communication interface;
And at least one external device to be connected to the virtual retina display (VRD) via the short-range communication interface.

実施例では、これら課題は、通信装置を操作するための方法に関する独立の方法請求項で達成され得る。   In an embodiment, these tasks can be achieved with independent method claims relating to a method for operating a communication device.

ハプティックセンサは、前記眼鏡のフレームに搭載又は前記仮想網膜表示器（ＶＲＤ）に短範囲の通信インターフェースと接続され得る。ハプティックセンサは、指紋センサであって認識及び認証眼球的用に十分に使用され得る。ＶＲＤからの網膜又は虹彩スキャンデータ又は音声認識は、分離又は上述の認証に加えて使用され得る。バイオメトリック（生物測定学的な）認証は、短範囲通信インターフェースの手段で眼鏡に接続されるサーバー、アプリケーション又は外部装置とアクセスするのに利点と共に使用され得る。外部装置として、移動体ハンドセット、ｍｐ３プレーヤ、ゲームコンソール、ＰＣ，ラップトップ、ＤＶＢ−Ｈ又はＤＶＢ受信器、移動体電話は、認識モジュールを備え、移動体通信ネットワークに接続されており、他のユーザ又は他の適当な装置の仮想網膜表示器（ＶＲＤ）が使用される。   A haptic sensor can be mounted on the frame of the glasses or connected to the virtual retina display (VRD) with a short range communication interface. The haptic sensor is a fingerprint sensor and can be used well for recognition and authentication ocular. Retina or iris scan data or speech recognition from the VRD can be used in addition to the separation or authentication described above. Biometric authentication can be used with advantages to access a server, application or external device connected to the glasses by means of a short range communication interface. As external devices, mobile handsets, mp3 players, game consoles, PCs, laptops, DVB-H or DVB receivers, mobile phones are equipped with a recognition module and connected to a mobile communication network for other users Alternatively, a virtual retinal display (VRD) of other suitable devices is used.

前記通信装置が無線移動体ネットワークの認識モジュールを備えるとき、このモジュールは、遠隔サーバ又はインターネットにアクセスするのに使用され得る。この場合、VRDはバイオメトリックデータを提供する。   When the communication device comprises a wireless mobile network recognition module, this module can be used to access a remote server or the Internet. In this case, the VRD provides biometric data.

更に、通信装置は、電源、イアホーンや(ボデイスカーフ)マイクロフォンを備えている。眼鏡の透明性は、好ましくは、眼鏡の見通し部分から非見通し部分に順次替わるように制御され得る。このようにして、ユーザは、表示されたグラフィックユーザインターフェース（ＧＵＩ）だけでなく、環境をも見る(ビュー)ことができる。透明性もまた、サングラスとして作用する。例えば、視覚欠陥を持つユーザに対しては、眼鏡もまた視覚矯正を統合する。   Further, the communication device includes a power source, an earphone, and a (body scarf) microphone. The transparency of the glasses can preferably be controlled to switch sequentially from the line-of-sight portion of the glasses to the non-line-of-sight portion. In this way, the user can view (view) the environment as well as the displayed graphical user interface (GUI). Transparency also acts as sunglasses. For example, for a user with a visual defect, glasses also integrate visual correction.

更なる利点は、従属請求項又は実施例で記載されている。   Further advantages are described in the dependent claims or in the examples.

本発明のより良い理解のために示された実施例の詳細を説明する。   Details of the embodiments shown for better understanding of the present invention will be described.

図１は、本発明による本発明の通信システムを図示する。この例では、仮想網膜表示器（ＶＲＤ）は、眼鏡１に搭載される。既に公知であるように、
ＶＲＤ装置１は、眼鏡１をかけているユーザの網膜にイメージ及び画像を直接映し出す。このような眼鏡１は、特に、マイクロビジョン会社によって提案され、最小化され小電流消費のみ利点を有する。眼鏡でなくヘルメットに搭載されるＶＲＤ装置、移動電話のようなハンド装置、ＰＤＡ又はラップトップ、又は車両の部分としては、車内又はＡＴＭキャッシュディスペンサのような固定されたインフラストラクチャの部分は、考慮されるかもしれない。 FIG. 1 illustrates the inventive communication system according to the invention. In this example, a virtual retina display (VRD) is mounted on the glasses 1. As already known,
The VRD device 1 directly displays an image and an image on the retina of the user wearing the glasses 1. Such glasses 1 are particularly proposed by a microvision company, minimized and only have the advantage of low current consumption. As a VRD device mounted in a helmet rather than glasses, a hand device such as a mobile phone, a PDA or laptop, or a vehicle part, a fixed infrastructure part such as an in-car or ATM cash dispenser is considered. It may be.

網膜上のＶＲＤで映されたイメージは、例えば、液晶技術に基づいて、適切な光シャッタを使用している光ビームの空間変調で生成されるかもしれない。
他の好ましい実施例では、単一の光ビームの映し出す方向は、振動鏡、例えば、２つの軸に沿ってそれを移動させるための２つの鏡を使用して、網膜上にイメージをスキャンするように、移動される。両方の実施例では、夫々の鏡の光シャッタは、ＭＥＭＳ技術に基づいている。 An image projected in a VRD on the retina may be generated by spatial modulation of the light beam using an appropriate optical shutter, for example, based on liquid crystal technology.
In another preferred embodiment, the projection direction of a single light beam is such that the image is scanned over the retina using a vibrating mirror, eg, two mirrors for moving it along two axes. To be moved. In both embodiments, the optical shutter of each mirror is based on MEMS technology.

ＶＲＤ装置１は、統合された網膜のスキャン装置１８と共にユーザの眼球の小穴（fovea）に２次元又は３次元イメージに対応するイメージ信号を映し出すために中央制御装置１１で制御される。スキャン装置１８は、モノクロモード又はフルカラ静止画像又はアニメイメージ、例えば、映画のいずれでも表示可能である。スキャン装置１８の解像度は、ＨＤＴＶまたは平坦でより高いものまであり得る。二重のユニットは、２つの信号、各々の眼球の中への一つを３次元画像のために、ビームできる。ユーザの網膜へ直接イメージを映し出すことが可能であるためには、眼球トラッキングシステムは、眼球の正確な視野方向を任意に監視できる。眼球トラッキングシステムは、一以上の物を持つ映し出された画像についてユーザの視野のスポットを認証するのに使用される。この特徴は、追加の機能を提供、例えば、特定のユーザでどの物が好まれるのかを認証する。   The VRD device 1 is controlled by the central controller 11 to project an image signal corresponding to a two-dimensional or three-dimensional image in a fovea of the user's eyeball together with an integrated retinal scanning device 18. The scanning device 18 can display either a monochrome mode or a full color still image or an animation image, for example, a movie. The resolution of the scanning device 18 can be HDTV or flat and higher. The duplex unit can beam two signals, one into each eyeball, for a three-dimensional image. In order to be able to project an image directly on the user's retina, the eye tracking system can arbitrarily monitor the exact viewing direction of the eye. The eye tracking system is used to authenticate a spot in the user's field of view for a projected image having one or more objects. This feature provides additional functionality, such as authenticating what is preferred by a particular user.

制御ユニット１１内で装置の全部品の全体制御は、図２以下について説明する。既に公知であるように、ＶＲＤ装置１は、以下説明するように、ユーザを認証又は認証するために、イメージを直接ユーザの網膜に映し出すだけでなく、ユーザの眼球(網膜スキャン、瞳孔)からバイオメトリックデータを取るように作用可能である。同じ特徴は、ユーザの特徴を映し出すための手段としてだけでなく、スキャンするための手段としてその時に作用する上記の網膜スキャン装置１８に統合され得る。   The overall control of all components of the apparatus within the control unit 11 will be described with reference to FIG. As already known, the VRD device 1 not only projects an image directly on the user's retina to authenticate or authenticate the user, but also from the user's eyeball (retinal scan, pupil) as described below. It can act to take metric data. The same features can be integrated into the retinal scanning device 18 described above, which acts at the time as a means for scanning as well as a means for projecting the user's characteristics.

本発明によれば、ＶＲＤ装置１は、パプテックセンサ１２が、好ましくは、前記眼鏡１のフレームの一方又は両側に、ユーザが指で容易に届き得るように、装備されている。パプテックセンサ１２の好ましい例は、容量センサのアレー、例えば、会社ＡＴＲＵＡによって製造されているようにマトリックスが９Ｘ１９２の容量電極におけるものがある。この文献の内容におけるパプテックセンサは、少なくとも２つの、好ましくは、少なくとも４、又は任意の方向にナビゲーションを許容するどれかのセンサをグラフィックやテキストメニューを介して指名する。好ましくは、このアプリケーションのセンサとしてパプテックセンサは、２進選択物だけでなく、指の動く方向に依存する方向及び振幅を許容するセンサである。幾つかの好ましい容量パプティクセンサでも、以下記載するように、指紋を取られるのを許容する。使用され得るパプティクセンサ用の他の例は、ＧＵＩの又はカーソルを移動又はメニューでナビゲートするためのタッチパッド、ジョイステック、トラックボール又は任意の指である。   According to the present invention, the VRD device 1 is equipped with a paptec sensor 12 so that the user can easily reach one or both sides of the frame of the glasses 1 with a finger. A preferred example of the Paptec sensor 12 is an array of capacitive sensors, for example in a 9 × 192 matrix electrode as manufactured by the company ATRUA. The Paptec sensor in the context of this document names at least two, preferably at least four, or any sensor that allows navigation in any direction via a graphic or text menu. Preferably, the Paptec sensor as a sensor for this application is a sensor that allows not only a binary selection but also a direction and amplitude depending on the direction of finger movement. Some preferred capacitive sensors also allow fingerprints to be taken, as described below. Other examples for haptic sensors that may be used are a touchpad, joystick, trackball or any finger on the GUI or for moving the cursor or navigating through menus.

ハプティックセンサ１２で獲得された指紋ベースのユーザ認証は、指全体のイメージを獲得するために、ユーザがセンサ上で指を拭う必要である。   Fingerprint-based user authentication obtained with the haptic sensor 12 requires the user to wipe the finger over the sensor to obtain an image of the entire finger.

前記眼鏡１のフレーム上のハプティックセンサ１２と共に、ユーザが、グラフィックユーザインターフェース（ＧＵＩ）、仮想キーボード上の入力文字、を介してカーソルで選択し、ナビゲート又はＶＲＤ装置１で表示されたイメージすなわちビデオシーケンス（ズーミング、リプレー、早送り等）を変化することが可能である。ＶＲＤ装置で表示された仮想キーボードは、国際公開ＷＯ−Ａ１−０１／８８６８０から既に公知である。「ナビゲート」という文言は、グラフィックユーザインターフェース（ＧＵＩ）を介して移動するために、カーソルを表示するような、ローリング、スクローリング、ローテーティング、クリキング、ダブルクリキング、及び押圧のようにカーソルを移動させるための全て公知のマウス特徴を備える。従って、このシステムはパーソナルコンピュータでのマウス又はジョイスティックの入力システムとして作用する。   Along with the haptic sensor 12 on the frame of the glasses 1, an image or video selected by a user through a graphic user interface (GUI) or an input character on a virtual keyboard with a cursor and displayed on the navigation or VRD device 1. The sequence (zooming, replay, fast forward, etc.) can be changed. A virtual keyboard displayed on a VRD device is already known from International Publication WO-A1-01 / 88680. The word “navigate” moves the cursor like rolling, scrolling, rotating, clicking, double-clicking, and pressing to display the cursor to move through the graphic user interface (GUI) All known mouse features are included. This system thus acts as a mouse or joystick input system on a personal computer.

更に、アイコム又はテキストから成るメニューを介してナビゲートすることは、ハプティックセンサで十二分に成され得る。その時、ナビゲーションは、その時、クリッキングで選択された異なるアイコム又はメニュー項目を可能な限り経由して必須のフリップングから成る。そして、ユーザは、例えば、新しいメニューを入れ又はアプリケーションを選択する。メニューにおける幾つかの方向に沿ってナビゲートやより早くスクロールのために、定義ベクトル、例えば、ベクトルの方向及び長さでナビゲートがまだ可能である。そのセンス及び長さもまた、例えば、ラウドスピーカボリューム又は表示器の輝度又はコントラストを制御するためにコマンド用のパラメータとして使用され得る。   In addition, navigating through a menu of icom or text can be more than enough with a haptic sensor. The navigation then consists of mandatory flipping through as much as possible through the different icom or menu items selected at that time. The user then enters a new menu or selects an application, for example. For navigating along several directions in the menu and for faster scrolling, it is still possible to navigate with a definition vector, for example the direction and length of the vector. Its sense and length can also be used as parameters for commands to control, for example, loudspeaker volume or display brightness or contrast.

ＶＲＤ装置１がユーザの視野すなわちユーザの眼球の移動の予め定められたシーケンスの方向を決定するために眼球トラッキングシステムを備える。この方向又は方向のシーケンスは、システムに更にコマンドを入れるために考慮され得る。このようにして、本発明の一実施例では、ユーザは、同一項目を見る（ビューする）のみで選択されるべき項目を選択する。その後、ユーザはハプティックセンサ１２を押圧又は作用させることによって、項目を選択し得る。   The VRD device 1 comprises an eye tracking system for determining the direction of a predetermined sequence of movement of the user's field of view, ie the user's eye. This direction or sequence of directions can be considered for further commands in the system. Thus, in one embodiment of the present invention, the user selects an item to be selected only by viewing (viewing) the same item. The user can then select an item by pressing or acting on the haptic sensor 12.

多くの指示又は入力は、眼球及びハプティックセンサ１２の移動を考慮して組み合わされ得る。眼鏡１のフレーム上のハプティックセンサ１２の配置及びキーパッド上の文字を入力又はサーバーをアクセスするのにグラフィックユーザインタフェース（ＧＵＩ）を介して移動させる可能性により、スペースは分離したキーパッドのために必要ではない。   Many instructions or inputs can be combined considering the movement of the eyeball and haptic sensor 12. Due to the location of the haptic sensor 12 on the frame of the glasses 1 and the possibility of moving characters on the keypad via a graphic user interface (GUI) to enter or access the server, the space is for a separate keypad. Not necessary.

他の実施例では、ハプティックセンサは眼鏡に直接搭載されないで、ＶＲＤ装置に又はＶＲＤ装置より同一の処理ユニット、例えば、ワイヤード又はワイヤードレスインターフェースに接続される。例えば、装置が車又は飛行機を駆動するのに使用されるならば、ハプティックセンサがステアリングホイールの近くで都合良く搭載される間は、ＶＲＤ装置は、ドライバーによって眼鏡またはヘルメット又はコックピットで搭載され得る。相互の認証メカニズムは、好ましくは、ＶＲＤ装置が期待されたハプティックセンサで常に通信するのを確実にするように提供される。   In other embodiments, the haptic sensor is not mounted directly on the glasses, but is connected to the VRD device or to the same processing unit from the VRD device, eg, a wired or wireless interface. For example, if the device is used to drive a car or airplane, the VRD device can be mounted in glasses or a helmet or cockpit by the driver while the haptic sensor is conveniently mounted near the steering wheel. A mutual authentication mechanism is preferably provided to ensure that the VRD device always communicates with the expected haptic sensor.

ハプティックセンサ１２が指紋センサであれば、ハプティックセンサ１２は、識別及び認証眼球的用に十分使用され得る。モードスイッチは、ユーザのナビゲーション及び認証の間の即座のスワイプ用に使用され得る結果、ユーザは、指紋が取られるときに知ることになる。異なるモードは、小さいアイコンで映されたＶＲＤイメージで表示され得る結果、ユーザは、モードに気づく。二者択一的には、ユーザがハプティックセンサを操作する度に、指紋が取られても良い。   If the haptic sensor 12 is a fingerprint sensor, the haptic sensor 12 can be fully used for identification and authentication ophthalmic purposes. The mode switch can be used for an immediate swipe between user navigation and authentication, so that the user knows when the fingerprint is taken. Different modes can be displayed with VRD images shown with small icons, so that the user is aware of the modes. Alternatively, a fingerprint may be taken each time the user operates the haptic sensor.

第１実施例では、権限付与されたユーザのみが、本発明の装置を使用可能である。このようにして、ＶＲＤ装置１の使用の前に、ユーザの音声認証又は網膜又は瞳孔スキャンのような指紋又はバイオメトリック特徴は、ユーザを認証するために取られ得る。ユーザが装置を身につけバイオメトリックデータが装置１で得られ得るときには、これでさえ、ユーザの活動的な発明なしに装置によって自動的に成され得るであろう。ユーザが最初に装置を使用し、メモリで格納されるときに、参照データは、取られるであろう。参照データを測定データと比較するための手段は、装置で提供される。一実施例では、このメモリは、無線移動体ネットワーク６のアイデンティフィケーション（識別）モジュール（ＳＩＭ）１９のようなスマートカードで、バイオメトリック参照データが格納される所である。変形例では、指紋参照は、特許出願ＷＯ−Ａ２−０２／０１３２８に記載されている特定のセキュリティチップのようなＳＩＭの同一又は同様な機能を持つ特別なチップに格納される。ＳＩＭ、又は他のセキュリティチップは、単独又はユーザ認識又は認証のためのバイオメトリックパラメータと共に、使用される。   In the first embodiment, only authorized users can use the apparatus of the present invention. In this way, prior to use of the VRD device 1, a fingerprint or biometric feature such as a user voice authentication or a retina or pupil scan can be taken to authenticate the user. Even when the user wears the device and biometric data can be obtained with the device 1, this could even be done automatically by the device without the user's active invention. The reference data will be taken when the user first uses the device and is stored in memory. Means for comparing the reference data with the measurement data are provided in the apparatus. In one embodiment, this memory is a smart card, such as an identification module (SIM) 19 of the wireless mobile network 6, where biometric reference data is stored. In a variant, the fingerprint reference is stored in a special chip with the same or similar function of the SIM, such as the specific security chip described in patent application WO-A2-02 / 01328. A SIM, or other security chip, can be used alone or with biometric parameters for user recognition or authentication.

認証手順がポジティブであれば、ユーザは、装置を使用し装置内でアプリケーションを実行し得る。もちろん、装置を使用するのを許容される異なるユーザのバイオメトリックデータを格納することが可能であろう。登録及び認証手順は、全てのユーザ用に同一であろう。しかしながら、異なるプログラム又は異なるユーザ用の異なるユーザパラメータを適応可能であろう。また、好ましくは、これらユーザ設定は前記メモリで格納されるであろう。   If the authentication procedure is positive, the user can use the device and execute the application in the device. Of course, it would be possible to store biometric data of different users that are allowed to use the device. The registration and authentication procedure will be the same for all users. However, different user parameters for different programs or different users could be adapted. Also preferably, these user settings will be stored in the memory.

ＶＲＤ装置１が上記アイデンティフィケーション（識別）モジュール（ＳＩＭ）１９を備え、ＧＳＭ又はＵＭＴＳのような移動体通信ネットワーク６に接続されるならば、装置は、移動体電話として使用され、ユーザがコマンドを入れ、ＳＭＳ又はＭＭＳを書き込み、ダイアルされるべき電話番号を選択等が、パプティックセンサ１２又はパプティックセンサ１２及びアイコマンドの両方を使用しながら、可能である。ユーザが電話又は会議パートナーを見る場所であるビデオ電話コール又はビデオ会議は、行われる。このようにして、ユーザは、移動体通信ネットワーク上のインターネットをアクセスし、それを介してナビゲートできる。完全な通信容量を可能にするためには、一以上のマイクロフォンが眼鏡フレーム、例えば、一時的なボーン又は他の従来のマイクロフォンに接触するボディスカーフマイクロフォン１５に統合され得る。他の実施例ではイアホーン１７との組み合わせのようでも可能である。眼鏡のフレームは、
電気線１６上で前記イアホーン又はイアプラグ１７に接続される。イアプラグもまた、補聴器と組み合わせても良い。 If the VRD device 1 comprises the above identification module (SIM) 19 and is connected to a mobile communication network 6 such as GSM or UMTS, the device is used as a mobile phone and the user can It is possible to enter commands, write SMS or MMS, select phone numbers to be dialed, etc. while using the paptic sensor 12 or both the paptic sensor 12 and the eye command. A video phone call or video conference where the user sees the phone or conference partner is made. In this way, a user can access and navigate through the Internet on a mobile communications network. In order to allow full communication capacity, one or more microphones can be integrated into a body scarf microphone 15 that contacts a spectacle frame, eg, a temporary bone or other conventional microphone. In other embodiments, a combination with the earphone 17 is also possible. Glasses frame
It is connected to the earphone or earplug 17 on the electric wire 16. Earplugs may also be combined with hearing aids.

ＶＲＤ装置１の電源１４は、制御論理１１において光電圧セル、アキュムレータ、及び制御部から成り得る。光電圧セルは、フレーム又は眼鏡１にコーティングと同じような付加透明層に搭載可能で、ＵＳ−Ａ−５４４８２７で公知の、例えば、グラエッセル（Ｇｒａｅｔｚｅｌ）セル又は従来のシリコンセルを使用する。これら要素に加えたコンタクトは、エネルギーシステムを再負荷するのが予測され得る。他のエネルギー源もまた、可能である。付加えると、イアフォン１７は、電源用のアキュムレータを統合しても良い。   The power supply 14 of the VRD device 1 can comprise a photovoltage cell, an accumulator, and a control unit in the control logic 11. The photovoltage cell can be mounted on an additional transparent layer similar to the coating on the frame or glasses 1 and uses, for example, a Graetzel cell or a conventional silicon cell known from US-A-544827. Contacts added to these elements can be expected to reload the energy system. Other energy sources are also possible. In addition, the earphone 17 may integrate an accumulator for power supply.

発明の眼鏡１もまた、短範囲のコンタクトレス(非接触)のインターフェース１３が備えられる。コンタクトレスインターフェース１３の眼鏡１は、コンタクトレスの通信チャネル８で外部装置、例えば、モバイルホーン２又はこのようなコンタクトレスインターフェース２３に装備された他のパーソナル装置９に接続されている。コンタクトレスインターフェース１３，２３は、例えば、ブルーツース（Ｂｌｕｅｔｏｏｔｈ）、Ｚｉｇｂｅｅ，ＩｄＤＡ，ＨｏｍｅＲＦ，ＮＦＣ（near field communmication）、ＷＬＡＮ、又はＤＥＣＴによる従来技術で公知である。   The inventive spectacles 1 are also provided with a short-range contactless interface 13. The glasses 1 of the contactless interface 13 are connected via a contactless communication channel 8 to an external device, for example a mobile horn 2 or another personal device 9 equipped in such a contactless interface 23. The contactless interfaces 13 and 23 are well known in the prior art by, for example, Bluetooth, Zigbee, IdDA, HomeRF, NFC (near field communication), WLAN, or DECT.

本発明の第１の実施例では、パーソナル装置９からのデータは、コンタクトレス通信チャネル８に伝送される。この手順の前には、ユーザは、バイオメトリック特徴の一つ又は組み合わせや上述したパスワードでＶＲＤ装置１自身から認証される。勿論、この手順は、任意だけである。パーソナル装置９とＶＲＤ装置１との間の安全な接続を得るために、ユーザは、スタートボタンでクリック又はハプテックセンサ１２で即座のスワイプで眼鏡１を開始する。即座のスワイプ(ジェスチャ)は、全体システムの機能を開始し、網膜スキャン装置１８を使用することもよってサービスメニュー(グラフィカルユーザインターフェースＧＵＩ)を表示する指紋センサ１２上の即座のフィンガ移動である。   In the first embodiment of the present invention, data from the personal device 9 is transmitted to the contactless communication channel 8. Prior to this procedure, the user is authenticated from the VRD device 1 itself with one or a combination of biometric features and the password described above. Of course, this procedure is only optional. In order to obtain a secure connection between the personal device 9 and the VRD device 1, the user starts the glasses 1 with a click on the start button or an immediate swipe with the haptic sensor 12. An immediate swipe (gesture) is an immediate finger movement on the fingerprint sensor 12 that initiates the functionality of the entire system and also displays the service menu (graphical user interface GUI) by using the retinal scanning device 18.

継続のために、ユーザは、前記メニューを見る前に指紋センサ上の特定フィンガをスワイプすることによって認証手順を開始する。ユーザがハプテックセンサ１２を使用しているとき、ナビゲートしユーザの指紋を取ることは、同時に行われもする。このようにして、サーバーを介して移動し、前のナビゲーション中に取られた指紋で認証されるときにのみ安全部品をアクセスできる。この第２の認証手順は、パーソナル装置９に格納された参照データで行われる。指紋センサ１２は、上述したアイデンティフィケーションモジュール（ＳＩＭカード）１９（又は後述するＳＩＭカード２４）又はどれか特定のセキュリティチップについての通信インターフェースを持つ固体状態指紋センサ又は固体掃引指紋センサ(容量センサ)のいずれかである。   To continue, the user initiates the authentication procedure by swiping a specific finger on the fingerprint sensor before viewing the menu. When the user is using the haptic sensor 12, navigating and taking the user's fingerprint may occur simultaneously. In this way, the safety component can only be accessed when it travels through the server and is authenticated with the fingerprint taken during the previous navigation. This second authentication procedure is performed with reference data stored in the personal device 9. The fingerprint sensor 12 is a solid state fingerprint sensor or a solid sweep fingerprint sensor (capacity sensor) having a communication interface for the above-described identification module (SIM card) 19 (or SIM card 24 described later) or any specific security chip. )

ＷＯ−Ａ２−０２／０１３２８は、ユーザデータベース、プロセッサ、及びバイオメトリックマップ発生機能が、セキュリティデータの内容が集積回路外からアクセス不可の同一集積回路上に位置しているバイオメトリックベースのセキュリティチップを提供する。バイオメトリックデータ、例えば、指紋、彩光、網膜スキャンや音声印刷は、限定された源にアクセスを要求するユーザから取られる。バイオメトリックデータは、バイオメトリックマップに変換され、
集積回路内の不揮発性メモリに格納されたバイオメトリックマップと比較される集積回路に転送される。格納マップは、プリ権限ユーザを表し、一方が信号をホストプロセッサに送信するためにセキュリティ(安全)回路をトリガして、ホストプロセッサが限定された源にユーザアクセスの要求を許可するように権限を有する。集積回路におけるセキュアデータ及びセキュリティ機能が如何なるピン又はポートを介して直接的にアクセス可能でなく、従って、専用のセキュリティアタックを介して読み込み又は監視され得ないので、集積回路は、セキュアデータ用の読み書き専用メモリとして作用するのが必須である。集積回路の外部からアクセス可能な第２の不揮発メモリもまた、非セキュアデータを格納するための集積回路に提供され得る。この第２のメモリは、それ自身のインターフェースポートを持ち、セキュリティ関連機能及びメモリから絶縁される結果、セキュア及び非セキュア機能が物理的に互いに絶縁されその絶縁を克服するのに修正できない。 WO-A2-02 / 01328 is a biometric-based security chip in which a user database, a processor, and a biometric map generation function are located on the same integrated circuit where the contents of security data cannot be accessed from outside the integrated circuit. provide. Biometric data, such as fingerprints, chrominance, retinal scans and voice printing, is taken from users requesting access to limited sources. Biometric data is converted into a biometric map,
Transferred to an integrated circuit to be compared with a biometric map stored in non-volatile memory within the integrated circuit. The storage map represents pre-authorized users, one of which triggers a security circuit to send a signal to the host processor, authorizing the host processor to authorize requests for user access to a limited source. Have. Since the secure data and security functions in the integrated circuit are not directly accessible via any pin or port and therefore cannot be read or monitored via a dedicated security attack, the integrated circuit can read and write secure data It is essential to act as a dedicated memory. A second non-volatile memory accessible from outside the integrated circuit may also be provided in the integrated circuit for storing non-secure data. This second memory has its own interface port and, as a result of being isolated from security related functions and memory, secure and non-secure functions are physically isolated from each other and cannot be modified to overcome that isolation.

もし認証テストがポジティブであれば、ユーザはパーソナル装置９を使用しデータは網膜スキャン装置１８に表示され得る。セキュアシステムを創設するために、この認証は、眼球（網膜、瞳孔又は虹彩）、指（指紋、血管）や音声認識と結合された識別、や認証VRD装置１における上述のチップカード又は上述のセキュリティチップに格納されたデータ比較であり得る。   If the authentication test is positive, the user can use the personal device 9 and the data can be displayed on the retinal scanning device 18. In order to create a secure system, this authentication involves identification combined with an eyeball (retina, pupil or iris), finger (fingerprint, blood vessel) or voice recognition, or the above-described chip card or the above-described security in the authentication VRD device 1. It can be a comparison of the data stored on the chip.

バイオメトリックデータやパスワード又はPINの異なる結合は、異なるアプリケーションで、同一のアプリケーションの異なる部分で、文脈又は現在のセキュリティレベルに依存して要求される。例えば、網膜認証は、多くのアプリケーションで十分であるが、付加的な認証データ、例えば、指紋、音声印刷、又はパスワードは、セキュリティ感覚アプリケーションによって、又は網膜認証システムで送信される秘密レベルが所定の閾値未満であるときには、要求されている。二者択一的には、様々な利用可能な認証方法はユーザで選択されるか又は、第１認証が失敗ならば後退としてシーケンス的に使用され得る。   Different combinations of biometric data and passwords or PINs are required in different applications, in different parts of the same application, depending on the context or current security level. For example, retinal authentication is sufficient for many applications, but additional authentication data, such as fingerprints, voice prints, or passwords, is given a predetermined secret level transmitted by a security-sensitive application or by a retinal authentication system. Requested when below threshold. Alternatively, various available authentication methods can be selected by the user or used in sequence as a back-up if the first authentication fails.

理解されているように、PIN又はパスワードは、ユーザによってパプティックセンサ１２で、例えば、VRD装置１でユーザに表示される仮想キーボードで入れられる。   As will be appreciated, the PIN or password is entered by the user on the paptic sensor 12, for example, on a virtual keyboard displayed to the user on the VRD device 1.

もし認証手続がポジティブであれば、ユーザは、発明の眼鏡１上に搭載された上述のパプティックセンサ１２を介してコマンド入力で、パーソナル装置９（又は移動体電話２）を介してナビゲートできる。コマンドもまた、通信チャネル８を伝送される。既に述べたように、ナビゲーションは、ローリング、スクローリング、クリッキング、やプレシング(押圧)のような公知のコマンドを含む。この装置では、ユーザは、表示されるべき、ゲームをするため、又は、パーソナル装置９に格納されたパーソナル文書をリビューするために、ビデオチップを選択可能である。同時に出る音は、前記イアホーン１７を介してユーザに出され、例えば、前記通信チャネル８を伝送され得る。パーソナル装置９の例は、移動体ハンドセット、ｍｐ３プレーヤ、ゲームコンソール、PC,ラップトップ、DVB−H又はDVB受信器又は他の適切な装置である。   If the authentication procedure is positive, the user can navigate through the personal device 9 (or mobile phone 2) with command input via the above-described paptic sensor 12 mounted on the inventive glasses 1. . Commands are also transmitted over the communication channel 8. As already mentioned, navigation includes known commands such as rolling, scrolling, clicking and pressing. With this device, the user can select a video chip to play, play a game, or review a personal document stored on the personal device 9. Simultaneously emitted sound can be sent to the user via the earphone 17 and transmitted through the communication channel 8, for example. Examples of personal devices 9 are mobile handsets, mp3 players, game consoles, PCs, laptops, DVB-H or DVB receivers or other suitable devices.

システムが外部装置９（又は移動体電話２の下に外観されるように）に対になっているならば、システムは、この装置９との通信を開始するであろう。一実施例では、システム制御(制御ユニット１１)は、対の外部装置２，９の特定のレジスタを含む。もしそうであれば、ユーザが、使用のための登録された装置２，９の一方を選択する。一旦、ユーザが欲しい装置２，９を選択したら、
ユーザは、指紋センサ１２を用いて前記外部装置２，９の完璧な制御をするために、指紋センサを使用できる。 If the system is paired with an external device 9 (or as seen under the mobile phone 2), the system will initiate communication with this device 9. In one embodiment, the system control (control unit 11) includes specific registers of a pair of external devices 2,9. If so, the user selects one of the registered devices 2 and 9 for use. Once the user has selected the devices 2 and 9 they want,
The user can use the fingerprint sensor to completely control the external devices 2 and 9 using the fingerprint sensor 12.

VRD装置１が記述したように、放送受信器に接続されるならば、DRM(デジタルライトマネジメント)システム内で認証用に使用可能である。ユーザは、料金（TV支払い）支払うために前もってあるコンテントを購読する。購読中、例えば、ビデオ店内で、ユーザは、コンテントプロバイダにバイオメトリックデータを表示しなければならない。そして、バイオメトリックデータがユーザのコンテントに沿って送信された特定の暗号データと適合するならば、ユーザだけは、購読のコンテントを復合化できる。勿論、暗号化及び複合化手段は、適当なセキュリティを提供するために使用される。   As described in the VRD device 1, if it is connected to a broadcast receiver, it can be used for authentication in a DRM (Digital Light Management) system. The user subscribes to content in advance to pay a fee (TV payment). During subscription, for example, within a video store, a user must display biometric data to a content provider. And if the biometric data matches the specific encrypted data transmitted along with the user's content, only the user can decrypt the subscription content. Of course, encryption and decryption means are used to provide adequate security.

この実施例では、パプテックセンサ１２は、チャネル、ボリューム、輝度等の項目を選択するためだけでなく、表示イメージ又はビデオをズーム、リプレイ等のためにも使用され得る。   In this embodiment, the paptec sensor 12 can be used not only to select items such as channel, volume, brightness, but also to zoom, replay, etc. the displayed image or video.

ユーザは、パーソナル装置９としてパーソナルコンピュータにVRD装置１を接続し、この装置９で特別のアプリケーションをアクセスするならば、このアプリケーションは、好ましくは、バイオメトリック特徴でセキュアされ得る。このようにして、そのアプリケーションは、保護され、権威のある人によって使用され得る。   If the user connects the VRD device 1 to a personal computer as a personal device 9 and accesses a special application with this device 9, this application can preferably be secured with biometric features. In this way, the application can be protected and used by an authorized person.

第２の実施例では、本発明のVRD装置１は、移動体電話２にコンタクトレスの通信チャネル８上に接続されている。移動体電話２は、表示器２２、キーボード２３（又は任意の他の入力手段）、前記コンタクトレスのインターフェース２３及びユーザ特定データが格納されたチップボード、例えば、SIM(購読者認識モジュール)カード２４を備える。再び、任意の型のデータは、VRD装置１から移動体電話２への短範囲通信インターフェース１３，２３上で双方向に交換され、VRD装置１又は移動体電話２で表示され得る。変形例では、コンタクトベースのインターフェース(例えば、ワイヤ)であり得るし、VRDは、外部装置９又は移動体電話２へのインターフェース上に接続する。   In the second embodiment, the VRD device 1 of the present invention is connected to a mobile phone 2 on a contactless communication channel 8. The mobile phone 2 includes a display 22, a keyboard 23 (or any other input means), a contactless interface 23 and a chip board storing user-specific data, such as a SIM (Subscriber Identification Module) card 24. Is provided. Again, any type of data can be exchanged bi-directionally over the short range communication interface 13, 23 from the VRD device 1 to the mobile phone 2 and displayed on the VRD device 1 or the mobile phone 2. In a variant, it can be a contact-based interface (eg wire) and the VRD connects on an interface to the external device 9 or the mobile phone 2.

認証手続は、パーソナル装置９用の説明したものと類似する。参照バイオメトリックデータは、SIMカード２４に格納され得る。このバイオメトリックデータは、ユーザから取られた測定されたバイオメトリックデータと比較され、VRD装置１から移動体電話２に又は移動体電話２からVRD装置１に伝送される。
認証がポジティブであれば、ユーザは、ハプティックセンサ１２を使用してSMS又はMMSを読み書き又は(移動体)インターネットをブラウスのように、移動体電話からデータを視覚化できる。再び、複数のバイオメトリックデータや付加的なPINコードを使用するのが可能となる。他の実施例では、本発明のシステムの使用中に、ユーザでもまた、例えば、同時に任意の他の光信号を見る間、電話で通話のように、非連動オーディオ信号にアクセスする。 The authentication procedure is similar to that described for the personal device 9. Reference biometric data may be stored on the SIM card 24. This biometric data is compared with measured biometric data taken from the user and transmitted from the VRD device 1 to the mobile phone 2 or from the mobile phone 2 to the VRD device 1.
If the authentication is positive, the user can use the haptic sensor 12 to read and write SMS or MMS or visualize the data from a mobile phone, like a (mobile) internet blouse. Again, multiple biometric data and additional PIN codes can be used. In other embodiments, while using the system of the present invention, the user also accesses unlinked audio signals, such as a telephone call while simultaneously viewing any other optical signal, for example.

移動体電話２は、移動体無線インターフェース５上の通信ネットワーク６に接続される。ネットワーク６は、例えば、移動体無線ネットワーク、GSM又はUMTSによるが、ネットワークであるか又は幾つかのネットワークから成る。移動体電話２は、リモートサーバ３を持つ通信ネットワーク６、例えば、通信ネットワーク６のオペレータで管理されたｈｔｔｐ又はWAPサーバに接続され得る。移動体電話２とリモートサーバ３との間のデータ伝送は、好ましくは、例えば、プロトコルSSL(Secure Sockets Layer),TLS(Transport Layer Security),やWTLS(Wireless Transport Security) で端から端まで、セキュアされている。移動体電話２からリモートサーバ３に送信されたデータは、好ましくは、セキュリティモジュールで、好ましくは、眼鏡１又は移動体電話２(エアインターフェース／コンタクトレスの通信チャネル８)のSIMカード２４、又はセキュリティモジュール１１０の内の電子証明に格納されている電子私的キー電子的にサインされる。   The mobile phone 2 is connected to a communication network 6 on the mobile radio interface 5. The network 6 is for example a mobile radio network, GSM or UMTS, but is a network or consists of several networks. The mobile phone 2 can be connected to a communication network 6 having a remote server 3, for example an http or WAP server managed by an operator of the communication network 6. The data transmission between the mobile phone 2 and the remote server 3 is preferably secure from end to end with, for example, the protocols SSL (Secure Sockets Layer), TLS (Transport Layer Security), and WTLS (Wireless Transport Security). Has been. The data transmitted from the mobile phone 2 to the remote server 3 is preferably a security module, preferably a glasses 1 or a SIM card 24 of the mobile phone 2 (air interface / contactless communication channel 8), or security. The electronic private key stored in the electronic certificate within module 110 is electronically signed.

この実施例によれば、前記仮想網膜表示器１は、前記移動体電話２又は前記移動体ネットワーク６の前記短範囲の通信インターフェース１３、２３をサーバ３又はコンテントプロバイダ４に接続される。サーバ３は,カスタマデータベース３２又はサービスデータベース３３内に異なるデータベース内に通信パス７上をアクセスするためのポータル３１を含む。サーバ３に対してユーザの識別又は認証が上述した同じ方法で、音声認識やパスワードと共に網膜認証で眼鏡１のフレームに搭載された指紋センサ１２で行われる。この実施例は、
ユーザがパプテックセンサをサーバ３又はコンテントプロバイダ４をアクセス又は他のバイオメトリックデータと調和（トーン）するためのナビゲーション道具として使用する間、ユーザから指紋が取られるのを許容する。サーバ３のアクセスのために、セキュリティ制御は、SIMカードにおいて格納された参照データと共にパプテックセンサ１２で行われ得る。テストがポジティブであれば、サーバ３は、アクセスされ得る。このようにしてセキュリティは、著しく増大される。変形例では、指紋認証は、SIMの同一又は類似か又は上述されているような特別のセキュリティチップとしての機能を持つ特別のチップに格納される。更なる実施例では、任意のセキュリティチップにおいて、SIM又は任意のセキュリティチップにおけるユーザ認識は、付加的に又は指紋又は他のバイオメトリック認識を取替えるために使用される。 According to this embodiment, the virtual retina display 1 is connected to the server 3 or the content provider 4 through the short-range communication interfaces 13 and 23 of the mobile telephone 2 or the mobile network 6. The server 3 includes a portal 31 for accessing a different database in the customer database 32 or the service database 33 on the communication path 7. User identification or authentication for the server 3 is performed by the fingerprint sensor 12 mounted on the frame of the glasses 1 by retina authentication together with voice recognition and password in the same manner as described above. This example is
While the user uses the Paptech sensor as a navigation tool to access the server 3 or content provider 4 or harmonize with other biometric data, the user is allowed to take a fingerprint. For server 3 access, security control can be performed at the Paptec sensor 12 along with reference data stored in the SIM card. If the test is positive, the server 3 can be accessed. In this way security is significantly increased. In a variant, the fingerprint authentication is stored in a special chip that is the same or similar to the SIM or that functions as a special security chip as described above. In a further embodiment, in any security chip, user recognition in the SIM or any security chip is used in addition or to replace fingerprint or other biometric recognition.

ユーザは、このサーバ３をアクセスしたいならば、認識又は認証されるためにバイオメトリック特徴で前もって登録しなければいけない。サーバ３でユーザに付与された権利は、サーバ３の型及びサービスプロバイダによって申し込まれたサービスの型に依存する。移動体電話２もまた、あるコンテントを購読するために通信ネットワーク６をコンテントプロバイダ４に接続される。これにより、コンテントプロバイダ４にバイオメトリック特徴を伝送する。   If the user wants to access this server 3, he must register in advance with biometric features in order to be recognized or authenticated. The rights granted to the user at the server 3 depend on the type of the server 3 and the type of service subscribed by the service provider. The mobile phone 2 is also connected to the content provider 4 through a communication network 6 to subscribe to certain content. This transmits the biometric feature to the content provider 4.

コンテントプロバイダ４にアクセスするためのセキュリティコントロールは、SIMカードで格納された参照データと共にパプティックセンサ１２で行われ得る。テストがポジティブであれば、コンテントがアクセスされ得る。このようにして、セキュリティは、著しく増大される。変形例では、指紋参照は、叙述したように特別のセキュリティチップのようなSIMの同一又は類似の機能を持つ特別のチップに格納される。更なる実施例では、SIM又は任意のセキュリティチップにおけるユーザ認識は、付加的又はコンテントをアクセスするときの指紋又は他のバイオメトリック認識を取替えるために使用される。   Security control for accessing the content provider 4 can be performed by the paptic sensor 12 along with reference data stored on the SIM card. If the test is positive, the content can be accessed. In this way, security is significantly increased. In a variant, the fingerprint reference is stored in a special chip with the same or similar functionality of the SIM as described above, such as a special security chip. In a further embodiment, user recognition at the SIM or any security chip is used to replace fingerprints or other biometric recognition when accessing additional or content.

更に実施例では、２つの「センサ眼鏡１」は、コンタクトレスインターフェース１３又は通信ネットワーク６又はユーザAとユーザBとの間を介して同一装置１を双方が使用して、一緒に接続され得る。この実施例では、ユーザAは、ユーザB(マクロフォン及び反転された網膜スキャン装置１８)のセンサ眼鏡１で獲得された音及びイメージを経験する。付加的な情報は、ユーザAのビームイメージの上にユーザBの観点をマークすることで提供される。この実施例は、ビデオ会議及びビデオゲーム用に部分的に使用可能である。   Further, in an embodiment, two “sensor glasses 1” can be connected together using the same device 1 both via contactless interface 13 or communication network 6 or between user A and user B. In this embodiment, user A experiences sounds and images acquired with sensor glasses 1 of user B (macrophone and inverted retinal scanning device 18). Additional information is provided by marking user B's point of view on user A's beam image. This embodiment can be partially used for video conferencing and video games.

システム制御は、図２にある本発明の眼鏡の全機能を制御するマイクロプロセッサである。制御ユニット１１は、パプテックセンサ１２、コンタクトレスのインターフェース１３、電源１４、マイクロフォン１５、イアホン１７、網膜スキャン表示器１８、及びメモリや認識モジュール（SIMカード）１９のようなVRD装置１の全ての部分を制御する責任がある。制御ユニット１１もまた、
暗号で、コンタクトレスの通信チャネル８をセキュアする責任ある。メモリ内では、ハードウェア部品を制御するためのソフトウェア、バイオメトリック特徴、及びユーザ優先が格納される。ユーザによって直接的に実行されるべきアプリケーション又はプログラム、又はユーザがこの装置２，９にアクセスする権利を得るための対の外部装置２，９の特定レジスタを含む。 The system control is a microprocessor that controls all functions of the glasses of the present invention shown in FIG. The control unit 11 includes a Paptec sensor 12, a contactless interface 13, a power source 14, a microphone 15, an earphone 17, a retinal scan display 18, and all of the VRD devices 1 such as a memory and a recognition module (SIM card) 19. Responsible to control the part. The control unit 11 is also
Responsible for securing the contactless communication channel 8 with encryption. Within the memory, software for controlling hardware components, biometric features, and user preferences are stored. Contains an application or program to be executed directly by the user or a specific register of the pair of external devices 2, 9 for obtaining the right for the user to access this device 2, 9

図３に示されているように、眼鏡１は、アプリケーションや書き込まれたテキストに基づいた眼鏡１の透明性は、シースルー（１００）から非シースルー（１０１，１０２、１０３）の眼鏡部分及ぶこの連続から制御され得る。このようにして、ユーザは、表示されたグラフィカルユーザインターフェース（GUI）ばかりでなく環境及び周囲であり得る。透明性はまた、サングラスとして作用する。視覚障害を持つユーザのために眼鏡は、視覚訂正を制御する。制御動作は、パプテックセンサ１２の機能の一つで行われる。変形例では、透明性は、VRD装置1によって又はユーザビューの背景に表示されるコンテントによる自動的に適用される。このようにして、もしユーザが少なくとも部分的に明確な青空又は白雲、又は黒手紙を見るなら、背景が黒又は灰色であれば、白手紙が表示されない。   As shown in FIG. 3, the glasses 1 are based on the application and written text, and the transparency of the glasses 1 ranges from see-through (100) to non-see-through (101, 102, 103) glasses. Can be controlled from In this way, the user can be the environment and surroundings as well as the displayed graphical user interface (GUI). Transparency also acts as sunglasses. For users with visual impairments, the glasses control visual correction. The control operation is performed by one of the functions of the Paptec sensor 12. In a variant, the transparency is applied automatically by the VRD device 1 or by the content displayed in the background of the user view. In this way, if the user sees at least partially clear blue sky or white cloud or black letter, the white letter will not be displayed if the background is black or gray.

本発明の「センサ眼鏡」の利点は、速度、利便性、品質、秘密、及び信頼の領域において重要である。別途キーボードは、必要でないが、ユーザ用に大変容易く使用するパプテックセンサ１２だけである。   The advantages of the “sensor glasses” of the present invention are important in the areas of speed, convenience, quality, secrecy, and trust. A separate keyboard is not required, but only the Paptec sensor 12 that is very easy to use for the user.

指紋センサを持つ眼鏡形状の仮想網膜表示器を備える発明の装置及びシステムの図を示す。FIG. 2 shows a diagram of an inventive apparatus and system comprising a glasses-shaped virtual retina display with a fingerprint sensor. 図１に示された仮想網膜表示器用の制御システムを示す。2 shows a control system for the virtual retinal display shown in FIG. 透明度を調整するための手段がＶＲＤ装置に統合された、他の発明の実施例を示す。Figure 6 shows another embodiment of the invention in which the means for adjusting the transparency is integrated into the VRD device.

符号の説明Explanation of symbols

１ 眼鏡（仮想網膜装置（ＶＲＤ装置））
２ モバイルホーン
８ コンタクトレスの通信チャネル
９ パーソナル装置
１１ 制御論理
１２ パプテックセンサ（指紋センサ）
１３、２３ 短範囲のコンタクトレスのインターフェース
１４ 電源
１７ イアホーン
１６ 電気線
１８ 網膜スキャン装置
１９ アイデンティフィケーションモジュール（ＳＩＭカード） 1 Glasses (virtual retina device (VRD device))
2 Mobile Horn 8 Contactless Communication Channel 9 Personal Device 11 Control Logic
12 Paptec sensor (fingerprint sensor)
13, 23 Short-range contactless interface 14 Power supply 17 Earphone 16 Electric wire 18 Retina scanning device 19 Identification module (SIM card)

Claims (29)

ユーザの網膜上にイメージを映し出すために眼鏡（１）形状の仮想網膜表示器（ＶＲＤ）と、
少なくとも一つのハプティックセンサ（１２）と、この少なくとも一つのハプティックセンサ（１２）と共に前記仮想網膜表示器で表示されたメニューを介してナビゲートすることは、可能であり、
少なくとも前記仮想網膜表示器及び少なくとも一つのハプティックセンサ（１２）を制御するための中央制御装置（１１）と、を備えることを特徴とする通信装置。 A virtual retina display (VRD) in the form of glasses (1) to project an image on the retina of the user;
It is possible to navigate through at least one haptic sensor (12) and a menu displayed on the virtual retinal display together with the at least one haptic sensor (12),
A central control device (11) for controlling at least the virtual retinal display and at least one haptic sensor (12). 前記少なくとも一つのハプティックセンサ（１２）は、前記通信装置のユーザを識別又は認証するための指紋センサとして作用することを特徴とする請求項１に記載の通信装置。   The communication device according to claim 1, wherein the at least one haptic sensor (12) acts as a fingerprint sensor for identifying or authenticating a user of the communication device. 前記少なくとも一つのハプティックセンサ（１２）は、前記眼鏡（１）のフレームに搭載され、又は、前記仮想網膜表示器に短範囲の接続インターフェース（１３、８、２３）で接続されていることを特徴とする請求項１又は２に記載の通信装置。   The at least one haptic sensor (12) is mounted on a frame of the glasses (1) or connected to the virtual retina display with a short range connection interface (13, 8, 23). The communication device according to claim 1 or 2. 前記装置は、
生物測定学的な参照データを蓄積するための手段と、
測定された生物測定学的なデータで蓄積されたデータを比較するための手段と、を備えることを特徴とする請求項１乃至３のいずれかに記載の通信装置。 The device is
Means for accumulating biometric reference data;
4. The communication device according to claim 1, further comprising: means for comparing the accumulated data with the measured biometric data. 5. 前記生物測定学的なデータは、指紋又は音声認証、虹彩、及び／又は網膜スキャンの一つ又は組み合わせを備えていることを特徴とする請求項４に記載の通信装置。   5. The communication device according to claim 4, wherein the biometric data comprises one or a combination of fingerprint or voice authentication, iris, and / or retinal scan. 前記通信装置は、セキュリティモジュール（１１０）を備えることを特徴とする請求項１乃至５のいずれかに記載の通信装置。   The communication device according to any one of claims 1 to 5, wherein the communication device comprises a security module (110). 前記通信装置は、
非接触の短範囲の接続インターフェース（１３）又は接触ベースのインターフェースを備えることを特徴とする請求項１乃至６のいずれかに記載の通信装置。 The communication device
Communication device according to one of the preceding claims, characterized in that it comprises a non-contact short-range connection interface (13) or a contact-based interface. 前記通信装置は、無線移動ネットワーク（６）の識別モジュール（２４）を更に備えることを特徴とする請求項１乃至７のいずれかに記載の通信装置。 8. The communication device according to claim 1, further comprising an identification module (24) for a wireless mobile network (6). 前記通信装置は、眼球の位置を決定するための眼球トラクタを更に備えることを特徴とする請求項１乃至８のいずれかに記載の通信装置。   The communication apparatus according to claim 1, further comprising an eyeball tractor for determining a position of an eyeball. 前記通信装置は、
電源（１４）、イヤホーン（１７）及び／又は身体スカーフマイクロフォン（１５）を備えることを特徴とする請求項１乃至９のいずれかに記載の通信装置。 The communication device
Communication device according to any of the preceding claims, comprising a power supply (14), an earphone (17) and / or a body scarf microphone (15). 前記通信装置は、前記眼鏡（１）の透明性（１００−１０３）を調整するための手段を更に備えることを特徴とする請求項１乃至１０のいずれかに記載の通信装置。   11. The communication device according to any one of claims 1 to 10, wherein the communication device further comprises means for adjusting the transparency (100-103) of the glasses (1). 前記通信装置は、前記通信装置の電源（１４）として使用するための眼鏡（１）に統合された太陽パネルを更に備えることを特徴とする請求項１乃至１１のいずれかに記載の通信装置。 12. A communication device according to any of the preceding claims, characterized in that the communication device further comprises a solar panel integrated in glasses (1) for use as a power supply (14) for the communication device. ユーザの網膜上にイメージを映し出すために眼鏡（１）形状の仮想網膜表示器（ＶＲＤ）と、
少なくとも一つのハプティックセンサ（１２）と、この少なくとも一つのハプティックセンサ（１２）と共に前記仮想網膜表示器で表示されたメニューを介してナビゲートすることは、可能であり、
少なくとも前記仮想網膜表示器及び少なくとも一つのハプティックセンサ（１２）を制御するための中央制御装置（１１）と、
短範囲の通信インターフェース（１３）と、
前記短範囲の通信インターフェース（１３）で前記仮想網膜表示器に接続されるべき少なくとも一つの外部装置と、を備えることを特徴とする通信システム。 A virtual retina display (VRD) in the form of glasses (1) to project an image on the retina of the user;
It is possible to navigate through at least one haptic sensor (12) and a menu displayed on the virtual retinal display together with the at least one haptic sensor (12),
A central controller (11) for controlling at least the virtual retinal display and at least one haptic sensor (12);
A short range communication interface (13);
And at least one external device to be connected to the virtual retina display via the short range communication interface (13). 前記外部装置は、
移動体ヘッドセット、ｍｐ３プレーヤ、ゲームコンソール、ＰＣ，ラップトップ、ＤＶＢ−Ｈ又はＤＶＢ受信器であり、
移動体電話（２）は、識別モジュール（２４）を備えて、移動体通信ネットワーク（５）、もう一人のユーザ又は他の適当な装置の仮想網膜装置に接続されることを特徴とする請求項１３に記載の通信システム。 The external device is
Mobile headset, mp3 player, game console, PC, laptop, DVB-H or DVB receiver,
The mobile phone (2) comprises an identification module (24) and is connected to a virtual retinal device of the mobile communication network (5), another user or other suitable device. 14. The communication system according to 13. 前記少なくとも一つのハプティックセンサ（１２）は、前記眼鏡（１）のフレームに搭載され、又は、前記眼鏡（１）に短範囲の通信インターフェース（１３）で接続されていることを特徴とする請求項１３又は１４に記載の通信システム。   The at least one haptic sensor (12) is mounted on a frame of the glasses (1) or connected to the glasses (1) by a short-range communication interface (13). The communication system according to 13 or 14. 前記仮想網膜装置又は前記外部装置の使用のために前記通信装置の前記使用者を識別又は認証するために指紋センサとして前記少なくとも一つのハプティックセンサ（１２）の使用を更に備えることを特徴とする請求項１３乃至１５のいずれかに記載の通信システム。   The use of the at least one haptic sensor (12) as a fingerprint sensor to identify or authenticate the user of the communication device for use of the virtual retinal device or the external device. Item 16. The communication system according to any one of Items 13 to 15. 前記仮想網膜装置は、
サーバーと共に、前記短範囲の接続インターフェース（１３）、前記移動体電話（２）、及び前記移動体ネットワーク（６）で接続されることを特徴とする請求項１３乃至１６のいずれかに記載の通信システム。 The virtual retinal device is
Communication according to any of claims 13 to 16, characterized in that it is connected with the short range connection interface (13), the mobile telephone (2) and the mobile network (6) together with a server. system. 通信装置を操作するための方法であって、前記方法は、
ユーザの網膜上にイメージを映し出すために仮想網膜表示器（ＶＲＤ）にイメージを表示するステップと、
前記眼鏡（１）のフレームに搭載される少なくとも一つのハプティックセンサ（１２）でメニューを介してナビゲートするステップと、を備えることを特徴とする通信装置。 A method for operating a communication device, the method comprising:
Displaying the image on a virtual retina display (VRD) to project the image on the user's retina;
Navigating through a menu with at least one haptic sensor (12) mounted on the frame of the glasses (1). 前記方法は、
項目を目視することによって、又は、眼球の動作の予め定められたシーケンスによって、前記ユーザの眼球で項目を選択し、前記少なくとも一つのハプティックセンサ（１２）で前記項目を選択するステップを更に備えることを特徴とする請求項１８に記載の通信装置を操作するための方法。 The method
Further comprising selecting an item with the user's eye by viewing the item or by a predetermined sequence of eye movements and selecting the item with the at least one haptic sensor (12). The method for operating a communication device according to claim 18. 前記ナビゲートするステップは、
前記イメージ又はビデオを移動、巻回、スクロール、ダブルクリック、押圧、又はズームすることを特徴とする請求項１８又は１９に記載の通信装置。 The navigating step includes:
The communication device according to claim 18 or 19, wherein the image or video is moved, wound, scrolled, double-clicked, pressed, or zoomed. 前記ナビゲートするステップは、
仮想キーボード上で文字を入力することを備えることを特徴とする請求項１８乃至２０のいずれかに記載の通信装置。 The navigating step includes:
21. The communication apparatus according to claim 18, further comprising inputting characters on a virtual keyboard. 前記方法は、
前記ＶＲＤ装置が始めて使用され前記装置のメモリ内に生物測定学的特徴を格納するときに、前記ユーザの生物測定学的特徴を採用するステップを更に備えることを特徴とする請求項１８乃至２１に記載の通信装置を操作するための方法。 The method
22. The method of claim 18 further comprising adopting the user biometric features when the VRD device is first used and storing biometric features in the memory of the device. A method for operating the described communication device. 前記方法は、
前記装置の使用開始時の各々の時に前記ユーザの生物測定学的な特徴で前記格納された生物測定学的な特徴を比較し、前記ユーザの認証を行うステップを更に備えることを特徴とする請求項１８乃至２２のいずれかに記載の通信装置を操作するための方法。 The method
Comparing the stored biometric features with the user's biometric features at each start of use of the device to further authenticate the user. Item 23. A method for operating the communication device according to any one of Items 18 to 22. 前記方法は、
前記ユーザの多数の異なる生物測定学的な特徴で前記ユーザを認証するステップを備えることを特徴とする請求項２３に記載の通信装置を操作するための方法。 The method
The method for operating a communication device according to claim 23, comprising authenticating the user with a number of different biometric characteristics of the user. 前記方法は、
短範囲の通信インターフェース（１３）上の前記仮想網膜表示器を外部装置で接続し、前記仮想網膜表示器でデータを交換するステップを更に備えることを特徴とする請求項１８乃至２４のいずれかに記載の通信装置を操作するための方法。 The method
25. The method according to any one of claims 18 to 24, further comprising the step of connecting the virtual retinal display on the short range communication interface (13) with an external device and exchanging data with the virtual retinal display. A method for operating the described communication device. 前記方法は、
前記装置の使用及びデータの交換前に、前記外部装置に対する指紋、虹彩、網膜スキャン及び／又は音声認証のようなユーザの生物測定学的な特徴の一つ又は組み合わせでユーザを認証又は認証するステップを更に備えていることを特徴とする請求項２５に記載の通信装置を操作するための方法。 The method
Authenticating or authenticating the user with one or a combination of the user's biometric features such as fingerprint, iris, retinal scan and / or voice authentication to the external device prior to use of the device and exchange of data 26. A method for operating a communication device according to claim 25, further comprising: 前記方法は、
前記ユーザを認証又は認証するためのＰＩＮコードを入れるステップを更に備えることを特徴とする請求項１８乃至２４のいずれかに記載の通信装置を操作するための方法。 The method
25. A method for operating a communication device according to any of claims 18 to 24, further comprising the step of entering a PIN code for authenticating or authenticating the user. 前記方法は、
短範囲の接続インターフェース（１３）上の前記仮想網膜表示器を移動体ヘッドセット、ｍｐ３プレーヤ、ゲームコンソール、ＰＣ，ラップトップ、ＤＶＢ−Ｈ又はＤＶＢ受信器に接続するステップを更に備え、
移動体電話（２）は、識別モジュール（２４）を備えて、移動体通信ネットワーク（６）、もう一人のユーザ又は他の適当な装置の仮想網膜装置に接続されることを特徴とする請求項２５のいずれかに記載の通信装置を操作するための方法。 The method
Connecting the virtual retinal display on the short range connection interface (13) to a mobile headset, mp3 player, game console, PC, laptop, DVB-H or DVB receiver;
The mobile telephone (2) comprises an identification module (24) and is connected to a virtual retinal device of a mobile communication network (6), another user or other suitable device. 26. A method for operating a communication device according to any one of 25. 前記方法は、
指紋、虹彩、網膜スキャン及び／又は音声認証のようなユーザの生物測定学的な特徴の一つ又は組み合わせでユーザを認証又は認証するステップを更に備えていることを特徴とする請求項２３又は２６に記載の通信装置を操作するための方法。 The method
27. The method further comprising authenticating or authenticating the user with one or a combination of user biometric features such as fingerprint, iris, retinal scan and / or voice authentication. A method for operating the communication device according to claim 1.
JP2008529617A 2005-09-08 2006-09-04 Communication apparatus, system, and method Pending JP2009512911A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/222,134 US20070052672A1 (en) 2005-09-08 2005-09-08 Communication device, system and method
PCT/EP2006/065955 WO2007028778A1 (en) 2005-09-08 2006-09-04 Communication device, system and method

Publications (2)

Publication Number Publication Date
JP2009512911A true JP2009512911A (en) 2009-03-26
JP2009512911A5 JP2009512911A5 (en) 2012-04-12

Family

ID=37442030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008529617A Pending JP2009512911A (en) 2005-09-08 2006-09-04 Communication apparatus, system, and method

Country Status (5)

Country Link
US (1) US20070052672A1 (en)
EP (2) EP2998781B1 (en)
JP (1) JP2009512911A (en)
CN (1) CN101258436A (en)
WO (1) WO2007028778A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227769A (en) * 2010-04-21 2011-11-10 Nikon Corp Head-mounted type input device
KR20130030735A (en) * 2011-09-19 2013-03-27 오베르뛰르 테크놀로지스 Method of communication and associated system of glasses type for a user using a viewing station

Families Citing this family (208)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130225290A1 (en) * 2011-11-02 2013-08-29 Dylan T. X. Zhou Wearable personal mini cloud game and multimedia device
KR20060057917A (en) * 2004-11-24 2006-05-29 한국전자통신연구원 Wearable apparatus for converting vision signal into haptic signal and agent system using the same
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20100311390A9 (en) * 2006-03-20 2010-12-09 Black Gerald R Mobile communication device
US7874007B2 (en) * 2006-04-28 2011-01-18 Microsoft Corporation Providing guest users access to network resources through an enterprise network
EP2092474A4 (en) * 2006-10-17 2011-09-28 Yt Acquisition Corp A method of distributing information via mobile devices and enabling its use at a point of transaction
WO2008074342A1 (en) * 2006-12-19 2008-06-26 Telecom Italia S.P.A. Method and arrangement for secure user authentication based on a biometric data detection device
US20080307482A1 (en) * 2007-06-06 2008-12-11 Dell Products, Lp System and method of accessing multicast digital video broadcasts
US20080307484A1 (en) * 2007-06-06 2008-12-11 Dell Products, Lp System and method of enabling digital video broadcast access within an information handling system
US7996868B2 (en) 2007-06-06 2011-08-09 Dell Products, Lp System and method of accessing digital video broadcasts within an information handling system
IL184399A0 (en) * 2007-07-03 2007-10-31 Yossi Tsuria Content delivery system
US20090112849A1 (en) * 2007-10-24 2009-04-30 Searete Llc Selecting a second content based on a user's reaction to a first content of at least two instances of displayed content
US20090112694A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Targeted-advertising based on a sensed physiological response by a person to a general advertisement
US9582805B2 (en) * 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
US20090112693A1 (en) * 2007-10-24 2009-04-30 Jung Edward K Y Providing personalized advertising
US9513699B2 (en) * 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US20090112695A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Physiological response based targeted advertising
US20090113297A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Requesting a second content based on a user's reaction to a first content
US20090112697A1 (en) * 2007-10-30 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Providing personalized advertising
US8090767B2 (en) * 2008-01-07 2012-01-03 Apple Inc. Pairing and storage access scheme between a handheld device and a computing system
US20110112934A1 (en) * 2008-06-10 2011-05-12 Junichi Ishihara Sensory three-dimensional virtual real space system
KR101494642B1 (en) * 2008-11-10 2015-02-23 삼성전자주식회사 Control Method of Portable Device Connected External Device And System Thereof
CN101655823B (en) * 2009-06-12 2012-12-19 中兴通讯股份有限公司 Realizing method, operating method and system free of installing data card drive
JP5263049B2 (en) * 2009-07-21 2013-08-14 ソニー株式会社 Information processing apparatus, information processing method, and program
US20110043708A1 (en) * 2009-08-20 2011-02-24 Dell Products L.P. Optimized mobile television
CN101995944A (en) * 2009-08-24 2011-03-30 仇锐铿 Electrooculogram control system and method for controlling cursor by using eye electricity control system
US8756532B2 (en) * 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
WO2011097564A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
US20120206335A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based direct control of external devices with feedback
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
CN102906623A (en) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 Local advertising content on an interactive head-mounted eyepiece
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20140063054A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
US20120200488A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with sensor and user action based control of eyepiece applications with feedback
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20120200499A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback
US9229227B2 (en) * 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9129295B2 (en) * 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20120212406A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. Ar glasses with event and sensor triggered ar eyepiece command and control facility of the ar eyepiece
US20120206322A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor input triggered user action capture device control of ar eyepiece facility
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8722607B2 (en) * 2010-03-24 2014-05-13 University Of South Carolina Methods and compositions for eliminating allergens and allergen-producing organisms
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9560406B2 (en) * 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
EP2619749A4 (en) * 2010-09-21 2017-11-15 4IIII Innovations Inc. Head-mounted peripheral vision display systems and methods
US20120127069A1 (en) * 2010-11-24 2012-05-24 Soma Sundaram Santhiveeran Input Panel on a Display Device
US20120229509A1 (en) * 2011-03-07 2012-09-13 Liu Guangsong System and method for user interaction
CN102681651B (en) * 2011-03-07 2016-03-23 刘广松 A kind of user interactive system and method
US9317111B2 (en) * 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US8745725B2 (en) 2011-03-30 2014-06-03 Elwha Llc Highlighting in response to determining device transfer
US8839411B2 (en) 2011-03-30 2014-09-16 Elwha Llc Providing particular level of access to one or more items in response to determining primary control of a computing device
US8739275B2 (en) 2011-03-30 2014-05-27 Elwha Llc Marking one or more items in response to determining device transfer
US8402535B2 (en) 2011-03-30 2013-03-19 Elwha Llc Providing greater access to one or more items in response to determining device transfer
US8726366B2 (en) 2011-03-30 2014-05-13 Elwha Llc Ascertaining presentation format based on device primary control determination
US8918861B2 (en) 2011-03-30 2014-12-23 Elwha Llc Marking one or more items in response to determining device transfer
US8613075B2 (en) 2011-03-30 2013-12-17 Elwha Llc Selective item access provision in response to active item ascertainment upon device transfer
US8726367B2 (en) 2011-03-30 2014-05-13 Elwha Llc Highlighting in response to determining device transfer
US8713670B2 (en) 2011-03-30 2014-04-29 Elwha Llc Ascertaining presentation format based on device primary control determination
US9153194B2 (en) 2011-03-30 2015-10-06 Elwha Llc Presentation format selection based at least on device transfer determination
US8863275B2 (en) 2011-03-30 2014-10-14 Elwha Llc Access restriction in response to determining device transfer
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9024843B2 (en) * 2011-06-30 2015-05-05 Google Inc. Wearable computer with curved display and navigation tool
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US8984605B2 (en) * 2011-08-23 2015-03-17 Zixcorp Systems, Inc. Multi-factor authentication
EP2751609B1 (en) * 2011-08-30 2017-08-16 Microsoft Technology Licensing, LLC Head mounted display with iris scan profiling
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
USD666237S1 (en) 2011-10-24 2012-08-28 Google Inc. Wearable display device
US9171304B2 (en) * 2011-11-22 2015-10-27 Aurus Inc. Systems and methods for removing point of sale processing from PCI scope
US9131370B2 (en) * 2011-12-29 2015-09-08 Mcafee, Inc. Simplified mobile communication device
US9857965B1 (en) 2012-01-06 2018-01-02 Google Inc. Resolution of directional ambiguity on touch-based interface gesture
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
JP5880115B2 (en) * 2012-02-17 2016-03-08 ソニー株式会社 Head mounted display, head mounted display control program, and head mounted display control method
US9075249B2 (en) * 2012-03-07 2015-07-07 Google Inc. Eyeglass frame with input and output functionality
USD718305S1 (en) 2012-03-22 2014-11-25 Google Inc. Wearable display device
CN102779000B (en) * 2012-05-03 2015-05-20 苏州触达信息技术有限公司 User interaction system and method
JP5953963B2 (en) * 2012-06-13 2016-07-20 ソニー株式会社 Head-mounted image display device
US20130339859A1 (en) * 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US20180048750A1 (en) * 2012-06-15 2018-02-15 Muzik, Llc Audio/video wearable computer system with integrated projector
US8973095B2 (en) * 2012-06-25 2015-03-03 Intel Corporation Authenticating a user of a system via an authentication image mechanism
US9965607B2 (en) 2012-06-29 2018-05-08 Apple Inc. Expedited biometric validation
TWI498771B (en) 2012-07-06 2015-09-01 Pixart Imaging Inc Gesture recognition system and glasses with gesture recognition function
JP2014049934A (en) * 2012-08-31 2014-03-17 Sony Corp Head-mounted display
USD712451S1 (en) 2012-09-25 2014-09-02 Google Inc. Removably attachable lens
US9134548B1 (en) 2012-09-28 2015-09-15 Google Inc. Retention member for a lens system
US10013024B2 (en) 2012-09-28 2018-07-03 Nokia Technologies Oy Method and apparatus for interacting with a head mounted display
CN105027030B (en) * 2012-11-01 2018-10-23 艾卡姆有限公司 The wireless wrist calculating connected for three-dimensional imaging, mapping, networking and interface and control device and method
JP6229260B2 (en) * 2012-11-20 2017-11-15 セイコーエプソン株式会社 Virtual image display device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN103873959B (en) * 2012-12-13 2019-02-05 联想(北京)有限公司 A kind of control method and electronic equipment
US9128284B2 (en) 2013-02-18 2015-09-08 Google Inc. Device mountable lens component
USD721758S1 (en) 2013-02-19 2015-01-27 Google Inc. Removably attachable lens
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9049469B2 (en) 2013-04-03 2015-06-02 Roy S. Melzer Encryption and decryption of visible codes for real time augmented reality views
CN103281184B (en) * 2013-04-27 2018-05-29 天地融科技股份有限公司 Conversion equipment and display system
CN103281183B (en) * 2013-04-27 2016-04-13 天地融科技股份有限公司 Conversion equipment and display system
CN103297233B (en) * 2013-04-27 2016-11-23 天地融科技股份有限公司 Safety equipment and display system
CN103248486B (en) * 2013-04-27 2016-12-28 天地融科技股份有限公司 Conversion equipment and display system
US9979547B2 (en) 2013-05-08 2018-05-22 Google Llc Password management
KR102028761B1 (en) * 2013-07-26 2019-10-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Head Mounted Display and controlling method thereof
US9928355B2 (en) 2013-09-09 2018-03-27 Apple Inc. Background enrollment and authentication of a user
US9851568B2 (en) 2013-09-25 2017-12-26 Logitech Europe S.A. Retinal display projection device
CN104573540A (en) * 2013-10-22 2015-04-29 鸿富锦精密工业(武汉)有限公司 Mobile terminal user privacy protection method and system
CN103591958B (en) * 2013-11-12 2017-01-04 中国科学院深圳先进技术研究院 A kind of worker navigation system based on intelligent glasses and method
WO2015084227A1 (en) * 2013-12-06 2015-06-11 Telefonaktiebolaget L M Ericsson (Publ) Optical head mounted display, television portal module and methods for controlling graphical user interface
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
USD747315S1 (en) 2014-01-28 2016-01-12 Google Inc. Glasses frame
USD746817S1 (en) 2014-01-28 2016-01-05 Google Inc. Glasses frame
US20150261968A1 (en) * 2014-03-12 2015-09-17 Ebay Inc. Visualizing random characters for keyboard-less devices
CN105007557A (en) * 2014-04-16 2015-10-28 上海柏润工贸有限公司 Intelligent hearing aid with voice identification and subtitle display functions
CN105022473B (en) * 2014-04-30 2018-07-06 中国海洋大学 Intelligent glasses device and the percussive man-machine interaction method for intelligent glasses device
DE102014006776A1 (en) 2014-05-08 2015-11-12 Audi Ag Operating device for an electronic device
US10540907B2 (en) 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
CN106662746B (en) 2014-08-22 2020-10-23 国际智能技术公司 Secure examination device, system and method
US10410535B2 (en) 2014-08-22 2019-09-10 Intelligent Technologies International, Inc. Secure testing device
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
CN106199963B (en) * 2014-09-01 2019-09-27 精工爱普生株式会社 Display device and its control method and computer program
US11918375B2 (en) 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods
US10617342B2 (en) 2014-09-05 2020-04-14 Vision Service Plan Systems, apparatus, and methods for using a wearable device to monitor operator alertness
US10448867B2 (en) 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
CN107210950A (en) 2014-10-10 2017-09-26 沐择歌有限责任公司 Equipment for sharing user mutual
WO2016073202A1 (en) 2014-11-04 2016-05-12 Intelligent Technologies International, Inc. Smartcard
FR3028980B1 (en) * 2014-11-20 2017-01-13 Oberthur Technologies METHOD AND DEVICE FOR AUTHENTICATING A USER
WO2016081684A1 (en) 2014-11-21 2016-05-26 Carrier Corporation System and method for network node authentication
CN204305003U (en) * 2014-12-11 2015-04-29 广东电网有限责任公司佛山供电局 Wear-type virtual image mobile terminal
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
WO2016123030A1 (en) * 2015-01-30 2016-08-04 Raytheon Company Wearable retina/iris scan authentication system
US10215568B2 (en) 2015-01-30 2019-02-26 Vision Service Plan Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
TWI571768B (en) * 2015-04-29 2017-02-21 由田新技股份有限公司 A human interface synchronous system, device, method, computer readable media, and computer program product
US9921645B2 (en) 2015-06-29 2018-03-20 Logitech Europe S.A. Retinal projection device and method for activating a display of a retinal projection device
US9716969B2 (en) * 2015-07-01 2017-07-25 Lg Electronics Inc. Method and apparatus for controlling device in wireless communication system
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
GB2544469B (en) 2015-11-13 2020-05-27 Sony Interactive Entertainment Europe Ltd Communication method and device
CN107741653B (en) * 2015-11-28 2019-11-15 宁波市民卡运营管理有限公司 The method of payment of mobile-payment system
CN105278110B (en) * 2015-12-01 2019-02-22 王占奎 Intelligent satellite communicates interaction glasses device
US10678958B2 (en) 2015-12-28 2020-06-09 Intelligent Technologies International, Inc. Intrusion-protected memory component
CN108293187B (en) * 2016-02-10 2022-06-07 智管家(天津)科技有限公司 Method and system for registering user by using wearable device
WO2017149526A2 (en) 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
NZ747815A (en) * 2016-04-26 2023-05-26 Magic Leap Inc Electromagnetic tracking with augmented reality systems
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
KR102648770B1 (en) * 2016-07-14 2024-03-15 매직 립, 인코포레이티드 Deep neural network for iris identification
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
CN115097937A (en) 2016-11-15 2022-09-23 奇跃公司 Deep learning system for cuboid detection
DK3334189T3 (en) * 2016-12-08 2022-10-31 Gn Hearing As METHOD FOR HEARING SYSTEM COMMUNICATION AND RELATED DEVICES
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
CN107392156B (en) * 2017-07-25 2020-08-25 北京七鑫易维信息技术有限公司 Sight estimation method and device
EP3998538A1 (en) 2017-08-28 2022-05-18 Bright Data Ltd. Mobile tunnel device for improving web content fetching while on idle state
US11190374B2 (en) 2017-08-28 2021-11-30 Bright Data Ltd. System and method for improving content fetching by selecting tunnel devices
US10719951B2 (en) 2017-09-20 2020-07-21 Magic Leap, Inc. Personalized neural network for eye tracking
WO2019079790A1 (en) 2017-10-21 2019-04-25 Eyecam, Inc Adaptive graphic user interfacing system
WO2019084189A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
WO2019118679A1 (en) * 2017-12-13 2019-06-20 Aurelius, Inc. Systems, devices, and methods for augmented reality
CN109960039B (en) * 2017-12-22 2021-08-06 精工爱普生株式会社 Display system, electronic device, and display method
US11092998B1 (en) * 2018-01-12 2021-08-17 Snap Inc. Eyewear device with fingerprint sensor for user input
US10722128B2 (en) 2018-08-01 2020-07-28 Vision Service Plan Heart rate detection system and method
WO2020035852A2 (en) 2018-08-14 2020-02-20 Neurotrigger Ltd. Method and apparatus for transcutaneous facial nerve stimulation and applications thereof
EP4220441A1 (en) 2019-02-25 2023-08-02 Bright Data Ltd. System and method for url fetching retry mechanism
US11411922B2 (en) 2019-04-02 2022-08-09 Bright Data Ltd. System and method for managing non-direct URL fetching service
US20220272084A1 (en) * 2021-02-19 2022-08-25 Lenworth Alexander Hyatt 5G-WiFi inside secure iris biometrics' login
WO2022203620A1 (en) * 2021-03-25 2022-09-29 Dm Dayanikli Tüketi̇m Mallari Sanayi̇ Ve Ti̇caret Li̇mi̇ted Şi̇rketi̇ Digital cinema system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04104813A (en) * 1990-08-23 1992-04-07 Osaka Gas Co Ltd Adsorbing body for adsorption treatment of gas
JP2001272628A (en) * 2000-03-24 2001-10-05 Olympus Optical Co Ltd Spectacle type video display device
JP2003533816A (en) * 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト Command input method and terminal device
JP2005107125A (en) * 2003-09-30 2005-04-21 Brother Ind Ltd Retina scanning display device

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4993068A (en) * 1989-11-27 1991-02-12 Motorola, Inc. Unforgeable personal identification system
JP2985231B2 (en) 1990-05-17 1999-11-29 ソニー株式会社 Video display device
US5276472A (en) * 1991-11-19 1994-01-04 Eastman Kodak Company Photographic film still camera system with audio recording
CH686206A5 (en) 1992-03-26 1996-01-31 Asulab Sa Cellule photoelectrochimique regeneratrice transparent.
US5467104A (en) 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
JPH09508711A (en) * 1994-02-07 1997-09-02 バーチュアル・アイ／オゥ・インコーポレイテッド Personal visual display system
US5886688A (en) * 1995-06-02 1999-03-23 National Semiconductor Corporation Integrated solar panel and liquid crystal display for portable computer or the like
US5701132A (en) 1996-03-29 1997-12-23 University Of Washington Virtual retinal display with expanded exit pupil
WO1998013720A1 (en) 1996-09-27 1998-04-02 Medcam, Inc. Method and apparatus for optical scanning
US6400836B2 (en) * 1998-05-15 2002-06-04 International Business Machines Corporation Combined fingerprint acquisition and control device
WO2001003072A1 (en) * 1999-07-06 2001-01-11 Swisscom Mobile Ag Method for checking user authorization
DE59903793D1 (en) * 1999-06-18 2003-01-23 Swisscom Mobile Ag TRANSMISSION AND PRESENTATION OF VIDEO DATA
US8482488B2 (en) * 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US6990513B2 (en) * 2000-06-22 2006-01-24 Microsoft Corporation Distributed computing services platform
US6775776B1 (en) 2000-06-27 2004-08-10 Intel Corporation Biometric-based authentication in a nonvolatile memory device
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
DE10056291A1 (en) 2000-11-14 2002-05-23 Siemens Ag Visual display of objects in field of view for man-machine communication by acquiring information input by user using signal or pattern recognition
US7814516B2 (en) * 2001-05-03 2010-10-12 Mitsubishi Digital Electronics America, Inc. Control system and user interface for network of input devices
US6798392B2 (en) * 2001-10-16 2004-09-28 Hewlett-Packard Development Company, L.P. Smart helmet
US7379053B2 (en) * 2001-10-27 2008-05-27 Vortant Technologies, Llc Computer interface for navigating graphical user interface by touch
WO2004013676A2 (en) 2002-07-31 2004-02-12 Theodor Heutschi Electronic device, in particular a mobile multimedia communications device
WO2004061519A1 (en) * 2002-12-24 2004-07-22 Nikon Corporation Head mount display
US7193767B1 (en) * 2004-03-03 2007-03-20 Jonathan Peeri Method for enhancing visibility
US20060034478A1 (en) * 2004-08-11 2006-02-16 Davenport Kevin E Audio eyeglasses

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04104813A (en) * 1990-08-23 1992-04-07 Osaka Gas Co Ltd Adsorbing body for adsorption treatment of gas
JP2001272628A (en) * 2000-03-24 2001-10-05 Olympus Optical Co Ltd Spectacle type video display device
JP2003533816A (en) * 2000-05-16 2003-11-11 スイスコム・モバイル・アクチエンゲゼルシヤフト Command input method and terminal device
JP2005107125A (en) * 2003-09-30 2005-04-21 Brother Ind Ltd Retina scanning display device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227769A (en) * 2010-04-21 2011-11-10 Nikon Corp Head-mounted type input device
KR20130030735A (en) * 2011-09-19 2013-03-27 오베르뛰르 테크놀로지스 Method of communication and associated system of glasses type for a user using a viewing station
KR101976211B1 (en) * 2011-09-19 2019-05-07 아이데미아 프랑스 Method of communication and associated system of glasses type for a user using a viewing station

Also Published As

Publication number Publication date
US20070052672A1 (en) 2007-03-08
EP2998781A1 (en) 2016-03-23
EP2998781B1 (en) 2019-12-11
CN101258436A (en) 2008-09-03
WO2007028778A1 (en) 2007-03-15
EP1922581A1 (en) 2008-05-21

Similar Documents

Publication Publication Date Title
EP2998781B1 (en) Communication device, system and method
EP3179290B1 (en) Mobile terminal and method for controlling the same
US20180234244A1 (en) Password Management
EP3130993B1 (en) Mobile terminal and method for controlling the same
US9274599B1 (en) Input detection
US20160373650A1 (en) Mobile terminal and method of controlling the same
US20190392422A1 (en) Mobile terminal and control method therefor
KR20160128119A (en) Mobile terminal and controlling metohd thereof
US20220269333A1 (en) User interfaces and device settings based on user identification
US9939642B2 (en) Glass type terminal and control method thereof
CN105745568A (en) Systems and methods for performing multi-touch operations on a head-mountable device
JP6201024B1 (en) Method for supporting input to application for providing content using head mounted device, program for causing computer to execute the method, and content display device
CN110866230B (en) Authenticated device assisted user authentication
CN106067833B (en) Mobile terminal and control method thereof
US20220291829A1 (en) Mobile terminal and electronic device having mobile terminal
US20240020371A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
WO2023164268A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
US20230273985A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
KR102593934B1 (en) Method of providing augmented reality security keyboard using augmented reality glass, and apparatus and system therefor
US11747919B1 (en) Multi-input for rotating and translating crown modules
US20220244899A1 (en) Display system that displays virtual object, display device and method of controlling same, and storage medium
KR20180031240A (en) Mobile terminal and method for controlling the same
KR20230133356A (en) User interfaces and device settings based on user identification
KR20230050160A (en) Confirmation event handling method and apparatus for head-mounted display apparatus
JP2018063704A (en) Method for assisting in input to application providing content using head-mounted device, program for sing computer to implement the same, and content display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090521

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100309

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100310

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100511

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120626