WO2009130985A1 - Information input system - Google Patents
Information input system Download PDFInfo
- Publication number
- WO2009130985A1 WO2009130985A1 PCT/JP2009/056952 JP2009056952W WO2009130985A1 WO 2009130985 A1 WO2009130985 A1 WO 2009130985A1 JP 2009056952 W JP2009056952 W JP 2009056952W WO 2009130985 A1 WO2009130985 A1 WO 2009130985A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- key
- image
- information input
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/36—User authentication by graphic or iconic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
Definitions
- the present invention relates to an information input system, and more particularly to an information input system including a head-mounted image display device.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
Abstract
Provided is an information input system, wherein confidential information can be inputted reliably without being leaked. An information input system comprises a head-mounted video display having a display unit which displays an image based on image data and can see through the outside world, an information input means which inputs information to a device being operated and is equipped with a plurality of keys not having an indication of information corresponding to the respective keys, and a key information assignment device having a key assignment setting section for assigning information corresponding to the respective keys of the information input means and an image data generation section for generating image data indicating key assignment of information assigned at the key assignment setting section. The head-mounted video display creates a key assignment image based on the image data generated at the image data generation section, and displays the key assignment image by superimposing the key assignment image on a see-through image which can be observed through the display unit.
Description
本発明は、情報入力システムに関し、特に頭部装着式映像表示装置を備えた情報入力システムに関する。
The present invention relates to an information input system, and more particularly to an information input system including a head-mounted image display device.
従来、観察者の頭部や顔面に着脱自在に装着され、小型のＣＲＴや液晶表示素子等の映像表示素子から得られる映像（以下、画像とも称する。）を、接眼光学系によって観察者の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかのような虚像の観察を可能にした頭部装着式映像表示装置、すなわちＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）が知られている。
Conventionally, an image (hereinafter also referred to as an image) that is detachably attached to the observer's head or face and obtained from an image display element such as a small CRT or a liquid crystal display element is displayed on the observer's eyeball by an eyepiece optical system. A head-mounted image display device that enables a virtual image to be observed as if the image has been enlarged and projected in the air, that is, an HMD (Head Mount Display) is known.
ＨＭＤは、ＤＶＤやビデオ等のコンテンツ映像の観賞用や、産業機器若しくは医療機器等の遠隔操作用としての表示装置として利用され、また、近年では、セキュリティの確保を目的とした情報入力装置への応用が検討され、その用途は多岐に渡っている。
The HMD is used as a display device for viewing content videos such as DVDs and videos, and for remote operation of industrial equipment or medical equipment. In recent years, the HMD has been used as an information input device for the purpose of ensuring security. Applications are being studied and their uses are diverse.
セキュリティ用としては、例えば、ＨＭＤを装着した使用者が、ＨＭＤの画面に表示された仮想入力デバイスに対して入力操作することにより、入力情報の漏洩を防止する仮想入力装置が知られている（特許文献１参照）。
For security purposes, for example, a virtual input device is known in which a user wearing an HMD performs an input operation on a virtual input device displayed on the screen of the HMD to prevent leakage of input information ( Patent Document 1).
ところで、特許文献１に開示されている仮想入力装置は、例えば、キーボードのような入力デバイスを示す仮想の入力デバイスの画像を画面に表示している為、該仮想入力デバイスに対する使用者の指による入力操作を検出する必要がある。すなわち、仮想空間において、仮想入力デバイスを表示し、その空間座標における指の座標を精度よく検出し、検出した座標に基づき使用者がどのような入力操作を行ったかを判断する必要がある。
By the way, since the virtual input device disclosed in Patent Document 1 displays an image of a virtual input device indicating an input device such as a keyboard on a screen, for example, it is determined by a user's finger with respect to the virtual input device. An input operation needs to be detected. That is, it is necessary to display a virtual input device in the virtual space, accurately detect the finger coordinates in the space coordinates, and determine what input operation the user has performed based on the detected coordinates.
ここで、指の動きを検出する方法としては、以下の方法が用いられる。
Here, as a method of detecting the movement of the finger, the following method is used.
１．指先にセンサを装着し、センサの出力に基づき指の動きを検出する。
1. A sensor is attached to the fingertip, and the movement of the finger is detected based on the output of the sensor.
２．電子カメラを用いて撮影された画像データに基づき指を検出し、その動きを検出する。
2. A finger is detected based on image data photographed using an electronic camera, and its movement is detected.
しかしながら、前記１項の場合は、部品点数の増加による装置の複雑化と高価格化を招き、さらに、使用者は、指先にセンサを装着する必要がある為、軽便性が阻害されるといった問題がある。また、前記２項の場合は、画像データより指の動きを精度よく検出する必要がある為、誤検出の恐れがある。
However, in the case of the above item 1, the device becomes complicated and expensive due to an increase in the number of parts, and the user needs to wear a sensor on the fingertip, which impedes convenience. There is. In the case of item 2, it is necessary to accurately detect the movement of the finger from the image data.
また、特許文献１に開示されている仮想入力装置においては、入力デバイスのキー割振りに関し記載されていないが、入力デバイスとしてキーボードを用いた場合、通常のキー割振りは、１０１、１０６等の規格により定まっている為、指の動きによりどのような入力操作を行ったかを読取られるといった問題がある。
Further, in the virtual input device disclosed in Patent Document 1, there is no description regarding key allocation of input devices. However, when a keyboard is used as an input device, normal key allocation is based on standards such as 101 and 106. Since it is fixed, there is a problem that it is possible to read what input operation is performed by the movement of the finger.
本発明は、上記課題を鑑みてなされたもので、装置の複雑化と高価格化を招くことなく、秘匿情報を漏洩させることなく、確実に入力することが可能な情報入力システムを提供することを目的とする。
The present invention has been made in view of the above-described problems, and provides an information input system that can securely input confidential information without leaking it without increasing the complexity and cost of the apparatus. With the goal.
上記目的は、下記の１から５の何れか１項に記載の発明によって達成される。
The above object is achieved by the invention described in any one of 1 to 5 below.
１．画像データに基づき画像を表示し、外界をシースルー可能な表示ユニットを有する頭部装着式映像表示装置と、
被操作装置に情報を入力し、それぞれのキーに対応する前記情報を示す表示を有さない複数のキーを備えた情報入力手段と、
前記情報入力手段のそれぞれのキーに対応する前記情報の割振りを設定するキー割振り設定部および該キー割振り設定部で割振られた前記情報のキー割振りを示す画像データを生成する画像データ生成部を有するキー情報割振り装置と、
を備えた情報入力システムであって、
前記頭部装着式映像表示装置は、前記画像データ生成部で生成された前記画像データに基づいたキー割振り画像を生成し、該キー割振り画像を前記表示ユニットを通して観察できるシースルー画像に重ね合わせて表示することを特徴とする情報入力システム。 1. A head-mounted video display device having a display unit that displays an image based on image data and can see through the outside world;
Information input means comprising a plurality of keys for inputting information to the operated device and not having a display indicating the information corresponding to each key;
A key allocation setting unit that sets allocation of the information corresponding to each key of the information input means, and an image data generation unit that generates image data indicating the key allocation of the information allocated by the key allocation setting unit. A key information allocation device;
An information input system comprising:
The head-mounted video display device generates a key allocation image based on the image data generated by the image data generation unit, and displays the key allocation image superimposed on a see-through image that can be observed through the display unit. An information input system characterized by:
被操作装置に情報を入力し、それぞれのキーに対応する前記情報を示す表示を有さない複数のキーを備えた情報入力手段と、
前記情報入力手段のそれぞれのキーに対応する前記情報の割振りを設定するキー割振り設定部および該キー割振り設定部で割振られた前記情報のキー割振りを示す画像データを生成する画像データ生成部を有するキー情報割振り装置と、
を備えた情報入力システムであって、
前記頭部装着式映像表示装置は、前記画像データ生成部で生成された前記画像データに基づいたキー割振り画像を生成し、該キー割振り画像を前記表示ユニットを通して観察できるシースルー画像に重ね合わせて表示することを特徴とする情報入力システム。 1. A head-mounted video display device having a display unit that displays an image based on image data and can see through the outside world;
Information input means comprising a plurality of keys for inputting information to the operated device and not having a display indicating the information corresponding to each key;
A key allocation setting unit that sets allocation of the information corresponding to each key of the information input means, and an image data generation unit that generates image data indicating the key allocation of the information allocated by the key allocation setting unit. A key information allocation device;
An information input system comprising:
The head-mounted video display device generates a key allocation image based on the image data generated by the image data generation unit, and displays the key allocation image superimposed on a see-through image that can be observed through the display unit. An information input system characterized by:
２．前記頭部装着式映像表示装置は、前記情報入力手段を含む外界を撮影する電子カメラを有し、
前記キー情報割振り装置は、前記電子カメラで撮影された画像における前記情報入力手段の位置を検出する位置検出部を有し、
前記頭部装着式映像表示装置は、前記位置検出部で検出された前記電子カメラの画像における前記情報入力手段の位置に対応する前記表示ユニットの画面の位置に前記キー割振り画像を表示することを特徴とする前記第１項に記載の情報入力システム。 2. The head-mounted image display device has an electronic camera for photographing the outside world including the information input means,
The key information allocating device includes a position detection unit that detects a position of the information input unit in an image photographed by the electronic camera,
The head-mounted image display device displays the key assignment image at a position on the screen of the display unit corresponding to the position of the information input means in the image of the electronic camera detected by the position detection unit. 2. The information input system according toclaim 1, wherein
前記キー情報割振り装置は、前記電子カメラで撮影された画像における前記情報入力手段の位置を検出する位置検出部を有し、
前記頭部装着式映像表示装置は、前記位置検出部で検出された前記電子カメラの画像における前記情報入力手段の位置に対応する前記表示ユニットの画面の位置に前記キー割振り画像を表示することを特徴とする前記第１項に記載の情報入力システム。 2. The head-mounted image display device has an electronic camera for photographing the outside world including the information input means,
The key information allocating device includes a position detection unit that detects a position of the information input unit in an image photographed by the electronic camera,
The head-mounted image display device displays the key assignment image at a position on the screen of the display unit corresponding to the position of the information input means in the image of the electronic camera detected by the position detection unit. 2. The information input system according to
３．前記キー割振り設定部は、前記情報入力手段により一連の情報が入力される度に、該情報入力手段のそれぞれのキーに対応する前記情報の割振りの設定を変更することを特徴とする前記第１項または第２項に記載の情報入力システム。
3. The key allocation setting unit changes the information allocation setting corresponding to each key of the information input unit each time a series of information is input by the information input unit. Item or the information input system according to Item 2.
４．前記キー割振り設定部は、前記情報入力手段のそれぞれのキーに対応する前記情報の割振りをランダムに設定することを特徴とする前記第１項から第３項の何れか１項に記載の情報入力システム。
4. The information input according to any one of the first to third aspects, wherein the key allocation setting unit randomly sets the allocation of the information corresponding to each key of the information input means. system.
５．前記情報入力手段は、キーボードまたはタッチパネルであることを特徴とする前記第１項から第４項の何れか１項に記載の情報入力システム。
5. The information input system according to any one of claims 1 to 4, wherein the information input means is a keyboard or a touch panel.
本発明によれば、ＨＭＤは、キー情報割振り装置の画像データ生成部で生成された情報表示のない情報入力手段のそれぞれのキーに対応する情報のキー割振りを示す画像データに基づいたキー割振り画像を生成し、該キー割振り画像を表示ユニットを通して観察できるシースルー画像に重ね合わせて表示する構成とした。
According to the present invention, the HMD is a key allocation image based on image data indicating key allocation of information corresponding to each key of the information input means without information display generated by the image data generation unit of the key information allocation device. And the key allocation image is displayed superimposed on a see-through image that can be observed through the display unit.
すなわち、情報入力手段には、それぞれのキーに対応する情報を示す表示がなく、ＨＭＤを装着した使用者のみが、ＨＭＤの表示ユニットに表示されるキー割振り画像によりキー割振りを知ることができるので、入力情報の漏洩を防止することができる。また、被操作装置への情報の入力は、例えばキーボードやタッチパネル等の現実の情報入力手段を用いて行われるので、確実に情報を入力することができる。
That is, there is no display indicating information corresponding to each key in the information input means, and only the user wearing the HMD can know the key allocation from the key allocation image displayed on the display unit of the HMD. , Leakage of input information can be prevented. Moreover, since the input of information to the operated device is performed using actual information input means such as a keyboard and a touch panel, the information can be input reliably.
以下図面に基づいて、本発明に係る情報入力システムの実施の形態を説明する。尚、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。
Hereinafter, an embodiment of an information input system according to the present invention will be described with reference to the drawings. In addition, although this invention is demonstrated based on embodiment of illustration, this invention is not limited to this embodiment.
最初に、情報入力システム１の構成を図１を用いて説明する。図１は、本発明の実施形態に係る情報入力システム１の全体構成の概要を示す模式図である。
First, the configuration of the information input system 1 will be described with reference to FIG. FIG. 1 is a schematic diagram showing an overview of the overall configuration of an information input system 1 according to an embodiment of the present invention.
情報入力システム１は、図１に示すように、本発明における頭部装着式映像表示装置に該当するＨＭＤ２、キー情報割振り装置５、及び本発明における被操作装置に該当するＡＴＭ装置７に設けられた本発明における情報入力手段として機能するキーボード７１等から構成され、それぞれの装置は、有線または無線で接続されている。尚、被操作装置としては、ＡＴＭ装置７に限定されることなくキーボード７１により情報が入力される装置であればよい。また、キーボード７１は、タイプフェースを押下するという入力操作を行うことにより、例えば暗証番号等の情報（文字、数字、記号等）を入力する入力デバイスであり、それぞれのキーに対応する情報を示す表示を有していない。また、情報入力手段としては、キーボード７１に限定されることなくタッチパネルや操作ボタン等の入力デバイスであってもよい。
As shown in FIG. 1, the information input system 1 is provided in the HMD 2 corresponding to the head-mounted image display device in the present invention, the key information allocating device 5, and the ATM device 7 corresponding to the operated device in the present invention. The keyboard 71 functions as information input means in the present invention, and each device is connected by wire or wirelessly. The operated device is not limited to the ATM device 7 and may be any device that inputs information using the keyboard 71. The keyboard 71 is an input device for inputting information (characters, numbers, symbols, etc.) such as a personal identification number by performing an input operation of pressing a typeface, and indicates information corresponding to each key. Does not have a display. The information input means is not limited to the keyboard 71 and may be an input device such as a touch panel and operation buttons.
このような構成の情報入力システム１は、ＨＭＤ２の後述の表示ユニット２５に、キー情報割振り装置５から提供された情報表示のないキーボード７１のそれぞれのキーに対応する情報の割振りを示すキー割振り画像を表示させ、ＨＭＤ２を装着した使用者が、かかるキー割振り画像を見ながら情報表示のないキーボード７１を操作してＡＴＭ装置７に例えば暗証番号等の情報を入力するものである。
The information input system 1 having such a configuration is a key allocation image showing allocation of information corresponding to each key of the keyboard 71 without information display provided from the key information allocation device 5 on the display unit 25 of the HMD 2 described later. And the user wearing the HMD 2 inputs information such as a password to the ATM device 7 by operating the keyboard 71 having no information display while viewing the key assignment image.
次に、ＨＭＤ２の構成を図２を用いて説明する。図２は、本発明の実施形態に係るＨＭＤ２の外観を示す斜視図である。
Next, the configuration of the HMD 2 will be described with reference to FIG. FIG. 2 is a perspective view showing an appearance of the HMD 2 according to the embodiment of the present invention.
ＨＭＤ２は、図２に示すように、テンプル２１Ｒ、２１Ｌ、ブリッジ２２、鼻当て２３Ｒ、２３Ｌ、透明基板２４Ｒ、２４Ｌ、表示ユニット２５（ＬＣＤ表示部２６、接眼光学系２７）、カメラユニット２８、イヤホン２９Ｒ、２９Ｌ、及び制御ユニット３１等を有している。
As shown in FIG. 2, the HMD 2 includes temples 21R and 21L, a bridge 22, nose pads 23R and 23L, transparent substrates 24R and 24L, a display unit 25 (LCD display unit 26, an eyepiece optical system 27), a camera unit 28, and an earphone. 29R, 29L, a control unit 31 and the like.
ＨＭＤ２は、カメラユニット２８で撮影された画像やキー情報割振り装置５から提供された画像を表示ユニット２５に設けられたＬＣＤ表示部２６に表示させ、該ＬＣＤ表示部２６から得られた画像を、接眼光学系２７によって装着者（以下、使用者とも称する。）の眼球に直接投影させることで、恰も該画像が空中に拡大投影されているかのような虚像の観察を可能にしている。
The HMD 2 displays an image captured by the camera unit 28 or an image provided from the key information allocating device 5 on the LCD display unit 26 provided in the display unit 25, and an image obtained from the LCD display unit 26 is displayed. By directly projecting on the eyeball of the wearer (hereinafter also referred to as a user) by the eyepiece optical system 27, it is possible to observe a virtual image as if the image is enlarged and projected in the air.
テンプル２１Ｒ、２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、装着者の耳や側頭部に掛止され、ＨＭＤ２の装着者に対する頭部への保持及び装着位置の調整を行う為のものである。尚、テンプル２１Ｒ、２１Ｌは、回動部２１Ｒａ、２１Ｌａにおいて矢印Ｐ、Ｑ方向に回動可能に構成されており、ＨＭＤ２を使用しない場合には、テンプル２１Ｒ、２１Ｌを矢印Ｐ、Ｑ方向に回動させて透明基板２４Ｒ、２４Ｌに沿わせることにより、コンパクト化することができる。
The temples 21R and 21L are elongate members made of a flexible elastic material or the like, and are hung on the wearer's ears or the temporal region. This is for adjusting the mounting position. The temples 21R and 21L are configured to be rotatable in the directions of arrows P and Q in the rotating portions 21Ra and 21La. When the HMD 2 is not used, the temples 21R and 21L are rotated in the directions of the arrows P and Q. It can be made compact by moving it along the transparent substrates 24R and 24L.
ブリッジ２２は、ＨＭＤ２の装着者に対する顔面への保持を行う鼻当て２３Ｒ、２３Ｌを備え、透明基板２４Ｒ、２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した相対位置関係に保持するものである。
The bridge 22 includes nose pads 23R and 23L that hold the HMD 2 on the face of the wearer, and is a short rod-like member that is stretched over a predetermined position on the transparent substrates 24R and 24L facing each other. The transparent substrate 24L is held in a relative positional relationship with a fixed gap.
透明基板２４Ｒ、２４Ｌは、一方の眼球に対応した位置にＵ字型のスペース２４Ｒｓを形成する略平板状の透明体である。また、透明基板２４Ｒに囲まれて形成されるＵ字型のスペース２４Ｒｓには、接眼光学系２７が嵌め込まれている。
The transparent substrates 24R and 24L are substantially flat transparent bodies that form U-shaped spaces 24Rs at positions corresponding to one eyeball. An eyepiece optical system 27 is fitted in a U-shaped space 24Rs formed by being surrounded by the transparent substrate 24R.
表示ユニット２５は、ＬＣＤ表示部２６、及び接眼光学系２７等を有し、カメラユニット２８で撮影された画像や制御ユニット３１に設けられた後述の通信部３６を介してキー情報割振り装置５から提供された情報表示のないキーボード７１のそれぞれのキーに対応する情報の割振りを示すキー割振り画像等を表示する。
The display unit 25 includes an LCD display unit 26, an eyepiece optical system 27, and the like. A key allocation image or the like showing the allocation of information corresponding to each key of the provided keyboard 71 without information display is displayed.
カメラユニット２８は、本発明における電子カメラに該当し、図示しない後述のズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、及び画像処理部２８３等を有し、装着者の周囲の外界情景を撮影するものである。カメラユニット２８は、ズームレンズ２８１によって結像された被写体光学像を、ＣＣＤ２８２によって光電変換して画像信号（映像信号）を生成し、生成された画像信号に画像処理部２８３等により所定の画像処理を施す。また、カメラユニット２８の光軸や画角は、装着者の視線や視野と略同一になるように設定されている。
The camera unit 28 corresponds to an electronic camera according to the present invention, and includes a zoom lens 281 (not shown), a CCD (Charge Coupled Device) 282, an image processing unit 283, and the like, and captures an external scene around the wearer. Is. The camera unit 28 photoelectrically converts the subject optical image formed by the zoom lens 281 by the CCD 282 to generate an image signal (video signal). The image processing unit 283 or the like performs predetermined image processing on the generated image signal. Apply. The optical axis and angle of view of the camera unit 28 are set to be substantially the same as the line of sight and field of view of the wearer.
イヤホン２９Ｒ、２９Ｌは、装着者の耳に挿入され、装着者に音声を提供する。
The earphones 29R and 29L are inserted into the wearer's ears and provide sound to the wearer.
制御ユニット３１は、マイクロコンピュータからなり、電源スイッチ３５１、操作スイッチ３５２等を有し、これら各種操作スイッチからの信号、及びキー情報割振り装置５からの制御信号等を受けて、ＨＭＤ２で行われる表示動作や画像信号処理動作を統括的に制御するものである。
The control unit 31 includes a microcomputer and includes a power switch 351, an operation switch 352, and the like, and displays on the HMD 2 in response to signals from these various operation switches and a control signal from the key information allocating device 5. It controls the overall operation and image signal processing operation.
ここで、表示ユニット２５の構成を、図３を用いて説明する。図３は、本発明の実施形態に係るＨＭＤ２における表示ユニット２５の左側面からの側断面図であり、主に表示ユニット２５の内部構成を示している。
Here, the configuration of the display unit 25 will be described with reference to FIG. FIG. 3 is a side sectional view from the left side of the display unit 25 in the HMD 2 according to the embodiment of the present invention, and mainly shows the internal configuration of the display unit 25.
図３に示すように、表示ユニット２５は、筐体２６１、バックライト２６２、コリメータレンズ２６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２６４からなるＬＣＤ表示部２６、及びプリズム２７１、ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）２７２からなる接眼光学系２７等から構成される。
As shown in FIG. 3, the display unit 25 includes a housing 261, a backlight 262, a collimator lens 263, an LCD display unit 26 including an LCD (Liquid Crystal Display) 264, a prism 271, and an HOE (Holographic Optical Element) 272. The eyepiece optical system 27 and the like.
ＬＣＤ表示部２６の筐体２６１の内部には、バックライト２６２、コリメータレンズ２６３、及びＬＣＤ２６４が内蔵された状態で、該筐体２６１が接眼光学系２７のプリズム２７１の上端部において上斜め前方（図３では右斜め上方向）に突出する態様で取り付けられている。
With the backlight 262, the collimator lens 263, and the LCD 264 built in the housing 261 of the LCD display unit 26, the housing 261 is located obliquely upward (at the upper end of the prism 271 of the eyepiece optical system 27). In FIG. 3, it is attached in such a manner as to protrude obliquely upward to the right.
バックライト２６２は、所定波長色を含む白色発光ダイオード（ＬＥＤ）からなりＬＣＤ２６４を照明する点光源である。
The backlight 262 is a point light source that is composed of a white light emitting diode (LED) including a predetermined wavelength color and illuminates the LCD 264.
コリメータレンズ２６３は、バックライト２６２のＬＥＤの光を略平行光にしてＬＣＤ２６４に投光するものである。
The collimator lens 263 converts the LED light of the backlight 262 into substantially parallel light and projects it onto the LCD 264.
ＬＣＤ２６４は、カメラユニット２８で撮影され生成された画像信号（以下、画像データ、映像データとも称する。）に基づく画像やキー情報割振り装置５から提供された情報表示のないキーボード７１のそれぞれのキーに対応する情報の割振りを示す画像データに基づくキー割振り画像等を表示するものであり、例えば光透過型の液晶表示パネルである。
The LCD 264 has an image based on an image signal (hereinafter also referred to as image data or video data) imaged and generated by the camera unit 28, and each key of the keyboard 71 having no information display provided from the key information allocating device 5. A key allocation image or the like based on image data indicating allocation of corresponding information is displayed, for example, a light transmission type liquid crystal display panel.
プリズム２７１は、ガラスや透明樹脂等からなる略板状の透明部材であり、ＬＣＤ２６４からの光を内部で複数回の反射を行わせるものである。プリズム２７１の上端部は、ＬＣＤ２６４からの光の大部分を内部に採光できるように、上方に向かってより肉厚となるように前面側（接眼面と反対側）が突き出るように楔形状に形成された肉厚部２７１ｂが形成されている。
The prism 271 is a substantially plate-like transparent member made of glass, transparent resin, or the like, and reflects light from the LCD 264 a plurality of times inside. The upper end portion of the prism 271 is formed in a wedge shape so that the front side (opposite side of the eyepiece surface) protrudes to be thicker upward so that most of the light from the LCD 264 can be collected inside. The thick part 271b thus formed is formed.
また、プリズム２７１の下端部には、傾斜面２７１ａが形成されており、プリズム２７１は、透明基板２４Ｒに形成された傾斜面２４Ｒａに対しＨＯＥ２７２を介して接合（例えば接着）されている。また、プリズム２７１の表裏面は、透明基板２４Ｒの表裏面に対して面一とされている。これにより、プリズム２７１は、透明基板２４Ｒと一枚の板状に一体化されている。
Also, an inclined surface 271a is formed at the lower end of the prism 271. The prism 271 is joined (for example, bonded) to the inclined surface 24Ra formed on the transparent substrate 24R via the HOE 272. The front and back surfaces of the prism 271 are flush with the front and back surfaces of the transparent substrate 24R. Thereby, the prism 271 is integrated with the transparent substrate 24R in a single plate shape.
ＨＯＥ２７２は、光学的に軸非対称な所謂自由曲面で構成されて正のパワーを有する体積位相型のホログラム光学素子であり、プリズム２７１の下端部において所定の傾斜角を有して支持されている。ＨＯＥ２７２は、プリズム２７１により導光された光が照射されることにより、光の干渉現象を用いてホログラム映像を眼球Ｅに提供する。
The HOE 272 is a volume phase type holographic optical element having a positive power, which is configured by a so-called free-form surface that is optically asymmetric with respect to the axis, and is supported at a lower end portion of the prism 271 with a predetermined inclination angle. The HOE 272 provides a hologram image to the eyeball E using the light interference phenomenon when irradiated with the light guided by the prism 271.
以上のような構成を有する表示ユニット２５においては、バックライト２６２のＬＥＤから射出された光は、コリメータレンズ２６３を通してＬＣＤ２６４を照明し、この照明によりＬＣＤ２６４で生成された像光は、プリズム２７１内で複数回の全反射を行った後、ＨＯＥ２７２により回折し虚像として装着者の眼球Ｅに導かれる。
In the display unit 25 having the above configuration, the light emitted from the LED of the backlight 262 illuminates the LCD 264 through the collimator lens 263, and the image light generated by the LCD 264 by this illumination is within the prism 271. After a plurality of total reflections, it is diffracted by the HOE 272 and guided to the eyeball E of the wearer as a virtual image.
さらに、プリズム２７１は、前方から入射する光を装着者の眼球Ｅに導くようになっている。これにより、装着者は、外界（前方の被写体）をシースルー可能となり、カメラユニット２８で撮影され生成された画像やキー情報割振り装置５から提供された情報表示のないキーボード７１のそれぞれのキーに対応する情報の割振りを示すキー割振り画像等を外界（前方の被写体）と重畳して視認することとなる。
Furthermore, the prism 271 guides light incident from the front to the eyeball E of the wearer. As a result, the wearer can see through the outside world (front subject), and corresponds to each key of the keyboard 71 without the information display provided by the camera unit 28 and the image generated by the camera unit 28 and the key information allocating device 5. The key allocation image indicating the allocation of information to be viewed is superimposed on the outside world (front subject) and viewed.
次に、情報入力システム１のブロック構成を図４を用いて説明する。図４は、本発明の実施形態に係わる情報入力システム１の要部構成を示すブロック図である。尚、図４では、図１乃至図３に示した部材と同じ部材には同一の番号を付与した。
Next, the block configuration of the information input system 1 will be described with reference to FIG. FIG. 4 is a block diagram showing a main configuration of the information input system 1 according to the embodiment of the present invention. In FIG. 4, the same members as those shown in FIGS. 1 to 3 are given the same numbers.
最初に、キー情報割振り装置５は、コンピュータからなり、画像データ生成部５１、キー割振り設定部５２、及び位置検出部５３等を有する。
First, the key information allocation device 5 is composed of a computer, and includes an image data generation unit 51, a key allocation setting unit 52, a position detection unit 53, and the like.
キー割振り設定部５２は、情報表示のないキーボード７１のそれぞれのキーに対応する情報の割振りを設定する。また、キー割振り設定部５２は、キーボード７１により一連の情報（例えば、４桁の暗証番号として、「１２３４」）が入力される度に、キーボード７１のそれぞれのキーに対応する情報の割振りの設定をランダムに変更する。ランダムな割振り方法としては、例えば、熱雑音による乱数発生を利用する等、通常乱数発生で用いられるアルゴリズムを用いることにより、予測が困難なランダムな割振りを設定することができる。
The key allocation setting unit 52 sets the allocation of information corresponding to each key of the keyboard 71 having no information display. The key allocation setting unit 52 sets allocation of information corresponding to each key of the keyboard 71 each time a series of information (for example, “1234” as a four-digit password) is input from the keyboard 71. Change at random. As a random allocation method, it is possible to set a random allocation that is difficult to predict by using an algorithm normally used for random number generation, such as, for example, using random number generation by thermal noise.
画像データ生成部５１は、キー割振り設定部５２で割振られた情報のキー割振りを示す画像データを生成する。
The image data generation unit 51 generates image data indicating the key allocation of the information allocated by the key allocation setting unit 52.
位置検出部５３は、ＨＭＤ２のカメラユニット２８で撮影された画像におけるキーボード７１の位置（座標）を検出する。位置検出方法としては、予め登録しておいたキーボード７１の形状（テンプレート）が、画像の何処に位置するかを検出する周知のテンプレートマッチング等を用いることができる。
The position detection unit 53 detects the position (coordinates) of the keyboard 71 in the image captured by the camera unit 28 of the HMD2. As a position detection method, a well-known template matching for detecting where the shape (template) of the keyboard 71 registered in advance is located in the image can be used.
キー情報割振り装置５は、画像データ生成部５１で生成されたキー割振りを示す画像データ、及び位置検出部５３で検出されたキーボード７１の座標情報をＨＭＤ２に提供する。そして、これらの情報を取得したＨＭＤ２は、該情報に基づいたキー割振り画像を生成し、該キー割振り画像を表示ユニット２５を通して観察できるシースルー画像に重ね合わせて表示する。尚、ＨＭＤ２で行われるこれらの表示制御動作の詳細は後述する。
The key information allocation device 5 provides the HMD 2 with the image data indicating the key allocation generated by the image data generation unit 51 and the coordinate information of the keyboard 71 detected by the position detection unit 53. The HMD 2 that has acquired the information generates a key allocation image based on the information, and displays the key allocation image superimposed on a see-through image that can be observed through the display unit 25. Details of these display control operations performed by the HMD 2 will be described later.
次に、ＨＭＤ２の要部は、表示ユニット２５、カメラユニット２８、及び制御ユニット３１等から構成される。
Next, the main part of the HMD 2 includes a display unit 25, a camera unit 28, a control unit 31, and the like.
表示ユニット２５は、ＬＣＤ表示部２６、接眼光学系２７から構成され、各部位で行われる動作については前述したので説明は省略する。
The display unit 25 is composed of an LCD display unit 26 and an eyepiece optical system 27, and the operation performed in each part has been described above, and thus the description thereof will be omitted.
カメラユニット２８は、ズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、及び画像処理部２８３等を有する。
The camera unit 28 includes a zoom lens 281, a CCD (Charge Coupled Device) 282, an image processing unit 283, and the like.
ＣＣＤ２８２は、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色透過フィルタをピクセル単位（画素単位）で市松模様状に配置させたカラーエリア撮像センサで、ズームレンズ２８１により結像された被写体光像を、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色成分の画像信号（各画素単位で受光された画素信号の信号列からなる信号）に光電変換するものである。
The CCD 282 is a color area imaging sensor in which R (red) light, G (green) light, and B (blue) light transmission filters are arranged in a checkered pattern in pixel units (pixel units), and is connected by a zoom lens 281. The imaged subject light image is photoelectrically converted into image signals (signals consisting of a signal sequence of pixel signals received in units of pixels) of each color component of R (red) light, G (green) light, and B (blue) light. To convert.
画像処理部２８３は、図示しない例えば、黒レベル補正部、画素補間部、ホワイトバランス制御部、ガンマ補正部、マトリックス演算部、シェーディング補正部、及び画像圧縮部等を有し、ＣＣＤ２８２より読み出された画像信号に周知の画像信号処理を施すものである。そして、これらの部位で所定の処理を施された画像信号は、後述の制御ユニット３１の画像メモリ３３に格納される。
The image processing unit 283 includes, for example, a black level correction unit, a pixel interpolation unit, a white balance control unit, a gamma correction unit, a matrix calculation unit, a shading correction unit, and an image compression unit (not shown), and is read from the CCD 282. The image signal is subjected to known image signal processing. Then, the image signal that has undergone predetermined processing at these parts is stored in an image memory 33 of the control unit 31 described later.
制御ユニット３１は、制御部３２、画像メモリ３３、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４、操作部３５、及び通信部３６等から構成される。
The control unit 31 includes a control unit 32, an image memory 33, a VRAM (Video Random Access Memory) 34, an operation unit 35, a communication unit 36, and the like.
制御部３２は、図示しない各制御プログラム等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、演算処理や制御処理等のデータを一時的に格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び制御プログラム等をＲＯＭから読み出して実行するＣＰＵ（中央演算処理装置）等から構成される。制御部３２は、電源スイッチ３５１及び各種操作スイッチ３５２等からの信号、及びキー情報割振り装置５からの制御信号等を受けて、ＨＭＤ２で行われる表示動作や画像信号処理動作を統括的に制御するものである。また、制御部３２は、キー情報割振り装置５から提供された前述の情報に基づいたキー割振り画像を生成し、該キー割振り画像を表示ユニット２５を通して観察できるシースルー画像に重ね合わせて表示する。尚、制御部３２で行われるこれらの表示制御動作の詳細は後述する。
The control unit 32 reads a ROM (Read Only Memory) that stores each control program (not shown), a RAM (Random Access Memory) that temporarily stores data such as arithmetic processing and control processing, and a control program from the ROM. CPU (central processing unit) etc. to be executed. The control unit 32 receives the signals from the power switch 351 and various operation switches 352, the control signal from the key information allocating device 5 and the like, and comprehensively controls the display operation and the image signal processing operation performed in the HMD 2. Is. Further, the control unit 32 generates a key allocation image based on the above-described information provided from the key information allocation device 5 and displays the key allocation image superimposed on a see-through image that can be observed through the display unit 25. Details of these display control operations performed by the control unit 32 will be described later.
画像メモリ３３は、制御部３２により画像信号に対する各種処理を行う為の作業領域として用いられる一時メモリである。
The image memory 33 is a temporary memory used as a work area for performing various processing on the image signal by the control unit 32.
ＶＲＡＭ３４は、ＬＣＤ表示部２６中のＬＣＤ２６４の画素数に対応した画像信号の記録容量を有し、ＬＣＤ２６４に再生表示される画像を構成する画像信号のバッファメモリである。
The VRAM 34 has a recording capacity of an image signal corresponding to the number of pixels of the LCD 264 in the LCD display unit 26, and is a buffer memory of an image signal that constitutes an image reproduced and displayed on the LCD 264.
通信部３６は、キー情報割振り装置５との間で交信を行い、画像、音声、及び各種制御信号等の入出力を行う。
The communication unit 36 communicates with the key information allocating device 5 and inputs / outputs images, sounds, various control signals, and the like.
このような構成の情報入力システム１において、本発明は、ＨＭＤ２の表示ユニット２５に、キー情報割振り装置５から提供された情報表示のないキーボード７１のそれぞれのキーに対応する情報の割振りを示すキー割振り画像を表示させる。そして、ＨＭＤ２を装着した使用者が、かかるキー割振り画像を見ながらシースルーで観察できる情報表示のないキーボード７１を操作してＡＴＭ装置７に例えば暗証番号等の情報を入力するものである。以下、図５を用いてその詳細を説明する。図５（ａ）～図５（ｃ）は、ＨＭＤ２で行われる表示制御動作の流れを説明する模式図である。
In the information input system 1 having such a configuration, the present invention provides a key that indicates the allocation of information corresponding to each key of the keyboard 71 without the information display provided from the key information allocation device 5 to the display unit 25 of the HMD 2. Display the allocated image. Then, the user wearing the HMD 2 operates the keyboard 71 without an information display that can be observed through the see-through while viewing the key assignment image, and inputs information such as a password to the ATM device 7. Hereinafter, the details will be described with reference to FIG. FIG. 5A to FIG. 5C are schematic diagrams for explaining the flow of the display control operation performed in the HMD 2.
まず、図５（ａ）に示すように、ＨＭＤ２の表示ユニット２５の画面Ｄには、情報表示のない無地のキーボード７１のシースルー画像Ｓが表示されている。
First, as shown in FIG. 5 (a), a see-through image S of a plain keyboard 71 without information display is displayed on the screen D of the display unit 25 of the HMD2.
次に、ＨＭＤ２の制御部３２は、図５（ｂ）に示すように、キー情報割振り装置５から提供された情報表示のないキーボード７１のそれぞれのキーに対応する情報の割振りを示す画像データに基づいたキー割振り画像Ｋを生成する。
Next, as shown in FIG. 5B, the control unit 32 of the HMD 2 generates image data indicating allocation of information corresponding to each key of the keyboard 71 without information display provided from the key information allocation device 5. A key allocation image K based on the key is generated.
そして、ＨＭＤ２の制御部３２は、キー情報割振り装置５から提供されたＨＭＤ２のカメラユニット２８で撮影された画像におけるキーボード７１の位置（座標）に対応する表示ユニットの画面Ｄの位置にキー割振り画像Ｋを表示する。すなわち、図５（ｃ）に示すように、キーボード７１のシースルー画像Ｓにキー割振り画像Ｋが重なって表示される。
Then, the control unit 32 of the HMD 2 assigns the key assignment image to the position of the screen D of the display unit corresponding to the position (coordinates) of the keyboard 71 in the image taken by the camera unit 28 of the HMD 2 provided from the key information assignment device 5. K is displayed. That is, as shown in FIG. 5C, the key assignment image K is displayed so as to overlap the see-through image S of the keyboard 71.
これにより、使用者は、無地のキーボード７１のそれぞれのキーに恰も情報が表示されているかのように見え、容易に所望の情報を入力することができる。
This makes it possible for the user to input desired information easily because it appears as if information is displayed on each key of the plain keyboard 71.
尚、キーボード７１の形状や大きさ、また姿勢等の態様により、キーボード７１のシースルー画像Ｓにキー割振り画像Ｋを重ねて表示することが困難な場合は、図６に示すように、画面Ｄの例えば、片隅にキー割振り画像Ｋを表示するようにしてもよい。
If it is difficult to display the key assignment image K superimposed on the see-through image S of the keyboard 71 due to the shape, size, orientation, etc. of the keyboard 71, as shown in FIG. For example, the key assignment image K may be displayed at one corner.
このように本発明の実施形態に係わる情報入力システム１においては、ＨＭＤ２は、キー情報割振り装置５から提供された情報表示のないキーボード７１のそれぞれのキーに対応する情報のキー割振りを示す画像データに基づいたキー割振り画像Ｋを生成し、該キー割振り画像Ｋを表示ユニット２５を通して観察できるキーボード７１のシースルー画像Ｓに重ね合わせて表示する構成とした。
As described above, in the information input system 1 according to the embodiment of the present invention, the HMD 2 displays image data indicating key allocation of information corresponding to each key of the keyboard 71 without information display provided from the key information allocation device 5. The key allocation image K based on the keyboard 71 is generated, and the key allocation image K is superimposed on the see-through image S of the keyboard 71 that can be observed through the display unit 25.
すなわち、現実のキーボード７１には、それぞれのキーに対応する情報を示す表示がなく、ＨＭＤ２を装着した使用者のみが、ＨＭＤ２の表示ユニット２５に表示されるキー割振り画像Ｋによりキー割振りを知ることができるので、入力情報の漏洩を防止することができる。また、被操作装置７への情報の入力は、現実のキーボード７１を用いて行われるので、確実に情報を入力することができる。
That is, the actual keyboard 71 does not have a display indicating information corresponding to each key, and only the user wearing the HMD 2 knows the key allocation from the key allocation image K displayed on the display unit 25 of the HMD 2. Therefore, leakage of input information can be prevented. Moreover, since the input of information to the operated device 7 is performed using the actual keyboard 71, the information can be input reliably.
１ 情報入力システム
２ 頭部装着式映像表示装置（ＨＭＤ）
２１Ｒ、２１Ｌ テンプル
２２ ブリッジ
２３Ｒ、２３Ｌ 鼻当て
２４Ｒ、２４Ｌ 透明基板
２５ 表示ユニット
２６ ＬＣＤ表示部
２６１ 筐体
２６２ バックライト
２６３ コリメータレンズ
２６４ ＬＣＤ
２７ 接眼光学系
２７１ プリズム
２７２ ＨＯＥ
２８ カメラユニット
２８１ ズームレンズ
２８２ ＣＣＤ
２８３ 画像処理部
２９Ｒ、２９Ｌ イヤホン
３１ 制御ユニット
３２ 制御部
３３ 画像メモリ
３４ ＶＲＡＭ
３５ 操作部
３５１ 電源スイッチ
３５２ 操作スイッチ
３６ 通信部
５ キー情報割振り装置
５１ 画像データ生成部
５２ キー割振り設定部
５３ 位置検出部
７ ＡＴＭ装置
７１ キーボード
Ｅ 目 1Information input system 2 Head-mounted video display (HMD)
21R,21L Temple 22 Bridge 23R, 23L Nose pad 24R, 24L Transparent substrate 25 Display unit 26 LCD display unit 261 Housing 262 Backlight 263 Collimator lens 264 LCD
27 Eyepieceoptical system 271 Prism 272 HOE
28Camera Unit 281 Zoom Lens 282 CCD
283 Image processing unit 29R, 29L Earphone 31 Control unit 32 Control unit 33 Image memory 34 VRAM
35Operation Unit 351 Power Switch 352 Operation Switch 36 Communication Unit 5 Key Information Allocation Device 51 Image Data Generation Unit 52 Key Allocation Setting Unit 53 Position Detection Unit 7 ATM Device 71 Keyboard E Eye
２ 頭部装着式映像表示装置（ＨＭＤ）
２１Ｒ、２１Ｌ テンプル
２２ ブリッジ
２３Ｒ、２３Ｌ 鼻当て
２４Ｒ、２４Ｌ 透明基板
２５ 表示ユニット
２６ ＬＣＤ表示部
２６１ 筐体
２６２ バックライト
２６３ コリメータレンズ
２６４ ＬＣＤ
２７ 接眼光学系
２７１ プリズム
２７２ ＨＯＥ
２８ カメラユニット
２８１ ズームレンズ
２８２ ＣＣＤ
２８３ 画像処理部
２９Ｒ、２９Ｌ イヤホン
３１ 制御ユニット
３２ 制御部
３３ 画像メモリ
３４ ＶＲＡＭ
３５ 操作部
３５１ 電源スイッチ
３５２ 操作スイッチ
３６ 通信部
５ キー情報割振り装置
５１ 画像データ生成部
５２ キー割振り設定部
５３ 位置検出部
７ ＡＴＭ装置
７１ キーボード
Ｅ 目 1
21R,
27 Eyepiece
28
283
35
Claims (5)
- 画像データに基づき画像を表示し、外界をシースルー可能な表示ユニットを有する頭部装着式映像表示装置と、
被操作装置に情報を入力し、それぞれのキーに対応する前記情報を示す表示を有さない複数のキーを備えた情報入力手段と、
前記情報入力手段のそれぞれのキーに対応する前記情報の割振りを設定するキー割振り設定部および該キー割振り設定部で割振られた前記情報のキー割振りを示す画像データを生成する画像データ生成部を有するキー情報割振り装置と、
を備えた情報入力システムであって、
前記頭部装着式映像表示装置は、前記画像データ生成部で生成された前記画像データに基づいたキー割振り画像を生成し、該キー割振り画像を前記表示ユニットを通して観察できるシースルー画像に重ね合わせて表示することを特徴とする情報入力システム。 A head-mounted video display device having a display unit that displays an image based on image data and can see through the outside world;
Information input means comprising a plurality of keys for inputting information to the operated device and not having a display indicating the information corresponding to each key;
A key allocation setting unit that sets allocation of the information corresponding to each key of the information input means, and an image data generation unit that generates image data indicating the key allocation of the information allocated by the key allocation setting unit. A key information allocation device;
An information input system comprising:
The head-mounted video display device generates a key allocation image based on the image data generated by the image data generation unit, and displays the key allocation image superimposed on a see-through image that can be observed through the display unit. An information input system characterized by: - 前記頭部装着式映像表示装置は、前記情報入力手段を含む外界を撮影する電子カメラを有し、
前記キー情報割振り装置は、前記電子カメラで撮影された画像における前記情報入力手段の位置を検出する位置検出部を有し、
前記頭部装着式映像表示装置は、前記位置検出部で検出された前記電子カメラの画像における前記情報入力手段の位置に対応する前記表示ユニットの画面の位置に前記キー割振り画像を表示することを特徴とする請求項１に記載の情報入力システム。 The head-mounted image display device has an electronic camera for photographing the outside world including the information input means,
The key information allocating device includes a position detection unit that detects a position of the information input unit in an image photographed by the electronic camera,
The head-mounted image display device displays the key assignment image at a position on the screen of the display unit corresponding to the position of the information input means in the image of the electronic camera detected by the position detection unit. The information input system according to claim 1, wherein: - 前記キー割振り設定部は、前記情報入力手段により一連の情報が入力される度に、該情報入力手段のそれぞれのキーに対応する前記情報の割振りの設定を変更することを特徴とする請求項１または２に記載の情報入力システム。 2. The key allocation setting unit changes the allocation setting of the information corresponding to each key of the information input unit each time a series of information is input by the information input unit. Or the information input system of 2.
- 前記キー割振り設定部は、前記情報入力手段のそれぞれのキーに対応する前記情報の割振りをランダムに設定することを特徴とする請求項１から３の何れか１項に記載の情報入力システム。 The information input system according to any one of claims 1 to 3, wherein the key allocation setting unit randomly sets the allocation of the information corresponding to each key of the information input means.
- 前記情報入力手段は、キーボードまたはタッチパネルであることを特徴とする請求項１から４の何れか１項に記載の情報入力システム。 The information input system according to any one of claims 1 to 4, wherein the information input means is a keyboard or a touch panel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010509127A JP5029759B2 (en) | 2008-04-23 | 2009-04-03 | Information input system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008-112430 | 2008-04-23 | ||
| JP2008112430 | 2008-04-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2009130985A1 true WO2009130985A1 (en) | 2009-10-29 |
Family
ID=41216723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2009/056952 WO2009130985A1 (en) | 2008-04-23 | 2009-04-03 | Information input system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5029759B2 (en) |
| WO (1) | WO2009130985A1 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012008745A (en) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | User interface device and electronic apparatus |
| JP2012088474A (en) * | 2010-10-19 | 2012-05-10 | Seiko Epson Corp | Head-mounted display device |
| JP2012138011A (en) * | 2010-12-27 | 2012-07-19 | Ns Solutions Corp | Information processing system, information processing method and program |
| KR20140064384A (en) * | 2012-11-20 | 2014-05-28 | 엘지전자 주식회사 | Head mounted display and the method for controlling the same |
| JP2014232548A (en) * | 2014-08-08 | 2014-12-11 | 新日鉄住金ソリューションズ株式会社 | Information processing system, information processing method and program |
| GB2520207A (en) * | 2012-07-20 | 2015-05-13 | Licentia Group Ltd | Authentication method and system |
| WO2015093221A1 (en) * | 2013-12-20 | 2015-06-25 | 株式会社ニコン | Electronic device and program |
| JP2017182814A (en) * | 2012-06-29 | 2017-10-05 | ノキア テクノロジーズ オサケユイチア | Method and apparatus for modification of presentation of information based on visual complexity of environment information |
| CN107239716A (en) * | 2016-03-27 | 2017-10-10 | 陈金仁 | Anti-peeping input device and method |
| JP2017534961A (en) * | 2014-09-17 | 2017-11-24 | ジェムアルト エスアー | User authentication method, corresponding terminal and authentication system |
| US10592653B2 (en) | 2015-05-27 | 2020-03-17 | Licentia Group Limited | Encoding methods and systems |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006126936A (en) * | 2004-10-26 | 2006-05-18 | Canon Inc | Image processing method and image processing device |
| JP2006163747A (en) * | 2004-12-07 | 2006-06-22 | Brother Ind Ltd | Input supporting device |
| JP2007293413A (en) * | 2006-04-21 | 2007-11-08 | Canon Inc | Information processing method and apparatus |
| JP2008077572A (en) * | 2006-09-25 | 2008-04-03 | Toshiba Corp | Image display unit |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05334334A (en) * | 1992-06-02 | 1993-12-17 | Mitsubishi Electric Corp | Password number input device |
| JPH06318186A (en) * | 1993-05-07 | 1994-11-15 | Hitachi Ltd | Password input device |
| GB9813190D0 (en) * | 1998-06-18 | 1998-08-19 | Ncr Int Inc | Self-service terminal display screen |
-
2009
- 2009-04-03 JP JP2010509127A patent/JP5029759B2/en not_active Expired - Fee Related
- 2009-04-03 WO PCT/JP2009/056952 patent/WO2009130985A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006126936A (en) * | 2004-10-26 | 2006-05-18 | Canon Inc | Image processing method and image processing device |
| JP2006163747A (en) * | 2004-12-07 | 2006-06-22 | Brother Ind Ltd | Input supporting device |
| JP2007293413A (en) * | 2006-04-21 | 2007-11-08 | Canon Inc | Information processing method and apparatus |
| JP2008077572A (en) * | 2006-09-25 | 2008-04-03 | Toshiba Corp | Image display unit |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012008745A (en) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | User interface device and electronic apparatus |
| JP2012088474A (en) * | 2010-10-19 | 2012-05-10 | Seiko Epson Corp | Head-mounted display device |
| JP2012138011A (en) * | 2010-12-27 | 2012-07-19 | Ns Solutions Corp | Information processing system, information processing method and program |
| JP2017182814A (en) * | 2012-06-29 | 2017-10-05 | ノキア テクノロジーズ オサケユイチア | Method and apparatus for modification of presentation of information based on visual complexity of environment information |
| GB2571019B (en) * | 2012-07-20 | 2019-12-04 | Licentia Group Ltd | Authentication method and system |
| GB2517879B (en) * | 2012-07-20 | 2019-08-28 | Licentia Group Ltd | Authentication method and system |
| US11048784B2 (en) | 2012-07-20 | 2021-06-29 | Licentia Group Limited | Authentication method and system |
| US10565359B2 (en) | 2012-07-20 | 2020-02-18 | Licentia Group Limited | Authentication method and system |
| GB2520207B (en) * | 2012-07-20 | 2016-01-06 | Licentia Group Ltd | Authentication method and system |
| US11048783B2 (en) | 2012-07-20 | 2021-06-29 | Licentia Group Limited | Authentication method and system |
| AU2016225848B2 (en) * | 2012-07-20 | 2016-09-29 | Licentia Group Limited | Pin verification |
| GB2520207A (en) * | 2012-07-20 | 2015-05-13 | Licentia Group Ltd | Authentication method and system |
| US11194892B2 (en) | 2012-07-20 | 2021-12-07 | Licentia Group Limited | Authentication method and system |
| US9804686B2 (en) | 2012-11-20 | 2017-10-31 | Microsoft Technology Licensing, Llc | Wearable display and method of controlling the wearable display generating a user interface according to that of an external device |
| EP3098643A1 (en) * | 2012-11-20 | 2016-11-30 | Microsoft Technology Licensing, LLC | Head mounted display as input layout and output of an external device |
| KR101991133B1 (en) | 2012-11-20 | 2019-06-19 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Head mounted display and the method for controlling the same |
| JP2016506530A (en) * | 2012-11-20 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Head mounted display and method for controlling the same |
| KR20140064384A (en) * | 2012-11-20 | 2014-05-28 | 엘지전자 주식회사 | Head mounted display and the method for controlling the same |
| EP2923232A4 (en) * | 2012-11-20 | 2015-11-25 | Microsoft Technology Licensing Llc | Head mount display and method for controlling the same |
| WO2015093221A1 (en) * | 2013-12-20 | 2015-06-25 | 株式会社ニコン | Electronic device and program |
| JP2014232548A (en) * | 2014-08-08 | 2014-12-11 | 新日鉄住金ソリューションズ株式会社 | Information processing system, information processing method and program |
| JP2017534961A (en) * | 2014-09-17 | 2017-11-24 | ジェムアルト エスアー | User authentication method, corresponding terminal and authentication system |
| US11036845B2 (en) | 2015-05-27 | 2021-06-15 | Licentia Group Limited | Authentication methods and systems |
| US10740449B2 (en) | 2015-05-27 | 2020-08-11 | Licentia Group Limited | Authentication methods and systems |
| US10592653B2 (en) | 2015-05-27 | 2020-03-17 | Licentia Group Limited | Encoding methods and systems |
| US11048790B2 (en) | 2015-05-27 | 2021-06-29 | Licentia Group Limited | Authentication methods and systems |
| CN107239716A (en) * | 2016-03-27 | 2017-10-10 | 陈金仁 | Anti-peeping input device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5029759B2 (en) | 2012-09-19 |
| JPWO2009130985A1 (en) | 2011-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5029759B2 (en) | Information input system | |
| JP5250834B2 (en) | Head-mounted image display device | |
| RU2488860C2 (en) | Display arrangement and device | |
| CN108535868B (en) | Head-mounted display device and control method thereof | |
| EP2378347B1 (en) | Head mounted display and optical position adjustment method of the same | |
| KR101883090B1 (en) | Head mounted display | |
| WO2010023887A1 (en) | Device and method for setting instruction position during three-dimensional display, and program | |
| JP6094305B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
| JP4900277B2 (en) | Head-mounted image display device | |
| JP2009251428A (en) | Information display system | |
| JP2017116562A (en) | Display device, control method for the same and program | |
| US11056030B1 (en) | Display apparatus and method of enhancing apparent resolution using liquid-crystal device | |
| KR20240056592A (en) | compact catadioptric projector | |
| JP2008009490A (en) | Information input device | |
| JP5228310B2 (en) | Video display device | |
| JP2009192583A (en) | Head-mounted type video display device | |
| US10764567B2 (en) | Display apparatus and method of displaying | |
| JP6730837B2 (en) | Peep prevention system | |
| JP2008123257A (en) | Remote operation support system and display control method | |
| JP4472607B2 (en) | 3D image presentation and imaging device | |
| JP4952204B2 (en) | Remote work support system and display method thereof | |
| JP2008113317A (en) | Remote operation support system | |
| JP2007219069A (en) | Image display | |
| US20200166752A1 (en) | Display for use in display apparatus | |
| CN113888958B (en) | Optical display device, optical display control method and display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09735298 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2010509127 Country of ref document: JP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 09735298 Country of ref document: EP Kind code of ref document: A1 |