JP2009104429A - Head mount display device and portable device - Google Patents

Head mount display device and portable device Download PDF

Info

Publication number
JP2009104429A
JP2009104429A JP2007275972A JP2007275972A JP2009104429A JP 2009104429 A JP2009104429 A JP 2009104429A JP 2007275972 A JP2007275972 A JP 2007275972A JP 2007275972 A JP2007275972 A JP 2007275972A JP 2009104429 A JP2009104429 A JP 2009104429A
Authority
JP
Japan
Prior art keywords
unit
user
image
keyboard
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007275972A
Other languages
Japanese (ja)
Inventor
Yoshiaki Miyagawa
嘉明 宮川
Nobuyuki Miyake
信行 三宅
Kotaro Kobayashi
康太郎 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007275972A priority Critical patent/JP2009104429A/en
Publication of JP2009104429A publication Critical patent/JP2009104429A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a head mount display device and a portable device for easily performing input operation while maintaining portability. <P>SOLUTION: A head mount display device is configured to input data while watching a keyboard image 25 projected from a keyboard projection part 13 and the hand of a user M through a peep section between the face and a frame section; to detect which a finger is placed on which key 25a of the keyboard image 25 based on the position of the keyboard image 25 and the position of the finger of the user M wearing a glove part 20 for operation detection picked up by a video camera part 14; and to detect a hit key 25a based on an acceleration signal detected by an acceleration detection sensor 22 mounted on the fingertip of the glove part 20 for operation detection. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明はヘッドマウントディスプレイ装置及び携帯装置に関する。   The present invention relates to a head mounted display device and a portable device.

従来、頭部に装着されるヘッドマウントディスプレイ装置と携帯可能なコンピュータ本体とを有するウエアラブルコンピュータ（携帯装置）が知られている（下記特許文献参照）。
特開２０００−２９６２１号公報 2. Description of the Related Art Conventionally, wearable computers (portable devices) having a head mounted display device mounted on a head and a portable computer main body are known (see the following patent document).
JP 2000-29621 A

上述のウエアラブルコンピュータでは仮想キーボードを用いて入力操作を行なうが、この種のウエアラブルコンピュータではキーボードを用いて入力操作を行なうこともできる。   In the wearable computer described above, an input operation is performed using a virtual keyboard. However, in this type of wearable computer, an input operation can also be performed using a keyboard.

しかし、キーボードを持ち運ぶとすれば、ウエアラブルコンピュータの携帯性が損なわれる。このことは例えば折りたたみ式キーボードや投影型キーボードにもいえることである。   However, if you carry a keyboard, the portability of the wearable computer is impaired. This is also true of, for example, a folding keyboard and a projection keyboard.

これに対し、キーボードを小さくすると、携帯性が大きく損なわれることはないが、入力操作をし難くなる。   On the other hand, if the keyboard is made smaller, the portability is not greatly impaired, but the input operation becomes difficult.

この発明はこのような事情に鑑みてなされたもので、その課題は携帯性を維持しつつ入力操作し易いヘッドマウントディスプレイ装置及び携帯装置を提供することである。   The present invention has been made in view of such circumstances, and an object thereof is to provide a head-mounted display device and a portable device that are easy to input while maintaining portability.

上記課題を解決するため請求項１記載の発明は、使用者の頭部に装着可能であり、表示手段を有するヘッドマウントディスプレイ装置において、キーボード像を所定位置に投影するキーボード像投影手段と、前記キーボード像と前記使用者の手元とを撮像する撮像手段とを備えていることを特徴とする。   In order to solve the above-described problem, the invention according to claim 1 is a head-mounted display device that can be mounted on a user's head and has a display unit. A keyboard image projection unit that projects a keyboard image at a predetermined position; An image pickup means for picking up an image of a keyboard image and the hand of the user is provided.

請求項２記載の発明は、請求項１記載のヘッドマウントディスプレイ装置において、前記キーボード像投影手段で投影された前記キーボード像と前記使用者の手元とを覗くための覗き部を備えていることを特徴とする。   According to a second aspect of the present invention, in the head-mounted display device according to the first aspect, a peeping unit is provided for peeking at the keyboard image projected by the keyboard image projecting unit and the hand of the user. Features.

請求項３記載の発明は、前記請求項１又は２記載のヘッドマウントディスプレイ装置と、前記ヘッドマウントディスプレイ装置を制御する制御部と、前記使用者の指に装着可能であり、その指の動きを検出する検出部とを備え、前記制御部は、前記撮像手段で取得された画像データと前記検出部で検出された前記指の動きとに基づいて前記指で打たれた前記キーボード像のキーを特定するキー特定手段を有することを特徴とする。   According to a third aspect of the present invention, the head-mounted display device according to the first or second aspect, a control unit that controls the head-mounted display device, and a finger of the user can be attached. A detecting unit that detects the key of the keyboard image hit by the finger based on the image data acquired by the imaging unit and the movement of the finger detected by the detecting unit. It has a key specifying means for specifying.

請求項４記載の発明は、請求項３記載の携帯装置において、前記使用者の指に装着可能なマーキング手段を備えていることを特徴とする。   According to a fourth aspect of the present invention, in the portable device according to the third aspect of the present invention, the portable device includes a marking means that can be attached to the finger of the user.

請求項５記載の発明は、請求項３又は４記載の携帯装置において、前記制御部は、前記キー特定手段で特定されたキーを他のキーから識別可能に表示する表示制御手段を有することを特徴とする。   According to a fifth aspect of the present invention, in the portable device according to the third or fourth aspect, the control unit includes display control means for displaying the key specified by the key specifying means so as to be distinguishable from other keys. Features.

この発明によれば、携帯性を維持しつつ入力操作し易くすることができる。   According to the present invention, it is possible to facilitate an input operation while maintaining portability.

以下、この発明の実施の形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図２はこの発明の一実施形態に係る携帯装置の使用方法を説明する図である。   FIG. 2 is a view for explaining how to use the portable device according to the embodiment of the present invention.

図２は使用者Ｍが携帯装置１を装着した状態を示す。コントローラ部（制御部）３０が例えばベルト（図示せず）を用いて使用者Ｍの腰に装着され、ヘッドマウントディスプレイ装置１０が使用者Ｍの頭部に装着され、操作検出用グローブ部２０がキーボード像２５上に置かれる手（図示せず）にはめられている。   FIG. 2 shows a state where the user M wears the portable device 1. The controller unit (control unit) 30 is mounted on the waist of the user M using, for example, a belt (not shown), the head mounted display device 10 is mounted on the head of the user M, and the operation detection glove unit 20 is It is put on a hand (not shown) placed on the keyboard image 25.

ヘッドマウントディスプレイ装置１０は眼鏡型であり、フレーム部４１の下部と顔面との間に覗き部Ｓを有する。フレーム部４１とテンプル部４２とは一体に形成されている。なお、下方を覗くことができる覗き部Ｓを有するものであれば眼鏡型でなくゴーグル型であってもよい。   The head mounted display device 10 is a glasses type, and has a peeping portion S between the lower portion of the frame portion 41 and the face. The frame part 41 and the temple part 42 are integrally formed. In addition, as long as it has the peeping part S which can peep down, goggles type may be sufficient instead of spectacles type.

操作検出用グローブ部２０には指先検出用のＬＥＤ（マーキング手段）２１が装着されている。   An LED (marking means) 21 for detecting a fingertip is attached to the operation detecting globe 20.

ヘッドマウントディスプレイ装置１０とコントローラ部３０とは伝送ケーブルＣＡ１で接続されている。また、コントローラ部３０及び操作検出用グローブ部２０とコントローラ部３０とは伝送ケーブルＣＡ２で接続されている。   The head mounted display device 10 and the controller unit 30 are connected by a transmission cable CA1. Further, the controller unit 30, the operation detecting globe unit 20 and the controller unit 30 are connected by a transmission cable CA2.

図１は使用者とキーボード像との関係を示す図である。   FIG. 1 is a diagram illustrating a relationship between a user and a keyboard image.

仮想キーボード投影部（キーボード像投影手段）１３によって投影されたキーボード像２５が机上（図示せず）等に投影されている。使用者Ｍは顔面とフレーム部４１との間の覗き部Ｓ介してキーボード像２５と使用者Ｍの手元とを見ながら入力操作を行う。   A keyboard image 25 projected by the virtual keyboard projection unit (keyboard image projection means) 13 is projected on a desk (not shown) or the like. The user M performs an input operation while looking at the keyboard image 25 and the hand of the user M through the peeping part S between the face and the frame part 41.

なお、図１、２においてキーボード像２５を構成する枠線（点線）２５ｂで囲まれた複数の四角形がそれぞれキー２５ａに相当する。   In FIGS. 1 and 2, a plurality of squares surrounded by a frame line (dotted line) 25b constituting the keyboard image 25 corresponds to the key 25a.

図３はこの発明の一実施形態に係る携帯装置のブロック図である。   FIG. 3 is a block diagram of a portable device according to an embodiment of the present invention.

この携帯装置はヘッドマウントディスプレイ装置１０と操作検出用グローブ部２０とコントローラ部３０とを備えている。   This portable device includes a head-mounted display device 10, an operation detection globe unit 20, and a controller unit 30.

ヘッドマウントディスプレイ装置１０はディスプレイ部（表示手段）１１と光学レンズ部１２と仮想キーボード投影部１３とビデオカメラ部（撮像手段）１４とを有する。ディスプレイ部１１、光学レンズ部１２、仮想キーボード投影部１３及びビデオカメラ部１４は眼鏡型のヘッドマウントディスプレイ装置１０のフレーム部４１（図２参照）に支持されている。   The head mounted display device 10 includes a display unit (display unit) 11, an optical lens unit 12, a virtual keyboard projection unit 13, and a video camera unit (imaging unit) 14. The display unit 11, the optical lens unit 12, the virtual keyboard projection unit 13, and the video camera unit 14 are supported by a frame unit 41 (see FIG. 2) of the eyeglass-type head-mounted display device 10.

ディスプレイ部１１は例えば液晶表示素子であり、使用者Ｍの眼Ｅの前に配置される。   The display unit 11 is a liquid crystal display element, for example, and is disposed in front of the user's eye E.

光学レンズ１２は接眼光学系を構成する。光学レンズ１２はディスプレイ部１１上に表示された画像を使用者Ｍの眼Ｅより例えば数十ｃｍの位置に拡大された虚像として認識させる。   The optical lens 12 constitutes an eyepiece optical system. The optical lens 12 causes the image displayed on the display unit 11 to be recognized as a virtual image enlarged from the eye E of the user M to a position of, for example, several tens of centimeters.

仮想キーボード投影部１３は、図示しないが、例えばキーボードが描かれたフィルムと、このフィルムの後方に設けられた光源とを有し、光源からの赤外光によってキーボード像２５を机（図示せず）上等の平らなところに投影する。仮想キーボード投影部１３はヘッドマウントディスプレイ装置１０を使用者Ｍの頭部に装着したとき、使用者Ｍの手（操作検出用グローブ部２０）が置かれる机上等にキーボード像が投影されるように斜め下方に向けられている。なお、図示しないがキーボード像２５の四隅には指標となる４つのマークが同時に投影される（マークが３つ以下では傾斜等による投影されるキーボード像のゆがみ等の状況判断が難しい）。   Although not shown, the virtual keyboard projection unit 13 includes, for example, a film on which a keyboard is drawn, and a light source provided behind the film. The keyboard image 25 is displayed on a desk (not shown) by infrared light from the light source. ) Project on a flat surface. When the head mounted display device 10 is mounted on the head of the user M, the virtual keyboard projection unit 13 projects a keyboard image on a desk or the like on which the user M's hand (operation detection glove unit 20) is placed. It is directed diagonally downward. Although not shown, four marks serving as indices are simultaneously projected on the four corners of the keyboard image 25 (when there are three or less marks, it is difficult to determine the situation such as distortion of the projected keyboard image due to inclination or the like).

また、キー配列の異なる複数のキーボード像を投影できるようにしたい場合、仮想キーボード投影部１３としての液晶表示素子をＣＰＵ（キー特定手段、表示制御手段）３１に接続し、予め記憶しておいた配列や大きさの異なるキーボード像をＣＰＵ３１からの指示に基づいて仮想キーボード投影部１３の表示を切り替えるようにすればよい。このようにすれば、机の面積がキーボード像２５の投影面積より狭い場合であっても、ＣＰＵ３１からの指示に基づいて縮小されたキーボード像を選択して机上に投影できる。   Further, when it is desired to project a plurality of keyboard images having different key arrangements, a liquid crystal display element as the virtual keyboard projection unit 13 is connected to a CPU (key specifying unit, display control unit) 31 and stored in advance. What is necessary is just to switch the display of the virtual keyboard projection part 13 based on the instruction | indication from CPU31 for the keyboard image from which arrangement | sequence and a magnitude | size differ. In this way, even if the desk area is smaller than the projected area of the keyboard image 25, the reduced keyboard image can be selected and projected on the desk based on the instruction from the CPU 31.

ビデオカメラ部１４は投影されたキーボード像２５及びキーボード操作中の使用者Ｍの手元の画像を撮影し、画像信号に応じた電圧信号をコントローラ部３０へ送信する。   The video camera unit 14 captures the projected keyboard image 25 and an image of the user M who is operating the keyboard, and transmits a voltage signal corresponding to the image signal to the controller unit 30.

操作検出用グローブ部２０はグローブ部本体ＨとＬＥＤ２１と加速度検出センサ（検出部）２２とを有する。なお、マーキング手段としては反射率の高い反射板等を指先に取り付けるようにしてもよい。   The operation detection globe unit 20 includes a globe unit body H, an LED 21, and an acceleration detection sensor (detection unit) 22. In addition, as a marking means, you may make it attach a reflector etc. with a high reflectance to a fingertip.

ＬＥＤ２１はヘッドマウントディスプレイ装置１０を装着した状態で観察可能な位置、例えばグローブ部本体Ｈのそれぞれの指の指先から第１関節の間にそれぞれ装着される。   The LED 21 is mounted at a position where it can be observed with the head-mounted display device 10 mounted, for example, between the fingertips of the fingers of the glove body H and the first joint.

加速度検出センサ２２は指先の加速度を検知し易いようにグローブ部本体Ｈの指先に近い部分に装着される。加速度検出センサ２２は指先の加速度を検出し、加速度に応じた電圧信号をコントローラ部３０へ出力する。   The acceleration detection sensor 22 is attached to a portion of the glove body H close to the fingertip so that the acceleration of the fingertip can be easily detected. The acceleration detection sensor 22 detects the acceleration of the fingertip and outputs a voltage signal corresponding to the acceleration to the controller unit 30.

コントローラ部３０は画像入力部３２と画像出力部３３と加速度検出部３４とＣＰＵ３１とを有する。   The controller unit 30 includes an image input unit 32, an image output unit 33, an acceleration detection unit 34, and a CPU 31.

ＣＰＵ３１はインタフェースである画像入力部３２を介してビデオカメラ１４に接続されている。画像入力部３２は電圧信号をデジタル信号に変換し、画像信号としてＣＰＵ３１に供給する。   The CPU 31 is connected to the video camera 14 via an image input unit 32 that is an interface. The image input unit 32 converts the voltage signal into a digital signal and supplies it to the CPU 31 as an image signal.

ＣＰＵ３１はインタフェースである画像出力部３３を介してディスプレイ部１１に接続されている。画像出力部３３はＣＰＵ３１で生成された画像信号をアナログ信号に変換し、ディスプレイ部１１に供給する。   The CPU 31 is connected to the display unit 11 via an image output unit 33 that is an interface. The image output unit 33 converts the image signal generated by the CPU 31 into an analog signal and supplies the analog signal to the display unit 11.

ＣＰＵ３１はインタフェースである加速度検出部３４を介して加速度検出センサ２２に接続されている。加速度検出部３４は電圧信号をデジタル変換し、加速度信号としてＣＰＵ３１に供給する。   The CPU 31 is connected to the acceleration detection sensor 22 via an acceleration detection unit 34 that is an interface. The acceleration detection unit 34 digitally converts the voltage signal and supplies it to the CPU 31 as an acceleration signal.

ＣＰＵ３１は画像入力部３２に入力した画像信号と加速度検出部３４に入力した加速度信号とに基づいて打鍵されたキー２５ａを判定し、画像を生成する。このとき、ＣＰＵ３１はキー特定手段として機能する。また、ＣＰＵ３１はヘッドマウントディスプレイ装置１０全体の動作を制御する。   The CPU 31 determines the key 25a that has been pressed based on the image signal input to the image input unit 32 and the acceleration signal input to the acceleration detection unit 34, and generates an image. At this time, the CPU 31 functions as key specifying means. The CPU 31 controls the operation of the entire head mounted display device 10.

使用者Ｍによって打鍵されたキー２５ａ（図２参照）を検知する方法を説明する。   A method for detecting the key 25a (see FIG. 2) pressed by the user M will be described.

キーボード像の位置検出：
キーボード像２５とともに投影される４つのマークの画像をビデオカメラ部１４で撮影してキーボード像２５の位置を検出する。また、キーボード像２５上の各キーの位置をマークからの距離等から検出する。なお、ヘッドマウントディスプレイ装置１０が装着されるのは使用者Ｍの頭部であり、ヘッドマウントディスプレイ装置１０とキーボード像２５との相対位置は固定されているわけではないので、移動するマークの位置を常時監視してマークの位置をヘッドマウントディスプレイ装置１０の動きに応じて検出する必要がる。 Keyboard image position detection:
Images of four marks projected together with the keyboard image 25 are taken by the video camera unit 14 to detect the position of the keyboard image 25. Further, the position of each key on the keyboard image 25 is detected from the distance from the mark or the like. The head mounted display device 10 is mounted on the head of the user M, and the relative position between the head mounted display device 10 and the keyboard image 25 is not fixed, so the position of the moving mark Therefore, it is necessary to detect the position of the mark according to the movement of the head mounted display device 10.

指位置検出：
操作検出用グローブ部２０の指先に装着されたＬＥＤ２１をビデオカメラ部１４で撮影して指の位置を検出する。そして、検出されたキーボード像２５の位置と指の位置とに基づいてどの指がキーボード像２５のどのキー２５ａ上にあるかを検出する。 Finger position detection:
The video camera unit 14 shoots the LED 21 attached to the fingertip of the operation detection glove unit 20 to detect the position of the finger. Then, based on the detected position of the keyboard image 25 and the position of the finger, which finger is on which key 25a of the keyboard image 25 is detected.

打鍵検出：
操作検出用グローブ部２０の指先に装着された加速度検出センサ２２で検出された加速度信号に基づいて打鍵されたキー２５ａを検出する。 Keystroke detection:
The key 25a that has been pressed is detected based on the acceleration signal detected by the acceleration detection sensor 22 attached to the fingertip of the operation detection glove unit 20.

この実施形態によれば、使用者Ｍはヘッドマウントディスプレイ装置１０のフレーム部４１の覗き部Ｓから、ノートパソコン等のキーボードと同等の大きさのキーボード像２５と使用者Ｍの手元とを見ることができるため、携帯性を維持しつつ入力操作し易くすることができる。   According to this embodiment, the user M sees the keyboard image 25 having a size equivalent to a keyboard of a notebook computer or the like and the hand of the user M from the peeping part S of the frame part 41 of the head mounted display device 10. Therefore, it is possible to facilitate input operation while maintaining portability.

なお、上記実施形態では仮想キーボード投影部１３から使用者Ｍの手元にキーボード像２５を投影する光路と操作検出用グローブ部２０の指先に装着された指先検出用のＬＥＤ２１をビデオカメラ１４で取得する光路とを別の光学系としたが、例えば操作検出用グローブ部２０とビデオカメラ１４との間の光路にハーフミラー（図示せず）を配置し、ハーフミラーによって分岐された光路上に仮想キーボード投影部１３を配置するようにしてもよい。この構成によって操作検出用グローブ部２０とハーフミラーとの間の光路が共通の光路となるため、操作検出用グローブ部２０へのキーボード像２５の投影と操作検出用グローブ部２０の指先に装着されたＬＥＤ２１の撮影とを同じ角度で行うことができる。   In the above embodiment, the video keyboard 14 obtains the optical path for projecting the keyboard image 25 on the hand of the user M from the virtual keyboard projection unit 13 and the fingertip detection LED 21 attached to the fingertip of the operation detection glove unit 20. Although the optical path is a separate optical system, for example, a half mirror (not shown) is arranged in the optical path between the operation detection globe unit 20 and the video camera 14, and a virtual keyboard is placed on the optical path branched by the half mirror. The projection unit 13 may be arranged. With this configuration, since the optical path between the operation detection globe unit 20 and the half mirror is a common optical path, the keyboard image 25 is projected onto the operation detection globe unit 20 and attached to the fingertip of the operation detection globe unit 20. The LED 21 can be photographed at the same angle.

また、ビデオカメラ１４で撮影したキーボード像２５と手元の像とをディスプレイ部１１上の一部に表示させるようにしてもよい。   Further, the keyboard image 25 photographed by the video camera 14 and the image at hand may be displayed on a part of the display unit 11.

更に、ＣＰＵ３１の表示制御手段としての機能によって、指位置を検出する際、指が掛かっていると認識される箇所の枠線２５ｂ（図１では点線）の太さを変更したり、枠線２５ｂや枠内に色（例えばオレンジ色）を付けたり、指が押していると認識されたキーの枠線２５ｂの太さや枠内の色（例えば赤色）を変更したりしてもよい。   Further, when the finger position is detected by the function of the display control unit of the CPU 31, the thickness of the frame line 25b (dotted line in FIG. 1) where the finger is recognized to be changed is changed, or the frame line 25b. Alternatively, a color (for example, orange) may be added to the frame, or the thickness of the frame line 25b of the key recognized as being pressed by the finger or the color (for example, red) within the frame may be changed.

また、使用者Ｍの指の動きでマウスのような操作を行なえるようにしてもよい。例えば、操作検出用グローブ部２０の指先を上下左右に動かしたときディスプレイ部１１の表示がスクロールし、指先を右方向へ回転させたとき表示が拡大し、指先を左方向へ回転させたとき表示が縮小する等である。   Further, an operation like a mouse may be performed by the movement of the user's M finger. For example, the display on the display unit 11 scrolls when the fingertip of the operation detection glove unit 20 is moved up, down, left and right, the display is enlarged when the fingertip is rotated rightward, and is displayed when the fingertip is rotated leftward. Is reduced.

更に、加速度検出センサ２２が装着された操作検出用グローブ部２０の指先で机を押したときの衝撃時の加速度を検出する代わりに動きの大きい指によって押されたキー２５ａを打鍵されたキーとして検出するようにしてもよい。これにより、指先で机を押すことなく空中で指を動かすだけでキー入力を行うことができる。なお、指の上下方向の振幅は使用者Ｍによって異なるため、予め（初回使用時）使用者Ｍの指の動きをデータとして取得しておけばよい。   Further, instead of detecting the acceleration at the time of impact when the desk is pushed with the fingertip of the operation detection glove unit 20 to which the acceleration detection sensor 22 is attached, the key 25a pressed by the finger with a large movement is used as the key pressed. You may make it detect. Thereby, key input can be performed only by moving a finger in the air without pushing a desk with a fingertip. Since the amplitude of the finger in the vertical direction varies depending on the user M, the movement of the finger of the user M may be acquired as data in advance (during the first use).

また、指先の認識方法は上記実施形態の方法に限られるものではなく、例えばステレオカメラを利用して指の水平方向、垂直方向の動きを検出することによって押されたキーを特定するようにしてもよい。このようにすれば、加速度検出センサを不要にできるので、操作検出用グローブ部２０を用いる代わりに両手の１０本の指にそれぞれＬＥＤを装着した指輪を用いることもできる。   In addition, the fingertip recognition method is not limited to the method of the above-described embodiment. For example, the pressed key is specified by detecting the horizontal and vertical movements of the finger using a stereo camera. Also good. In this way, an acceleration detection sensor can be dispensed with, and instead of using the operation detection glove part 20, it is also possible to use a ring in which LEDs are respectively attached to ten fingers of both hands.

更に、ヘッドマウントディスプレイ装置１０の装着を検知する反射型のセンサ（図示せず）を例えば使用者Ｍの鼻に対向する位置にあるフレーム部のブリッジ部（図示せず）に設け、このセンサによってヘッドマウントディスプレイ装置１０が使用者Ｍに装着されているか否か検知し、ヘッドマウントディスプレイ装置１０が装着されていないことが検知されたとき、キーボード投影部１３によるキーボード像２５の投影を中止するようにしてもよい。これによって、携帯装置１の省電力を図ることができる。   Further, a reflective sensor (not shown) for detecting the mounting of the head mounted display device 10 is provided, for example, in a bridge portion (not shown) of the frame portion at a position facing the nose of the user M. It is detected whether or not the head mounted display device 10 is attached to the user M, and when it is detected that the head mounted display device 10 is not attached, the keyboard projection unit 13 stops projecting the keyboard image 25. It may be. Thereby, power saving of the portable device 1 can be achieved.

図１は使用者とキーボード像との関係を示す図である。FIG. 1 is a diagram illustrating a relationship between a user and a keyboard image. 図２はこの発明の一実施形態に係る携帯装置の使用方法を説明する図である。FIG. 2 is a view for explaining how to use the portable device according to the embodiment of the present invention. 図３はこの発明の一実施形態に係る携帯装置のブロック図である。FIG. 3 is a block diagram of a portable device according to an embodiment of the present invention.

符号の説明Explanation of symbols

１０：ヘッドマウントディスプレイ装置、１１：ディスプレイ部（表示手段）、１３：仮想キーボード投影部（キーボード像投影手段）、１４：ビデオカメラ部（撮像手段）、２１：ＬＥＤ（マーキング手段）、２２：加速度検出センサ（検出部）、２５：キーボード像、２５ａ：キー、３０：コントローラ部（制御部）、３１：ＣＰＵ（キー特定手段、表示制御手段）、Ｍ：使用者、Ｓ：覗き部。   10: head mounted display device, 11: display unit (display unit), 13: virtual keyboard projection unit (keyboard image projection unit), 14: video camera unit (imaging unit), 21: LED (marking unit), 22: acceleration Detection sensor (detection unit), 25: keyboard image, 25a: key, 30: controller unit (control unit), 31: CPU (key specifying unit, display control unit), M: user, S: peeping unit.

Claims (5)

使用者の頭部に装着可能であり、表示手段を有するヘッドマウントディスプレイ装置において、
キーボード像を所定位置に投影するキーボード像投影手段と、
前記キーボード像と前記使用者の手元とを撮像する撮像手段と
を備えていることを特徴とするヘッドマウントディスプレイ装置。 In a head-mounted display device that can be mounted on a user's head and has a display means,
Keyboard image projection means for projecting a keyboard image to a predetermined position;
An image pickup means for picking up an image of the keyboard image and the hand of the user. 前記キーボード像投影手段で投影された前記キーボード像と前記使用者の手元とを覗くための覗き部を備えていることを特徴とする請求項１記載のヘッドマウントディスプレイ装置。   The head-mounted display device according to claim 1, further comprising a peeping unit for peeping through the keyboard image projected by the keyboard image projecting unit and the user's hand. 前記請求項１又は２記載のヘッドマウントディスプレイ装置と、
前記ヘッドマウントディスプレイ装置を制御する制御部と、
前記使用者の指に装着可能であり、その指の動きを検出する検出部とを備え、
前記制御部は、前記撮像手段で取得された画像データと前記検出部で検出された前記指の動きとに基づいて前記指で打たれた前記キーボード像のキーを特定するキー特定手段を有する
ことを特徴とする携帯装置。 The head-mounted display device according to claim 1 or 2,
A control unit for controlling the head-mounted display device;
A detection unit that can be attached to the user's finger and detects movement of the finger;
The control unit includes a key specifying unit that specifies a key of the keyboard image hit by the finger based on the image data acquired by the imaging unit and the movement of the finger detected by the detection unit. A portable device characterized by. 前記使用者の指に装着可能なマーキング手段を備えていることを特徴とする請求項３記載の携帯装置。   The portable device according to claim 3, further comprising marking means that can be attached to the user's finger. 前記制御部は、前記キー特定手段で特定されたキーを他のキーから識別可能に表示する表示制御手段を有することを特徴とする請求項３又は４記載の携帯装置。   5. The portable device according to claim 3, wherein the control unit includes display control means for displaying the key specified by the key specifying means so as to be distinguishable from other keys.
JP2007275972A 2007-10-24 2007-10-24 Head mount display device and portable device Withdrawn JP2009104429A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007275972A JP2009104429A (en) 2007-10-24 2007-10-24 Head mount display device and portable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007275972A JP2009104429A (en) 2007-10-24 2007-10-24 Head mount display device and portable device

Publications (1)

Publication Number Publication Date
JP2009104429A true JP2009104429A (en) 2009-05-14

Family

ID=40706031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007275972A Withdrawn JP2009104429A (en) 2007-10-24 2007-10-24 Head mount display device and portable device

Country Status (1)

Country Link
JP (1) JP2009104429A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102062946A (en) * 2010-11-05 2011-05-18 鸿富锦精密工业（深圳）有限公司 Spectacles-type display device with communication function
JP2013008313A (en) * 2011-06-27 2013-01-10 Denso Corp Electric apparatus
JP2014518596A (en) * 2011-03-29 2014-07-31 クアルコム，インコーポレイテッド Modular mobile connected pico projector for local multi-user collaboration
JP2014157515A (en) * 2013-02-15 2014-08-28 Konica Minolta Inc Touch determination device, touch determination method, and touch determination program
JP2015210781A (en) * 2014-04-30 2015-11-24 株式会社三菱東京Ｕｆｊ銀行 Information input system and information input method
JP2016062274A (en) * 2014-09-17 2016-04-25 株式会社東芝 Recognition device, recognition method, and recognition program
CN106647303A (en) * 2016-12-23 2017-05-10 重庆墨希科技有限公司 Intelligent household control method, system and intelligent band
WO2017138545A1 (en) * 2016-02-08 2017-08-17 日本電気株式会社 Information processing system, information processing device, control method, and program
JP2018500674A (en) * 2014-12-31 2018-01-11 株式会社ソニー・インタラクティブエンタテインメント Signal generation system and detector system and method for determining the position of a user's finger

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102062946A (en) * 2010-11-05 2011-05-18 鸿富锦精密工业（深圳）有限公司 Spectacles-type display device with communication function
US9384594B2 (en) 2011-03-29 2016-07-05 Qualcomm Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US9047698B2 (en) 2011-03-29 2015-06-02 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9142062B2 (en) 2011-03-29 2015-09-22 Qualcomm Incorporated Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
JP2014518596A (en) * 2011-03-29 2014-07-31 クアルコム，インコーポレイテッド Modular mobile connected pico projector for local multi-user collaboration
JP2013008313A (en) * 2011-06-27 2013-01-10 Denso Corp Electric apparatus
JP2014157515A (en) * 2013-02-15 2014-08-28 Konica Minolta Inc Touch determination device, touch determination method, and touch determination program
JP2015210781A (en) * 2014-04-30 2015-11-24 株式会社三菱東京Ｕｆｊ銀行 Information input system and information input method
US9916015B2 (en) 2014-09-17 2018-03-13 Kabushiki Kaisha Toshiba Recognition device, recognition method, and non-transitory recording medium
JP2016062274A (en) * 2014-09-17 2016-04-25 株式会社東芝 Recognition device, recognition method, and recognition program
JP2018500674A (en) * 2014-12-31 2018-01-11 株式会社ソニー・インタラクティブエンタテインメント Signal generation system and detector system and method for determining the position of a user's finger
WO2017138545A1 (en) * 2016-02-08 2017-08-17 日本電気株式会社 Information processing system, information processing device, control method, and program
JPWO2017138545A1 (en) * 2016-02-08 2018-07-26 日本電気株式会社 Information processing system, information processing apparatus, control method, and program
US10296101B2 (en) 2016-02-08 2019-05-21 Nec Corporation Information processing system, information processing apparatus, control method, and program
CN106647303A (en) * 2016-12-23 2017-05-10 重庆墨希科技有限公司 Intelligent household control method, system and intelligent band
CN106647303B (en) * 2016-12-23 2019-10-01 重庆墨希科技有限公司 A kind of intelligent home furnishing control method, system and a kind of Intelligent bracelet

Similar Documents

Publication Publication Date Title
US9921646B2 (en) Head-mounted display device and method of controlling head-mounted display device
JP2009104429A (en) Head mount display device and portable device
JP6786792B2 (en) Information processing device, display device, information processing method, and program
US10191281B2 (en) Head-mounted display for visually recognizing input
US20170287222A1 (en) Head mounted display, method for controlling head mounted display, and computer program
JP6149403B2 (en) Display device and control method of display device
JP6264871B2 (en) Information processing apparatus and information processing apparatus control method
US9298255B2 (en) Transmissive display apparatus and operation input method
JP6111659B2 (en) Display device and control method of display device
US9678663B2 (en) Display system and operation input method
JP6094305B2 (en) Head-mounted display device and method for controlling head-mounted display device
KR101709611B1 (en) Smart glasses with displayer/camera and space touch input/ correction thereof
JP6405991B2 (en) Electronic device, display device, and control method of electronic device
JP2018124651A (en) Display system
JP6776578B2 (en) Input device, input method, computer program
JP6303274B2 (en) Head-mounted display device and method for controlling head-mounted display device
JP7247519B2 (en) DISPLAY DEVICE AND CONTROL METHOD OF DISPLAY DEVICE
JP2021056371A (en) Display system, display method, and display program
JP6740613B2 (en) Display device, display device control method, and program
US20170285765A1 (en) Input apparatus, input method, and computer program
JP6304415B2 (en) Head-mounted display device and method for controlling head-mounted display device
JP6790769B2 (en) Head-mounted display device, program, and control method of head-mounted display device
JP6669183B2 (en) Head mounted display and control method of head mounted display
JP2009104428A (en) Head mount display device and portable device
JP6350705B2 (en) Display device and control method of display device

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110104