JP2009251154A - Head mounted type video display - Google Patents

Head mounted type video display Download PDF

Info

Publication number
JP2009251154A
JP2009251154A JP2008096968A JP2008096968A JP2009251154A JP 2009251154 A JP2009251154 A JP 2009251154A JP 2008096968 A JP2008096968 A JP 2008096968A JP 2008096968 A JP2008096968 A JP 2008096968A JP 2009251154 A JP2009251154 A JP 2009251154A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
display
image
unit
image data
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008096968A
Other languages
Japanese (ja)
Other versions
JP5250834B2 (en )
Inventor
Satoshi Himeda
Kentaro Iida
Shigeaki Imai
Masanori Yamashita
Ken Yoshii
重晃 今井
謙 吉井
諭 姫田
雅宣 山下
健太郎 飯田
Original Assignee
Konica Minolta Holdings Inc
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a hand-free head part mounted type image display of excellent operability. <P>SOLUTION: This head part mounted type video display is provided with a display unit for displaying an image based on an image data, and an electronic camera for generating the image data by photographing the outside, the head part mounted type image display has a display control part for outputting a menu image data for selecting an operation executed in the head part mounted type image display, to the display unit, and for controlling the driving of the display unit, and an image analytical part for analyzing the image data generated by the electronic camera, and the display control part determines the propriety of outputting the menu image data to the display unit, based on an analytical result from the image analytical part. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、頭部装着式映像表示装置に関し、特にGUI表示機能を備えた頭部装着式映像表示装置に関する。 The present invention relates to a head-mounted image display apparatus, more particularly to head-mounted image display device having a GUI display function.

従来、観察者の頭部や顔面に着脱自在に装着され、小型のCRTや液晶表示素子等の映像表示素子から得られる映像(以下、画像とも称する。)を、接眼光学系によって観察者の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかのような虚像の観察を可能にした頭部装着式映像表示装置、すなわちHMD(Head Mount Display)が知られている。 Conventionally, detachably mounted on the observer's head and face, the image obtained from the image display element such as a small CRT or a liquid crystal display device (hereinafter, also the image referred to.) The observer eyeball by an eyepiece optical system by be projected directly, as if the head the video is to enable one of such virtual image observation is enlarged and projected aerial mounted image display apparatus, i.e. HMD (head Mount display) is known.

HMDは、DVDやビデオ等のコンテンツ映像の観賞用や、産業機器若しくは医療機器等の遠隔操作用としての表示装置として利用され、その用途は多岐に渡っている。 HMD is ornamental and for the content image, such as a DVD or video, being used as a display device for the remote control of such industrial equipment or medical equipment, its use is diverse.

遠隔操作用としては、通常、作業者の作業に必要な各種情報をHMDの表示ユニットを通して入射する外界光による自然画像(以下、シースルー画像とも称する。)に重ね合わせて表示する所謂シースルー型のHMDが用いられている。 The for remote operation, usually, a natural image by external light incident various information necessary for the operator working through the display unit of the HMD so-called see-through type to be displayed superimposed on (hereinafter. Referred to as see-through image) HMD It has been used.

例えば、作業者が電子カメラを備えたシースルー型のHMDを装着し、作業対象物のシースルー画像を観察しながら作業を行い、指示者が電子カメラで撮影された作業対象物の画像を、遠隔地に設けられた例えばホストコンピュータ等のモニタで観察しながら、作業者に音声や映像による作業マニュアル等の適切な情報を提供し作業指示を行う、といった遠隔作業支援システムが知られている。 For example, the operator wearing the HMD of see-through having an electronic camera performs work while observing the see-through image of the work object, the image of the work object instructor is photographed by an electronic camera, remote while observing a monitor, such as provided with such as a host computer, to provide appropriate information of the work manuals voice and video to workers performing work orders, remote work support systems are known, such as. (例えば、特許文献1参照)。 (E.g., see Patent Document 1).

ところで、このような構成のHMDにおいて、作業者は、表示ユニットに表示された例えば作業マニュアルを閲覧する場合、ページ送りや拡大表示といった操作を必要とする場合がある。 Incidentally, in HMD having such a configuration, the operator, when viewing the display has been example operations manual display unit may require operations such paging and enlarged. そして、通常、このような操作は、表示ユニットに操作に必要な操作画面、すなわちGUI(Graphical User Interface)を表示し、該GUI上で所望の操作の選択や実行を行う為のカーソルの移動等を、外部に設けられた操作スイッチ等を手動で操作することにより行われていた。 Then, usually, such an operation is required an operation screen on the operation display unit, i.e. GUI (Graphical User Interface) is displayed, and movement or the like of a cursor for selecting and executing a desired operation on the GUI the was done by operating manually provided the operation switch or the like to the outside. また、このようなGUI表示は、シースルー画像の視認性を低下させることから、必要に応じて、前述の操作スイッチ等により表示させるか否かを選択することも行われていた。 Moreover, such a GUI display, since reducing the visibility of the see-through image, if necessary, was also made possible to select whether to display the above-described operation switches.

しかしながら、視線を作業対象物から逸らすことができず、また手を作業対象物から離すことができないような状況においては、このような操作スイッチを操作することは困難であるという問題があった。 However, it is impossible to look away from the workpiece, and in situations where it is impossible to release the hand from the work object, there is a problem that it is difficult to manipulate such operating switches.

そこで、このような問題に対応する為、GUIの操作をハンズフリーで行うことが可能なHMDが種々検討されている。 Therefore, such in order to address the problem, which can operate the GUI handsfree HMD have been studied.

例えば、作業者の視線を検知する機能を備え、表示ユニットに表示されたGUI上の所望のアイコンに向けられた視線を検知することにより操作の選択や実行を行う。 For example, a function of detecting the line of sight of the operator, performs the selection and execution of the operation by detecting the line of sight directed to the desired icon on the GUI displayed on the display unit. また、作業者の頭部の動きを検知する機能を備え、頭部が所定の方向に振られたか否かを検出し、検出結果に応じてGUIを表示または非表示とする。 Further, a function of detecting a movement of the operator's head, the head detects whether or not swung in a predetermined direction, and display or hide the GUI in accordance with the detection result. これらにより、ハンズフリー、且つ作業者の意思に従って誤動作を発生し難くしたHMDが知られている(例えば、特許文献2参照)。 These result, hands-free, and is HMD was difficult to generate a malfunction in accordance with the operator's intention are known (e.g., see Patent Document 2).
特開2002−132487号公報 JP 2002-132487 JP 特開2004−233909号公報 JP 2004-233909 JP

しかしながら、GUIの表示切換え(表示/非表示)に関し、特許文献2に記載のHMDにおいては、GUIを表示させる場合は、頭部を所定の方向に振るといった煩わしい動作を行う必要があり、作業の効率を低下させるという問題がある。 However, for display switching of GUI (display / non-display), in the HMD disclosed in Patent Document 2, the case of displaying the GUI, it is necessary to perform the troublesome operation such as swinging the head in a predetermined direction, the work there is a problem of lower efficiency.

本発明は、上記課題を鑑みてなされたもので、ハンズフリー、且つ操作性の優れた頭部装着式映像表示装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a hands-free, and operability of the superior head-mounted image display apparatus.

上記目的は、下記の1乃至4の何れか1項に記載の発明によって達成される。 The above object is achieved by the invention described in any one of 1 to 4 below.

1. 1. 画像データに基づき画像を表示する表示ユニットと、 A display unit for displaying an image based on image data,
外界を撮影し画像データを生成する電子カメラと、を備えた頭部装着式映像表示装置であって、 An electronic camera for generating image data by photographing the outside world, a head-mounted image display device provided with,
前記表示ユニットに、前記頭部装着式映像表示装置に行わせる動作を選択するメニュー画像データを出力し、前記表示ユニットの駆動を制御する表示制御部と、 On the display unit, a display control unit which outputs the menu image data for selecting the operation to be performed on the head-mounted image display apparatus, and controls the driving of said display unit,
前記電子カメラで生成された画像データを解析する画像解析部と、を有し、 Anda image analysis unit for analyzing the image data generated by the electronic camera,
前記表示制御部は、前記画像解析部の解析結果に基づき、前記表示ユニットに前記メニュー画像データを出力するか否かを判別することを特徴とする頭部装着式映像表示装置。 The display controller, based on said analysis result of the image analysis unit, wherein the display head-mounted image display device comprising said that for determining whether to output the menu image data to the unit.

2. 2. 前記画像解析部は、前記電子カメラで撮影され生成された画像データの複数のフレーム間の変動量を算出し、 Wherein the image analyzing unit calculates a variation amount between a plurality of frames of image data generated is captured by the electronic camera,
前記表示制御部は、前記画像解析部で算出された前記変動量と予め設定しておいた該変動量に関する基準値とを比較し、 Wherein the display control unit compares the reference value for the change amount set in advance and the variation amount calculated by the image analysis unit,
比較した結果、前記変動量が前記基準値を下回る場合は、前記メニュー画像データを前記表示ユニットに出力し、前記変動量が前記基準値を上回る場合は、前記メニュー画像データを前記表示ユニットに出力しないことを特徴とする前記1に記載の頭部装着式映像表示装置。 As a result of the comparison, when the amount of the variation is below the reference value, the outputs menu image data on the display unit, when the amount of the fluctuation exceeds the reference value, outputs the menu image data to said display unit head-mounted image display apparatus according to 1, characterized in that not.

3. 3. 手に装着される指標と、 And indicators to be attached to the hand,
前記電子カメラで撮影され生成された画像データに基づき、前記指標を検出する指標検出部と、を有し前記画像解析部は、前記指標検出部で検出された前記指標の位置の複数のフレーム間の変動量を算出し、 The captured by the electronic camera based on the generated image data, the image analysis unit has a index detection unit for detecting the indicator, between a plurality of frames of the position of the index detected by the index detecting section to calculate the amount of fluctuation,
前記表示制御部は、前記画像解析部で算出された前記変動量と予め設定しておいた該変動量に関する基準値とを比較し、 Wherein the display control unit compares the reference value for the change amount set in advance and the variation amount calculated by the image analysis unit,
比較した結果、前記変動量が前記基準値を下回る場合は、前記メニュー画像データを前記表示ユニットに出力し、前記変動量が前記基準値を上回る場合は、前記メニュー画像データを前記表示ユニットに出力しないことを特徴とする前記1または2に記載の頭部装着式映像表示装置。 As a result of the comparison, when the amount of the variation is below the reference value, the outputs menu image data on the display unit, when the amount of the fluctuation exceeds the reference value, outputs the menu image data to said display unit head-mounted image display apparatus according to 1 or 2, characterized in that not.

4. 4. 前記表示ユニットは、装着者が外界をシースルー可能であることを特徴とする前記1乃至3の何れか1項に記載の頭部装着式映像表示装置。 Wherein the display unit is a head-mounted image display apparatus according to any one of 1 to 3, wherein the wearer can be see-through to the outside world.

本発明によれば、表示制御部は、電子カメラで撮影され生成された外界の画像データを解析する画像解析部の解析結果に基づき、表示ユニットにメニュー画像(以下、GUIとも称する。)データを出力するか否かを判別する構成とした。 According to the present invention, the display control unit, based on the analysis result of the image analysis unit for analyzing the image data of the external world that is generated is captured by the electronic camera, the menu image (hereinafter, also referred to as a GUI.) To the display unit data and configured to determine whether to output. これにより、電子カメラで撮影され生成された画像データより、現在作業者が視線を作業対象物から逸らすことができず、また手を作業対象物から離すことができないような状況であるか否かを判別し、このような状況であると判別した場合、GUIを表示ユニットに表示し、そうでない場合は、非表示とすることができる。 Thus, from the image data generated is captured by the electronic camera, whether the current operator can not look away from the workpiece, also a situation where it is impossible to release the hand from the work object determine if it is determined that such a situation, and displays the GUI on the display unit, otherwise, it can be hidden. すなわち、作業の態様に応じて、必要なときのみGUIが表示されることになる。 That is, in accordance with aspects of the work, so that the GUI is displayed only when necessary. その結果、GUIの表示切換え(表示/非表示)に関し、従来のような煩わしい動作を必要とせず、ハンズフリー、操作性を高めることができる。 As a result, relates to a display switching of GUI (display / non-display), without the need for conventional such troublesome operations, it is possible to improve hands-free, the operability.

以下図面に基づいて、本発明に係る頭部装着式映像表示装置(以下、HMDとも称する。)の実施の形態を説明する。 Below with reference to the drawings, a head-mounted image display apparatus according to the present invention (hereinafter, also referred to as HMD.) Describing the embodiment. 尚、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。 Incidentally, it is described with reference to the illustrated embodiments of the present invention, but the present invention is not limited to this embodiment.

最初に、HMDの外観を図1を用いて説明する。 First, it will be described with reference to FIG. 1 the appearance of HMD. 図1は、本発明の一実施形態に係るHMD1の外観を示す斜視図である。 Figure 1 is a perspective view showing a HMD1 appearance according to an embodiment of the present invention.

HMD1は、図1に示すように、テンプル21R、21L、ブリッジ22、鼻当て23R、23L、透明基板24R、24L、表示ユニット25(LCD表示部26、接眼光学系27)、カメラユニット28、イヤホン29R、29L、マイク30、及び制御ユニット31等を有している。 HMD1, as shown in FIG. 1, the temple 21R, 21L, the bridge 22, nose pads 23R, 23L, the transparent substrate 24R, 24L, the display unit 25 (LCD display unit 26, an eyepiece optical system 27), the camera unit 28, the earphone 29R, 29L, and a microphone 30, and the control unit 31 or the like.

このような構成のHMD1は、作業者がHMD1を頭部に装着し、表示ユニット25を通して作業対象物のシースルー画像を観察しながら作業を行い、指示者がカメラユニット28で撮影された作業対象物の画像を、遠隔地に設けられた例えばホストコンピュータ等のモニタで観察しながら、作業者に無線LAN等を介して音声や画像による適切な情報を提供し作業指示を行うものである。 HMD1 having such a configuration, the operator HMD1 mounted on the head, perform work while observing the see-through image of the work object through the display unit 25, the work object instructor is taken by the camera unit 28 the image, while observing a monitor, such as provided with such as a host computer to a remote location, and performs the provided work orders the appropriate information by voice and images via a wireless LAN or the like to the operator.

テンプル21R、21Lは、可撓性を有する弾性材等により構成された長尺状の部材であり、装着者の耳や側頭部に掛止され、HMD1の装着者に対する頭部への保持及び装着位置の調整を行う為のものである。 Temple 21R, 21L is an elongated member made of an elastic material such as a flexible, hooked on the ear and side of the head of the wearer, the holding and to the head against the wearer's HMD1 it is for adjusting the mounting position. 尚、テンプル21R、21Lは、回動部21Ra、21Laにおいて矢印P、Q方向に回動可能に構成されており、HMD1を使用しない場合には、テンプル21R、21Lを矢印P、Q方向に回動させて透明基板24R、24Lに沿わせることにより、コンパクト化することができる。 Incidentally, the temple 21R, 21L, the rotary portion 21Ra, arrow P, is configured to be rotatable in the direction Q at 21La, in the case of not using the HMD1 are times temple 21R, a 21L arrow P, the direction Q dynamic is not a transparent substrate 24R, whereby along the 24L, can be made compact.

ブリッジ22は、HMD1の装着者に対する顔面への保持を行う鼻当て23R、23Lを備え、透明基板24R、24Lの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板24Rと透明基板24Lとを一定の間隙を介した相対位置関係に保持するものである。 Bridge 22, nose pads 23R to perform holding of the face with respect to the wearer of the HMD 1, comprising a 23L, transparent substrate 24R, a short rod-like member spanned predetermined positions facing each other of 24L, and the transparent substrate 24R it is to hold the transparent substrate 24L on the relative positional relationship via the constant gap.

透明基板24R、24Lは、一方の眼球に対応した位置にU字型のスペース24Rsを形成する略平板状の透明体である。 Transparent substrate 24R, 24L is substantially flat transparent body forming a space 24Rs U-shaped in a position corresponding to one eye. また、透明基板24Rに囲まれて形成されるU字型のスペース24Rsには、接眼光学系27が嵌め込まれている。 In addition, the space 24Rs of U-shaped formed by being surrounded by the transparent substrate 24R, the eyepiece optical system 27 is fitted.

表示ユニット25は、LCD表示部26、及び接眼光学系27等を有し、制御ユニット31に設けられた後述の通信部36を介して遠隔地に設けられた例えば図示しないホストコンピュータから提供された画像や制御ユニット31に設けられた図示しないメモリーカードに保存されている画像、また、後述の制御ユニット31の制御によりGUI等を表示する。 Display unit 25 includes a LCD display unit 26, and an eyepiece optical system 27, etc., provided from the host computer not example shown, provided at a remote place through the communication unit 36 ​​to be described later provided in the control unit 31 image stored on the memory card (not shown) provided in the image and the control unit 31, also displays a GUI or the like by the control of the control unit 31 will be described later. また、表示ユニット25は、接眼光学系27を通して外界(前方の被写体)をシースルー可能に構成されている。 The display unit 25 is configured to outside (front of the subject) to be see-through through the eyepiece optical system 27. 尚、表示ユニット25の詳細は後述する。 The details of the display unit 25 will be described later.

カメラユニット28は、本発明における電子カメラに該当し、図示しない後述のズームレンズ281、CCD(Charge Coupled Device)282、及び画像処理部283等を有する。 The camera unit 28 corresponds to the electronic camera of the present invention, having the zoom lens 281 to be described later (not shown), CCD (Charge Coupled Device) 282, and an image processing section 283 or the like. カメラユニット28は、装着者の周囲の外界(前方の被写体)を撮影するものであり、ズームレンズ281によって結像された被写体光学像を、CCD282によって光電変換して画像信号(以下、画像データとも称する。)を生成し、画像処理部283等により画像信号に所定の画像処理を施す。 The camera unit 28 is for capturing the external world around the wearer (anterior of the object), a is the subject optical image formed by the zoom lens 281, the image signal (hereinafter photoelectrically converted by the CCD282, image data for both referred.) generates, it performs predetermined image processing on the image signal by the image processing section 283 or the like.

イヤホン29R、29Lは、装着者の耳に挿入され、装着者に音声を提供する。 Earphone 29R, 29L are inserted into the ear of the wearer, to provide a voice to the wearer.

マイク30は、装着者の音声を音声信号に変換する。 Microphone 30 converts the voice of the wearer's voice signal.

制御ユニット31は、マイクロコンピュータからなり、電源スイッチ351、操作スイッチ352等を有し、これら各種操作スイッチからの信号や図示しないホストコンピュータからの制御信号、また、表示ユニット25に表示されたGUIからの信号等を受けて、HMD1で行われる表示動作や画像信号処理動作を統括的に制御するものである。 The control unit 31 includes a microcomputer, a power switch 351, an operation switch 352 or the like, a control signal from the signal and the host computer (not shown) from these various operation switches, also, from the GUI displayed on the display unit 25 receiving a signal or the like, and collectively controls the display operation and an image signal processing operation performed in the HMD 1.

ここで、表示ユニット25の構成を、図2を用いて説明する。 Here, the configuration of the display unit 25 will be described with reference to FIG. 図2は、表示ユニット25の左側面からの側断面図であり、主に表示ユニット25の内部構成を示している。 Figure 2 is a side sectional view of the left side of the display unit 25 shows the internal configuration of the main display unit 25.

図2に示すように、表示ユニット25は、筐体261、バックライト262、コリメータレンズ263、LCD(Liquid Crystal Display)264からなるLCD表示部26、及びプリズム271、HOE(Holographic Optical Element)272からなる接眼光学系27等から構成される。 2, the display unit 25, from the housing 261, a backlight 262, LCD display unit 26 consists of a collimator lens 263, LCD (Liquid Crystal Display) 264, and the prism 271, HOE (Holographic Optical Element) 272 composed of the eyepiece optical system 27, etc. made.

LCD表示部26の筐体261の内部には、バックライト262、コリメータレンズ263、及びLCD264が内蔵された状態で、該筐体261が接眼光学系27のプリズム271の上端部において上斜め前方(図2では右斜め上方向)に突出する態様で取り付けられている。 Inside the housing 261 of the LCD display unit 26, a backlight 262, in a state where the collimator lens 263, and LCD264 is built, the upper oblique front casing 261 at the upper end of the prism 271 of the ocular optical system 27 ( It is mounted in a manner to protrude in Figure 2, upper right direction).

バックライト262は、所定波長色を含む白色発光ダイオード(LED)からなりLCD264を照明する点光源である。 The backlight 262 is a light source that illuminates the LCD264 consist white light emitting diode (LED) including a predetermined wavelength color.

コリメータレンズ263は、バックライト262のLEDの光を略平行光にしてLCD264に投光するものである。 The collimator lens 263 is for projecting the LCD264 in the substantially parallel light of the LED of the light from the backlight 262.

LCD264は、図示しないホストコンピュータから提供された画像や図示しないメモリーカードに保存されている画像、また、GUI等を表示するものであり、例えば透過型の液晶表示パネルである。 LCD264 an image stored on the memory card, not an image shown or provided by the host computer (not shown) also is intended to display the GUI or the like, for example, a transmissive liquid crystal display panel.

プリズム271は、ガラスや透明樹脂等からなる略板状の透明部材であり、LCD264からの光を内部で複数回の反射を行わせるものである。 Prism 271 is a substantially plate-shaped transparent member made of glass or a transparent resin or the like, is intended to perform a plurality of times of reflection within the light from LCD264. プリズム271の上端部は、LCD264からの光の大部分を内部に採光できるように、上方に向かってより肉厚となるように前面側(接眼面と反対側)が突き出るように楔形状に形成された肉厚部271bが形成されている。 The upper end of the prism 271, forms the majority of the light from LCD264 to allow lighting inside, the wedge shape as the front side (the ocular surface opposite) protrudes so that the more thick upward meat thick portion 271b is formed.

また、プリズム271の下端部には、傾斜面271aが形成されており、プリズム271は、透明基板24Rに形成された傾斜面24Raに対しHOE272を介して接合(例えば接着)されている。 Further, the lower end of the prism 271, and the inclined surface 271a is formed, the prism 271 is bonded via a HOE272 to inclined surface 24Ra formed on the transparent substrate 24R (e.g., adhesive). また、プリズム271の表裏面は、透明基板24Rの表裏面に対して面一とされている。 Further, the front and back surfaces of the prism 271 is flush with the front and rear surfaces of the transparent substrate 24R. これにより、プリズム271は、透明基板24Rと一枚の板状に一体化されている。 Thus, the prism 271, is integrated with the transparent substrate 24R and one plate-shaped.

HOE272は、光学的に軸非対称な所謂自由曲面で構成されて正のパワーを有する体積位相型のホログラム光学素子であり、プリズム271の下端部において所定の傾斜角を有して支持されている。 HOE272 may be constituted by an optically axially asymmetric so-called free-form surface is a holographic optical element volume phase having a positive power, and is supported with a predetermined inclination angle at the lower end of the prism 271. HOE272は、プリズム271により導光された光が照射されることにより、光の干渉現象を用いてホログラム映像を眼球Eに提供する。 HOE272, by the light guided by the prism 271 is irradiated to provide a hologram image into the eyeball E with light interference phenomena.

以上のような構成を有する表示ユニット25において、バックライト262のLEDから射出された光は、コリメータレンズ263を通してLCD264を照明し、この照明によりLCD264で生成された像光は、プリズム271内で複数回の全反射を行った後、HOE272により回折し虚像として装着者の眼球Eに導かれる。 More in the display unit 25, light emitted from the LED of the backlight 262 illuminates the LCD264 through collimator lens 263, the image light generated by LCD264 This illumination is within the prism 271 having the above structure after total reflection times, it led to the wearer of the eye E as diffracted virtual image by HOE272.

さらに、プリズム271は、前方から入射する光を装着者の眼球Eに導くようになっている。 Further, the prism 271 is adapted to direct the light incident from the front to the wearer of the eye E. これにより、装着者は、外界(前方の被写体)をシースルー可能となり、図示しないホストコンピュータから提供された画像や図示しないメモリーカードに保存されている画像等を外界(前方の被写体)と重畳して視認することとなる。 Thus, the wearer, the outside world allows see-through (the front of the subject), and superimposes the image or the like stored in the memory card, not pictures and shown provided from a host computer (not shown) with the external world (the front of the subject) so that the viewing.

次に、HMD1の概略構成を図3を用いて説明する。 It will now be described with reference to FIG. 3 a schematic configuration of a HMD 1. 図3は、HMD1の概略構成を示すブロック図である。 Figure 3 is a block diagram showing the schematic configuration of the HMD 1. 尚、図3では、図1、図2に示した部材と同じ部材には同一の番号を付与した。 In FIG. 3, and the same reference numerals are the same members as those shown FIG. 1, FIG. 2.

HMD1の要部は、表示ユニット25、カメラユニット28、及び制御ユニット31等から構成される。 Main part of HMD1 is a display unit 25, the camera unit 28, and a control unit 31 and the like.

表示ユニット25は、LCD表示部26、及び接眼光学系27から構成され、各部位で行われる動作については前述したので説明は省略する。 Display unit 25 is an LCD display unit 26 and an eyepiece optical system 27, explanation thereof will be omitted because the above-described operation to be performed at each site.

カメラユニット28は、ズームレンズ281、CCD282、及び画像処理部283等を有する。 The camera unit 28 has a zoom lens 281, CCD282, and the image processing section 283 or the like.

CCD282は、赤(R)、緑(G)、青(B)の各色透過フィルタをピクセル単位(画素単位)で市松模様状に配置させたカラーエリア撮像センサで、ズームレンズ281により結像された被写体光像を、R、G、Bの各色成分の画像信号(各画素単位で受光された画素信号の信号列からなる信号)に光電変換するものである。 CCD282 red (R), in green (G), and a color area image sensor in which is arranged in a checkered pattern in each color transmission filter pixels (pixels) and blue (B), it is imaged by the zoom lens 281 the subject optical image, in which R, G, photoelectrically converted into an image signal (signal consisting of signal sequence of the light receiving pixel signals in units of pixels) of each color component of B.

画像処理部283は、図示しない例えば、黒レベル補正部、画素補間部、ホワイトバランス制御部、ガンマ補正部、マトリックス演算部、シェーディング補正部、及び画像圧縮部等を有し、CCD282より読み出された画像信号に周知の画像信号処理を施すものである。 The image processing unit 283, not shown example, has a black level correction unit, the pixel interpolation unit, the WB control unit, a gamma correction unit, the matrix computing section, a shading correction unit, and an image compression unit and the like, is read from CCD282 the image signal is intended to apply a known image signal processing. そして、これらの部位で所定の処理を施された画像信号は、後述の制御ユニット31の画像メモリ33に格納される。 The image signal subjected to predetermined processing at these sites is stored in the image memory 33 of the control unit 31 will be described later.

制御ユニット31は、制御部32、画像メモリ33、VRAM(Video Random Access Memory)34、操作部35、及び通信部36等から構成される。 The control unit 31 includes a control unit 32, an image memory 33, VRAM (Video Random Access Memory) 34, an operation unit 35, and the communication unit 36 ​​and the like.

制御部32は、図示しない各制御プログラム等を記憶するROM(Read Only Memory)、演算処理や制御処理等のデータを一時的に格納するRAM(Random Access Memory)、及び制御プログラム等をROMから読み出して実行するCPU(中央演算処理装置)等から構成される。 Control unit 32, ROM (Read Only Memory) that stores control programs or the like (not shown), the read processing, control processes such as a RAM for temporarily storing data of (Random Access Memory), and a control program from the ROM CPU executing Te composed of (central processing unit) or the like. 制御部32は、電源スイッチ351及び操作スイッチ352等を有する操作部35からの信号や図示しないホストコンピュータからの制御信号、また、表示ユニット25に表示されたGUIからの信号等を受けて、HMD1で行われる表示動作や画像信号処理動作を統括的に制御するものである。 Control unit 32, a control signal from the signal and the host computer (not shown) from the operation section 35 having a power switch 351 and the operation switch 352 or the like, also receives a signal from the GUI displayed on the display unit 25, HMD 1 it is responsible for the overall control of the display operation and an image signal processing operation performed. 尚、制御部32による表示動作制御の詳細は後述する。 The details of the display operation control by the control unit 32 will be described later.

画像メモリ33は、制御部32により画像信号に対する各種処理を行う為の作業領域として用いられる一時メモリである。 The image memory 33 is a temporary memory used by the control unit 32 as a work area for performing various processing on an image signal.

VRAM34は、LCD表示部26中のLCD264の画素数に対応した画像信号の記録容量を有し、LCD264に再生表示される画像を構成する画像信号のバッファメモリである。 VRAM34 has a storage capacity of image signals corresponding to the number of pixels LCD264 in LCD display unit 26, a buffer memory of the image signal constituting the image to be reproduced and displayed on the LCD264.

通信部36は、例えば、無線LANの無線通信デバイスで構成され、通信ネットワークを介して遠隔地に設けられた例えば図示しないホストコンピュータとの間で映像、音声、及び制御信号等の送受信を行う。 The communication unit 36 ​​is, for example, a wireless LAN wireless communication device performs video, audio, and the transmission and reception of such control signals between the example host computer (not shown) which is provided in a remote location through a communications network. 尚、無線通信手段としては、他にBluetoothやワイヤレスUSB、また、低消費電力型のデバイスを用いてもよい。 As the wireless communication means, other Bluetooth or wireless USB, may also be used in low-power devices.

ここで、表示ユニット25に表示される画像の一例を図4に示す。 Here, FIG. 4 shows an example of an image displayed on the display unit 25. 表示ユニット25の画面Dには、図4に示すように、HMD1を装着した作業者が表示ユニット25を通して観察できる作業対象物Xのシースルー画像Sに重ね合わせて、ホストコンピュータやメモリーカード等から取得した作業に必要な、例えば作業マニュアルHが表示されている。 Acquiring the screen D of the display unit 25, as shown in FIG. 4, superimposed on the see-through image S of workpiece X can be observed through the operator display unit 25 equipped with a HMD 1, the host computer or memory card required for the work, for example, work manuals H is displayed. また、作業マニュアルHのページ送りや拡大表示等の操作を行う為のメニュー画像GUIが表示されている。 In addition, the menu image GUI for performing the operation of the page feed and enlarged display, etc. of the work manual H is displayed.

このような表示態様において、本発明の実施形態におけるHMD1は、作業者が視線や手を作業対象物Xから離すことができないような場合には、GUIを表示ユニット25に表示し、表示されたGUIの操作を、例えば特許文献2に開示されているような視線検知方法等を用いることにより作業マニュアルHのページ送りや拡大表示等を行う。 In such a display mode, HMD 1 according to the embodiment of the present invention, when the operator which can not be separated gaze and hand from the work object X displays a GUI on the display unit 25, displayed the operation of the GUI, performs paging operations manuals H or enlarge the like by using, for example, such as visual axis detecting method as disclosed in Patent Document 2. 一方、そうでない場合には、視野を確保する為に、GUIを非表示とし、操作部35に設けられた操作スイッチ352を用いて作業マニュアルHのページ送りや拡大表示等を行う。 On the other hand, If this is not the case, in order to ensure the field of view, and hide the GUI, perform the page turning and enlarged display, etc. of the work manual H by using the operation switch 352 provided in the operation unit 35. そして、このようなGUIの表示切換え(表示/非表示)を、カメラユニット28で撮影され生成された画像データに基づいて作業の態様を判別し、作業者が視線や手を作業対象物Xから離すことができない状態であると判断した場合のみGUIを表示するものである。 Then, the display switching of such GUI (display / non-display), by the camera unit 28 based on the generated image data to determine the mode of operation, the operator line of sight and hand from the workpiece X it is for displaying the GUI only if it is determined that the state can not be separated. これにより、GUIの表示切換え(表示/非表示)に関し、従来のような煩わしい動作を必要とせず、ハンズフリー、操作性を高めることができる。 Thus, relates to a display switching of GUI (display / non-display), without the need for conventional such troublesome operations, the hands-free, it is possible to improve the operability.

以下、作業態様の判別方法の例を説明する。 Hereinafter, an example of the determination method of the working aspect.

〔判別方法1〕 [Determining method 1]
本判別方法は、カメラユニット28で生成された画像データに基づき、作業者の頭の振れ幅を検出する。 This determination method is based on the image data generated by the camera unit 28, for detecting the amplitude of the worker's head. 検出した結果、頭の振れ幅が小さい場合は、作業者は作業対象部Xを凝視している可能性が高いと判断し表示ユニット25にGUIを表示する。 Detected result, if the head of the amplitude is small, the operator displays a GUI on the display unit 25 determines that there is likely to be staring at the work object portion X. 一方、頭の振れ幅が大きい場合は、作業対象部Xから目を離すことが可能であると判断し、GUIを非表示とするものである。 On the other hand, if the head of the amplitude is large, it is determined that it is possible to look away from the work object portion X, it is an hide GUI. 以下、その詳細を図3を用いて説明する。 Hereinafter will be described with reference to FIG. 3 in detail.

図3に示すように、制御部32は、表示制御部321、画像解析部322、指標検出部323等を有する。 3, the control unit 32 includes a display control unit 321, the image analysis unit 322, the index detecting section 323 and the like.

画像解析部322は、カメラユニット28で撮影され生成された複数のフレームの画像データを比較し、フレーム間の画像データの変動量を算出する。 The image analysis unit 322 compares the image data of a plurality of frames photographed generated by the camera unit 28, calculates the amount of fluctuation of image data between frames.

変動量の算出は、1フレームを構成する全ての画素で生成された画像データをフレーム間で比較してもよいが、この場合は、演算処理に膨大な時間を要する。 Variation calculation may compare the image data generated by all the pixels constituting one frame between frames, but in this case, requires an enormous amount of time for arithmetic processing. この為、撮像ユニット28で生成されたR、G、Bの画像データを輝度信号(Y)、色差信号(Cr、Cb)に変換し、変換したYCrCb画像データにおけるそれぞれの成分の平均値を比較することにより、変動量を効率よく算出することができる。 Therefore, comparing the average value of each component in the YCrCb image data generated R, G, B image data into a luminance signal (Y), color difference signals (Cr, Cb), was converted by the imaging unit 28 by, it is possible to calculate the amount of change efficiently.

表示制御部321は、ホストコンピュータやメモリーカード等から取得した作業に必要な作業マニュアルHや作業マニュアルHのページ送りや拡大表示等の操作を行う為のメニュー画像GUIを表示ユニット25に出力する。 The display control unit 321 outputs the menu image GUI for operating the page turning and enlarged display of work manuals H or work manuals H required work obtained from the host computer or memory card on the display unit 25.

また、表示制御部321は、画像解析部322で算出されたフレーム間の画像データの変動量と予め設定しておいた該変動量に関する基準値とを比較する。 Further, the display control unit 321 compares the reference value for the change amount set in advance and the variation amount of the image data between frames calculated by the image analysis unit 322. そして、比較した結果、変動量が基準値を下回る場合、すなわちフレーム間の画像の変化が小さい場合は、頭の振れ幅が小さく作業対象部Xを凝視している可能性が高いと判断し、表示ユニット25にGUIを出力する。 Then, a result of comparison, when the amount of variation is below the reference value, i.e., when the change in the image between frames is small, it is more likely than not that the head of the amplitude is gazing the small work object portion X, and outputs the GUI to the display unit 25. 一方、変動量が基準値を上回る場合、すなわちフレーム間の画像の変化が大きい場合は、頭の振れ幅が大きく作業対象部Xから目を離すことが可能であると判断し、表示ユニット25にGUIを出力しない。 On the other hand, if the amount of change exceeds the reference value, i.e., when the change in the image between frames is large, it is determined that it is possible to head amplitude releases the eyes from large work object portion X, the display unit 25 It does not output the GUI. このようにして、表示制御部321は、作業の態様を判別し、作業者が視線や手を作業対象物Xから離すことができない状態であると判断した場合のみ表示ユニット25にGUIを出力する。 In this way, the display control unit 321 determines the mode of operation, the operator outputs a GUI on the display unit 25 only when it is determined that the state can not be separated gaze and hand from the work object X .

〔判別方法2〕 [Discriminating method 2]
本判別方法は、カメラユニット28で生成された画像データに基づき、手の移動幅を検出する。 This determination method is based on the image data generated by the camera unit 28, to detect the movement width of the hand. 検出した結果、手の移動幅が小さい場合は、作業者は手がふさがっている可能性が高いと判断し表示ユニット25にGUIを表示する。 Detected result, if the moving width of the hand is small, the operator displays a GUI on the display unit 25 determines that there is a high possibility that busy hands. 一方、手の移動幅が大きい場合は、作業対象部Xから手を離すことが可能であると判断し、GUIを非表示とするものである。 On the other hand, if a large moving range of the hand, it is determined that it is possible to release the hand from the work object portion X, it is an hide GUI. 以下、その詳細を図3、図5を用いて説明する。 Hereinafter, FIG 3 the detail will be described with reference to FIG.

まず、図5に示すように、作業者は、所定の模様や彩色が施された指標Mを備えた図示しないリストバンドや手袋等を両手Hに装着する。 First, as shown in FIG. 5, the operator is mounted to the hands H wristbands and gloves such predetermined pattern or color is not shown with the index M which has been subjected.

指標検出部323は、カメラユニット28で撮影され生成された画像データに基づき、指標Mを検出する。 Index detection unit 323, based on the image data photographed generated by the camera unit 28, detects the index M. 指標Mの検出には、周知のパターン認識を用いることができる。 The detection of the index M, it is possible to use known pattern recognition.

画像解析部322は、指標検出部323で検出された複数のフレームにおける指標Mの位置を比較し、フレーム間の指標Mの位置の変動量を算出する。 The image analysis unit 322 compares the position of the index M in a plurality of frames detected by the index detecting section 323, it calculates the amount of change of position of the index M between frames.

表示制御部321は、画像解析部322で算出されたフレーム間の指標Mの位置の変動量と予め設定しておいた該変動量に関する基準値とを比較する。 The display control unit 321 compares the reference value for the change amount set in advance and the amount of change of position of the index M between frames calculated by the image analysis unit 322. そして、比較した結果、変動量が基準値を下回る場合、すなわちフレーム間の指標Mの位置の変化が小さい場合は、手Hの移動幅が小さく作業者は手Hがふさがっている可能性が高いと判断し表示ユニット25にGUIを表示する。 Then, a result of comparison, when the amount of variation is below the reference value, i.e., when the change in position of the index M between frames is small, the moving width is small operator's hand H is likely to be hand H is blocked to display the GUI on the display unit 25 determines that. 一方、変動量が基準値を上回る場合、すなわちフレーム間の指標Mの位置の変化が大きい場合は、手Hの移動量が大きく作業対象部Xから手Hを離すことが可能であると判断し、表示ユニット25にGUIを出力しない。 On the other hand, if the amount of change exceeds the reference value, i.e., when the change in position of the index M between frames is large, it is determined that it is possible to let go H from the movement amount is large work object portion X of the hand H , does not output the GUI on the display unit 25. このようにすることにより、判別方法1と同様の効果を得ることができる。 In this way, it is possible to obtain the same effect as determining method 1. また、所定の模様や彩色が施された指標Mを用いることにより、手Hの動きを容易に検出することができ、作業の態様をより正確に判別することができる。 Moreover, by using the index M to a predetermined pattern or color is applied, it is possible to easily detect the motion of the hand H, it is possible to determine the mode of work more accurately.

以上、本発明を実施の形態を参照して説明してきたが、本発明は前述の実施の形態に限定して解釈されるべきでなく、適宜変更、改良が可能であることは勿論である。 Although the present invention has been described with reference to the embodiments, the present invention should not be construed as limited to the embodiments described above, it is of course appropriately changed, improvements are possible. 例えば、前述の実施の形態においては、作業態様の判別方法に関し、2つの方法を独立して説明したが、これらの方法を組み合わせてもよい。 For example, in the embodiment described above relates to method for determining the working embodiments have been described independently two methods may be a combination of these methods. すなわち、頭と手の動きの2つの動きにより作業の態様を判別する構成としてもよい。 That may be configured to determine the mode of operations by two movements of the head motion and hand. これにより、さらに高い確度で判別することができる。 This makes it possible to determine with higher accuracy. また、変動量に関する基準値や指標Mの模様や彩色は、作業環境に応じて適宜変更可能な構成としてもよい。 Further, patterns and color reference values ​​and indicators M relates fluctuation amount may be changed configurable appropriate according to the working environment.

本発明の実施形態に係るHMDの外観を示す斜視図である。 The appearance of the HMD according to the embodiment of the present invention is a perspective view showing. HMDの表示ユニットの側断面図である。 It is a side sectional view of a display unit of the HMD. HMDの概略構成を示すブロック図である。 Is a block diagram showing the schematic configuration of the HMD. 作業者の視野を示す模式図である。 It is a schematic diagram showing the field of view of the operator. 指標の一例を示す模式図である。 It is a schematic diagram illustrating an example of the index.

符号の説明 DESCRIPTION OF SYMBOLS

1 頭部装着式映像表示装置(HMD) 1 head-mounted video display device (HMD)
21R、21L テンプル 22 ブリッジ 23R、23L 鼻当て 24R、24L 透明基板 25 表示ユニット 26 LCD表示部 261 筐体 262 バックライト 263 コリメータレンズ 264 LCD 21R, 21L temple 22 bridge 23R, 23L nose 24R, 24L transparent substrate 25 display unit 26 LCD display unit 261 housing 262 backlight 263 collimating lens 264 LCD
27 接眼光学系 271 プリズム 272 HOE 27 eyepiece optical system 271 prism 272 HOE
28 カメラユニット 281 ズームレンズ 282 CCD 28 camera unit 281 zoom lens 282 CCD
283 画像処理部 29R、29L イヤホン 30 マイク 31 制御ユニット 32 制御部 321 表示制御部 322 画像解析部 323 指標検出部 33 画像メモリ 34 VRAM 283 an image processing section 29R, 29L earphone 30 microphone 31 control unit 32 control unit 321 display control unit 322 image analysis unit 323 the index detector 33 an image memory 34 VRAM
35 操作部 351 電源スイッチ 352 操作スイッチ 36 通信部 E 目 H 手 M 指標 X 作業対象物 35 operation unit 351 power switch 352 operation switch 36 communication unit E th H hand M index X workpiece

Claims (4)

  1. 画像データに基づき画像を表示する表示ユニットと、 A display unit for displaying an image based on image data,
    外界を撮影し画像データを生成する電子カメラと、を備えた頭部装着式映像表示装置であって、 An electronic camera for generating image data by photographing the outside world, a head-mounted image display device provided with,
    前記表示ユニットに、前記頭部装着式映像表示装置に行わせる動作を選択するメニュー画像データを出力し、前記表示ユニットの駆動を制御する表示制御部と、 On the display unit, a display control unit which outputs the menu image data for selecting the operation to be performed on the head-mounted image display apparatus, and controls the driving of said display unit,
    前記電子カメラで生成された画像データを解析する画像解析部と、を有し、 Anda image analysis unit for analyzing the image data generated by the electronic camera,
    前記表示制御部は、前記画像解析部の解析結果に基づき、前記表示ユニットに前記メニュー画像データを出力するか否かを判別することを特徴とする頭部装着式映像表示装置。 The display controller, based on said analysis result of the image analysis unit, wherein the display head-mounted image display device comprising said that for determining whether to output the menu image data to the unit.
  2. 前記画像解析部は、前記電子カメラで撮影され生成された画像データの複数のフレーム間の変動量を算出し、 Wherein the image analyzing unit calculates a variation amount between a plurality of frames of image data generated is captured by the electronic camera,
    前記表示制御部は、前記画像解析部で算出された前記変動量と予め設定しておいた該変動量に関する基準値とを比較し、 Wherein the display control unit compares the reference value for the change amount set in advance and the variation amount calculated by the image analysis unit,
    比較した結果、前記変動量が前記基準値を下回る場合は、前記メニュー画像データを前記表示ユニットに出力し、前記変動量が前記基準値を上回る場合は、前記メニュー画像データを前記表示ユニットに出力しないことを特徴とする請求項1に記載の頭部装着式映像表示装置。 As a result of the comparison, when the amount of the variation is below the reference value, the outputs menu image data on the display unit, when the amount of the fluctuation exceeds the reference value, outputs the menu image data to said display unit head-mounted image display apparatus according to claim 1, characterized in that not.
  3. 手に装着される指標と、 And indicators to be attached to the hand,
    前記電子カメラで撮影され生成された画像データに基づき、前記指標を検出する指標検出部と、を有し前記画像解析部は、前記指標検出部で検出された前記指標の位置の複数のフレーム間の変動量を算出し、 The captured by the electronic camera based on the generated image data, the image analysis unit has a index detection unit for detecting the indicator, between a plurality of frames of the position of the index detected by the index detecting section to calculate the amount of fluctuation,
    前記表示制御部は、前記画像解析部で算出された前記変動量と予め設定しておいた該変動量に関する基準値とを比較し、 Wherein the display control unit compares the reference value for the change amount set in advance and the variation amount calculated by the image analysis unit,
    比較した結果、前記変動量が前記基準値を下回る場合は、前記メニュー画像データを前記表示ユニットに出力し、前記変動量が前記基準値を上回る場合は、前記メニュー画像データを前記表示ユニットに出力しないことを特徴とする請求項1または2に記載の頭部装着式映像表示装置。 As a result of the comparison, when the amount of the variation is below the reference value, the outputs menu image data on the display unit, when the amount of the fluctuation exceeds the reference value, outputs the menu image data to said display unit head-mounted image display apparatus according to claim 1 or 2, characterized in that not.
  4. 前記表示ユニットは、装着者が外界をシースルー可能であることを特徴とする請求項1乃至3の何れか1項に記載の頭部装着式映像表示装置。 Wherein the display unit is a head-mounted image display apparatus according to any one of claims 1 to 3, wherein the wearer can be see-through to the outside world.
JP2008096968A 2008-04-03 2008-04-03 Head-mounted video display device Active JP5250834B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008096968A JP5250834B2 (en) 2008-04-03 2008-04-03 Head-mounted video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008096968A JP5250834B2 (en) 2008-04-03 2008-04-03 Head-mounted video display device

Publications (2)

Publication Number Publication Date
JP2009251154A true true JP2009251154A (en) 2009-10-29
JP5250834B2 JP5250834B2 (en) 2013-07-31

Family

ID=41311963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008096968A Active JP5250834B2 (en) 2008-04-03 2008-04-03 Head-mounted video display device

Country Status (1)

Country Link
JP (1) JP5250834B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010082547A1 (en) * 2009-01-16 2010-07-22 ブラザー工業株式会社 Head-mounted display
JP2011215856A (en) * 2010-03-31 2011-10-27 Ns Solutions Corp Information processing system and information processing method
JP2012182701A (en) * 2011-03-02 2012-09-20 Brother Ind Ltd Head-mounted imaging system, head-mounted imaging device, image display method
JP2013190926A (en) * 2012-03-13 2013-09-26 Nikon Corp Input device, and a display device
JP2014137522A (en) * 2013-01-18 2014-07-28 Olympus Corp Spectacle type operation device, spectacle type operation system, and electronic apparatus
JP2014142751A (en) * 2013-01-23 2014-08-07 Seiko Epson Corp Display device, head-mounted type display device, and method for controlling display device
JP2014164356A (en) * 2013-02-21 2014-09-08 Fujitsu Ltd Image processing device, image processing method, and image processing program
JP2015049498A (en) * 2013-09-05 2015-03-16 セイコーエプソン株式会社 Head-mounted type display device, method for controlling head-mounted type display device, image display system, and information processor
WO2015125200A1 (en) * 2014-02-21 2015-08-27 ソニー株式会社 Wearable apparatus and control device
JP2016031761A (en) * 2014-07-25 2016-03-07 裕行 池田 Spectacle type terminal
JP6057396B2 (en) * 2013-03-11 2017-01-11 Necソリューションイノベータ株式会社 3D user interface device and a 3-dimensional operation processing method
WO2017150292A1 (en) * 2016-03-04 2017-09-08 新日鉄住金ソリューションズ株式会社 Display system, information processing device, information processing method, and program
JPWO2016185845A1 (en) * 2015-05-21 2018-02-15 日本電気株式会社 Interface control system, the interface controller, interface control method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (en) * 1994-04-22 1996-01-12 Canon Inc Display device
JPH08223658A (en) * 1995-02-15 1996-08-30 Sharp Corp Spectacle type display
JP2004257872A (en) * 2003-02-26 2004-09-16 Seiko Epson Corp Position information acquiring system, position information acquiring device, position information acquiring method and program
JP2006208999A (en) * 2005-01-31 2006-08-10 Konica Minolta Photo Imaging Inc Video display device and simulation system
JP2008009490A (en) * 2006-06-27 2008-01-17 Konica Minolta Holdings Inc Information input device
JP2008065169A (en) * 2006-09-08 2008-03-21 Sony Corp Display device and display method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (en) * 1994-04-22 1996-01-12 Canon Inc Display device
JPH08223658A (en) * 1995-02-15 1996-08-30 Sharp Corp Spectacle type display
JP2004257872A (en) * 2003-02-26 2004-09-16 Seiko Epson Corp Position information acquiring system, position information acquiring device, position information acquiring method and program
JP2006208999A (en) * 2005-01-31 2006-08-10 Konica Minolta Photo Imaging Inc Video display device and simulation system
JP2008009490A (en) * 2006-06-27 2008-01-17 Konica Minolta Holdings Inc Information input device
JP2008065169A (en) * 2006-09-08 2008-03-21 Sony Corp Display device and display method

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010164814A (en) * 2009-01-16 2010-07-29 Brother Ind Ltd Head mounted display
WO2010082547A1 (en) * 2009-01-16 2010-07-22 ブラザー工業株式会社 Head-mounted display
JP2011215856A (en) * 2010-03-31 2011-10-27 Ns Solutions Corp Information processing system and information processing method
JP2012182701A (en) * 2011-03-02 2012-09-20 Brother Ind Ltd Head-mounted imaging system, head-mounted imaging device, image display method
JP2013190926A (en) * 2012-03-13 2013-09-26 Nikon Corp Input device, and a display device
JP2014137522A (en) * 2013-01-18 2014-07-28 Olympus Corp Spectacle type operation device, spectacle type operation system, and electronic apparatus
JP2014142751A (en) * 2013-01-23 2014-08-07 Seiko Epson Corp Display device, head-mounted type display device, and method for controlling display device
US9128529B2 (en) 2013-02-21 2015-09-08 Fujitsu Limited Image processing device, image processing method
JP2014164356A (en) * 2013-02-21 2014-09-08 Fujitsu Ltd Image processing device, image processing method, and image processing program
JP6057396B2 (en) * 2013-03-11 2017-01-11 Necソリューションイノベータ株式会社 3D user interface device and a 3-dimensional operation processing method
US10007351B2 (en) 2013-03-11 2018-06-26 Nec Solution Innovators, Ltd. Three-dimensional user interface device and three-dimensional operation processing method
JP2015049498A (en) * 2013-09-05 2015-03-16 セイコーエプソン株式会社 Head-mounted type display device, method for controlling head-mounted type display device, image display system, and information processor
WO2015125200A1 (en) * 2014-02-21 2015-08-27 ソニー株式会社 Wearable apparatus and control device
JP2016031761A (en) * 2014-07-25 2016-03-07 裕行 池田 Spectacle type terminal
JPWO2016185845A1 (en) * 2015-05-21 2018-02-15 日本電気株式会社 Interface control system, the interface controller, interface control method, and program
WO2017150292A1 (en) * 2016-03-04 2017-09-08 新日鉄住金ソリューションズ株式会社 Display system, information processing device, information processing method, and program
JP6279159B2 (en) * 2016-03-04 2018-02-14 新日鉄住金ソリューションズ株式会社 Display system, an information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date Type
JP5250834B2 (en) 2013-07-31 grant

Similar Documents

Publication Publication Date Title
US8767306B1 (en) Display system
US8955973B2 (en) Method and system for input detection using structured light projection
US20130241805A1 (en) Using Convergence Angle to Select Among Different UI Elements
US20140104142A1 (en) Head mountable display
US7199934B2 (en) Head-mounted display apparatus
US8982471B1 (en) HMD image source as dual-purpose projector/near-eye display
US20130021658A1 (en) Compact See-Through Display System
US20110043644A1 (en) Apparatus and Method for a Dynamic &#34;Region of Interest&#34; in a Display System
US8866702B1 (en) Use of optical display system as a visual indicator for a wearable computing device
US20130063486A1 (en) Optical Display System and Method with Virtual Image Contrast Control
US20150170418A1 (en) Method to Provide Entry Into a Virtual Map Space Using a Mobile Device&#39;s Camera
CN1707308A (en) Head-mounted display apparatus
US20130002813A1 (en) Viewing windows for video streams
WO2007037089A1 (en) Head-mounted image display unit
US20120306725A1 (en) Apparatus and Method for a Bioptic Real Time Video System
CN101632033A (en) Monocular display device
US9360671B1 (en) Systems and methods for image zoom
JP2012203128A (en) Head mounted display and method for controlling head mounted display
US20140285403A1 (en) Head-mounted display device and control method for head-mounted display device
JP2005321479A (en) Head mounted type display device
JP2006267604A (en) Composite information display device
EP1300716A1 (en) Head mounted display apparatus
US9213185B1 (en) Display scaling based on movement of a head-mounted display
WO2010087293A1 (en) Head mounted display
JP2006135884A (en) Video display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101020

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130325

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370