JP2009251154A - Head mounted type video display - Google Patents
Head mounted type video display Download PDFInfo
- Publication number
- JP2009251154A JP2009251154A JP2008096968A JP2008096968A JP2009251154A JP 2009251154 A JP2009251154 A JP 2009251154A JP 2008096968 A JP2008096968 A JP 2008096968A JP 2008096968 A JP2008096968 A JP 2008096968A JP 2009251154 A JP2009251154 A JP 2009251154A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- unit
- image data
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、頭部装着式映像表示装置に関し、特にGUI表示機能を備えた頭部装着式映像表示装置に関する。 The present invention relates to a head-mounted video display device, and more particularly to a head-mounted video display device having a GUI display function.
従来、観察者の頭部や顔面に着脱自在に装着され、小型のCRTや液晶表示素子等の映像表示素子から得られる映像(以下、画像とも称する。)を、接眼光学系によって観察者の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかのような虚像の観察を可能にした頭部装着式映像表示装置、すなわちHMD(Head Mount Display)が知られている。 Conventionally, an image (hereinafter also referred to as an image) that is detachably attached to the observer's head or face and obtained from an image display element such as a small CRT or a liquid crystal display element is displayed on the observer's eyeball by an eyepiece optical system. A head-mounted image display device, that is, an HMD (Head Mount Display) is known in which a virtual image can be observed as if the image is enlarged and projected in the air.
HMDは、DVDやビデオ等のコンテンツ映像の観賞用や、産業機器若しくは医療機器等の遠隔操作用としての表示装置として利用され、その用途は多岐に渡っている。 The HMD is used as a display device for viewing content videos such as DVDs and videos, and for remote operation of industrial equipment or medical equipment, and has a wide variety of uses.
遠隔操作用としては、通常、作業者の作業に必要な各種情報をHMDの表示ユニットを通して入射する外界光による自然画像(以下、シースルー画像とも称する。)に重ね合わせて表示する所謂シースルー型のHMDが用いられている。 For remote operation, a so-called see-through type HMD in which various information necessary for the work of an operator is usually displayed superimposed on a natural image (hereinafter also referred to as a see-through image) by external light incident through the display unit of the HMD. Is used.
例えば、作業者が電子カメラを備えたシースルー型のHMDを装着し、作業対象物のシースルー画像を観察しながら作業を行い、指示者が電子カメラで撮影された作業対象物の画像を、遠隔地に設けられた例えばホストコンピュータ等のモニタで観察しながら、作業者に音声や映像による作業マニュアル等の適切な情報を提供し作業指示を行う、といった遠隔作業支援システムが知られている。(例えば、特許文献1参照)。 For example, an operator wears a see-through type HMD equipped with an electronic camera, works while observing a see-through image of the work object, and an instructor displays an image of the work object photographed with the electronic camera at a remote location. For example, a remote work support system is known in which an appropriate information such as a voice or video work manual is provided to a worker and a work instruction is given while observing on a monitor such as a host computer. (For example, refer to Patent Document 1).
ところで、このような構成のHMDにおいて、作業者は、表示ユニットに表示された例えば作業マニュアルを閲覧する場合、ページ送りや拡大表示といった操作を必要とする場合がある。そして、通常、このような操作は、表示ユニットに操作に必要な操作画面、すなわちGUI(Graphical User Interface)を表示し、該GUI上で所望の操作の選択や実行を行う為のカーソルの移動等を、外部に設けられた操作スイッチ等を手動で操作することにより行われていた。また、このようなGUI表示は、シースルー画像の視認性を低下させることから、必要に応じて、前述の操作スイッチ等により表示させるか否かを選択することも行われていた。 By the way, in HMD of such a structure, when browsing the work manual displayed on the display unit, for example, an operator may require operations such as page turning and enlarged display. In general, such an operation is performed by displaying an operation screen necessary for the operation, that is, a GUI (Graphical User Interface) on the display unit, and moving a cursor for selecting and executing a desired operation on the GUI. Is performed by manually operating an operation switch or the like provided outside. In addition, since such GUI display reduces the visibility of the see-through image, it has been selected whether or not to display with the above-described operation switch or the like as necessary.
しかしながら、視線を作業対象物から逸らすことができず、また手を作業対象物から離すことができないような状況においては、このような操作スイッチを操作することは困難であるという問題があった。 However, there is a problem that it is difficult to operate such an operation switch in a situation where the line of sight cannot be deviated from the work object and the hand cannot be separated from the work object.
そこで、このような問題に対応する為、GUIの操作をハンズフリーで行うことが可能なHMDが種々検討されている。 Therefore, in order to cope with such a problem, various HMDs capable of performing GUI operations in a hands-free manner have been studied.
例えば、作業者の視線を検知する機能を備え、表示ユニットに表示されたGUI上の所望のアイコンに向けられた視線を検知することにより操作の選択や実行を行う。また、作業者の頭部の動きを検知する機能を備え、頭部が所定の方向に振られたか否かを検出し、検出結果に応じてGUIを表示または非表示とする。これらにより、ハンズフリー、且つ作業者の意思に従って誤動作を発生し難くしたHMDが知られている(例えば、特許文献2参照)。
しかしながら、GUIの表示切換え(表示/非表示)に関し、特許文献2に記載のHMDにおいては、GUIを表示させる場合は、頭部を所定の方向に振るといった煩わしい動作を行う必要があり、作業の効率を低下させるという問題がある。 However, regarding the GUI display switching (display / non-display), in the HMD described in Patent Document 2, when displaying the GUI, it is necessary to perform a troublesome operation such as shaking the head in a predetermined direction. There is a problem of reducing efficiency.
本発明は、上記課題を鑑みてなされたもので、ハンズフリー、且つ操作性の優れた頭部装着式映像表示装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a head-mounted image display device that is hands-free and excellent in operability.
上記目的は、下記の1乃至4の何れか1項に記載の発明によって達成される。 The above object is achieved by the invention described in any one of the following items 1 to 4.
1.画像データに基づき画像を表示する表示ユニットと、
外界を撮影し画像データを生成する電子カメラと、を備えた頭部装着式映像表示装置であって、
前記表示ユニットに、前記頭部装着式映像表示装置に行わせる動作を選択するメニュー画像データを出力し、前記表示ユニットの駆動を制御する表示制御部と、
前記電子カメラで生成された画像データを解析する画像解析部と、を有し、
前記表示制御部は、前記画像解析部の解析結果に基づき、前記表示ユニットに前記メニュー画像データを出力するか否かを判別することを特徴とする頭部装着式映像表示装置。
1. A display unit for displaying an image based on the image data;
A head-mounted video display device comprising an electronic camera that images the outside world and generates image data,
A display control unit that outputs menu image data for selecting an operation to be performed by the head-mounted video display device to the display unit, and controls driving of the display unit;
An image analysis unit for analyzing image data generated by the electronic camera,
The head mounted video display device, wherein the display control unit determines whether to output the menu image data to the display unit based on an analysis result of the image analysis unit.
2.前記画像解析部は、前記電子カメラで撮影され生成された画像データの複数のフレーム間の変動量を算出し、
前記表示制御部は、前記画像解析部で算出された前記変動量と予め設定しておいた該変動量に関する基準値とを比較し、
比較した結果、前記変動量が前記基準値を下回る場合は、前記メニュー画像データを前記表示ユニットに出力し、前記変動量が前記基準値を上回る場合は、前記メニュー画像データを前記表示ユニットに出力しないことを特徴とする前記1に記載の頭部装着式映像表示装置。
2. The image analysis unit calculates a variation amount between a plurality of frames of image data captured and generated by the electronic camera,
The display control unit compares the fluctuation amount calculated by the image analysis unit with a reference value related to the fluctuation amount set in advance,
As a result of comparison, when the variation amount is less than the reference value, the menu image data is output to the display unit, and when the variation amount exceeds the reference value, the menu image data is output to the display unit. 2. The head-mounted image display device according to 1 above, wherein:
3.手に装着される指標と、
前記電子カメラで撮影され生成された画像データに基づき、前記指標を検出する指標検出部と、を有し
前記画像解析部は、前記指標検出部で検出された前記指標の位置の複数のフレーム間の変動量を算出し、
前記表示制御部は、前記画像解析部で算出された前記変動量と予め設定しておいた該変動量に関する基準値とを比較し、
比較した結果、前記変動量が前記基準値を下回る場合は、前記メニュー画像データを前記表示ユニットに出力し、前記変動量が前記基準値を上回る場合は、前記メニュー画像データを前記表示ユニットに出力しないことを特徴とする前記1または2に記載の頭部装着式映像表示装置。
3. An index worn on the hand,
An index detection unit that detects the index based on image data photographed and generated by the electronic camera, and the image analysis unit includes a plurality of frames at the position of the index detected by the index detection unit. Calculate the amount of change in
The display control unit compares the variation amount calculated by the image analysis unit with a reference value related to the variation amount set in advance,
As a result of comparison, when the variation amount is less than the reference value, the menu image data is output to the display unit, and when the variation amount exceeds the reference value, the menu image data is output to the display unit. 3. The head-mounted image display device according to 1 or 2, wherein:
4.前記表示ユニットは、装着者が外界をシースルー可能であることを特徴とする前記1乃至3の何れか1項に記載の頭部装着式映像表示装置。 4). 4. The head-mounted image display device according to any one of 1 to 3, wherein the display unit allows a wearer to see through the outside world.
本発明によれば、表示制御部は、電子カメラで撮影され生成された外界の画像データを解析する画像解析部の解析結果に基づき、表示ユニットにメニュー画像(以下、GUIとも称する。)データを出力するか否かを判別する構成とした。これにより、電子カメラで撮影され生成された画像データより、現在作業者が視線を作業対象物から逸らすことができず、また手を作業対象物から離すことができないような状況であるか否かを判別し、このような状況であると判別した場合、GUIを表示ユニットに表示し、そうでない場合は、非表示とすることができる。すなわち、作業の態様に応じて、必要なときのみGUIが表示されることになる。その結果、GUIの表示切換え(表示/非表示)に関し、従来のような煩わしい動作を必要とせず、ハンズフリー、操作性を高めることができる。 According to the present invention, the display control unit stores menu image (hereinafter also referred to as GUI) data on the display unit based on the analysis result of the image analysis unit that analyzes the image data of the outside world that is captured and generated by the electronic camera. It is configured to determine whether or not to output. As a result, whether or not the current worker cannot move his / her line of sight from the work object and cannot move his / her hand from the work object based on the image data captured and generated by the electronic camera. When it is determined that such a situation is present, the GUI is displayed on the display unit. Otherwise, the GUI can be hidden. That is, the GUI is displayed only when necessary according to the work mode. As a result, regarding GUI display switching (display / non-display), the conventional troublesome operation is not required, and the hands-free and operability can be improved.
以下図面に基づいて、本発明に係る頭部装着式映像表示装置(以下、HMDとも称する。)の実施の形態を説明する。尚、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。 Embodiments of a head-mounted image display device (hereinafter also referred to as HMD) according to the present invention will be described below with reference to the drawings. In addition, although this invention is demonstrated based on embodiment of illustration, this invention is not limited to this embodiment.
最初に、HMDの外観を図1を用いて説明する。図1は、本発明の一実施形態に係るHMD1の外観を示す斜視図である。 First, the appearance of the HMD will be described with reference to FIG. FIG. 1 is a perspective view showing an appearance of an HMD 1 according to an embodiment of the present invention.
HMD1は、図1に示すように、テンプル21R、21L、ブリッジ22、鼻当て23R、23L、透明基板24R、24L、表示ユニット25(LCD表示部26、接眼光学系27)、カメラユニット28、イヤホン29R、29L、マイク30、及び制御ユニット31等を有している。
As shown in FIG. 1, the HMD 1 includes
このような構成のHMD1は、作業者がHMD1を頭部に装着し、表示ユニット25を通して作業対象物のシースルー画像を観察しながら作業を行い、指示者がカメラユニット28で撮影された作業対象物の画像を、遠隔地に設けられた例えばホストコンピュータ等のモニタで観察しながら、作業者に無線LAN等を介して音声や画像による適切な情報を提供し作業指示を行うものである。
The HMD 1 having such a configuration is such that the worker wears the HMD 1 on the head, works while observing the see-through image of the work object through the
テンプル21R、21Lは、可撓性を有する弾性材等により構成された長尺状の部材であり、装着者の耳や側頭部に掛止され、HMD1の装着者に対する頭部への保持及び装着位置の調整を行う為のものである。尚、テンプル21R、21Lは、回動部21Ra、21Laにおいて矢印P、Q方向に回動可能に構成されており、HMD1を使用しない場合には、テンプル21R、21Lを矢印P、Q方向に回動させて透明基板24R、24Lに沿わせることにより、コンパクト化することができる。
The
ブリッジ22は、HMD1の装着者に対する顔面への保持を行う鼻当て23R、23Lを備え、透明基板24R、24Lの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板24Rと透明基板24Lとを一定の間隙を介した相対位置関係に保持するものである。
The
透明基板24R、24Lは、一方の眼球に対応した位置にU字型のスペース24Rsを形成する略平板状の透明体である。また、透明基板24Rに囲まれて形成されるU字型のスペース24Rsには、接眼光学系27が嵌め込まれている。
The
表示ユニット25は、LCD表示部26、及び接眼光学系27等を有し、制御ユニット31に設けられた後述の通信部36を介して遠隔地に設けられた例えば図示しないホストコンピュータから提供された画像や制御ユニット31に設けられた図示しないメモリーカードに保存されている画像、また、後述の制御ユニット31の制御によりGUI等を表示する。また、表示ユニット25は、接眼光学系27を通して外界(前方の被写体)をシースルー可能に構成されている。尚、表示ユニット25の詳細は後述する。
The
カメラユニット28は、本発明における電子カメラに該当し、図示しない後述のズームレンズ281、CCD(Charge Coupled Device)282、及び画像処理部283等を有する。カメラユニット28は、装着者の周囲の外界(前方の被写体)を撮影するものであり、ズームレンズ281によって結像された被写体光学像を、CCD282によって光電変換して画像信号(以下、画像データとも称する。)を生成し、画像処理部283等により画像信号に所定の画像処理を施す。
The
イヤホン29R、29Lは、装着者の耳に挿入され、装着者に音声を提供する。
The
マイク30は、装着者の音声を音声信号に変換する。
The
制御ユニット31は、マイクロコンピュータからなり、電源スイッチ351、操作スイッチ352等を有し、これら各種操作スイッチからの信号や図示しないホストコンピュータからの制御信号、また、表示ユニット25に表示されたGUIからの信号等を受けて、HMD1で行われる表示動作や画像信号処理動作を統括的に制御するものである。
The
ここで、表示ユニット25の構成を、図2を用いて説明する。図2は、表示ユニット25の左側面からの側断面図であり、主に表示ユニット25の内部構成を示している。
Here, the configuration of the
図2に示すように、表示ユニット25は、筐体261、バックライト262、コリメータレンズ263、LCD(Liquid Crystal Display)264からなるLCD表示部26、及びプリズム271、HOE(Holographic Optical Element)272からなる接眼光学系27等から構成される。
As shown in FIG. 2, the
LCD表示部26の筐体261の内部には、バックライト262、コリメータレンズ263、及びLCD264が内蔵された状態で、該筐体261が接眼光学系27のプリズム271の上端部において上斜め前方(図2では右斜め上方向)に突出する態様で取り付けられている。
In the state where the
バックライト262は、所定波長色を含む白色発光ダイオード(LED)からなりLCD264を照明する点光源である。
The
コリメータレンズ263は、バックライト262のLEDの光を略平行光にしてLCD264に投光するものである。
The
LCD264は、図示しないホストコンピュータから提供された画像や図示しないメモリーカードに保存されている画像、また、GUI等を表示するものであり、例えば透過型の液晶表示パネルである。
The
プリズム271は、ガラスや透明樹脂等からなる略板状の透明部材であり、LCD264からの光を内部で複数回の反射を行わせるものである。プリズム271の上端部は、LCD264からの光の大部分を内部に採光できるように、上方に向かってより肉厚となるように前面側(接眼面と反対側)が突き出るように楔形状に形成された肉厚部271bが形成されている。
The
また、プリズム271の下端部には、傾斜面271aが形成されており、プリズム271は、透明基板24Rに形成された傾斜面24Raに対しHOE272を介して接合(例えば接着)されている。また、プリズム271の表裏面は、透明基板24Rの表裏面に対して面一とされている。これにより、プリズム271は、透明基板24Rと一枚の板状に一体化されている。
An
HOE272は、光学的に軸非対称な所謂自由曲面で構成されて正のパワーを有する体積位相型のホログラム光学素子であり、プリズム271の下端部において所定の傾斜角を有して支持されている。HOE272は、プリズム271により導光された光が照射されることにより、光の干渉現象を用いてホログラム映像を眼球Eに提供する。
The
以上のような構成を有する表示ユニット25において、バックライト262のLEDから射出された光は、コリメータレンズ263を通してLCD264を照明し、この照明によりLCD264で生成された像光は、プリズム271内で複数回の全反射を行った後、HOE272により回折し虚像として装着者の眼球Eに導かれる。
In the
さらに、プリズム271は、前方から入射する光を装着者の眼球Eに導くようになっている。これにより、装着者は、外界(前方の被写体)をシースルー可能となり、図示しないホストコンピュータから提供された画像や図示しないメモリーカードに保存されている画像等を外界(前方の被写体)と重畳して視認することとなる。
Further, the
次に、HMD1の概略構成を図3を用いて説明する。図3は、HMD1の概略構成を示すブロック図である。尚、図3では、図1、図2に示した部材と同じ部材には同一の番号を付与した。 Next, a schematic configuration of the HMD 1 will be described with reference to FIG. FIG. 3 is a block diagram illustrating a schematic configuration of the HMD 1. In FIG. 3, the same members as those shown in FIGS. 1 and 2 are assigned the same numbers.
HMD1の要部は、表示ユニット25、カメラユニット28、及び制御ユニット31等から構成される。
The main part of the HMD 1 includes a
表示ユニット25は、LCD表示部26、及び接眼光学系27から構成され、各部位で行われる動作については前述したので説明は省略する。
The
カメラユニット28は、ズームレンズ281、CCD282、及び画像処理部283等を有する。
The
CCD282は、赤(R)、緑(G)、青(B)の各色透過フィルタをピクセル単位(画素単位)で市松模様状に配置させたカラーエリア撮像センサで、ズームレンズ281により結像された被写体光像を、R、G、Bの各色成分の画像信号(各画素単位で受光された画素信号の信号列からなる信号)に光電変換するものである。
The
画像処理部283は、図示しない例えば、黒レベル補正部、画素補間部、ホワイトバランス制御部、ガンマ補正部、マトリックス演算部、シェーディング補正部、及び画像圧縮部等を有し、CCD282より読み出された画像信号に周知の画像信号処理を施すものである。そして、これらの部位で所定の処理を施された画像信号は、後述の制御ユニット31の画像メモリ33に格納される。
The
制御ユニット31は、制御部32、画像メモリ33、VRAM(Video Random Access Memory)34、操作部35、及び通信部36等から構成される。
The
制御部32は、図示しない各制御プログラム等を記憶するROM(Read Only Memory)、演算処理や制御処理等のデータを一時的に格納するRAM(Random Access Memory)、及び制御プログラム等をROMから読み出して実行するCPU(中央演算処理装置)等から構成される。制御部32は、電源スイッチ351及び操作スイッチ352等を有する操作部35からの信号や図示しないホストコンピュータからの制御信号、また、表示ユニット25に表示されたGUIからの信号等を受けて、HMD1で行われる表示動作や画像信号処理動作を統括的に制御するものである。尚、制御部32による表示動作制御の詳細は後述する。
The control unit 32 reads a ROM (Read Only Memory) that stores each control program (not shown), a RAM (Random Access Memory) that temporarily stores data such as arithmetic processing and control processing, and a control program from the ROM. CPU (central processing unit) etc. to be executed. The control unit 32 receives a signal from the
画像メモリ33は、制御部32により画像信号に対する各種処理を行う為の作業領域として用いられる一時メモリである。
The
VRAM34は、LCD表示部26中のLCD264の画素数に対応した画像信号の記録容量を有し、LCD264に再生表示される画像を構成する画像信号のバッファメモリである。
The
通信部36は、例えば、無線LANの無線通信デバイスで構成され、通信ネットワークを介して遠隔地に設けられた例えば図示しないホストコンピュータとの間で映像、音声、及び制御信号等の送受信を行う。尚、無線通信手段としては、他にBluetoothやワイヤレスUSB、また、低消費電力型のデバイスを用いてもよい。
The
ここで、表示ユニット25に表示される画像の一例を図4に示す。表示ユニット25の画面Dには、図4に示すように、HMD1を装着した作業者が表示ユニット25を通して観察できる作業対象物Xのシースルー画像Sに重ね合わせて、ホストコンピュータやメモリーカード等から取得した作業に必要な、例えば作業マニュアルHが表示されている。また、作業マニュアルHのページ送りや拡大表示等の操作を行う為のメニュー画像GUIが表示されている。
An example of an image displayed on the
このような表示態様において、本発明の実施形態におけるHMD1は、作業者が視線や手を作業対象物Xから離すことができないような場合には、GUIを表示ユニット25に表示し、表示されたGUIの操作を、例えば特許文献2に開示されているような視線検知方法等を用いることにより作業マニュアルHのページ送りや拡大表示等を行う。一方、そうでない場合には、視野を確保する為に、GUIを非表示とし、操作部35に設けられた操作スイッチ352を用いて作業マニュアルHのページ送りや拡大表示等を行う。そして、このようなGUIの表示切換え(表示/非表示)を、カメラユニット28で撮影され生成された画像データに基づいて作業の態様を判別し、作業者が視線や手を作業対象物Xから離すことができない状態であると判断した場合のみGUIを表示するものである。これにより、GUIの表示切換え(表示/非表示)に関し、従来のような煩わしい動作を必要とせず、ハンズフリー、操作性を高めることができる。
In such a display mode, the HMD 1 in the embodiment of the present invention displays the GUI on the
以下、作業態様の判別方法の例を説明する。 Hereinafter, an example of a method for determining a work mode will be described.
〔判別方法1〕
本判別方法は、カメラユニット28で生成された画像データに基づき、作業者の頭の振れ幅を検出する。検出した結果、頭の振れ幅が小さい場合は、作業者は作業対象部Xを凝視している可能性が高いと判断し表示ユニット25にGUIを表示する。一方、頭の振れ幅が大きい場合は、作業対象部Xから目を離すことが可能であると判断し、GUIを非表示とするものである。以下、その詳細を図3を用いて説明する。
[Determination method 1]
In this determination method, based on the image data generated by the
図3に示すように、制御部32は、表示制御部321、画像解析部322、指標検出部323等を有する。
As illustrated in FIG. 3, the control unit 32 includes a
画像解析部322は、カメラユニット28で撮影され生成された複数のフレームの画像データを比較し、フレーム間の画像データの変動量を算出する。
The
変動量の算出は、1フレームを構成する全ての画素で生成された画像データをフレーム間で比較してもよいが、この場合は、演算処理に膨大な時間を要する。この為、撮像ユニット28で生成されたR、G、Bの画像データを輝度信号(Y)、色差信号(Cr、Cb)に変換し、変換したYCrCb画像データにおけるそれぞれの成分の平均値を比較することにより、変動量を効率よく算出することができる。
The calculation of the fluctuation amount may compare image data generated by all the pixels constituting one frame between frames. In this case, however, the calculation process takes a long time. Therefore, the R, G, B image data generated by the
表示制御部321は、ホストコンピュータやメモリーカード等から取得した作業に必要な作業マニュアルHや作業マニュアルHのページ送りや拡大表示等の操作を行う為のメニュー画像GUIを表示ユニット25に出力する。
The
また、表示制御部321は、画像解析部322で算出されたフレーム間の画像データの変動量と予め設定しておいた該変動量に関する基準値とを比較する。そして、比較した結果、変動量が基準値を下回る場合、すなわちフレーム間の画像の変化が小さい場合は、頭の振れ幅が小さく作業対象部Xを凝視している可能性が高いと判断し、表示ユニット25にGUIを出力する。一方、変動量が基準値を上回る場合、すなわちフレーム間の画像の変化が大きい場合は、頭の振れ幅が大きく作業対象部Xから目を離すことが可能であると判断し、表示ユニット25にGUIを出力しない。このようにして、表示制御部321は、作業の態様を判別し、作業者が視線や手を作業対象物Xから離すことができない状態であると判断した場合のみ表示ユニット25にGUIを出力する。
Further, the
〔判別方法2〕
本判別方法は、カメラユニット28で生成された画像データに基づき、手の移動幅を検出する。検出した結果、手の移動幅が小さい場合は、作業者は手がふさがっている可能性が高いと判断し表示ユニット25にGUIを表示する。一方、手の移動幅が大きい場合は、作業対象部Xから手を離すことが可能であると判断し、GUIを非表示とするものである。以下、その詳細を図3、図5を用いて説明する。
[Determination method 2]
In this determination method, the movement width of the hand is detected based on the image data generated by the
まず、図5に示すように、作業者は、所定の模様や彩色が施された指標Mを備えた図示しないリストバンドや手袋等を両手Hに装着する。 First, as shown in FIG. 5, the worker wears a wristband, gloves, etc. (not shown) provided with an index M with a predetermined pattern or coloring on both hands H.
指標検出部323は、カメラユニット28で撮影され生成された画像データに基づき、指標Mを検出する。指標Mの検出には、周知のパターン認識を用いることができる。
The
画像解析部322は、指標検出部323で検出された複数のフレームにおける指標Mの位置を比較し、フレーム間の指標Mの位置の変動量を算出する。
The
表示制御部321は、画像解析部322で算出されたフレーム間の指標Mの位置の変動量と予め設定しておいた該変動量に関する基準値とを比較する。そして、比較した結果、変動量が基準値を下回る場合、すなわちフレーム間の指標Mの位置の変化が小さい場合は、手Hの移動幅が小さく作業者は手Hがふさがっている可能性が高いと判断し表示ユニット25にGUIを表示する。一方、変動量が基準値を上回る場合、すなわちフレーム間の指標Mの位置の変化が大きい場合は、手Hの移動量が大きく作業対象部Xから手Hを離すことが可能であると判断し、表示ユニット25にGUIを出力しない。このようにすることにより、判別方法1と同様の効果を得ることができる。また、所定の模様や彩色が施された指標Mを用いることにより、手Hの動きを容易に検出することができ、作業の態様をより正確に判別することができる。
The
以上、本発明を実施の形態を参照して説明してきたが、本発明は前述の実施の形態に限定して解釈されるべきでなく、適宜変更、改良が可能であることは勿論である。例えば、前述の実施の形態においては、作業態様の判別方法に関し、2つの方法を独立して説明したが、これらの方法を組み合わせてもよい。すなわち、頭と手の動きの2つの動きにより作業の態様を判別する構成としてもよい。これにより、さらに高い確度で判別することができる。また、変動量に関する基準値や指標Mの模様や彩色は、作業環境に応じて適宜変更可能な構成としてもよい。 The present invention has been described above with reference to the embodiments. However, the present invention should not be construed as being limited to the above-described embodiments, and can be changed or improved as appropriate. For example, in the above-described embodiment, two methods have been described independently regarding the method of determining the work mode, but these methods may be combined. That is, it is good also as a structure which discriminate | determines the mode of work by two motions, head and hand. As a result, the determination can be made with higher accuracy. Further, the reference value regarding the amount of variation and the pattern and coloring of the index M may be appropriately changed according to the work environment.
1 頭部装着式映像表示装置(HMD)
21R、21L テンプル
22 ブリッジ
23R、23L 鼻当て
24R、24L 透明基板
25 表示ユニット
26 LCD表示部
261 筐体
262 バックライト
263 コリメータレンズ
264 LCD
27 接眼光学系
271 プリズム
272 HOE
28 カメラユニット
281 ズームレンズ
282 CCD
283 画像処理部
29R、29L イヤホン
30 マイク
31 制御ユニット
32 制御部
321 表示制御部
322 画像解析部
323 指標検出部
33 画像メモリ
34 VRAM
35 操作部
351 電源スイッチ
352 操作スイッチ
36 通信部
E 目
H 手
M 指標
X 作業対象物
1 Head-mounted video display (HMD)
21R,
27 Eyepiece
28
283
35
Claims (4)
外界を撮影し画像データを生成する電子カメラと、を備えた頭部装着式映像表示装置であって、
前記表示ユニットに、前記頭部装着式映像表示装置に行わせる動作を選択するメニュー画像データを出力し、前記表示ユニットの駆動を制御する表示制御部と、
前記電子カメラで生成された画像データを解析する画像解析部と、を有し、
前記表示制御部は、前記画像解析部の解析結果に基づき、前記表示ユニットに前記メニュー画像データを出力するか否かを判別することを特徴とする頭部装着式映像表示装置。 A display unit for displaying an image based on the image data;
A head-mounted video display device comprising an electronic camera that images the outside world and generates image data,
A display control unit that outputs menu image data for selecting an operation to be performed by the head-mounted video display device to the display unit, and controls driving of the display unit;
An image analysis unit for analyzing image data generated by the electronic camera,
The head mounted video display device, wherein the display control unit determines whether to output the menu image data to the display unit based on an analysis result of the image analysis unit.
前記表示制御部は、前記画像解析部で算出された前記変動量と予め設定しておいた該変動量に関する基準値とを比較し、
比較した結果、前記変動量が前記基準値を下回る場合は、前記メニュー画像データを前記表示ユニットに出力し、前記変動量が前記基準値を上回る場合は、前記メニュー画像データを前記表示ユニットに出力しないことを特徴とする請求項1に記載の頭部装着式映像表示装置。 The image analysis unit calculates a variation amount between a plurality of frames of image data captured and generated by the electronic camera,
The display control unit compares the fluctuation amount calculated by the image analysis unit with a reference value related to the fluctuation amount set in advance,
As a result of comparison, when the variation amount is less than the reference value, the menu image data is output to the display unit, and when the variation amount exceeds the reference value, the menu image data is output to the display unit. The head-mounted image display device according to claim 1, wherein the head-mounted image display device is not.
前記電子カメラで撮影され生成された画像データに基づき、前記指標を検出する指標検出部と、を有し
前記画像解析部は、前記指標検出部で検出された前記指標の位置の複数のフレーム間の変動量を算出し、
前記表示制御部は、前記画像解析部で算出された前記変動量と予め設定しておいた該変動量に関する基準値とを比較し、
比較した結果、前記変動量が前記基準値を下回る場合は、前記メニュー画像データを前記表示ユニットに出力し、前記変動量が前記基準値を上回る場合は、前記メニュー画像データを前記表示ユニットに出力しないことを特徴とする請求項1または2に記載の頭部装着式映像表示装置。 An index worn on the hand,
An index detection unit that detects the index based on image data photographed and generated by the electronic camera, and the image analysis unit includes a plurality of frames at the position of the index detected by the index detection unit. Calculate the amount of change in
The display control unit compares the fluctuation amount calculated by the image analysis unit with a reference value related to the fluctuation amount set in advance,
As a result of comparison, when the variation amount is less than the reference value, the menu image data is output to the display unit, and when the variation amount exceeds the reference value, the menu image data is output to the display unit. The head-mounted image display device according to claim 1, wherein the head-mounted image display device is not.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008096968A JP5250834B2 (en) | 2008-04-03 | 2008-04-03 | Head-mounted image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008096968A JP5250834B2 (en) | 2008-04-03 | 2008-04-03 | Head-mounted image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009251154A true JP2009251154A (en) | 2009-10-29 |
JP5250834B2 JP5250834B2 (en) | 2013-07-31 |
Family
ID=41311963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008096968A Expired - Fee Related JP5250834B2 (en) | 2008-04-03 | 2008-04-03 | Head-mounted image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5250834B2 (en) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010082547A1 (en) * | 2009-01-16 | 2010-07-22 | ブラザー工業株式会社 | Head-mounted display |
JP2011215856A (en) * | 2010-03-31 | 2011-10-27 | Ns Solutions Corp | Information processing system and information processing method |
JP2012182701A (en) * | 2011-03-02 | 2012-09-20 | Brother Ind Ltd | Head-mounted imaging system, head-mounted imaging device, image display method |
JP2013190926A (en) * | 2012-03-13 | 2013-09-26 | Nikon Corp | Input device, and display device |
JP2014137522A (en) * | 2013-01-18 | 2014-07-28 | Olympus Corp | Spectacle type operation device, spectacle type operation system, and electronic apparatus |
JP2014142751A (en) * | 2013-01-23 | 2014-08-07 | Seiko Epson Corp | Display device, head-mounted type display device, and method for controlling display device |
JP2014164356A (en) * | 2013-02-21 | 2014-09-08 | Fujitsu Ltd | Image processing device, image processing method, and image processing program |
JP2015049498A (en) * | 2013-09-05 | 2015-03-16 | セイコーエプソン株式会社 | Head-mounted type display device, method for controlling head-mounted type display device, image display system, and information processor |
WO2015125200A1 (en) * | 2014-02-21 | 2015-08-27 | ソニー株式会社 | Wearable apparatus and control device |
JP2016031761A (en) * | 2014-07-25 | 2016-03-07 | 裕行 池田 | Spectacle type terminal |
JP6057396B2 (en) * | 2013-03-11 | 2017-01-11 | Necソリューションイノベータ株式会社 | 3D user interface device and 3D operation processing method |
WO2017150292A1 (en) * | 2016-03-04 | 2017-09-08 | 新日鉄住金ソリューションズ株式会社 | Display system, information processing device, information processing method, and program |
JPWO2016185845A1 (en) * | 2015-05-21 | 2018-02-15 | 日本電気株式会社 | Interface control system, interface control device, interface control method, and program |
JP2018028922A (en) * | 2011-09-19 | 2018-02-22 | アイサイト モバイル テクノロジーズ リミテッド | Touch free interface for augmented reality systems |
JP2019032728A (en) * | 2017-08-09 | 2019-02-28 | アズビル株式会社 | Display device and display method |
US10451874B2 (en) | 2013-09-25 | 2019-10-22 | Seiko Epson Corporation | Image display device, method of controlling image display device, computer program, and image display system |
JP2020013584A (en) * | 2019-08-09 | 2020-01-23 | 株式会社ファイン | Virtual reality display system, virtual reality display method, and computer program |
US11429200B2 (en) | 2020-10-13 | 2022-08-30 | Hiroyuki Ikeda | Glasses-type terminal |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (en) * | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
JPH08223658A (en) * | 1995-02-15 | 1996-08-30 | Sharp Corp | Spectacle type display |
JP2004257872A (en) * | 2003-02-26 | 2004-09-16 | Seiko Epson Corp | Position information acquiring system, position information acquiring device, position information acquiring method and program |
JP2006208999A (en) * | 2005-01-31 | 2006-08-10 | Konica Minolta Photo Imaging Inc | Video display device and simulation system |
JP2008009490A (en) * | 2006-06-27 | 2008-01-17 | Konica Minolta Holdings Inc | Information input device |
JP2008065169A (en) * | 2006-09-08 | 2008-03-21 | Sony Corp | Display device and display method |
-
2008
- 2008-04-03 JP JP2008096968A patent/JP5250834B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (en) * | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
JPH08223658A (en) * | 1995-02-15 | 1996-08-30 | Sharp Corp | Spectacle type display |
JP2004257872A (en) * | 2003-02-26 | 2004-09-16 | Seiko Epson Corp | Position information acquiring system, position information acquiring device, position information acquiring method and program |
JP2006208999A (en) * | 2005-01-31 | 2006-08-10 | Konica Minolta Photo Imaging Inc | Video display device and simulation system |
JP2008009490A (en) * | 2006-06-27 | 2008-01-17 | Konica Minolta Holdings Inc | Information input device |
JP2008065169A (en) * | 2006-09-08 | 2008-03-21 | Sony Corp | Display device and display method |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010164814A (en) * | 2009-01-16 | 2010-07-29 | Brother Ind Ltd | Head mounted display |
WO2010082547A1 (en) * | 2009-01-16 | 2010-07-22 | ブラザー工業株式会社 | Head-mounted display |
JP2011215856A (en) * | 2010-03-31 | 2011-10-27 | Ns Solutions Corp | Information processing system and information processing method |
JP2012182701A (en) * | 2011-03-02 | 2012-09-20 | Brother Ind Ltd | Head-mounted imaging system, head-mounted imaging device, image display method |
JP7297216B2 (en) | 2011-09-19 | 2023-06-26 | アイサイト モバイル テクノロジーズ リミテッド | Touch-free interface for augmented reality systems |
JP2018028922A (en) * | 2011-09-19 | 2018-02-22 | アイサイト モバイル テクノロジーズ リミテッド | Touch free interface for augmented reality systems |
JP2021007022A (en) * | 2011-09-19 | 2021-01-21 | アイサイト モバイル テクノロジーズ リミテッド | Touch free interface for augmented reality systems |
US11093045B2 (en) | 2011-09-19 | 2021-08-17 | Eyesight Mobile Technologies Ltd. | Systems and methods to augment user interaction with the environment outside of a vehicle |
US11494000B2 (en) | 2011-09-19 | 2022-11-08 | Eyesight Mobile Technologies Ltd. | Touch free interface for augmented reality systems |
JP2013190926A (en) * | 2012-03-13 | 2013-09-26 | Nikon Corp | Input device, and display device |
JP2014137522A (en) * | 2013-01-18 | 2014-07-28 | Olympus Corp | Spectacle type operation device, spectacle type operation system, and electronic apparatus |
JP2014142751A (en) * | 2013-01-23 | 2014-08-07 | Seiko Epson Corp | Display device, head-mounted type display device, and method for controlling display device |
US9128529B2 (en) | 2013-02-21 | 2015-09-08 | Fujitsu Limited | Image processing device, image processing method |
JP2014164356A (en) * | 2013-02-21 | 2014-09-08 | Fujitsu Ltd | Image processing device, image processing method, and image processing program |
JP6057396B2 (en) * | 2013-03-11 | 2017-01-11 | Necソリューションイノベータ株式会社 | 3D user interface device and 3D operation processing method |
JPWO2014141504A1 (en) * | 2013-03-11 | 2017-02-16 | Necソリューションイノベータ株式会社 | 3D user interface device and 3D operation processing method |
US10007351B2 (en) | 2013-03-11 | 2018-06-26 | Nec Solution Innovators, Ltd. | Three-dimensional user interface device and three-dimensional operation processing method |
JP2015049498A (en) * | 2013-09-05 | 2015-03-16 | セイコーエプソン株式会社 | Head-mounted type display device, method for controlling head-mounted type display device, image display system, and information processor |
US10451874B2 (en) | 2013-09-25 | 2019-10-22 | Seiko Epson Corporation | Image display device, method of controlling image display device, computer program, and image display system |
CN106062692B (en) * | 2014-02-21 | 2019-12-06 | 索尼公司 | Wearable device and control apparatus |
US11068154B2 (en) | 2014-02-21 | 2021-07-20 | Sony Corporation | Wearable apparatus and control apparatus |
WO2015125200A1 (en) * | 2014-02-21 | 2015-08-27 | ソニー株式会社 | Wearable apparatus and control device |
CN106062692A (en) * | 2014-02-21 | 2016-10-26 | 索尼公司 | Wearable apparatus and control device |
US10585288B2 (en) | 2014-07-25 | 2020-03-10 | Hiroyuki Ikeda | Computer display device mounted on eyeglasses |
JP2016031761A (en) * | 2014-07-25 | 2016-03-07 | 裕行 池田 | Spectacle type terminal |
US10191282B2 (en) | 2014-07-25 | 2019-01-29 | Hiroyuki Ikeda | Computer display device mounted on eyeglasses |
US10698535B2 (en) | 2015-05-21 | 2020-06-30 | Nec Corporation | Interface control system, interface control apparatus, interface control method, and program |
JPWO2016185845A1 (en) * | 2015-05-21 | 2018-02-15 | 日本電気株式会社 | Interface control system, interface control device, interface control method, and program |
JP6279159B2 (en) * | 2016-03-04 | 2018-02-14 | 新日鉄住金ソリューションズ株式会社 | Display system, information processing apparatus, information processing method, and program |
JPWO2017150292A1 (en) * | 2016-03-04 | 2018-03-08 | 新日鉄住金ソリューションズ株式会社 | Display system, information processing apparatus, information processing method, and program |
WO2017150292A1 (en) * | 2016-03-04 | 2017-09-08 | 新日鉄住金ソリューションズ株式会社 | Display system, information processing device, information processing method, and program |
JP2019032728A (en) * | 2017-08-09 | 2019-02-28 | アズビル株式会社 | Display device and display method |
JP2020013584A (en) * | 2019-08-09 | 2020-01-23 | 株式会社ファイン | Virtual reality display system, virtual reality display method, and computer program |
US11429200B2 (en) | 2020-10-13 | 2022-08-30 | Hiroyuki Ikeda | Glasses-type terminal |
Also Published As
Publication number | Publication date |
---|---|
JP5250834B2 (en) | 2013-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5250834B2 (en) | Head-mounted image display device | |
RU2488860C2 (en) | Display arrangement and device | |
CN108535868B (en) | Head-mounted display device and control method thereof | |
EP2756350B1 (en) | Optical display system and method with virtual image contrast control | |
US9091850B2 (en) | Compact see-through display system | |
JP5029759B2 (en) | Information input system | |
CN112639579A (en) | Spatially resolved dynamic dimming for augmented reality devices | |
CN109960481B (en) | Display system and control method thereof | |
JP6903998B2 (en) | Head mounted display | |
JP6094305B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
US9846305B2 (en) | Head mounted display, method for controlling head mounted display, and computer program | |
JP2018142857A (en) | Head mounted display device, program, and control method of head mounted display device | |
JP6405991B2 (en) | Electronic device, display device, and control method of electronic device | |
JP4900277B2 (en) | Head-mounted image display device | |
JP2009251428A (en) | Information display system | |
JP6464729B2 (en) | Display device and control method of display device | |
JP2009278234A (en) | Display system | |
JP2009192583A (en) | Head-mounted type video display device | |
JP2007121625A (en) | Image display device | |
JP2008123257A (en) | Remote operation support system and display control method | |
JP2008009490A (en) | Information input device | |
JP2008113317A (en) | Remote operation support system | |
JP6609920B2 (en) | Display device and control method of display device | |
JP4952204B2 (en) | Remote work support system and display method thereof | |
EP3441847A1 (en) | Controller for use in a display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101020 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5250834 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
LAPS | Cancellation because of no payment of annual fees |