JP2015213226A - Wearable display and display control program therefor - Google Patents
Wearable display and display control program therefor Download PDFInfo
- Publication number
- JP2015213226A JP2015213226A JP2014094945A JP2014094945A JP2015213226A JP 2015213226 A JP2015213226 A JP 2015213226A JP 2014094945 A JP2014094945 A JP 2014094945A JP 2014094945 A JP2014094945 A JP 2014094945A JP 2015213226 A JP2015213226 A JP 2015213226A
- Authority
- JP
- Japan
- Prior art keywords
- display
- wearer
- movement
- image
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、実観察に虚像を重畳し画像表示を行うシースルー型のウエアラブルディスプレイ（wearable display）及びその画像表示制御に関する。 The present invention relates to a see-through type wearable display that superimposes a virtual image on actual observation and displays an image, and image display control thereof.
シースルー型のウエアラブルディスプレイは、実観察とともに虚像を観察することができるため、様々な用途での利用が期待でき、装着者が歩きながら画像を観察することも想定される。従来のシースルー型のウエアラブルディスプレイとして、例えば、特許文献１に示されるように、加速度センサー等により使用者が歩行中か否かと使用者の顔の向きを判断し、その結果に応じて表示画像を切り替える技術が提案されている。また、特許文献２には、眼前に小型のディスプレイを配置したウエアラブルディスプレイにおいて、使用者が歩行中か否かの状態を加速度センサーやＧＰＳ等により検出しその状態に応じて表示モードを切り替える技術が提案されている。また、特許文献３には、視線検出手段によって検出された使用者の視線に応じて所定の表示領域における表示の形態を変化させる技術が提案されている。 Since the see-through wearable display can observe a virtual image together with actual observation, it can be expected to be used in various applications, and it is also assumed that the wearer observes an image while walking. As a conventional see-through wearable display, for example, as shown in Patent Document 1, an acceleration sensor or the like determines whether the user is walking and the orientation of the user's face, and displays a display image according to the result. Switching technology has been proposed. Patent Document 2 discloses a technique for detecting whether or not the user is walking with an acceleration sensor or GPS in a wearable display in which a small display is placed in front of the user and switching the display mode according to the state. Proposed. Patent Document 3 proposes a technique for changing the display form in a predetermined display area in accordance with the user's line of sight detected by the line-of-sight detection means.
ところで、近年のウエアラブルディスプレイの普及に伴い、表示画像の注視による他者との接触や転倒等、危機回避の遅れによる事故の増加が懸念される。シースルー型のウエアラブルディスプレイにおいても、外界を観察できるとはいえ、安全性の確保は重要であり、表示の利便性と安全性との両立という点で改善の余地を有している。
特許文献１では、歩行中か否かと顔の向きにより表示画像を選択的に表示することを行うが、顔の向きを変えることで詳細情報表示をすることになる。したがって、詳細表示するためには一旦立ち止まってわざと不要に顔の向きを変えなければならないので不便である。また、特許文献１では装着者の視野を検出しないため、歩行中に限定した表示領域に情報を表示しても、装着者がその表示を注視すれば、安定注視野内に情報が表示されている状態となり、その情報表示に気を取られて危機回避が遅れる恐れがある。また、歩行中に全く情報を表示しないこととすれば、装着者はディスプレイから何らの情報も得られない。
特許文献２では、歩行中か否か、或いは注視しているか否か等で表示モードすなわち詳細モードから要約モード又は非表示モードに切り替えることとなっている。すなわち、注視の有無にかかわらず、歩行中であれば要約モード又は非表示モードに切り替わる。また、注視の有無は検出するものの注視している視野までは検出しない。したがって、歩行中に要約モードに切り替わっても、装着者がその要約モードの表示を注視すれば、安定注視野内に情報が表示されている状態となり、その情報表示に気を取られて危機回避が遅れる恐れがある。また、歩行中に非表示モードに切り替わると、装着者はディスプレイから何らの情報も得られない。
特許文献３では、装着者の視線に合わせて表示の形態を変化させるとなっているが、注視している領域をより誇張し注視を促す形態である。特許文献３には表示装置を備えるヘッドマウントディスプレイを装着して歩行することについては何ら記載がないが、仮にこのヘッドマウントディスプレイを装着して歩行したとすると、歩行中に装着者がその誇張された表示を注視すれば、安定注視野内に情報が表示されている状態となり、その情報表示に気を取られて危機回避が遅れる恐れがある。また、視線の検出手段が表示画像中央部にあり表示画像が一部欠損する形態であって、シースルー型とすることも難しく外界へ視界も良好でない。
以上のように従来技術は、画像表示により情報を提供することと、表示画像を注視しているために危機回避が遅れるのを防止することという相反する課題に対し十分に成熟した技術とは言えなかった。
By the way, with the spread of wearable displays in recent years, there is a concern about an increase in accidents due to delays in avoiding a crisis, such as contact with other people or a fall by gazing at a display image. Even in the see-through type wearable display, it is important to ensure safety even though the outside world can be observed, and there is room for improvement in terms of both convenience of display and safety.
In Patent Document 1, a display image is selectively displayed depending on whether or not walking and the orientation of the face, but detailed information is displayed by changing the orientation of the face. Therefore, in order to display details, it is inconvenient because it is necessary to stop and change the direction of the face unnecessarily. Further, in Patent Document 1, since the visual field of the wearer is not detected, even if information is displayed in a display area limited during walking, if the wearer gazes at the display, the information is displayed within the stable visual field. There is a risk that crisis avoidance will be delayed due to distraction of the information display. If no information is displayed during walking, the wearer cannot obtain any information from the display.
In Patent Literature 2, the mode is switched from the display mode, that is, the detailed mode to the summary mode or the non-display mode depending on whether or not the user is walking or not. That is, regardless of the presence or absence of gaze, the mode is switched to the summary mode or the non-display mode while walking. Moreover, although the presence or absence of gaze is detected, it does not detect the visual field in which the gaze is observed. Therefore, even if the summary mode is switched while walking, if the wearer watches the summary mode display, the information is displayed within the stable focus field, and the information display is distracted to avoid the crisis. May be delayed. Further, if the mode is switched to the non-display mode while walking, the wearer cannot obtain any information from the display.
In Patent Document 3, the display form is changed in accordance with the line of sight of the wearer, but this is a form in which the region being watched is exaggerated and the watch is promoted. Patent Document 3 has no description about walking with a head-mounted display equipped with a display device, but if the user walks with this head-mounted display, the wearer is exaggerated during walking. If the display is watched closely, the information is displayed within the stable focus field, and there is a risk that the information will be distracted and the crisis avoidance may be delayed. Further, the line-of-sight detection means is in the center of the display image, and the display image is partially lost, and it is difficult to make a see-through type and the visibility to the outside world is not good.
As described above, the conventional technology is a sufficiently mature technology for conflicting problems of providing information through image display and preventing delay in avoiding a crisis because the display image is watched. There wasn't.
本発明は以上の従来技術における問題に鑑みてなされたものであって、表示画像を注視しているために危機回避が遅れるのを防止することができ、かつ、安定注視野外での表示により使用者に必要な情報を伝えることができるウエアラブルディスプレイ及びその表示制御プログラムを提供することを課題とする。 The present invention has been made in view of the above problems in the prior art, and can prevent delay in avoiding a crisis because the display image is watched, and can be used for display outside a stable focus field of view. It is an object of the present invention to provide a wearable display that can transmit necessary information to a person and a display control program thereof.
以上の課題を解決するための請求項１記載の発明は、シースルー型の表示部材を介して装着者の瞳孔に画像光を導光する表示光学系と、装着者の瞳孔を撮影する瞳孔撮影用カメラと、装着者の移動を検出する移動検出ユニットと、制御装置とを備え、
前記制御装置は、
前記移動検出ユニットを通じて装着者の自律的な移動を検知している場合は、前記瞳孔撮影用カメラの撮影画像から推定される装着者の安定注視野内に相当する表示領域に対し表示密度及び表示時間のうち少なくとも一方を制限値以下に制限する表示制限を行うとともに、安定注視野外に相当する表示領域に対し前記制限値を超える表示を許容して前記表示光学系による画像表示を制御し、
前記移動検出ユニットを通じて装着者の前記自律的な移動を検知していない場合は、安定注視野の内か外かに拘わらず前記制限値を超える表示を許容して前記表示光学系による画像表示を制御することを特徴とするウエアラブルディスプレイである。
The invention described in claim 1 for solving the above-described problems is a display optical system that guides image light to a wearer's pupil through a see-through display member, and a pupil photographing that photographs the wearer's pupil. A camera, a movement detection unit for detecting movement of the wearer, and a control device;
The controller is
When autonomous movement of the wearer is detected through the movement detection unit, the display density and display for the display area corresponding to the stable gaze field of the wearer estimated from the captured image of the pupil photographing camera While performing display restriction that restricts at least one of the time to be less than or equal to the limit value, and to control the image display by the display optical system to allow display exceeding the limit value for a display area corresponding to outside the stable focus field,
When the autonomous movement of the wearer is not detected through the movement detection unit, display exceeding the limit value is permitted regardless of whether it is within or outside the stable focus field, and image display by the display optical system is performed. It is a wearable display characterized by controlling.
請求項２記載の発明は、前記表示光学系内における画像光の光路の途中に、装着者の瞳からの光を分岐させる光路分岐素子が配され、当該光路分岐素子により画像光の光路から分岐した光路上に前記瞳孔撮影用カメラを配したことを特徴とする請求項１に記載のウエアラブルディスプレイである。 According to the second aspect of the present invention, an optical path branching element for branching the light from the wearer's pupil is arranged in the middle of the optical path of the image light in the display optical system, and the optical path branching element branches from the optical path of the image light. 2. The wearable display according to claim 1, wherein the pupil photographing camera is arranged on the optical path.
請求項３記載の発明は、前記光路分岐素子は偏光ビームスプリッターであることを特徴とする請求項２に記載のウエアラブルディスプレイである。 A third aspect of the present invention is the wearable display according to the second aspect, wherein the optical path branching element is a polarization beam splitter.
請求項４記載の発明は、前記移動検出ユニットが加速度センサー及び全地球測位システムの受信機のうち少なくとも一方を含むことを特徴とする請求項１から請求項３のうちいずれか一に記載のウエアラブルディスプレイである。 According to a fourth aspect of the present invention, the movement detection unit includes at least one of an acceleration sensor and a receiver of the global positioning system. The wearable according to any one of the first to third aspects, It is a display.
請求項５記載の発明は、前記移動検出ユニットが加速度センサーを含み、当該加速度センサーにより装着者の移動を検出することを特徴とする請求項４に記載のウエアラブルディスプレイである。 The invention according to claim 5 is the wearable display according to claim 4, wherein the movement detection unit includes an acceleration sensor and the movement of the wearer is detected by the acceleration sensor.
請求項６記載の発明は、前記移動検出ユニットが全地球測位システムの受信機を含み、当該受信機の測位結果から装着者の移動を検出することを特徴とする請求項４に記載のウエアラブルディスプレイである。 6. The wearable display according to claim 4, wherein the movement detection unit includes a receiver of a global positioning system, and detects the movement of the wearer from the positioning result of the receiver. It is.
請求項７記載の発明は、前記移動検出ユニットは、加速度センサー及び全地球測位システムの受信機のうちの少なくとも一つを備える電子機器と通信して当該電子機器から装着者の移動の検出結果を受信することを特徴とする請求項１から請求項３のうちいずれか一に記載のウエアラブルディスプレイである。 According to a seventh aspect of the present invention, the movement detection unit communicates with an electronic device including at least one of an acceleration sensor and a receiver of the global positioning system, and detects the movement detection result of the wearer from the electronic device. The wearable display according to any one of claims 1 to 3, wherein the wearable display is received.
請求項８記載の発明は、前記移動検出ユニットが外界を撮影する外界撮影用カメラを含み、当該外界撮影用カメラの撮影画像の変化に基づき装着者の移動を検出することを特徴とする請求項１から請求項３のうちいずれか一に記載のウエアラブルディスプレイである。 The invention according to claim 8 is characterized in that the movement detection unit includes an external shooting camera for shooting the external world, and detects the movement of the wearer based on a change in a captured image of the external shooting camera. It is a wearable display as described in any one of Claims 1-3.
請求項９記載の発明は、前記制御装置は、前記移動検出ユニットが装着者の歩行又は３０ｋｍ／ｈ以下での移動を検出することによって、装着者の前記自律的な移動を検知することを特徴とする請求項１から請求項８のうちいずれか一に記載のウエアラブルディスプレイである。 The invention according to claim 9 is characterized in that the control device detects the autonomous movement of the wearer when the movement detection unit detects walking of the wearer or movement at 30 km / h or less. A wearable display according to any one of claims 1 to 8.
請求項１０記載の発明は、前記制御装置は、前記移動検出ユニットにより装着者が３０ｋｍ/ｈより高速で移動していることが検出されている場合には、前記表示制限を行うか否かを装着者に選択させることを特徴とする請求項１から請求項９のうちいずれか一に記載のウエアラブルディスプレイである。 According to a tenth aspect of the present invention, the control device determines whether or not to perform the display restriction when it is detected by the movement detection unit that the wearer is moving at a speed higher than 30 km / h. The wearable display according to any one of claims 1 to 9, wherein the wearer is selected.
請求項１１記載の発明は、前記制御装置は、前記瞳孔撮影用カメラで撮影した装着者の虹彩に基づき装着者を識別する虹彩認証情報を取得し、虹彩認証情報に関連付けて前記表示制限機能に関する設定を保存し、虹彩認証情報に基づき当該設定を適用可能にすることを特徴とする請求項１から請求項１０うちいずれか一に記載のウエアラブルディスプレイである。 The invention according to claim 11 relates to the display restriction function, wherein the control device acquires iris authentication information for identifying a wearer based on the iris of the wearer photographed by the pupil photographing camera, and associates the iris authentication information with the iris authentication information. The wearable display according to any one of claims 1 to 10, wherein the setting is stored and the setting can be applied based on iris authentication information.
請求項１２記載の発明は、装着者の一方の眼前に前記表示部材が配置され、装着者の他方の眼前に前記瞳孔撮影用カメラが配置されることを特徴とする請求項１に記載のウエアラブルディスプレイである。 The invention according to claim 12 is the wearable according to claim 1, wherein the display member is disposed in front of one eye of the wearer, and the pupil photographing camera is disposed in front of the other eye of the wearer. It is a display.
請求項１３記載の発明は、シースルー型の表示部材を介して装着者の瞳孔に画像光を導光する表示光学系と、装着者の瞳孔を撮影する瞳孔撮影用カメラと、装着者の移動を検出する移動検出ユニットと、制御装置とを備えるウエアラブルディスプレイの表示制御プログラムであって、
前記制御装置に、
前記移動検出ユニットを通じて装着者の自律的な移動が検知されている場合は、前記瞳孔撮影用カメラの撮影画像から推定される装着者の安定注視野内に相当する表示領域に対し表示密度及び表示時間のうち少なくとも一方を制限値以下に制限する表示制限を行わせるとともに、安定注視野外に相当する表示領域に対し前記制限値を超える表示を許容して前記表示光学系による画像表示を制御させ、
前記移動検出ユニットを通じて装着者の前記自律的な移動が検知されていない場合は、安定注視野の内か外かに拘わらず前記制限値を超える表示を許容して前記表示光学系による画像表示を制御させる、ウエアラブルディスプレイの表示制御プログラムである。
The invention according to claim 13 is a display optical system that guides image light to the wearer's pupil through a see-through display member, a pupil photographing camera that photographs the wearer's pupil, and movement of the wearer. A display control program for a wearable display comprising a movement detection unit for detecting and a control device,
In the control device,
When autonomous movement of the wearer is detected through the movement detection unit, the display density and display for the display area corresponding to the stable gaze field of the wearer estimated from the captured image of the pupil photographing camera Let the display limit to limit at least one of the time below the limit value, and allow the display area corresponding to outside the stable focus field to allow display exceeding the limit value to control the image display by the display optical system,
When the autonomous movement of the wearer is not detected through the movement detection unit, display exceeding the limit value is allowed regardless of whether it is inside or outside the stable focus field, and image display by the display optical system is performed. A display control program for a wearable display to be controlled.
請求項１４記載の発明は、前記制御装置に、前記移動検出ユニットが、装着者の歩行又は３０ｋｍ／ｈ以下での移動を検出することにより、装着者の前記自律的な移動を検知させる請求項１３に記載のウエアラブルディスプレイの表示制御プログラムである。 The invention described in claim 14 causes the control device to detect the autonomous movement of the wearer when the movement detection unit detects walking of the wearer or movement at 30 km / h or less. 13 is a display control program for the wearable display according to 13.
請求項１５記載の発明は、前記移動検出ユニットにより、装着者が３０ｋｍ/ｈより高速で移動していることを検出されている場合には、前記表示制限を行うか否かを装着者に選択させる請求項１３又は１４に記載のウエアラブルディスプレイの表示制御プログラムである。 In the invention according to claim 15, when it is detected by the movement detection unit that the wearer is moving at a speed higher than 30 km / h, the wearer selects whether to perform the display restriction. 15. A display control program for a wearable display according to claim 13 or 14.
本発明によれば、ウエアラブルディスプレイにおいて、歩行などの装着者の自律的な移動が検知されている場合は、安定注視野内に対し表示密度及び表示時間のうち少なくとも一方を制限値以下に制限する表示制限を行うとともに、安定注視野外に対し前記制限値を超える表示を許容して画像表示を制御するので、表示画像を注視しているために危機回避が遅れるのを防止することができ、かつ、安定注視野外での表示により使用者に必要な情報を伝えることができる。 According to the present invention, in the wearable display, when autonomous movement of the wearer such as walking is detected, at least one of the display density and the display time is limited to a limit value or less with respect to the stable focus field. Since the display is controlled while permitting display exceeding the limit value with respect to the outside of the stable gazing field while controlling the display, it is possible to prevent delay avoidance from being delayed because the display image is being watched, and The necessary information can be conveyed to the user by the display outside the stable focus field.
以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。 An embodiment of the present invention will be described below with reference to the drawings. The following is one embodiment of the present invention and does not limit the present invention.
図１は、本実施形態に係るウエアラブルディスプレイ（以下「ＷＤ」という）の概略の構成を示す斜視図であり、図２は、ＷＤを装着者が装着した状態でのＷＤの側面図である。ＷＤは、画像表示装置１と、使用者の頭部に装着され画像表示装置１などの各部を支持する支持手段としてのフレーム２と、ケーブル３とを有して構成されている。
フレーム２は、左右のテンプル２１，２１と、左右のテンプル２１，２１をつなぐ前部フレーム２２とを有して構成されている。前部フレーム２２にノーズパッド２３，２３と、画像表示装置１が支持され、テンプル２１にスピーカ（イヤフォン）２５が支持されている。
FIG. 1 is a perspective view showing a schematic configuration of a wearable display (hereinafter referred to as “WD”) according to the present embodiment, and FIG. 2 is a side view of the WD in a state where the wearer wears the WD. The WD includes an image display device 1, a frame 2 as a support unit that is mounted on a user's head and supports each part of the image display device 1, and a cable 3.
The frame 2 includes left and right temples 21 and 21 and a front frame 22 that connects the left and right temples 21 and 21. The nose pads 23 and 23 and the image display device 1 are supported on the front frame 22, and the speaker (earphone) 25 is supported on the temple 21.
画像表示装置１は、画像を表示して装着者に提供するものであり、フレーム２は、画像表示装置１を装着者の眼前で支持する。本実施形態では、フレーム２は、画像表示装置１を装着者の右眼の前に位置するように支持しているが、左眼の前でもよいし、画像表示装置１を２つ設け、これらを両眼の前に位置するように支持してもよい。いずれにしても、画像表示装置１をフレーム２で支持することにより、装着者は画像表示装置１に表示される画像をハンズフリーで観察することが可能となる。 The image display device 1 displays an image and provides it to the wearer, and the frame 2 supports the image display device 1 in front of the wearer's eyes. In the present embodiment, the frame 2 supports the image display device 1 so as to be positioned in front of the right eye of the wearer, but it may be in front of the left eye, or two image display devices 1 are provided. May be supported in front of both eyes. In any case, by supporting the image display device 1 with the frame 2, the wearer can observe the image displayed on the image display device 1 in a hands-free manner.
図３に本実施形態のＷＤの機能ブロック図を示す。本実施形態のＷＤは、上述の画像表示装置１及びスピーカ２５のほか、画像表示装置１による画像表示を制御する制御装置等として機能するＣＰＵ１００、装着者の瞳孔を撮影する瞳孔撮影用カメラ１６、装着者の移動を検出する移動検出ユニット１０１、ＲＯＭ／ＲＡＭ１０２、着脱自在なカード状メモリーなどの記憶媒体１０３、スイッチ類等の操作入力部１０４、通信ユニット１０５等を備えて構成される。但し、フレーム２に支持される必要があるのは、画像表示装置１と瞳孔撮影用カメラ１６である。本実施形態ではその他の要素は、ケーブル３や無線通信によって接続される。なお、操作入力部１０４をフレーム２に設けてもよい。また、操作入力部１０４とともに、あるいは、操作入力部１０４に代えてフレーム２にマイクを搭載し、装着者の音声でＷＤの操作を行うようにしてもよい。なお、ＣＰＵ１００が実行する表示制御プログラムは、ＲＯＭ／ＲＡＭ１０２や記憶媒体１０３に記憶されており、通信ユニット１０５を通じて適宜アップデートされる。また、ＣＰＵ１００は、電子メールの内容を画像表示装置１に表示させたり、装着者を目的地まで案内するための情報を表示するナビゲーションモードで表示制御を行ったりすることができる。 FIG. 3 shows a functional block diagram of the WD of this embodiment. In addition to the image display device 1 and the speaker 25 described above, the WD of the present embodiment includes a CPU 100 that functions as a control device that controls image display by the image display device 1, a pupil photographing camera 16 that photographs the wearer's pupil, It comprises a movement detection unit 101 for detecting the movement of the wearer, a ROM / RAM 102, a storage medium 103 such as a removable card-like memory, an operation input unit 104 such as switches, a communication unit 105, and the like. However, the image display device 1 and the pupil photographing camera 16 need to be supported by the frame 2. In this embodiment, other elements are connected by the cable 3 or wireless communication. Note that the operation input unit 104 may be provided in the frame 2. Further, a microphone may be mounted on the frame 2 together with the operation input unit 104 or instead of the operation input unit 104, and the WD may be operated with the wearer's voice. Note that the display control program executed by the CPU 100 is stored in the ROM / RAM 102 or the storage medium 103 and is appropriately updated through the communication unit 105. Further, the CPU 100 can display the contents of the e-mail on the image display device 1 and perform display control in a navigation mode in which information for guiding the wearer to the destination is displayed.
図４は、画像表示装置１の概略の構成を示す断面図である。
画像表示装置１は、光源１１と、一方向拡散板１２と、集光レンズ１３と、表示素子１４と、接眼光学系Ａからなる表示光学系を有している。接眼光学系Ａはシースルー型の表示部材を構成する。光源１１、拡散板１２、集光レンズ１３および表示素子１４のほか、ビームスプリッター１５と瞳孔撮影用カメラ１６と瞳照明光源Ｃとが筐体１０内に収容されている。接眼光学系Ａの基端部（後述する接眼プリズム１７の基端部）も筐体１０内に位置している。
上記したケーブル３は、筐体１０の片側側面を貫通するように設けられ（図１、図５参照）、ケーブル３を介して光源１１や表示素子１４に駆動電力や画像信号が供給される。
FIG. 4 is a cross-sectional view illustrating a schematic configuration of the image display device 1.
The image display device 1 includes a display optical system including a light source 11, a unidirectional diffuser plate 12, a condenser lens 13, a display element 14, and an eyepiece optical system A. The eyepiece optical system A constitutes a see-through display member. In addition to the light source 11, the diffusion plate 12, the condenser lens 13, and the display element 14, a beam splitter 15, a pupil photographing camera 16, and a pupil illumination light source C are housed in the housing 10. A proximal end portion of the eyepiece optical system A (a proximal end portion of an eyepiece prism 17 described later) is also located in the housing 10.
The cable 3 described above is provided so as to penetrate one side surface of the housing 10 (see FIGS. 1 and 5), and driving power and image signals are supplied to the light source 11 and the display element 14 via the cable 3.
なお、以下での説明の便宜上、方向を以下のように定義しておく。まず、表示素子１４の表示領域の中心と、接眼光学系Ａによって形成される結像領域Ｂの中心とを光学的に結ぶ軸を光軸とする。そして、光源１１から結像領域Ｂまでの光路を展開したときの光軸方向をＺ方向とする。また、接眼光学系Ａの後述するホログラム光学素子１９への光軸の入射面に垂直な方向をＸ方向とし、ＺＸ平面に垂直な方向をＹ方向とする。ここで、ホログラム光学素子１９への光軸の入射面とは、ホログラム光学素子１９における入射光の光軸と反射光の光軸とを含む平面、すなわち、ＹＺ平面を指す。以下、上記入射面を単に入射面または光軸入射面と称する。なお、本実施形態では、ＸＹＺの各方向において正負は問わないものとする。 For convenience of explanation below, directions are defined as follows. First, an axis that optically connects the center of the display area of the display element 14 and the center of the imaging area B formed by the eyepiece optical system A is defined as an optical axis. The optical axis direction when the optical path from the light source 11 to the imaging region B is developed is taken as the Z direction. In addition, a direction perpendicular to an incident surface of an optical axis to a hologram optical element 19 described later of the eyepiece optical system A is defined as an X direction, and a direction perpendicular to the ZX plane is defined as a Y direction. Here, the incident surface of the optical axis on the hologram optical element 19 refers to a plane including the optical axis of incident light and the optical axis of reflected light in the hologram optical element 19, that is, the YZ plane. Hereinafter, the incident surface is simply referred to as an incident surface or an optical axis incident surface. In the present embodiment, positive and negative are not considered in each direction of XYZ.
光源１１は、表示素子１４を照明するものであり、例えば、光強度のピーク波長および光強度半値の波長幅で４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±
１１ｎｍ（Ｒ光）となる３つの波長帯域の光を発するＲＧＢ一体型のＬＥＤで構成することができる。このように、光源１１が所定の波長幅の光を出射することにより、表示素子１４を照明して得られる画像光に所定の波長幅を持たせることができ、ホログラム光学素子１９にて画像光を回折させたときに、結像領域Ｂの位置にて観察画角全域にわたって装着者に画像を観察させることができる。また、光源１１の各色についてのピーク波長は、ホログラム光学素子１９の回折効率のピーク波長の近傍に設定されており、光利用効率の向上が図られている。
また、光源１１は、ＲＧＢの光を出射するＬＥＤで構成することにより、光源１１を安価に実現することができるとともに、表示素子１４を照明したときに、表示素子１４にてカラー画像を表示することが可能となり、そのカラー画像を装着者に提供することが可能となる。また、ＲＧＢの各ＬＥＤ素子は、発光波長幅が狭いので、そのようなＬＥＤ素子を複数用いることにより、色再現性が高く、明るい画像表示が可能となる。
The light source 11 illuminates the display element 14. For example, the light source 11 is 462 ± 12 nm (B light), 525 ± 17 nm (G light), 635 ± with a peak wavelength of light intensity and a wavelength width of half value of light intensity.
It can be composed of an RGB integrated LED that emits light in three wavelength bands of 11 nm (R light). As described above, the light source 11 emits light having a predetermined wavelength width, whereby the image light obtained by illuminating the display element 14 can have a predetermined wavelength width. When the image is diffracted, the wearer can observe the image over the entire observation angle of view at the position of the imaging region B. Further, the peak wavelength for each color of the light source 11 is set in the vicinity of the peak wavelength of the diffraction efficiency of the hologram optical element 19, so that the light utilization efficiency is improved.
Further, the light source 11 is configured by LEDs that emit RGB light, so that the light source 11 can be realized at a low cost, and a color image is displayed on the display element 14 when the display element 14 is illuminated. And the color image can be provided to the wearer. In addition, since each of the RGB LED elements has a narrow emission wavelength width, the use of a plurality of such LED elements enables high color reproducibility and bright image display.
表示素子１４は、光源１１からの出射光を画像データに応じて変調して画像を表示するものであり、光が透過する領域となる各画素をマトリクス状に有する透過型の液晶表示素子で構成されている。表示素子１４は、矩形の表示領域の長辺方向がＸ方向となり、短辺方向がＹ方向となるように配置されている。なお、表示素子１４は、反射型であってもよい。 The display element 14 modulates the light emitted from the light source 11 according to image data and displays an image, and is composed of a transmissive liquid crystal display element having pixels in a matrix in which light is transmitted. Has been. The display element 14 is arranged such that the long side direction of the rectangular display region is the X direction and the short side direction is the Y direction. The display element 14 may be a reflective type.
接眼プリズム１７は、基端面１７ａを介して入射する表示素子１４からの画像光を、相対する平行な内側面１７ｂと外側面１７ｃとで全反射させ、ホログラム光学素子１９を介して装着者の瞳に導く一方、外光を透過させて装着者の瞳に導くものであり、偏向プリズム１８とともに、例えばアクリル系樹脂で構成されている。
この接眼プリズム１７と偏向プリズム１８とは、内側面１７ｂ及び外側面１７ｃに対して傾斜した傾斜面１７ｄ，１８ａでホログラム光学素子１９を挟み、接着剤で接合されている。
The eyepiece prism 17 totally reflects the image light from the display element 14 incident through the base end surface 17 a by the opposed parallel inner side surface 17 b and outer side surface 17 c, and the wearer's pupil through the hologram optical element 19. On the other hand, external light is transmitted and guided to the wearer's pupil, and is made of, for example, an acrylic resin together with the deflecting prism 18.
The eyepiece prism 17 and the deflection prism 18 are joined by an adhesive with the hologram optical element 19 sandwiched between inclined surfaces 17d and 18a inclined with respect to the inner surface 17b and the outer surface 17c.
偏向プリズム１８は、平面視で略Ｕ字型の平行平板で構成されており（図１、図５参照）、接眼プリズム１７の下端部および両側面部（左右の各端面）と貼り合わされたときに、接眼プリズム１７と一体となって略平行平板となるものである。この偏向プリズム１８を接眼プリズム１７に接合することにより、装着者が接眼光学系Ａを介して観察する外界像に歪みが生じるのを防止することができる。
すなわち、例えば、接眼プリズム１７に偏向プリズム１８を接合させない場合、外光は接眼プリズム１７の傾斜面１７ｄを透過するときに屈折するので、接眼プリズム１７を介して観察される外界像に歪みが生じる。しかし、接眼プリズム１７に相補的な傾斜面１８ａを有する偏向プリズム１８を接合させて一体的な略平行平板を形成することで、外光が傾斜面１７ｄ，１８ａ（ホログラム光学素子１９）を透過するときの屈折を偏向プリズム１８でキャンセルすることができる。その結果、シースルーで観察される外界像に歪みが生じるのを防止することができる。
なお、接眼光学系Ａと装着者の瞳の間に図示しない矯正眼鏡レンズを装着すると通常眼鏡を使用している装着者でも問題なく画像を観察することが可能である。この場合、偏向プリズム１８を本実施形態のようにＵ字形状にせず、接眼プリズム１７の下端のみに接合させればよい。
The deflection prism 18 is configured by a substantially U-shaped parallel plate in plan view (see FIGS. 1 and 5), and is bonded to the lower end portion and both side surface portions (left and right end surfaces) of the eyepiece prism 17. The eyepiece prism 17 is integrated into a substantially parallel plate. By joining the deflecting prism 18 to the eyepiece prism 17, it is possible to prevent distortion of the external image observed by the wearer through the eyepiece optical system A.
That is, for example, when the deflecting prism 18 is not joined to the eyepiece prism 17, the external light is refracted when passing through the inclined surface 17 d of the eyepiece prism 17, so that the external image observed through the eyepiece prism 17 is distorted. . However, when the deflecting prism 18 having the inclined surface 18a complementary to the eyepiece prism 17 is joined to form an integral substantially parallel flat plate, external light passes through the inclined surfaces 17d and 18a (the hologram optical element 19). The refraction at that time can be canceled by the deflecting prism 18. As a result, it is possible to prevent distortion in the external image observed through the see-through.
Note that if a corrective spectacle lens (not shown) is attached between the eyepiece optical system A and the wearer's pupil, it is possible for a wearer who normally uses spectacles to observe an image without any problem. In this case, the deflection prism 18 may be joined only to the lower end of the eyepiece prism 17 instead of being U-shaped as in this embodiment.
ホログラム光学素子１９は、表示素子１４から出射される画像光（３原色に対応した波長の光）を回折反射して観察者の瞳孔に導き、表示素子１４に表示される画像を拡大して装着者の瞳に虚像として導く体積位相型の反射型ホログラムである。このホログラム光学素子１９は、例えば、回折効率のピーク波長および回折効率半値の波長幅で４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させるように作製されている。ここで、回折効率のピーク波長とは、回折効率がピークとなるときの波長のことであり、回折効率半値の波長幅とは、回折効率が回折効率ピークの半値となるときの波長幅のことである。
反射型のホログラム光学素子１９は、高い波長選択性を有しており、上記波長域（露光波長近辺）の波長の光しか回折反射しないので、回折反射される波長以外の波長を含む外光はホログラム光学素子１９を透過することになり、高い外光透過率を実現することができる。
The hologram optical element 19 diffracts and reflects image light (wavelength corresponding to the three primary colors) emitted from the display element 14 and guides it to the pupil of the observer, and enlarges the image displayed on the display element 14 It is a volume phase type reflection hologram guided as a virtual image to the pupil of a person. The hologram optical element 19 has, for example, three wavelength ranges of 465 ± 5 nm (B light), 521 ± 5 nm (G light), and 634 ± 5 nm (R light) with a peak wavelength of diffraction efficiency and a wavelength width of half the diffraction efficiency. The light is diffracted (reflected). Here, the peak wavelength of diffraction efficiency is the wavelength at which the diffraction efficiency reaches a peak, and the wavelength width at half maximum of the diffraction efficiency is the wavelength width at which the diffraction efficiency is at half the peak of the diffraction efficiency. It is.
The reflection-type hologram optical element 19 has high wavelength selectivity, and only diffracts and reflects light having a wavelength in the wavelength range (near the exposure wavelength). The hologram optical element 19 is transmitted, and a high external light transmittance can be realized.
次に、上記構成の画像表示装置１の表示動作について説明する。光源１１から出射された光は、一方向拡散板１２にて拡散され、集光レンズ１３にて集光されて表示素子１４に入射する。表示素子１４に入射した光は、画像データに基づいて各画素ごとに変調され、画像光として出射される。つまり、表示素子１４には、カラー画像が表示される。
表示素子１４からの画像光は、接眼光学系１６の接眼プリズム１７の内部にその基端面１７ａから入射し、内側面１７ｂと外側面１７ｃで複数回全反射されて、ホログラム光学素子１９に入射する。ホログラム光学素子１９に入射した光は、そこで反射され、内側面１７ｂを透過して観察者の瞳孔に達する。結像領域Ｂの位置では、装着者は、表示素子１４に表示された画像の拡大虚像を観察することができる。
一方、接眼プリズム１７、偏向プリズム１８およびホログラム光学素子１９は、外光をほとんど全て透過させるので、装着者はこれらを介して外界像を観察することができる。したがって、表示素子１４に表示された画像の虚像は、外界像の一部に重なって観察されることになる。
Next, the display operation of the image display apparatus 1 having the above configuration will be described. The light emitted from the light source 11 is diffused by the unidirectional diffusion plate 12, condensed by the condenser lens 13, and enters the display element 14. The light incident on the display element 14 is modulated for each pixel based on the image data, and is emitted as image light. That is, a color image is displayed on the display element 14.
The image light from the display element 14 enters the eyepiece prism 17 of the eyepiece optical system 16 from the base end face 17a, is totally reflected a plurality of times by the inner side face 17b and the outer side face 17c, and enters the hologram optical element 19. . The light incident on the hologram optical element 19 is reflected there, passes through the inner side surface 17b, and reaches the observer's pupil. At the position of the imaging region B, the wearer can observe an enlarged virtual image of the image displayed on the display element 14.
On the other hand, the eyepiece prism 17, the deflecting prism 18, and the hologram optical element 19 transmit almost all of the outside light, so that the wearer can observe the outside world image through them. Therefore, the virtual image of the image displayed on the display element 14 is observed while overlapping a part of the external image.
以上のようにして、装着者は、ホログラム光学素子１９を介して、表示素子１４から提供される画像と外界像とを同時に観察することができる。
ところで、ホログラム光学素子１９は、波長選択性を有するホログラムであり、外界を光量低下することなく見ることが出来る。しかし、ホログラムで限ったことではなくホログラムの代わりにハーフミラーを設置しても良い。但し、外界像の光量は半分以下となるのでホログラムのような明るい外界像を見ることは出来ない。 本実施形態ではホログラム光学素子１９を平面に貼り付けているが、ホログラム光学素子１９を貼り付ける面は平面に限るものではなく、ホログラム光学素子１９を非球面形状等の曲面状に貼り付けても良い。また、ハーフミラーの場合は波長選択性が無いので瞳照明光源Ｃの波長に関わらず瞳の画像を瞳孔撮影用カメラ１６に取り込むことが出来るのでＲＧＢ各波長に瞳照明光源Ｃの波長を加えた４つの波長に対し選択性のあるホログラム光学素子１９を作製する必要がない。
As described above, the wearer can simultaneously observe the image provided from the display element 14 and the external image via the hologram optical element 19.
By the way, the hologram optical element 19 is a hologram having wavelength selectivity, and can see the outside world without reducing the amount of light. However, it is not limited to the hologram, and a half mirror may be installed instead of the hologram. However, since the amount of light of the external image is less than half, a bright external image like a hologram cannot be seen. In this embodiment, the hologram optical element 19 is affixed to a flat surface, but the surface to which the hologram optical element 19 is affixed is not limited to a flat surface, and the hologram optical element 19 may be affixed to a curved surface such as an aspherical shape. good. Further, in the case of a half mirror, since there is no wavelength selectivity, a pupil image can be taken into the pupil photographing camera 16 regardless of the wavelength of the pupil illumination light source C. Therefore, the wavelength of the pupil illumination light source C is added to each RGB wavelength. There is no need to produce a hologram optical element 19 that is selective to four wavelengths.
図４に示すように、瞳孔撮影用カメラ１６は、ビームスプリッター１５の横に設置している。本実施形態では、表示光学系内における画像光の光路の途中に入射光を分岐させる光路分岐素子（ビームスプリッター１５）が配され、当該光路分岐素子により画像光の光路から分岐した光路上に瞳孔撮影用カメラ１６を配した。これにより、ビームスプリッター１５を介して瞳を撮影することにより、撮像系の光学素子をコンパクトに収めることが可能となっている。なお、選択するカメラの開口数に依っては撮影画像が暗い場合がある。そのような場合のために瞳照明光源Ｃを設置し瞳を照明する。この場合の瞳照明光源Ｃの波長は人が光を感知しない830nm付近が都合良い。この波長であれば、撮像感度を有する撮像素子を瞳孔撮影用カメラ１６に適用可能である。
本実施形態では表示光学系内における画像光の光路の途中に装着者の瞳からの反射光を分岐させる光路分岐素子（ビームスプリッター１５）が配され、当該光路分岐素子により画像光の光路から分岐した光路上に瞳孔撮影用カメラ１６を配したが、本発明はかかる構成に限ったものではなく、小型化することについて特に大きな要望がなければ接眼光学系Ａとは別の場所に独立して撮像光学系を設置しても良い。例えば、偏向プリズム１８の下端に、接眼光学系Ａを介さずに直接瞳を撮影する瞳孔撮影用カメラを配置する。或いは、右眼及び左眼のうちの一方の前には画像表示装置１を配し、他方の前には瞳孔撮影用カメラを配するなどの構成をとり得る。後者の場合、瞳孔撮影用カメラの配置の自由度を高くすることができ、また、後述する視線検知において、左右の視線が独立して動くことは、意識して動かさない限りほとんどないので左右別々に配置していても大きな問題とはならない。
As shown in FIG. 4, the pupil imaging camera 16 is installed beside the beam splitter 15. In the present embodiment, an optical path branching element (beam splitter 15) that branches incident light in the middle of the optical path of the image light in the display optical system is arranged, and the pupil is placed on the optical path branched from the optical path of the image light by the optical path branching element. A camera 16 for photographing was arranged. Thereby, by photographing the pupil through the beam splitter 15, the optical element of the imaging system can be accommodated in a compact manner. Note that the captured image may be dark depending on the numerical aperture of the selected camera. For such a case, a pupil illumination light source C is installed to illuminate the pupil. In this case, the wavelength of the pupil illumination light source C is conveniently in the vicinity of 830 nm where humans do not detect light. With this wavelength, an imaging device having imaging sensitivity can be applied to the pupil imaging camera 16.
In the present embodiment, an optical path branching element (beam splitter 15) for branching the reflected light from the wearer's pupil is arranged in the middle of the optical path of the image light in the display optical system, and branched from the optical path of the image light by the optical path branching element. Although the pupil imaging camera 16 is arranged on the optical path, the present invention is not limited to such a configuration. If there is no particular demand for downsizing, the pupil imaging camera 16 is provided independently of the eyepiece optical system A. An imaging optical system may be installed. For example, a pupil photographing camera that directly photographs the pupil without using the eyepiece optical system A is disposed at the lower end of the deflection prism 18. Alternatively, the image display device 1 may be disposed in front of one of the right eye and the left eye, and a pupil photographing camera may be disposed in front of the other. In the latter case, it is possible to increase the degree of freedom of the arrangement of the pupil imaging camera, and in the gaze detection described later, the left and right gazes move almost independently unless they are consciously moved. It does not become a big problem even if it arranges in.
表示素子１４が液晶の場合、液晶から出てくる光は偏光されている。従って、ビームスプリッター１５に偏光の機能を有しその偏光方向が液晶の偏光方向と一致する場合、光量損失を低く抑えて瞳孔に表示画像光を導くことが可能である。すなわち、瞳孔撮影用カメラ１６への導光のための光路分岐素子を偏光ビームスプリッターとする。この場合、瞳孔撮影用カメラ１６には偏光方向が９０度回転した瞳からの光が入ることになる。
なお、瞳孔撮影用カメラ１６の解像度が十分に大きい場合には、虹彩を撮影することが可能であるので、生体認証用として活用が可能である。本人の認証が可能であるので、他者がＷＤを装着した場合には、画像を表示させない等セキュリティーの確保が可能となる。
When the display element 14 is a liquid crystal, light emitted from the liquid crystal is polarized. Therefore, when the beam splitter 15 has a polarization function and the polarization direction coincides with the polarization direction of the liquid crystal, it is possible to guide the display image light to the pupil while suppressing the loss of light amount. That is, an optical path branching element for guiding light to the pupil photographing camera 16 is a polarization beam splitter. In this case, light from the pupil whose polarization direction is rotated by 90 degrees enters the pupil photographing camera 16.
In addition, when the resolution of the pupil photographing camera 16 is sufficiently large, it is possible to photograph the iris, and thus it can be used for biometric authentication. Since the user can be authenticated, security can be ensured such that an image is not displayed when another person wears the WD.
視線検知するためにＣＰＵ１００は、瞳孔撮影用カメラ１６よって装着者の瞳全体を撮影した画像から瞳孔の位置を検出し視線がどの方向に向いているかを推定している。 In order to detect the line of sight, the CPU 100 detects the position of the pupil from an image obtained by photographing the entire pupil of the wearer with the pupil photographing camera 16 and estimates in which direction the line of sight is directed.
ここで移動検出ユニット１０１について説明する。移動検出ユニット１０１は、多くのモバイル端末で採用されている静加速度（重力加速度）が測れる３軸加速度センサーを備えている。モバイル端末ではどのような姿勢で保持されているか判らないので加速度センサーから出力される３軸合成加速度の値を使って加速度検知を行っている。静止している状態では３軸合成加速度の値は１Ｇであり、歩行を開始すると１Ｇを境に合成加速度が上下に変動する。周期的に変動する場合は歩行していると判断する。例えば、自転車で移動している場合は移動開始時に一定期間１Ｇ以上の状態が続くのでその値を積分すれば移動速度を求めることが可能である。通常、自転車の移動速度は３０ｋｍ/ｈ以下であるので、歩行又は３０ｋｍ/ｈ以下で移動している場合は装着者の自律的な移動と判断して下記（１）の画像表示の制限を行う。
例えば、バスや電車で移動している場合（移動を他者に依存している状況、即ち、他律的な移動）に、ＷＤを使ってメールやウェブ検索を行いたい等の要望がある。通常これらの交通機関は３０ｋｍ/ｈ以上で移動している状態であるので、移動速度が３０ｋｍ/ｈより高速に移動している場合は、装着者が自律的な移動を行っているか否かの判断を行わず、表示画像制限を行うかどうか装着者に選択可能にすることが有用である。
なお、全地球測位システム（GPS）が受信可能な状態であれば、経過時間ごとに移動位置が判るので移動速度を正確に推定することが可能であり、敢えて加速度センサーで移動速度を推定する必要はない。
したがって、移動検出ユニット１０１は、加速度センサー及び全地球測位システムの受信機のうち少なくとも一方を含む構成とする。移動検出ユニット１０１が加速度センサーを含む場合、当該加速度センサーにより装着者の移動を検出する。移動検出ユニット１０１が全地球測位システムの受信機を含む場合、当該受信機の測位結果から装着者の移動を検出する。
また、ＷＤは、モバイル端末やタブレット端末等他の携帯機器とBluetooth（登録商標）や無線ＬＡＮにより容易に接続可能とし、それらの機器に搭載している加速度センサーや全地球測位システムの情報をＷＤに転送し表示制御を行うことも可能である。すなわち、移動検出ユニット１０１は、加速度センサー及び全地球測位システムの受信機のうちの少なくとも一つを備える電子機器と通信して当該電子機器から装着者の移動の検出結果を受信する構成として実施することができる。
また、ＷＤに外界撮影用のカメラが装着されている場合は、このカメラの撮影画像から外界景色の流れ具合を見て移動しているかどうかを判断することも可能である。すなわち、移動検出ユニット１０１が外界を撮影する外界撮影用カメラを含み、当該外界撮影用カメラの撮影画像の変化に基づき装着者の移動を検出する構成を実施することができる。
Here, the movement detection unit 101 will be described. The movement detection unit 101 includes a three-axis acceleration sensor that can measure a static acceleration (gravity acceleration) that is employed in many mobile terminals. Since it is not known in what kind of posture the mobile terminal is held, acceleration detection is performed using the value of the three-axis composite acceleration output from the acceleration sensor. In a stationary state, the value of the triaxial synthetic acceleration is 1G. When walking is started, the synthetic acceleration fluctuates up and down around 1G. If it fluctuates periodically, it is determined that you are walking. For example, when moving on a bicycle, since the state of 1G or more continues for a certain period at the start of movement, the moving speed can be obtained by integrating the value. Usually, since the moving speed of the bicycle is 30 km / h or less, when walking or moving at 30 km / h or less, it is determined that the wearer is moving autonomously and the image display is limited as described in (1) below. .
For example, when moving on a bus or train (a situation where movement depends on others, that is, other types of movement), there is a demand for performing a mail or web search using WD. Normally, these transportations are moving at 30 km / h or higher, so if the moving speed is higher than 30 km / h, whether the wearer is moving autonomously or not. It is useful to allow the wearer to select whether or not to limit the display image without making a determination.
If the Global Positioning System (GPS) can be received, it is possible to accurately estimate the moving speed because the moving position is known at each elapsed time, and it is necessary to dare to estimate the moving speed with an acceleration sensor. There is no.
Therefore, the movement detection unit 101 includes at least one of the acceleration sensor and the receiver of the global positioning system. When the movement detection unit 101 includes an acceleration sensor, the movement of the wearer is detected by the acceleration sensor. When the movement detection unit 101 includes a receiver of the global positioning system, the movement of the wearer is detected from the positioning result of the receiver.
In addition, WD can be easily connected to other mobile devices such as mobile terminals and tablet terminals via Bluetooth (registered trademark) or wireless LAN, and information on acceleration sensors and global positioning system installed in those devices is WD. It is also possible to perform display control by transferring to That is, the movement detection unit 101 is implemented as a configuration that communicates with an electronic device including at least one of an acceleration sensor and a receiver of the global positioning system and receives a detection result of movement of the wearer from the electronic device. be able to.
In addition, when a camera for shooting an outside world is attached to the WD, it is also possible to determine whether or not the camera is moving by looking at the flow of the outside scene from the captured image of the camera. That is, it is possible to implement a configuration in which the movement detection unit 101 includes an external shooting camera that captures the outside world and detects the movement of the wearer based on a change in a captured image of the external shooting camera.
次に、表示制御について説明する。画像表示装置１には、通信ユニット１０５を通じて受信した受信情報、記憶媒体１０３に記憶しているコンテンツやその付帯情報、装着者への案内情報、各種の警告表示、各種の設定情報などが表示される。歩行中或いは車両運転中にＷＤを装着している場合、画像表示装置に表示されるこれらの各種の画像に注視するあまり危機回避が遅れないようにする必要がある。
そこで、本実施形態では、ＣＰＵ１００が表示制御プログラムを実行することにより、移動検出ユニット１０１を通じて装着者が自律的に移動しているか否かを検知し、それに基づいて、以下の表示制限機能を発揮する。
（１）移動検出ユニット１０１を通じて装着者の自律的な移動が検出されている場合は、瞳孔撮影用カメラ１６の撮影画像から推定される装着者の安定注視野内に相当する表示領域に対し表示密度及び表示時間の少なくとも一方を制限値以下に制限する表示制限を行うとともに、安定注視野外に相当する表示領域に対し前記制限値を超える表示を許容して画像表示装置１の表示光学系による画像表示を制御する
（２）一方、移動検出ユニット１０１を通じて装着者の自律的な移動が検出されていない場合は、（１）のような表示制限を行わず、安定注視野の内か外かに拘わらず前記制限値を超える表示を許容して画像表示装置１の表示光学系による画像表示を制御する。
これにより、装着者の危険回避を容易にしつつ必要最小限の情報を装着者に伝えることができる。
すなわち、人間の視野角は通常片眼では、耳側で約９０〜１００度、鼻側で約６０度、上側で約６０度、下側で約７０度と言われているが、安定注視野は、耳側約４５度、鼻側約３０度、上下３０度と言われている。従って、安定注視野の外側であっても視野内であれば何らかの情報、例えばシンボルや矢印マークなどの情報を認識することが可能であり、安定注視野内で外界情報に注意しながら安定注視野外の視野内で表示画像から情報を得ることが可能である。
Next, display control will be described. The image display device 1 displays reception information received through the communication unit 105, contents stored in the storage medium 103 and its supplementary information, guidance information for the wearer, various warning displays, various setting information, and the like. The When the WD is worn while walking or driving the vehicle, it is necessary to avoid delaying the crisis avoidance so much as watching the various images displayed on the image display device.
Therefore, in the present embodiment, the CPU 100 executes the display control program to detect whether or not the wearer is autonomously moving through the movement detection unit 101, and based on this, the following display restriction function is exhibited. To do.
(1) When the autonomous movement of the wearer is detected through the movement detection unit 101, the display is performed on the display area corresponding to the stable gaze field of the wearer estimated from the captured image of the pupil photographing camera 16. An image is displayed by the display optical system of the image display device 1 while performing display restriction that restricts at least one of the density and the display time to be equal to or less than the limit value and allowing display exceeding the limit value in a display area that is outside the stable focus field. Controlling the display (2) On the other hand, if the autonomous movement of the wearer is not detected through the movement detection unit 101, the display restriction as in (1) is not performed, and the inside or outside of the stable focus is Regardless, the display exceeding the limit value is allowed and the image display by the display optical system of the image display apparatus 1 is controlled.
Thereby, the minimum necessary information can be conveyed to the wearer while facilitating the wearer's risk avoidance.
That is, it is said that a human's viewing angle is usually about 90 to 100 degrees on the ear side, about 60 degrees on the nose side, about 60 degrees on the upper side, and about 70 degrees on the lower side. Is said to be approximately 45 degrees on the ear side, approximately 30 degrees on the nose side, and 30 degrees on the top and bottom. Therefore, it is possible to recognize some information, for example, information such as symbols and arrow marks, even if outside the stable focus field, and outside the stable focus field while paying attention to external information within the stable focus field. It is possible to obtain information from the display image within the field of view.
本実施形態は、シースルー型のＷＤであって、外界像に虚像を重畳する表示部材に画像を表示させる時に、装着者が移動しているか否か移動検出する移動検出ユニット１０１と、瞳孔の位置を検出するための瞳孔撮影用カメラ１６とを活用し、装着者が静止せず所定の閾値以下の移動速度で移動していると判断した場合、ＣＰＵ１００は瞳孔位置から推定される装着者の安定注視野内の画像を非表示とするか、或いはシースルーを妨げない程度に表示を制限する。
例えばＣＰＵ１００は、歩行中のナビゲーションモードで、経路を視野右４０度から７０度に表示し、目的までの距離や予想時間等を視野下３０度から７０度に表示し、曲がり角では矢印マークを左右視野３０度から９０度或いは上下視野３０度以上に表示し安定注視野には画像表示しない等の表示形態をとる。さらに、このような表示形態において、ＣＰＵ１００は装着者が視線を下４０度以下にした場合は目的地までの距離等を消すことで足下にある不意の危機を回避させるための表示制御、視線を右４０度以上に向けた時は視野右４０度以上の表示画像を消すことにより、例えば、右から突然現れる車を確実に視認させることにより危険を回避し得る表示制御を実行する。なお、安定注視野に相当する範囲は装着者の利便性を考慮し、上記値に固定したものではなく使用用途に応じて適宜設定する必要がある。
The present embodiment is a see-through WD, and a movement detection unit 101 that detects whether or not the wearer is moving when displaying an image on a display member that superimposes a virtual image on an external image, and the position of the pupil If it is determined that the wearer is not stationary and is moving at a moving speed equal to or lower than a predetermined threshold, the CPU 100 determines the wearer's stability estimated from the pupil position. The image within the gazing field is not displayed or the display is limited to such an extent that the see-through is not hindered.
For example, in the navigation mode while walking, the CPU 100 displays the route from 40 degrees to 70 degrees on the right side of the field of view, displays the distance to the target, the expected time, etc. from 30 degrees to 70 degrees below the field of view, and moves the arrow mark to the left and right at the corner. The display form is such that the visual field is 30 degrees to 90 degrees or the vertical visual field is 30 degrees or more and no image is displayed in the stable visual field. Further, in such a display mode, when the wearer makes the line of sight below 40 degrees, the CPU 100 performs display control and line of sight to avoid a sudden crisis under the feet by erasing the distance to the destination. When turning right 40 degrees or more, display control that can avoid danger is performed by, for example, reliably viewing a vehicle that suddenly appears from the right by erasing the display image of 40 degrees or more on the right side of the field of view. It should be noted that the range corresponding to the stable focus field is not fixed to the above value but needs to be set appropriately according to the intended use in consideration of the convenience of the wearer.
さらに図６を参照してＣＰＵ１００の表示制御による表示形態につき説明する。
図６(a)は、装着者が静止状態で移動していない状態にある場合である。安定注視野６１が表示画像６２の一部に重なっている状態で、安定注視野６１に対し表示制限はなく、中央の表示画像６２には文章が、左上には天気予報のシンボル６３を表示している状態を示している。
図６(b)は、装着者が移動していている状態で、視野の中心が表示画面の中心付近にある状態を示している。中央部の文章は消え、安定注視野外６５にシンボル（矢印や注意を促す記号等）６４が表示されている。シンボル等の図案は文章とは違い注視して見る必要はないので、装着者は視線を動かすことなく安定注視野外で情報を認識し、その簡略された図案から情報を装着者に即時に伝えることができる。
図６(c)は、装着者が移動していている状態で、視野の中心が表示画面の中心からやや右下に移動した状態を示しており、安定注視野６１が右下に移動をしたことを示している。図６(b)で表示していたシンボル６４の安定注視野６１内に重なる部分の表示がを消した状態である。
図６(d)は、図６(c)から視野の中心が更に右に動いた状態を示している。安定注視野６１が右側に移動し、右側のシンボル全体が安定注視野と重なると、右側のシンボルは消えて、代わりに安定注視野外の別の領域（ここでは、表示画面の左側）にシンボル６４を表示した状態である。外界像の右側を注視するために、それまで表示していた画像を消去し、代わりに左側の安定注視野外６５に画像を表示している。
なお、ここでは、安定注視野外６５にシンボル６３，６４等の図案を表示した例を示しているが、「歩行中」、「メール受信」などの単純な単語を、装着者の静止時に表示している文字の大きさより大きくして装着者の歩行時等に安定注視野６１に表示しても良い。単純な言葉は簡易に情報伝達が可能であり、シンボル等の図案のみに限った表示でなくても良い。この場合、表示される文字や記号の数をできるだけ少なくするとともに、文字や記号の間から外界を確実に把握できるようにスキ間があくように表示することが好ましい（例えば、図６(e)の表示６６参照）。安定注視野６１内の表示をごく薄くし、外界を把握させることを優先し、表示内容は判別できるが、表示があるとは理解できる程度の濃度にしてもよい。
以上のように安定注視野内に相当する表示領域６１に対し表示密度を制限値以下に制限する表示制限を行って、装着者が外界像を十分認識できるようにする。表示密度は表示輝度をも考慮したものとすることが好ましい。すなわち、表示密度の制限値は、〔（安定注視野内の画素数）×（最大輝度）〕に対する〔表示されている画素の輝度値の累計〕によって規定する。例えば、安定注視野内の画素数が１２００００、最大輝度が１２７段階の第１２７レベルで、表示密度の制限値が４％である場合、表示輝度第６０レベル以下で１０１６０画素を、表示輝度第３０レベル以下で２０３２０画素を、表示輝度第１０レベル以下で６０９６０画素を表示できる。
Further, a display form by display control of the CPU 100 will be described with reference to FIG.
FIG. 6A shows a case where the wearer is stationary and not moving. In a state where the stable focus field 61 overlaps a part of the display image 62, there is no display limitation on the stable focus field 61, text is displayed in the center display image 62, and a weather forecast symbol 63 is displayed in the upper left. It shows the state.
FIG. 6B shows a state where the center of the visual field is near the center of the display screen while the wearer is moving. The central sentence disappears, and a symbol (such as an arrow or a symbol that calls attention) 64 is displayed outside the stable focus field 65. Symbols and other designs do not need to be watched differently from text, so the wearer recognizes information outside the stable focus without moving his gaze, and immediately conveys the information to the wearer from the simplified design. Can do.
FIG. 6 (c) shows a state in which the center of the visual field has moved slightly to the lower right from the center of the display screen while the wearer is moving, and the stable visual field 61 has moved to the lower right. It is shown that. This is a state in which the display of the portion of the symbol 64 displayed in FIG.
FIG. 6 (d) shows a state in which the center of the field of view has moved further to the right from FIG. 6 (c). When the stable gaze field 61 moves to the right and the entire right symbol overlaps the stable gaze field, the right symbol disappears and instead the symbol 64 in another area outside the stable gaze field (here, the left side of the display screen). Is displayed. In order to gaze at the right side of the external image, the image displayed so far is deleted, and instead, the image is displayed outside the left stable gaze field 65.
Here, an example is shown in which symbols 63, 64, etc. are displayed outside the stable view field 65, but simple words such as “walking” and “mail received” are displayed when the wearer is stationary. The size may be larger than the size of the displayed character and displayed on the stable focus field 61 when the wearer is walking. Simple words can be transmitted easily, and the display need not be limited to symbols and other designs. In this case, it is preferable that the number of characters and symbols to be displayed is as small as possible and that the gaps are displayed so that the outside world can be reliably grasped between the characters and symbols (for example, FIG. 6 (e)). Display 66). Although the display in the stable focus field 61 is made very thin and priority is given to grasping the outside world, the display contents can be discriminated, but the density may be set so that it can be understood that there is a display.
As described above, display restriction for restricting the display density to the limit value or less is performed on the display region 61 corresponding to the stable focus field so that the wearer can sufficiently recognize the external image. It is preferable that the display density also considers display luminance. That is, the limit value of the display density is defined by [cumulative sum of luminance values of displayed pixels] with respect to [(number of pixels in the stable focus field) × (maximum luminance)]. For example, if the number of pixels in the stable focus field is 120,000, the maximum brightness is 127th level with 127 steps, and the limit value of display density is 4%, 10160 pixels below display brightness 60th level and 30th display brightness. It is possible to display 20320 pixels below the level and 60960 pixels below the 10th display luminance level.
さらに図７〜図１１を参照してＣＰＵ１００の表示制御による表示例につき説明する。
図７は、歩行中に電子メールを受信した時の表示例である。表示部中央の一点鎖線は安定注視野６１を示しており、説明のために記載しているが実際にはこの一点鎖線は表示されない。当然に安定注視野６１の外側が安定注視野外６５である。本表示例では、左上にメール受信のシンボル７１とその右に大文字で簡略した文章７２を表示している。
図８は、装着者が停止している場合に、メールの内容を表示している例である。安定注視野６１内に比較的小さい文字でメール本文７３を表示している。なお、メールの文字が読みやすいようにメール本文７３の背景は半透明に表示している。
装着者がメールを読んだ後、例えば、メールに添付されているデータを取り込んでナビゲーションモードを起動すると、安定注視野６１の右側に目的地までの経路を表示する地図７４が表示される。現在位置は矢印７４ａで表示されている。また、表示画面下部には目的地のシンボル７５と目的地までの距離７６が表示されている。このように装着者は静止している状態なので、全面に画像を表示した状態である。図８に示した安定注視野６１は説明の便宜上のものであり、本表示例では装着者が停止しているので、安定注視野６１が検出されている必要はない。例えば、装着者が地図７４を注視する場合には、地図７４は安定注視野６１内に入る。ＣＰＵ１００は安定注視野６１を検出しつつ、図８に示す表示を許容してよいし、移動検出ユニット１０１を通じて装着者の自律的な移動が検知されるまで安定注視野６１の検出を中断していてもよい。
Further, display examples by the display control of the CPU 100 will be described with reference to FIGS.
FIG. 7 is a display example when an e-mail is received while walking. The alternate long and short dash line in the center of the display portion indicates the stable focus field 61 and is shown for explanation, but this alternate long and short dash line is not actually displayed. Naturally, the outside of the stable focus field 61 is 65 outside the stable focus field. In this display example, a mail reception symbol 71 is displayed on the upper left, and a sentence 72 simplified in capital letters on the right.
FIG. 8 is an example in which the content of the mail is displayed when the wearer is stopped. An e-mail text 73 is displayed in the stable focus field 61 with relatively small characters. Note that the background of the mail text 73 is displayed semi-transparently so that the letters of the mail are easy to read.
After the wearer reads the mail, for example, when the navigation mode is activated by taking in the data attached to the mail, a map 74 that displays the route to the destination is displayed on the right side of the stable focus field 61. The current position is indicated by an arrow 74a. A destination symbol 75 and a distance 76 to the destination are displayed at the bottom of the display screen. Since the wearer is in a stationary state in this manner, the image is displayed on the entire surface. The stable focus field 61 shown in FIG. 8 is for convenience of explanation, and the wearer is stopped in this display example, and therefore it is not necessary that the stable focus field 61 is detected. For example, when the wearer gazes at the map 74, the map 74 enters the stable gaze field 61. The CPU 100 may allow the display shown in FIG. 8 while detecting the stable gaze field 61, and suspends the detection of the stable gaze field 61 until the autonomous movement of the wearer is detected through the movement detection unit 101. May be.
図９は移動中のナビゲーションモードを示している。安定注視野６１の右側には地図７４が、右上には進行方向の矢印７７が、下側には目的地のシンボル７５と目的地までの距離７６が表示されているが、安定注視野６１内には何も表示されていない。装着者の移動方向前方の視界を確保している状態である。
図１０は移動継続中の状態を示しており眼前に下降する階段が見えている状態である。このまま正面を注視して進むと転倒のおそれがある状況である。
図１１は装着者の視線が足下を見るために下方向に移動した状態を示しており、安定注視野６１が下に下がった状態である。安定注視野６１に重なった目的地までの距離７６とこれに関連した目的地のシンボル７５が消えた状態である。画像下部の表示が消えたことにより、装着者は足下を確認することが容易となり安全を確認できる状態となっている。
なお、図９おいて視線が右側に移動した場合、安定注視野６１が右側によるので、ナビゲーション地図７４の安定注視野６１と重なっている部分を消し、安定注視野外に残る部分のみを表示にする。安定注視野領域内の画像表示を消して、それ以外の表示を残しておけば危機回避も可能である上、必要最低限の情報を装着者に伝えることが可能である。
FIG. 9 shows the navigation mode during movement. A map 74 is displayed on the right side of the stable focus field 61, an arrow 77 in the traveling direction is displayed on the upper right side, and a destination symbol 75 and a distance 76 to the destination are displayed on the lower side. Nothing is displayed on the screen. This is a state in which the field of view in the moving direction of the wearer is secured.
FIG. 10 shows a state where the movement is continuing, and a state where a stair descending in front of the eyes can be seen. If you keep watching the front as it is, you may fall.
FIG. 11 shows a state in which the wearer's line of sight has moved downward in order to see his feet, and the stable focus field 61 has been lowered. The distance 76 to the destination overlapped with the stable focus field 61 and the destination symbol 75 associated therewith disappeared. Since the display at the bottom of the image disappears, it is easy for the wearer to check his / her feet so that safety can be confirmed.
In FIG. 9, when the line of sight moves to the right side, the stable focus field 61 is on the right side, so that the portion of the navigation map 74 that overlaps the stable focus field 61 is erased and only the part that remains outside the stable focus field is displayed. . If the image display in the stable focus field area is erased and other displays are left, the crisis can be avoided and the minimum necessary information can be transmitted to the wearer.
また、敢えて、安定注視野６１に熟読出来ないように大きく「危険」などの文字を所定秒数間に点滅表示すれば、逆に立ち止まって危機回避動作を行うことを装着者に促すことが可能となる。安定注視野６１内の画像を消したり、表示密度を制限して表示したりするのみではなく、安定注視野６１内に対し表示時間を制限値以下に制限して表示することを行う。このような時間的な表示制限でも危機回避は可能となる。表示時間の制限値は、連続表示時間と累積表示時間とによって規定することが好ましい。連続表示時間の制限値が０．５秒で累積表示時間の制限値が２秒である場合、表示０．５秒→非表示０．５秒→表示０．５秒→非表示０．５秒→表示０．５秒→非表示０．５秒→表示０．５秒の点滅表示は実行できる。表示制限を行う自律的な移動が不検出となったら、累積表示時間をキャンセルする。表示密度及び表示時間の両方をそれぞれの制限値以下に制限して表示するようにしてもよい。
なお、表示密度又は表示時間の制限値を０に設定することは、装着者の自律的な移動中に安定注視野内を全非表示に制限することに相当する。
Also, if you dare dare to display a large number of characters such as “DANGER” blinking within a predetermined number of seconds so that you cannot read them carefully, you can urge the wearer to stop and perform a crisis avoidance operation. It becomes. In addition to erasing the image in the stable focus field 61 and displaying the display with a limited display density, the display time is limited to the limit value or less in the stable focus field 61. Crisis avoidance is possible even with such temporal display restrictions. The display time limit value is preferably defined by the continuous display time and the cumulative display time. When the limit value of continuous display time is 0.5 seconds and the limit value of cumulative display time is 2 seconds, display 0.5 seconds → non-display 0.5 seconds → display 0.5 seconds → non-display 0.5 seconds → Display 0.5 seconds → Non-display 0.5 seconds → Display 0.5 seconds blinking can be executed. If autonomous movement that restricts display is not detected, the cumulative display time is canceled. Both the display density and the display time may be limited to the respective limit values or less.
Note that setting the display density or display time limit value to 0 corresponds to restricting the stable focus field to all non-display during the autonomous movement of the wearer.
次に、図１２を参照して、ＣＰＵ１００が表示制御プログラムに基づいて実行する表示制御につき説明する。
まず、ＣＰＵ１００は、ＲＯＭ／ＲＡＭ１０２から表示制限機能に関する設定を読み込む（ステップＳ１）。
この表示制限機能に関する設定は、虹彩認証情報に関連付けて保存することが好ましい。その場合、ＣＰＵ１００は、まず初期設定時に、瞳孔撮影用カメラ１６で撮影した装着者の虹彩に基づき装着者を識別する虹彩認証情報を取得し、虹彩認証情報に関連付けて表示制限機能に関する設定をＲＯＭ／ＲＡＭ１０２に保存する。表示制限機能に関する設定の内容は、操作入力部１０４の操作によって選択される。表示制限機能に関する設定の内容としては、表示制限機能の有効・無効、表示制限する装着者の自律的な移動の設定などである。なお、ここでは表示制限する装着者の自律的な移動として歩行及び３０ｋｍ/ｈ以下の移動が設定されているとする。個別に、歩行のみ、歩行及び任意の移動速度範囲、任意の移動速度範囲のみを設定できるようにしてもよい。
その後、ＣＰＵ１００は起動時ごとに、まず、装着者の虹彩を瞳孔撮影用カメラ１６で撮影して虹彩認証情報を取得し、取得した虹彩認証情報に関連付けて保存されている設定を読出して適用する。取得した虹彩認証情報に符号する虹彩認証情報が保存されていない場合、ＣＰＵ１００はデフォルトの設定を適用して画像表示装置１を使用可能にするか、画像表示装置１を使用不能にする。
Next, display control executed by the CPU 100 based on the display control program will be described with reference to FIG.
First, the CPU 100 reads settings relating to the display restriction function from the ROM / RAM 102 (step S1).
The setting relating to the display restriction function is preferably stored in association with iris authentication information. In that case, the CPU 100 first acquires iris authentication information for identifying the wearer based on the wearer's iris photographed by the pupil photographing camera 16 at the time of initial setting, and associates the setting related to the display restriction function with the iris authentication information in the ROM. / Save in RAM 102. The setting content related to the display restriction function is selected by operating the operation input unit 104. The contents of the settings related to the display restriction function include the validity / invalidity of the display restriction function, the setting of autonomous movement of the wearer who restricts the display, and the like. Here, it is assumed that walking and movement of 30 km / h or less are set as autonomous movement of the wearer who restricts display. Individually, only walking, walking and an arbitrary moving speed range, or only an arbitrary moving speed range may be set.
Thereafter, each time the CPU 100 is started, the wearer's iris is first photographed by the pupil photographing camera 16 to acquire iris authentication information, and the settings stored in association with the acquired iris authentication information are read and applied. . When the iris authentication information encoded in the acquired iris authentication information is not stored, the CPU 100 applies the default setting to enable the image display device 1 or disables the image display device 1.
図１２に示すようにＣＰＵ１００は、表示制限機能が有効でない場合（ステップＳ２でＮｏ）、表示する画像が安定注視野内でない場合（ステップＳ３でＮｏ）、又は装着者が移動していない場合（ステップＳ４でＮｏ）は、表示密度及び表示時間のうち少なくとも一方を制限値以下に制限する表示制限を行わない（ステップＳ１０）。
ＣＰＵ１００は、表示制限機能が有効であり（ステップＳ２でYes）、表示する画像が安定注視野内であり（ステップＳ３でYes）、装着者が移動しており（ステップＳ４でYes）、かつ、その移動が歩行又は３０ｋｍ/ｈ以下の場合（ステップＳ６でYes）は、表示密度及び表示時間のうち少なくとも一方を制限値以下に制限する表示制限を実施する（ステップＳ７）。
ＣＰＵ１００は、ステップＳ６でＮｏの場合、すなわち、移動検出ユニット１０１により装着者が３０ｋｍ/ｈより高速で移動していると検出された場合に、表示制限を行うか否かを装着者に選択させる案内を表示したり、スピーカー２５から案内メッセージを発したりするとともに、装着者の操作入力部１０４を用いた操作により表示制限の有無を選択可能にする（ステップＳ８）。そして、装着者が表示制限有りを選択した場合（ステップＳ９でYes）は表示制限を実施し（ステップＳ７）、装着者が表示制限無しを選択した場合（ステップＳ９でNo）は表示制限を行わない（ステップＳ１０）。そして、ステップＳ２に戻り、上記の手順を繰り返すことで、操作者の移動と視線の向きに応じた表示制御を行う。
As shown in FIG. 12, the CPU 100 does not display the display restriction function (No in step S2), does not display an image to be displayed within the stable focus field (No in step S3), or does not move the wearer ( No in step S4 does not perform display restriction that restricts at least one of the display density and the display time to a limit value or less (step S10).
The CPU 100 has the display restriction function enabled (Yes in step S2), the image to be displayed is within the stable focus field (Yes in step S3), the wearer is moving (Yes in step S4), and When the movement is walking or 30 km / h or less (Yes in step S6), display restriction is performed to restrict at least one of the display density and the display time to a limit value or less (step S7).
In the case of No in step S6, that is, when the movement detection unit 101 detects that the wearer is moving at a speed higher than 30 km / h, the CPU 100 causes the wearer to select whether or not to limit the display. In addition to displaying guidance or issuing a guidance message from the speaker 25, it is possible to select whether or not display is restricted by an operation using the operation input unit 104 of the wearer (step S8). When the wearer selects display restriction (Yes in step S9), display restriction is performed (step S7). When the wearer selects no display restriction (No in step S9), display restriction is performed. No (step S10). Then, the process returns to step S2 and the above procedure is repeated to perform display control according to the movement of the operator and the direction of the line of sight.
（安定注視野内常時非表示の第２モードとの切替）
事業者向けＷＤの利用想定として、組立作業における活用がある。歩行しながらの組立作業はそれほど多くなく、着座或いは立ち作業が多い。この場合、安定注視野領域は作業のため常に非表示にしておく必要がある。このような使用場面を想定して、ＷＤにモード切換えの機能を持たせ、上述した装着者の移動と関連させた表示制限を行う第１モードと、移動にかかわらず表示制限を行う第２モードとを切換えできるようにしてもよい。図１３に、第２モードを有する場合の、ＣＰＵ１００が実行する表示制御のフローチャートを示す。予め、操作入力部１０４の操作等によって装着者が希望するモードを設定しておく。そして、図１３に示すように、ステップＳ１１において、第１モードでない場合は第２モードが選択されているものと判断し、ステップＳ４、Ｓ６をスキップして、装着者の移動に関わらず表示制限を行う。なお、図１２と同様のステップは同じステップ番号を付し、説明を省略する。この第２モードを選択すると安定注視野領域外に組立手順や組立に必要なその他の情報等が表示され、ハンズフリーで適切なタイミングで有効な情報伝達が可能となる。また、移動を検知した上での表示制限ではなく、安定注視野領域を常に画像非表示の状態にしておき、それ以外の領域は表示可能としておくことで、作業しながら視野の端に種々の情報をリアルタイムで獲得することができ作業の効率化を図ることが可能となる。例えば、作業中に右側からこれから組み立てる部品等がベルトコンベアで流れてきた場合、視野は右方向に移動するのでその場合は右側の画像表示が消えて、部品がベルトコンベアから流れてくる様子を確実に把握することが可能となる。組立作業が終了したのちは、装着者の手動操作により、あるいは、無線通信などによる遠隔操作により第１モードに切換えることで、移動と関連づけて表示制限する第１モードに戻すことができる。
(Switching to the second mode, which is always hidden in the stable focus field)
As a use assumption of WD for business operators, there is utilization in assembly work. There are not many assembly operations while walking, and there are many sitting or standing operations. In this case, it is necessary to always hide the stable gazing area for work. Assuming such usage situations, the WD has a mode switching function and the above-described first mode for restricting display associated with movement of the wearer, and second mode for restricting display regardless of movement. Can be switched. FIG. 13 shows a flowchart of display control executed by the CPU 100 in the case of having the second mode. A mode desired by the wearer is set in advance by operating the operation input unit 104 or the like. Then, as shown in FIG. 13, in step S11, if it is not the first mode, it is determined that the second mode is selected, and steps S4 and S6 are skipped, and display restriction is performed regardless of the movement of the wearer. I do. Steps similar to those in FIG. 12 are given the same step numbers, and description thereof is omitted. When the second mode is selected, the assembly procedure, other information necessary for the assembly, and the like are displayed outside the stable focus area, and it is possible to transmit information effectively at an appropriate timing in a hands-free manner. In addition, it is not a display restriction after detecting movement, and the stable focus field area is always in an image non-display state and other areas can be displayed, so that various areas can be displayed at the end of the field of view while working. Information can be acquired in real time, and work efficiency can be improved. For example, if a part to be assembled from the right side flows from the right side during work, the field of view moves to the right, so in that case the image display on the right side disappears and the part flows from the belt conveyor. It becomes possible to grasp. After the assembly work is completed, it is possible to return to the first mode in which the display is restricted in association with the movement by switching to the first mode by a wearer's manual operation or by a remote operation such as wireless communication.
１ 画像表示装置
２ フレーム
３ ケーブル
１０ 筐体
１１ 光源
１４ 表示素子
１５ ビームスプリッター（光路分岐素子）
１６ 瞳孔撮影用カメラ
１７ 接眼プリズム（表示部材）
１８ 偏向プリズム（表示部材）
１９ ホログラム光学素子（表示部材）
２１ テンプル
１００ ＣＰＵ（制御装置）
１０１ 移動検出ユニット
DESCRIPTION OF SYMBOLS 1 Image display apparatus 2 Frame 3 Cable 10 Case 11 Light source 14 Display element 15 Beam splitter (optical path branching element)
16 Pupil photographing camera 17 Eyepiece prism (display member)
18 Deflection prism (display member)
19 Hologram optical element (display member)
21 Temple 100 CPU (control device)
101 Movement detection unit
Claims (15)
前記制御装置は、
前記移動検出ユニットを通じて装着者の自律的な移動を検知している場合は、前記瞳孔撮影用カメラの撮影画像から推定される装着者の安定注視野内に相当する表示領域に対し表示密度及び表示時間のうち少なくとも一方を制限値以下に制限する表示制限を行うとともに、安定注視野外に相当する表示領域に対し前記制限値を超える表示を許容して前記表示光学系による画像表示を制御し、
前記移動検出ユニットを通じて装着者の前記自律的な移動を検知していない場合は、安定注視野の内か外かに拘わらず前記制限値を超える表示を許容して前記表示光学系による画像表示を制御することを特徴とするウエアラブルディスプレイ。 A display optical system that guides image light to the wearer's pupil via a see-through display member, a pupil photographing camera that photographs the wearer's pupil, a movement detection unit that detects movement of the wearer, and control With the device,
The controller is
When autonomous movement of the wearer is detected through the movement detection unit, the display density and display for the display area corresponding to the stable gaze field of the wearer estimated from the captured image of the pupil photographing camera While performing display restriction that restricts at least one of the time to be less than or equal to the limit value, and to control the image display by the display optical system to allow display exceeding the limit value for a display area corresponding to outside the stable focus field,
When the autonomous movement of the wearer is not detected through the movement detection unit, display exceeding the limit value is permitted regardless of whether it is within or outside the stable focus field, and image display by the display optical system is performed. A wearable display characterized by control.
前記制御装置に、
前記移動検出ユニットを通じて装着者の自律的な移動が検知されている場合は、前記瞳孔撮影用カメラの撮影画像から推定される装着者の安定注視野内に相当する表示領域に対し表示密度及び表示時間のうち少なくとも一方を制限値以下に制限する表示制限を行わせるとともに、安定注視野外に相当する表示領域に対し前記制限値を超える表示を許容して前記表示光学系による画像表示を制御させ、
前記移動検出ユニットを通じて装着者の前記自律的な移動が検知されていない場合は、安定注視野の内か外かに拘わらず前記制限値を超える表示を許容して前記表示光学系による画像表示を制御させる、ウエアラブルディスプレイの表示制御プログラム。 A display optical system that guides image light to the wearer's pupil via a see-through display member, a pupil photographing camera that photographs the wearer's pupil, a movement detection unit that detects movement of the wearer, and control A display control program for a wearable display comprising a device,
In the control device,
When autonomous movement of the wearer is detected through the movement detection unit, the display density and display for the display area corresponding to the stable gaze field of the wearer estimated from the captured image of the pupil photographing camera Let the display limit to limit at least one of the time below the limit value, and allow the display area corresponding to outside the stable focus field to allow display exceeding the limit value to control the image display by the display optical system,
When the autonomous movement of the wearer is not detected through the movement detection unit, display exceeding the limit value is allowed regardless of whether it is inside or outside the stable focus field, and image display by the display optical system is performed. Display control program for wearable display to be controlled.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014094945A JP2015213226A (en) | 2014-05-02 | 2014-05-02 | Wearable display and display control program therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014094945A JP2015213226A (en) | 2014-05-02 | 2014-05-02 | Wearable display and display control program therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015213226A true JP2015213226A (en) | 2015-11-26 |
Family
ID=54697279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014094945A Pending JP2015213226A (en) | 2014-05-02 | 2014-05-02 | Wearable display and display control program therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015213226A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017174018A (en) * | 2016-03-22 | 2017-09-28 | Ｌｉｎｅ株式会社 | Display control method, program, and terminal |
| WO2018084227A1 (en) * | 2016-11-02 | 2018-05-11 | シャープ株式会社 | Terminal device, operating method, and program |
| JP2018129094A (en) * | 2018-04-25 | 2018-08-16 | 京セラ株式会社 | Electronic apparatus, electronic apparatus control method, electronic apparatus control program, road side unit, and vehicle |
| JP2019125188A (en) * | 2018-01-17 | 2019-07-25 | トヨタ自動車株式会社 | Display cooperation control device for vehicle |
| JP2020514824A (en) * | 2017-03-21 | 2020-05-21 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Eye imaging device using diffractive optical element |
| US11269189B2 (en) | 2019-11-29 | 2022-03-08 | Seiko Epson Corporation | Image display device |
| US11668989B2 (en) | 2016-12-08 | 2023-06-06 | Magic Leap, Inc. | Diffractive devices based on cholesteric liquid crystal |
| WO2024034053A1 (en) * | 2022-08-10 | 2024-02-15 | マクセル株式会社 | Information processing device and information processing method |
| JP7453192B2 (en) | 2021-09-27 | 2024-03-19 | Kddi株式会社 | Mobile device, program and method for presenting information based on object recognition according to user's dynamic state |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005172851A (en) * | 2003-12-05 | 2005-06-30 | Sony Corp | Image display apparatus |
| JP2005252734A (en) * | 2004-03-04 | 2005-09-15 | Olympus Corp | Head-mounted camera |
| JP2006308674A (en) * | 2005-04-26 | 2006-11-09 | Mitsubishi Electric Corp | Image display device |
| JP2007003745A (en) * | 2005-06-23 | 2007-01-11 | Aruze Corp | Image display apparatus and image display system |
| JP2011197565A (en) * | 2010-03-23 | 2011-10-06 | Olympus Corp | Information display device |
| JP2012222628A (en) * | 2011-04-08 | 2012-11-12 | Brother Ind Ltd | Image display device |
| JP2013137413A (en) * | 2011-12-28 | 2013-07-11 | Brother Ind Ltd | Head-mounted display |
-
2014
- 2014-05-02 JP JP2014094945A patent/JP2015213226A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005172851A (en) * | 2003-12-05 | 2005-06-30 | Sony Corp | Image display apparatus |
| JP2005252734A (en) * | 2004-03-04 | 2005-09-15 | Olympus Corp | Head-mounted camera |
| JP2006308674A (en) * | 2005-04-26 | 2006-11-09 | Mitsubishi Electric Corp | Image display device |
| JP2007003745A (en) * | 2005-06-23 | 2007-01-11 | Aruze Corp | Image display apparatus and image display system |
| JP2011197565A (en) * | 2010-03-23 | 2011-10-06 | Olympus Corp | Information display device |
| JP2012222628A (en) * | 2011-04-08 | 2012-11-12 | Brother Ind Ltd | Image display device |
| JP2013137413A (en) * | 2011-12-28 | 2013-07-11 | Brother Ind Ltd | Head-mounted display |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017174018A (en) * | 2016-03-22 | 2017-09-28 | Ｌｉｎｅ株式会社 | Display control method, program, and terminal |
| WO2018084227A1 (en) * | 2016-11-02 | 2018-05-11 | シャープ株式会社 | Terminal device, operating method, and program |
| US11668989B2 (en) | 2016-12-08 | 2023-06-06 | Magic Leap, Inc. | Diffractive devices based on cholesteric liquid crystal |
| JP7485720B2 (en) | 2017-03-21 | 2024-05-16 | マジック リープ， インコーポレイテッド | Eye imaging device using diffractive optical elements - Patents.com |
| JP2020514824A (en) * | 2017-03-21 | 2020-05-21 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Eye imaging device using diffractive optical element |
| US11754840B2 (en) | 2017-03-21 | 2023-09-12 | Magic Leap, Inc. | Eye-imaging apparatus using diffractive optical elements |
| JP7300996B2 (en) | 2017-03-21 | 2023-06-30 | マジック リープ， インコーポレイテッド | Ocular imaging device using diffractive optical elements |
| JP2022103279A (en) * | 2017-03-21 | 2022-07-07 | マジック リープ， インコーポレイテッド | Eye-imaging apparatus using diffractive optical elements |
| JP2019125188A (en) * | 2018-01-17 | 2019-07-25 | トヨタ自動車株式会社 | Display cooperation control device for vehicle |
| JP7043845B2 (en) | 2018-01-17 | 2022-03-30 | トヨタ自動車株式会社 | Display linkage control device for vehicles |
| JP2018129094A (en) * | 2018-04-25 | 2018-08-16 | 京セラ株式会社 | Electronic apparatus, electronic apparatus control method, electronic apparatus control program, road side unit, and vehicle |
| US11269189B2 (en) | 2019-11-29 | 2022-03-08 | Seiko Epson Corporation | Image display device |
| JP7453192B2 (en) | 2021-09-27 | 2024-03-19 | Kddi株式会社 | Mobile device, program and method for presenting information based on object recognition according to user's dynamic state |
| WO2024034053A1 (en) * | 2022-08-10 | 2024-02-15 | マクセル株式会社 | Information processing device and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2015213226A (en) | Wearable display and display control program therefor | |
| JP6089705B2 (en) | Display device and control method of display device | |
| US8767306B1 (en) | Display system | |
| US9927613B2 (en) | Image display apparatus and head mounted display | |
| US10838205B2 (en) | Head mounted display, control method thereof, and computer program | |
| JP2003225207A (en) | Visual axis detector | |
| KR20150056521A (en) | Image display device, image display method, and recording medium | |
| JP2015023381A (en) | Transmissive display device and method of controlling transmissive display device | |
| US9563058B2 (en) | Display device, display method, and readable medium | |
| JP2006205930A (en) | Image display device | |
| JP2018142857A (en) | Head mounted display device, program, and control method of head mounted display device | |
| WO2013146862A1 (en) | Head-mounted display and computer program | |
| US10520724B2 (en) | Multi-wavelength head up display systems and methods | |
| JP6903998B2 (en) | Head mounted display | |
| JP2013114123A (en) | Transmission type display device, display method and display program | |
| JP6701657B2 (en) | Transmissive display device and dimming shade for transmissive display device | |
| JP6464729B2 (en) | Display device and control method of display device | |
| JP3925222B2 (en) | Gaze detection device | |
| JP2006017991A (en) | Video display | |
| US20170261750A1 (en) | Co-Aligned Retinal Imaging And Display System | |
| JP2017146726A (en) | Movement support device and movement support method | |
| JP4691655B2 (en) | Imaging display device | |
| JP2005284007A (en) | Transmission type video display device | |
| JP2018054976A (en) | Head-mounted display device and display control method of head-mounted display device | |
| JP2017079389A (en) | Display device, display device control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171031 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180424 |