JP2017078756A - Head-mounted display device - Google Patents
Head-mounted display device Download PDFInfo
- Publication number
- JP2017078756A JP2017078756A JP2015205878A JP2015205878A JP2017078756A JP 2017078756 A JP2017078756 A JP 2017078756A JP 2015205878 A JP2015205878 A JP 2015205878A JP 2015205878 A JP2015205878 A JP 2015205878A JP 2017078756 A JP2017078756 A JP 2017078756A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- user
- mounted display
- mirror
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、ヘッドマウントディスプレイ装置に関する。 The present invention relates to a head mounted display device.
従来より、変調光を出射する光源と、前記光源から出射された変調光を走査するスキャナと、前記光源及び前記スキャナを制御する制御手段と、前記スキャナによって走査された変調光を眼に投影する接眼光学系と、少なくとも瞳孔周辺の画像を撮影可能に設けられた撮像手段とを備えることを特徴とする画像表示装置がある。画像表示装置は、さらに、前記撮像手段によって撮影された瞳孔周辺の画像から瞳孔位置を特定する瞳孔位置特定手段と、前記瞳孔周辺の画像に基づいて、変調光の光軸の位置である光軸位置を特定する光軸位置特定手段を備えることを特徴とする。画像表示装置は、さらに、前記瞳孔位置特定手段により特定された瞳孔位置と前記光軸位置特定手段により特定された光軸位置との相対位置を基に、変調光の光軸位置を瞳孔位置に合うように前記接眼光学系を移動させる補正手段を備えることを特徴とする。このような従来の画像表示装置は、網膜走査型のヘッドマウントディスプレイ装置である（例えば、特許文献１参照） Conventionally, a light source that emits modulated light, a scanner that scans the modulated light emitted from the light source, a control unit that controls the light source and the scanner, and the modulated light scanned by the scanner are projected onto the eye. There is an image display device including an eyepiece optical system and an image pickup unit provided so as to be able to take an image around at least a pupil. The image display device further includes a pupil position specifying unit that specifies a pupil position from an image around the pupil imaged by the imaging unit, and an optical axis that is a position of the optical axis of the modulated light based on the image around the pupil An optical axis position specifying means for specifying the position is provided. The image display device further uses the optical axis position of the modulated light as the pupil position based on the relative position between the pupil position specified by the pupil position specifying means and the optical axis position specified by the optical axis position specifying means. A correction means for moving the eyepiece optical system so as to fit is provided. Such a conventional image display device is a retinal scanning head-mounted display device (see, for example, Patent Document 1).
従来の網膜走査型のヘッドマウントディスプレイ装置の前記接眼光学系を移動させる補正手段は、変調光の光軸位置を瞳孔位置に合うように前記接眼光学系を移動させる。このような移動は、接眼光学系を利用者の左右方向又は上下方向に移動させるものである。 The correction means for moving the eyepiece optical system of the conventional retinal scanning head-mounted display device moves the eyepiece optical system so that the optical axis position of the modulated light matches the pupil position. Such movement is to move the eyepiece optical system in the horizontal direction or vertical direction of the user.
ところで、網膜走査型のヘッドマウントディスプレイ装置を装着している利用者の瞳孔が正面を向いている状態から、瞳孔が左右方向又は上下方向に角度を付けるように動く（回転移動する）と、瞳孔に入射する光の入射角が変わり、網膜で結像する位置が変わる。 By the way, when the pupil of the user wearing the retinal scanning type head-mounted display device is facing the front, the pupil moves so as to make an angle in the left-right direction or the up-down direction. The incident angle of light incident on the lens changes, and the position where the image is formed on the retina changes.
このため、瞳孔が動く前は、網膜の略中央で結像していた状態から、瞳孔が回転移動した後は、網膜の端で結像する状態に変わり、網膜に結像する画像が歪むため、画像の視認性が低下するという課題がある。このような画像の歪みにより、例えば、利用者が映像に酔ってしまい、気分が悪くなるおそれがあった。 For this reason, before the pupil moves, the image formed at the approximate center of the retina is changed to a state where the image is formed at the end of the retina after the pupil rotates, and the image formed on the retina is distorted. There is a problem that the visibility of an image is lowered. Due to such distortion of the image, for example, the user may get drunk on the video and may feel unwell.
また、瞳孔がさらに移動して光が瞳孔を通過しなくなると、前記接眼光学系を移動させても、利用者が画像を見ることができなくなるおそれがあった。 Further, if the pupil further moves and light does not pass through the pupil, there is a possibility that the user cannot see the image even if the eyepiece optical system is moved.
以上のように、従来のヘッドマウントディスプレイ装置は、利用者にとって画像の視認性が良好ではない。 As described above, the conventional head mounted display device has poor image visibility for the user.
そこで、視認性の良好なヘッドマウントディスプレイ装置を提供することを目的とする。 Accordingly, it is an object to provide a head mounted display device with good visibility.
本発明の実施の形態のヘッドマウントディスプレイ装置は、網膜投影型のヘッドマウントディスプレイ装置であって、利用者の頭部の眼前に配置されるフレームと、レーザ光を出射する光源と、前記光源から出射される前記レーザ光の反射方向を調整する可動ミラーと、前記可動ミラーで反射されたレーザ光を利用者の瞳孔に向けて反射するミラーと、前記フレームに取り付けられ、利用者の瞳孔の位置を検出し、前記位置を表す位置信号を出力する検出部と、前記位置信号が表す前記位置の基準位置に対する変位に基づき、前記ミラーで反射される前記レーザ光が利用者の瞳孔に入射するように、前記可動ミラーの角度を調整する制御部とを含む。 A head-mounted display device according to an embodiment of the present invention is a retinal projection-type head-mounted display device, and includes a frame disposed in front of a user's head, a light source that emits laser light, and the light source. A movable mirror that adjusts the reflection direction of the emitted laser light, a mirror that reflects the laser light reflected by the movable mirror toward the user's pupil, and a position of the user's pupil that is attached to the frame And a detection unit that outputs a position signal representing the position, and the laser light reflected by the mirror is incident on a user's pupil based on a displacement of the position represented by the position signal with respect to a reference position. And a controller for adjusting the angle of the movable mirror.
視認性の良好なヘッドマウントディスプレイ装置を提供することができる。 A head-mounted display device with good visibility can be provided.
以下、本発明のヘッドマウントディスプレイ装置を適用した実施の形態について説明する。 Embodiments to which the head mounted display device of the present invention is applied will be described below.
＜実施の形態１＞
図１は、実施の形態１のヘッドマウントディスプレイ装置１００を示す斜視図である。図２及び図３は、実施の形態１のヘッドマウントディスプレイ装置１００の構成を示す図である。
<Embodiment 1>
FIG. 1 is a perspective view showing a head mounted display device 100 according to the first embodiment. 2 and 3 are diagrams showing the configuration of the head-mounted display device 100 according to the first embodiment.
図１には、ヘッドマウントディスプレイ装置１００を斜め前方から見た外観を示し、図２には、平面視でヘッドマウントディスプレイ装置１００の構成要素を示す。図３は、背面視でヘッドマウントディスプレイ装置１００の構成要素を示す。図２及び図３では、構成を分かり易くするために、一部の構成要素を拡大して示す。 FIG. 1 shows an appearance of the head mounted display device 100 as viewed obliquely from the front, and FIG. 2 shows components of the head mounted display device 100 in a plan view. FIG. 3 shows components of the head mounted display device 100 in a rear view. In FIG. 2 and FIG. 3, in order to make the configuration easy to understand, some components are shown enlarged.
また、図２及び図３では、図示するように、直交座標系の一例であるＸＹＺ座標系を定義する。また、ヘッドマウントディスプレイ装置１００は、利用者が頭部に装着する装置であるため、以下では、ＸＹＺ座標系に加えて、利用者から見た左、右、上、下を用いて説明する。 2 and 3, an XYZ coordinate system, which is an example of an orthogonal coordinate system, is defined as illustrated. In addition, since the head mounted display device 100 is a device worn by the user on the head, the following description will be made using the left, right, top, and bottom viewed from the user in addition to the XYZ coordinate system.
Ｘ軸は、ヘッドマウントディスプレイ装置１００を装着した利用者にとって左右方向に伸延する軸である。Ｘ軸は、左から右に向かう方向を正とする。Ｙ軸は、ヘッドマウントディスプレイ装置１００を装着した利用者にとって上下方向に伸延する軸である。Ｙ軸は、上から下に向かう方向を正とする。Ｚ軸は、ヘッドマウントディスプレイ装置１００を装着した利用者にとって前後方向に伸延する軸である。Ｚ軸は、後から前に向かう方向を正とする。 The X axis is an axis extending in the left-right direction for the user wearing the head mounted display device 100. The X axis is positive in the direction from left to right. The Y axis is an axis extending in the vertical direction for a user wearing the head mounted display device 100. The Y axis is positive in the direction from top to bottom. The Z-axis is an axis that extends in the front-rear direction for a user wearing the head-mounted display device 100. The Z axis is positive in the direction from the rear to the front.
ヘッドマウントディスプレイ装置１００は、フレーム１１０、レンズ１１５Ｒ、１１５Ｌ、ＸＹステージ１２０、光源１３０、ＭＥＭＳ(Micro Electro Mechanical Systems)ミラー１４０、ハーフミラー１５０、カメラモジュール１６０、及び制御部１７０を含む。 The head mounted display device 100 includes a frame 110, lenses 115R and 115L, an XY stage 120, a light source 130, a MEMS (Micro Electro Mechanical Systems) mirror 140, a half mirror 150, a camera module 160, and a control unit 170.
なお、以下では、図１乃至図３に加えて、図４を加えて説明を行う。図４は、ＸＹステージ１２０を示す図である。また、ここでは、説明の便宜上、制御部１７０と、ＸＹステージ１２０、光源１３０、ＭＥＭＳミラー１４０、及びカメラモジュール１６０との間で制御信号を伝送する伝送線をフレーム１１０の外に示すが、実際には、伝送線はフレーム１１０の内部に挿通される。 In the following description, FIG. 4 is added to FIG. 1 to FIG. FIG. 4 is a diagram showing the XY stage 120. Here, for convenience of explanation, transmission lines for transmitting control signals between the control unit 170, the XY stage 120, the light source 130, the MEMS mirror 140, and the camera module 160 are shown outside the frame 110. The transmission line is inserted into the frame 110.
フレーム１１０は、眼鏡のフレームと同様の形状をしており、フロントフレーム１１１、サイドフレーム１１２Ｒ（Right：右）、１１２Ｌ（Left：左）、及び鼻パッド１１３Ｒ（Right：右）、１１３Ｌ（Left：左）を有する。サイドフレーム１１２Ｒ、１１２Ｌは、それぞれ、フロントフレーム１１１の左右の端部に取り付けられている。フロントフレーム１１１には、レンズ１１５Ｒ、１１５Ｌが取り付けられている。 The frame 110 has the same shape as the frame of the glasses, and includes a front frame 111, a side frame 112R (Right: right), 112L (Left: left), and a nose pad 113R (Right: right), 113L (Left: Left). The side frames 112R and 112L are attached to the left and right ends of the front frame 111, respectively. Lenses 115R and 115L are attached to the front frame 111.
フロントフレーム１１１の左側のＺ軸負方向側には、凹部１１１Ａが設けられている。また、サイドフレーム１１２Ｌの長手方向（Ｚ軸方向）のうちのＺ軸正方向側のＸ軸正方向側には、凹部１１２ＬＡが設けられている。凹部１１２ＬＡは、サイドフレーム１１２Ｌの長手方向の約半分にわたって設けられている。 A recess 111A is provided on the left side of the front frame 111 in the negative Z-axis direction. In addition, a recess 112LA is provided on the X-axis positive direction side on the Z-axis positive direction side in the longitudinal direction (Z-axis direction) of the side frame 112L. The recess 112LA is provided over approximately half of the side frame 112L in the longitudinal direction.
ここでは、サイドフレーム１１２Ｒ、１１２Ｌがフロントフレーム１１１に固定される形態を示すが、サイドフレーム１１２Ｒ、１１２Ｌは、眼鏡を折り畳むように、フロントフレーム１１１に対して折り畳めるように取り付けられていてもよい。 Here, the side frames 112R and 112L are fixed to the front frame 111, but the side frames 112R and 112L may be attached to the front frame 111 so as to fold the glasses.
レンズ１１５Ｒ（Right：右）、１１５Ｌ（Left：左）は、それぞれ、フロントフレーム１１１の左右に取り付けられており、利用者がヘッドマウントディスプレイ装置１００を装着すると、それぞれ、両眼の前に位置するように配置されている。レンズ１１５Ｒ、１１５Ｌは、透明なガラス又はプラスチックで形成されている。 The lenses 115R (Right: right) and 115L (Left: left) are respectively attached to the left and right of the front frame 111, and are positioned in front of both eyes when the user wears the head mounted display device 100. Are arranged as follows. The lenses 115R and 115L are made of transparent glass or plastic.
ＸＹステージ１２０は、基部１２１、可動部１２２、ステージ１２３、及びモータ１２４Ｘ、１２４Ｙを有する（図４参照）。ＸＹステージ１２０は、制御部１７０から入力される駆動信号によって駆動される。 The XY stage 120 includes a base 121, a movable part 122, a stage 123, and motors 124X and 124Y (see FIG. 4). The XY stage 120 is driven by a drive signal input from the control unit 170.
基部１２１は、フロントフレーム１１１の左端のＺ軸負方向側に設けられた凹部１１１Ａに嵌め込まれている直方体状の部材である（図２及び図３参照）。基部１２１は、フロントフレーム１１１に固定されており、移動しない部分である。 The base 121 is a rectangular parallelepiped member that is fitted in a recess 111A provided on the left end of the front frame 111 on the Z-axis negative direction (see FIGS. 2 and 3). The base 121 is a portion that is fixed to the front frame 111 and does not move.
可動部１２２は、モータ１２４Ｙの回転軸１２４ＹＡを介して基部１２１のＺ軸負方向側に設けられており、基部１２１に対してＹ軸方向に移動可能な直方体状の部材である。可動部１２２は、モータ１２４Ｙを駆動することにより、基部１２１に対してＹ軸方向に移動する。 The movable portion 122 is a rectangular parallelepiped member that is provided on the Z axis negative direction side of the base 121 via the rotation shaft 124YA of the motor 124Y and is movable in the Y axis direction with respect to the base 121. The movable part 122 moves in the Y-axis direction with respect to the base part 121 by driving the motor 124Y.
可動部１２２の基部１２１に対するＹ軸方向への移動量は、例えば、１０ｍｍであり、一例として、１０ｍｍ／秒の速度で移動させることができる。 The moving amount of the movable part 122 in the Y-axis direction with respect to the base part 121 is, for example, 10 mm, and can be moved at a speed of 10 mm / second as an example.
ステージ１２３は、モータ１２４Ｘの回転軸１２４ＸＡを介して可動部１２２のＺ軸負方向側に設けられている。ステージ１２３は、可動部１２２とともに、基部１２１に対してＹ軸方向に移動し、また、可動部１２２に対して、Ｘ軸方向に移動することができる。モータ１２４Ｘを駆動することにより、可動部１２２に対してＸ軸方向に移動する。 The stage 123 is provided on the Z axis negative direction side of the movable portion 122 via the rotation shaft 124XA of the motor 124X. The stage 123 can move in the Y-axis direction with respect to the base 121 together with the movable portion 122, and can move in the X-axis direction with respect to the movable portion 122. By driving the motor 124X, the motor 124X moves in the X-axis direction with respect to the movable portion 122.
ステージ１２３の可動部１２２に対するＸ軸方向への移動量は、例えば、１０ｍｍであり、一例として、１０ｍｍ／秒の速度で移動させることができる。 The amount of movement of the stage 123 in the X-axis direction with respect to the movable portion 122 is, for example, 10 mm, and can be moved at a speed of 10 mm / second as an example.
ステージ１２３には、ステー１２５を介して光源１３０及びハーフミラー１５０が固定される。また、光源１３０には、ステー１２６を介してＭＥＭＳミラー１４０が固定されている。このため、光源１３０、ＭＥＭＳミラー１４０、及びハーフミラー１５０は、ステージ１２３とともにＸ軸方向及びＹ軸方向に移動する。 The light source 130 and the half mirror 150 are fixed to the stage 123 via the stay 125. A MEMS mirror 140 is fixed to the light source 130 via a stay 126. Therefore, the light source 130, the MEMS mirror 140, and the half mirror 150 move in the X axis direction and the Y axis direction together with the stage 123.
モータ１２４Ｘは、可動部１２２に対してステージ１２３をＸ軸方向に移動させるために設けられている。ステージ１２３は、モータ１２４Ｘの回転軸１２４ＸＡを介して、可動部１２２のＺ軸負方向側に設けられている。モータ１２４Ｘの駆動制御は、制御部１７０によって行われる。 The motor 124X is provided for moving the stage 123 in the X-axis direction with respect to the movable portion 122. The stage 123 is provided on the Z axis negative direction side of the movable portion 122 via the rotation shaft 124XA of the motor 124X. The drive control of the motor 124X is performed by the control unit 170.
モータ１２４Ｙは、基部１２１に対して可動部１２２をＹ軸方向に移動させるために設けられている。可動部１２２は、モータ１２４Ｙの回転軸１２４ＹＡを介して、基部１２１のＺ軸負方向側に設けられている。モータ１２４Ｙの駆動制御は、制御部１７０によって行われる。 The motor 124Y is provided to move the movable portion 122 in the Y-axis direction with respect to the base portion 121. The movable part 122 is provided on the Z axis negative direction side of the base part 121 via the rotation shaft 124YA of the motor 124Y. The drive control of the motor 124Y is performed by the control unit 170.
なお、ここでは、ステー１２５を介してステージ１２３に光源１３０及びハーフミラー１５０が固定され、ステー１２６を介して光源１３０にＭＥＭＳミラー１４０が固定される形態について説明するが、ステー１２５又は１２６の代わりに任意の固定具を用いてもよい。 Here, a mode in which the light source 130 and the half mirror 150 are fixed to the stage 123 via the stay 125 and the MEMS mirror 140 is fixed to the light source 130 via the stay 126 will be described. Any fixing tool may be used.
また、ＭＥＭＳミラー１４０は、ステー１２６によって光源１３０に固定される代わりに、図示しない固定具によってステージ１２３に固定されていてもよい。 The MEMS mirror 140 may be fixed to the stage 123 by a fixture (not shown) instead of being fixed to the light source 130 by the stay 126.
光源１３０は、ステー１２５を介してステージ１２３に固定されている。このため、光源１３０は、ステージ１２３とともにＸ軸方向及びＹ軸方向に移動する。光源１３０は、ＸＺ平面視でサイドフレーム１１２Ｌの凹部１１２ＬＡに収まるように、かつ、ＸＹ平面視でサイドフレーム１１２Ｌの下側に突出するように設けられている。 The light source 130 is fixed to the stage 123 via the stay 125. For this reason, the light source 130 moves in the X-axis direction and the Y-axis direction together with the stage 123. The light source 130 is provided so as to be accommodated in the recess 112LA of the side frame 112L in the XZ plan view and to protrude below the side frame 112L in the XY plan view.
光源１３０は、レーザアレイ１３１Ｒ、１３１Ｇ、１３１Ｂを有する。レーザアレイ１３１Ｒ、１３１Ｇ、１３１Ｂは、それぞれ、光の三原色（赤（Ｒ）、緑（Ｇ）、青（Ｂ））のレーザ光を出射するレーザ装置である。 The light source 130 includes laser arrays 131R, 131G, and 131B. Each of the laser arrays 131R, 131G, and 131B is a laser device that emits laser light of three primary colors (red (R), green (G), and blue (B)) of light.
光源１３０は、制御部１７０から入力される画像信号に基づいて、レーザアレイ１３１Ｒ、１３１Ｇ、１３１Ｂの出力を調整し、画像信号が表す色と輝度のレーザ光を出力する。光源１３０が出力するレーザ光は、ＭＥＭＳミラー１４０で反射される際にラスタースキャン方式で１画素ずつ走査され、さらにハーフミラー１５０で反射されて利用者の瞳孔に入射される。 The light source 130 adjusts the output of the laser arrays 131R, 131G, and 131B based on the image signal input from the control unit 170, and outputs laser light of the color and brightness represented by the image signal. The laser light output from the light source 130 is scanned pixel by pixel by a raster scan method when reflected by the MEMS mirror 140, and further reflected by the half mirror 150 and incident on the pupil of the user.
ＭＥＭＳミラー１４０は、光源１３０にステー１２６を介して固定されている。このため、ＭＥＭＳミラー１４０は、ステージ１２３及び光源１３０とともにＸ軸方向及びＹ軸方向に移動する。ＭＥＭＳミラー１４０は、可動ミラーの一例である。 The MEMS mirror 140 is fixed to the light source 130 via a stay 126. For this reason, the MEMS mirror 140 moves in the X axis direction and the Y axis direction together with the stage 123 and the light source 130. The MEMS mirror 140 is an example of a movable mirror.
ＭＥＭＳミラー１４０は、光源１３０よりもＺ軸負方向側において、ＸＺ平面視でサイドフレーム１１２Ｌの凹部１１２ＬＡに収まるように、かつ、ＸＹ平面視でサイドフレーム１１２Ｌの下側に突出するように設けられている。 The MEMS mirror 140 is provided on the negative side of the Z-axis from the light source 130 so as to fit in the recess 112LA of the side frame 112L in the XZ plan view and to protrude below the side frame 112L in the XY plan view. ing.
ＭＥＭＳミラー１４０は、２軸方向に角度を調整できるミラーであり、制御部１７０によって駆動されることによって角度を変えながら、光源１３０から出力されるレーザ光を反射する。ＭＥＭＳミラー１４０で反射されたレーザ光は、さらにハーフミラー１５０で反射されて利用者の瞳孔に入射する。ＭＥＭＳミラー１４０には、制御部１７０から角度を調整するための角度調整信号が入力される。 The MEMS mirror 140 is a mirror that can adjust the angle in the biaxial direction, and reflects the laser beam output from the light source 130 while being changed by being driven by the control unit 170. The laser beam reflected by the MEMS mirror 140 is further reflected by the half mirror 150 and enters the pupil of the user. An angle adjustment signal for adjusting the angle is input to the MEMS mirror 140 from the controller 170.
ＭＥＭＳミラー１４０が制御部１７０によって駆動されることにより、ハーフミラー１５０から瞳孔に入射するレーザ光が、ラスタースキャン方式で網膜に画像を結像することになる。 When the MEMS mirror 140 is driven by the control unit 170, the laser light incident on the pupil from the half mirror 150 forms an image on the retina by a raster scan method.
また、ＭＥＭＳミラー１４０は、上述のようなラスタースキャンのための駆動に加えて、利用者の瞳孔の移動量に応じて、制御部１７０によって角度が調整される。瞳孔の位置は、カメラモジュール１６０で撮像される画像に基づいて、制御部１７０が検出する。カメラモジュール１６０は、撮像した画像を表す画像信号を制御部１７０に出力する。 The angle of the MEMS mirror 140 is adjusted by the control unit 170 in accordance with the movement amount of the pupil of the user in addition to the driving for the raster scan as described above. The position of the pupil is detected by the control unit 170 based on the image captured by the camera module 160. The camera module 160 outputs an image signal representing the captured image to the control unit 170.
瞳孔の移動量は、カメラモジュール１６０で撮像される画像に基づいて、制御部１７０が所定の基準位置に対する瞳孔の位置の変位として検出する。このようなＭＥＭＳミラー１４０の駆動は、利用者が眼の向きを変えて瞳孔の向きが変わったときに、瞳孔の位置の変化に合わせて、ハーフミラー１５０から瞳孔に向けて反射されるレーザ光の角度を調整するために行われる。なお、このようなＭＥＭＳミラー１４０の駆動の詳細については後述する。 Based on the image captured by the camera module 160, the movement amount of the pupil is detected as a displacement of the pupil position with respect to a predetermined reference position. The MEMS mirror 140 is driven by the laser beam reflected from the half mirror 150 toward the pupil in accordance with the change in the position of the pupil when the user changes the direction of the eye and changes the direction of the pupil. This is done to adjust the angle. The details of driving the MEMS mirror 140 will be described later.
ハーフミラー１５０は、ＸＺ平面視で２つの焦点を有する楕円の円弧のように湾曲し、Ｙ軸方向に沿って伸延する、湾曲した板状のハーフミラーである。ハーフミラー１５０は、固定ミラーの一例である。 The half mirror 150 is a curved plate-like half mirror that is curved like an elliptical arc having two focal points in the XZ plan view and extends along the Y-axis direction. The half mirror 150 is an example of a fixed mirror.
ＸＺ平面視におけるハーフミラー１５０の２つの焦点は、ＭＥＭＳミラー１４０の中心と、図２に示す利用者の瞳孔１８１の中心１８１Ａとに位置する。図２に示す利用者の瞳孔１８１の位置は、利用者の眼球１８２をヘッドマウントディスプレイ装置１００の設計上における理想的な位置に配置したときに、理想的な瞳孔１８１の位置として与えられる位置である。 The two focal points of the half mirror 150 in the XZ plan view are located at the center of the MEMS mirror 140 and the center 181A of the user's pupil 181 shown in FIG. The position of the user's pupil 181 shown in FIG. 2 is a position that is given as the position of the ideal pupil 181 when the user's eyeball 182 is placed at an ideal position in the design of the head mounted display device 100. is there.
ハーフミラー１５０は、ステー１２５を介してステージ１２３に固定されている。このため、ハーフミラー１５０は、ステージ１２３とともにＸ軸方向及びＹ軸方向に移動する。ハーフミラー１５０は、レンズ１１５ＬのＺ軸負方向側に設けられており、ＸＹ平面視でレンズ１１５Ｌの一部と重複する。ハーフミラー１５０の位置は、利用者がヘッドマウントディスプレイ装置１００を装着した場合に、利用者の左眼の前に配置される位置であり、Ｚ軸方向において、ＭＥＭＳミラー１４０よりも正方向側に配置される。 Half mirror 150 is fixed to stage 123 via stay 125. For this reason, the half mirror 150 moves in the X axis direction and the Y axis direction together with the stage 123. The half mirror 150 is provided on the Z axis negative direction side of the lens 115L, and overlaps a part of the lens 115L in the XY plan view. The position of the half mirror 150 is a position that is placed in front of the user's left eye when the user wears the head-mounted display device 100, and is closer to the positive direction side than the MEMS mirror 140 in the Z-axis direction. Be placed.
ハーフミラー１５０は、ＭＥＭＳミラー１４０で反射され、Ｚ軸負方向側の面に入射するレーザ光を反射するとともに、Ｚ軸正方向側の面から入射する光を反射せずにＺ軸負方向側に透過する光学素子である。ハーフミラー１５０は、例えば、ビームスプリッターによって実現される。 The half mirror 150 reflects the laser beam reflected by the MEMS mirror 140 and incident on the surface on the negative side of the Z axis, and reflects the light incident on the surface on the positive side of the Z axis without reflecting the light incident on the surface on the positive side of the Z axis. It is an optical element that passes through. The half mirror 150 is realized by, for example, a beam splitter.
ハーフミラー１５０として用いるビームスプリッターは、ＭＥＭＳミラー１４０から入射するレーザ光を反射する強度（反射光の強度）と、Ｚ軸正方向側からハーフミラー１５０に入射し、Ｚ軸負方向側から出射する光の強度（透過光の強度）とがほぼ１：１である。しかしながら、このようなハーフミラー１５０の代わりに、反射光の強度と、透過光の強度とが異なるビームスプリッターを用いてもよい。 The beam splitter used as the half mirror 150 reflects the laser beam incident from the MEMS mirror 140 (the intensity of the reflected light), enters the half mirror 150 from the Z axis positive direction side, and exits from the Z axis negative direction side. The light intensity (transmitted light intensity) is approximately 1: 1. However, instead of such a half mirror 150, a beam splitter having different reflected light intensity and transmitted light intensity may be used.
ハーフミラー１５０は、ＸＺ平面視で湾曲した形状を有しており、Ｚ軸正方向側の面が凸面で、Ｚ軸負方向側の面が凹面である。このようなハーフミラー１５０は、Ｚ軸に対して凹面をＸ軸負方向側に傾けた状態でステー１２５に固定されている。これは、ハーフミラー１５０の凹面をＭＥＭＳミラー１４０の方に向けるためである。 The half mirror 150 has a curved shape in the XZ plan view, and the surface on the Z-axis positive direction side is a convex surface and the surface on the Z-axis negative direction side is a concave surface. Such a half mirror 150 is fixed to the stay 125 in a state in which the concave surface is inclined to the X axis negative direction side with respect to the Z axis. This is because the concave surface of the half mirror 150 is directed toward the MEMS mirror 140.
カメラモジュール１６０は、フロントフレーム１１１のＺ軸負方向側において、レンズ１１５Ｌの下で、かつ、鼻パッド１１３Ｌの下となる位置に配置されている。利用者の左眼の瞳孔の画像を撮影するためである。 The camera module 160 is disposed at a position below the lens 115L and below the nose pad 113L on the negative side of the front frame 111 in the Z-axis direction. This is to take an image of the pupil of the user's left eye.
カメラモジュール１６０は、カメラ１６１及び照明装置１６２を有する。カメラ１６１及び照明装置１６２は、ヘッドマウントディスプレイ装置１００を装着した利用者の左眼の中心部を向くように向きが設定された状態でフロントフレーム１１１に取り付けられている。 The camera module 160 includes a camera 161 and a lighting device 162. The camera 161 and the illumination device 162 are attached to the front frame 111 in a state in which the orientation is set so as to face the center of the left eye of the user wearing the head mounted display device 100.
ここでは、一例として、カメラ１６１は赤外線カメラであり、照明装置１６２は赤外線照射装置である。カメラ１６１による撮像と、照明装置１６２のオン／オフの切り替えは、制御部１７０によって行われる。カメラ１６１で撮像された画像を表すデータは、制御部１７０に入力される。 Here, as an example, the camera 161 is an infrared camera, and the illumination device 162 is an infrared irradiation device. Imaging by the camera 161 and on / off switching of the lighting device 162 are performed by the control unit 170. Data representing an image captured by the camera 161 is input to the control unit 170.
制御部１７０は、サイドフレーム１１２ＬのＸ軸負方向側に取り付けられている。制御部１７０は、ヘッドマウントディスプレイ装置１００の各部の制御を行う。制御部１７０は、例えば、マイクロコンピュータのチップによって実現される。制御部１７０は、メモリを内蔵する。 The controller 170 is attached to the side frame 112L on the X axis negative direction side. The control unit 170 controls each unit of the head mounted display device 100. The control unit 170 is realized by, for example, a microcomputer chip. The control unit 170 includes a memory.
制御部１７０は、カメラモジュール１６０によって撮像される画像に基づく利用者の左眼の瞳孔の位置検出、ＸＹステージ１２０の位置制御、光源１３０のレーザアレイ１３１Ｒ、１３１Ｇ、１３１Ｂの出力制御、及び、ＭＥＭＳミラー１４０の角度制御を行う。 The control unit 170 detects the position of the pupil of the left eye of the user based on the image captured by the camera module 160, controls the position of the XY stage 120, controls the output of the laser arrays 131R, 131G, and 131B of the light source 130, and MEMS. The angle control of the mirror 140 is performed.
また、制御部１７０は、ケーブル１７０Ａを介して図示しないコンピュータに接続されている。コンピュータは、ヘッドマウントディスプレイ装置１００が利用者の網膜に描画する画像を表す画像信号を、ケーブル１７０Ａを介して、ヘッドマウントディスプレイ装置１００の制御部１７０に出力する。 The control unit 170 is connected to a computer (not shown) via a cable 170A. The computer outputs an image signal representing an image drawn on the retina of the user by the head mounted display device 100 to the control unit 170 of the head mounted display device 100 via the cable 170A.
ここで、図５を用いて制御部１７０について説明する。図５は、制御部１７０の構成を示す図である。また、図６は、制御部１７０によって検出される瞳孔の位置を示す図である。 Here, the controller 170 will be described with reference to FIG. FIG. 5 is a diagram illustrating a configuration of the control unit 170. FIG. 6 is a diagram illustrating the position of the pupil detected by the control unit 170.
制御部１７０は、位置検出部１７１、位置制御部１７２、出力制御部１７３、及び角度制御部１７４を有する。 The control unit 170 includes a position detection unit 171, a position control unit 172, an output control unit 173, and an angle control unit 174.
位置検出部１７１は、カメラモジュール１６０を駆動し、カメラモジュール１６０によって撮像される画像に対して画像処理を行うことにより、瞳孔の位置を検出する。また、位置検出部１７１は、画像の中における所定の基準位置に対する瞳孔の位置の変位を検出する。 The position detection unit 171 detects the position of the pupil by driving the camera module 160 and performing image processing on an image captured by the camera module 160. The position detector 171 detects the displacement of the pupil position with respect to a predetermined reference position in the image.
ここで、図６を用いて、位置検出部１７１によって検出される瞳孔の位置を説明する。図６には、カメラモジュール１６０によって撮像される画像１６３を示す。画像１６３は、ＸＹ平面内の画像として取得される。 Here, the position of the pupil detected by the position detection unit 171 will be described with reference to FIG. FIG. 6 shows an image 163 captured by the camera module 160. The image 163 is acquired as an image in the XY plane.
図６に示すように、画像１６３の中で基準位置１６４を定義する。ここでは、一例として、基準位置１６４は、画像１６３の中心とする。また、位置検出部１７１は、画像１６３の中における瞳孔の中心位置１６５を求め、基準位置１６４に対する中心位置１６５の変位を求める。 As shown in FIG. 6, a reference position 164 is defined in the image 163. Here, as an example, the reference position 164 is the center of the image 163. Further, the position detection unit 171 obtains the center position 165 of the pupil in the image 163 and obtains the displacement of the center position 165 with respect to the reference position 164.
図６では、説明の便宜上、瞳孔の位置として太い円１６５Ａを示す。太い円１６５Ａの中心は、瞳孔の中心位置１６５である。また、図６には、眼の輪郭の大凡の位置として、楕円１６６を示す。太い円１６５Ａと楕円１６６は、図６に説明の便宜上の理由から示したものであり、位置検出部１７１によって求められるものではなく、また、データとしても得られるものではない。 In FIG. 6, for the convenience of explanation, a thick circle 165A is shown as the position of the pupil. The center of the thick circle 165A is the center position 165 of the pupil. FIG. 6 shows an ellipse 166 as a rough position of the eye contour. The thick circle 165A and the ellipse 166 are shown in FIG. 6 for convenience of explanation, and are not obtained by the position detection unit 171 and are not obtained as data.
図６では、瞳孔の中心位置１６０Ｃが、基準位置１６４に対して、Ｘ軸方向に＋Ｘ１、Ｙ軸方向に＋Ｙ１だけ変位している。 In FIG. 6, the center position 160C of the pupil is displaced from the reference position 164 by + X1 in the X-axis direction and + Y1 in the Y-axis direction.
なお、上述の手法以外にも、カメラモジュール１６０によって撮像される画像に対して、パターンマッチング等を行うことにより、瞳孔の位置を検出する種々の公知の手法がある。位置検出部１７１は、これらのいずれかの手法を用いて、カメラモジュール１６０によって撮像される画像に対して画像処理を行うことにより、瞳孔の中心位置１６５を検出すればよい。なお、瞳孔の中心位置１６５を検出する手法によって、カメラモジュール１６０として用いるカメラの種類が異なるため、カメラモジュール１６０としては、瞳孔の中心位置１６５を検出するのに適したカメラを用いればよい。 In addition to the above-described methods, there are various known methods for detecting the position of the pupil by performing pattern matching or the like on the image captured by the camera module 160. The position detection unit 171 may detect the center position 165 of the pupil by performing image processing on an image captured by the camera module 160 using any of these methods. Note that since the type of camera used as the camera module 160 differs depending on the method of detecting the pupil center position 165, a camera suitable for detecting the pupil center position 165 may be used as the camera module 160.
また、位置検出部１７１は、上述のようにして求まる瞳孔の位置の変位（Ｘ，Ｙ）に基づき、ＭＥＭＳミラー１４０の角度の調整量（補正量）を求める。また、上述のようにして求まる瞳孔の位置の変位（Ｘ，Ｙ）は、ＸＹステージ１２０の移動量として用いられる。 Further, the position detection unit 171 obtains the angle adjustment amount (correction amount) of the MEMS mirror 140 based on the displacement (X, Y) of the pupil position obtained as described above. Further, the displacement (X, Y) of the pupil position obtained as described above is used as the movement amount of the XY stage 120.
位置制御部１７２は、位置検出部１７１によって検出される瞳孔の中心位置１６５の変位に基づき、ＸＹステージ１２０の位置を制御する。位置制御部１７２は、位置検出部１７１によって検出される瞳孔の中心位置１６５のＸ軸方向及びＹ軸方向における変位がそれぞれＸ１、Ｙ１である場合に、モータ１２４Ｘを駆動してステージ１２３を可動部１２２に対してＸ軸方向にＸ１移動するとともに、モータ１２４Ｙを駆動して可動部１２２を基部１２１に対してＹ軸方向にＹ１移動させる。 The position control unit 172 controls the position of the XY stage 120 based on the displacement of the pupil center position 165 detected by the position detection unit 171. The position control unit 172 drives the motor 124X to move the stage 123 to a movable unit when the displacement in the X-axis direction and the Y-axis direction of the center position 165 of the pupil detected by the position detection unit 171 is X1 and Y1, respectively. While moving X1 in the X-axis direction relative to 122, the motor 124Y is driven to move the movable part 122 relative to the base 121 in the Y-axis direction.
出力制御部１７３は、ケーブル１７０Ａを介して制御部１７０に入力される画像信号に基づいて、レーザアレイ１３１Ｒ、１３１Ｇ、１３１Ｂの出力を調整する。この結果、光源１３０から出射されるレーザ光の色と輝度が画像信号に応じて設定される。 The output control unit 173 adjusts the outputs of the laser arrays 131R, 131G, and 131B based on an image signal input to the control unit 170 via the cable 170A. As a result, the color and brightness of the laser light emitted from the light source 130 are set according to the image signal.
ヘッドマウントディスプレイ装置１００は、ラスタースキャン方式で利用者の網膜に１画素ずつ描画を行うため、画像信号は、画素毎に、色と輝度が切り替わる。 Since the head-mounted display device 100 draws one pixel at a time on the user's retina using the raster scan method, the color and luminance of the image signal are switched for each pixel.
角度制御部１７４は、ＭＥＭＳミラー１４０の角度制御を行う。角度制御部１７４が行う角度制御は、２種類ある。 The angle control unit 174 controls the angle of the MEMS mirror 140. There are two types of angle control performed by the angle control unit 174.
角度制御部１７４は、第１の角度制御として、ハーフミラー１５０から瞳孔に入射するレーザ光が、ラスタースキャン方式で網膜に画像を結像するように、ＭＥＭＳミラー１４０を駆動する。ラスタースキャンは、１画素ずつ描画するスキャン方式であるため、角度制御部１７４は、１画素を描画する毎に、ＭＥＭＳミラー１４０の角度を調整し、次の画素にレーザ光が案内されるようにする。 As the first angle control, the angle control unit 174 drives the MEMS mirror 140 so that the laser light incident on the pupil from the half mirror 150 forms an image on the retina by the raster scan method. Since the raster scan is a scan method for drawing one pixel at a time, the angle control unit 174 adjusts the angle of the MEMS mirror 140 every time one pixel is drawn so that the laser light is guided to the next pixel. To do.
角度制御部１７４は、第２の角度制御として、位置検出部１７１によって検出される瞳孔の中心位置１６５の変位に基づいて、ＭＥＭＳミラー１４０の角度を制御する。角度制御部１７４は、位置検出部１７１によって検出される瞳孔の中心位置１６５のＸ軸方向及びＹ軸方向における変位がそれぞれＸ１、Ｙ１である場合に、次のようにＭＥＭＳミラー１４０の角度を調整（補正）する。 The angle control unit 174 controls the angle of the MEMS mirror 140 based on the displacement of the center position 165 of the pupil detected by the position detection unit 171 as the second angle control. The angle control unit 174 adjusts the angle of the MEMS mirror 140 as follows when the displacement in the X-axis direction and the Y-axis direction of the pupil center position 165 detected by the position detection unit 171 is X1 and Y1, respectively. (to correct.
図７は、瞳孔の中心位置の変位に基づくＭＥＭＳミラー１４０の角度調整の手法を示す図である。ここでは、光源１３０、ＭＥＭＳミラー１４０、及びハーフミラー１５０を光学系と称し、破線で囲んで示す。光学系は、ＸＹステージ１２０（図２乃至図４参照）に搭載され、Ｘ軸方向及びＹ軸方向に移動可能である。 FIG. 7 is a diagram illustrating a method of adjusting the angle of the MEMS mirror 140 based on the displacement of the center position of the pupil. Here, the light source 130, the MEMS mirror 140, and the half mirror 150 are referred to as an optical system, and are surrounded by a broken line. The optical system is mounted on an XY stage 120 (see FIGS. 2 to 4) and is movable in the X-axis direction and the Y-axis direction.
図７（Ａ）では、ＭＥＭＳミラー１４０の角度を調整（補正）する際に用いる直交座標系として、ＳＹＴ座標系を定義する。ＳＴＹ座標系のうち、Ｙ軸は、ＸＹＺ座標系のＹ軸と等しい。Ｓ軸とＴ軸は、それぞれ、Ｘ軸とＺ軸をＸＺ平面内で時計回りにα度だけ回転させたものである。Ｓ軸は、ＭＥＭＳミラー１４０の反射面１４０Ａに含まれ、Ｔ軸は、反射面１４０Ａの法線と平行である。なお、反射面１４０Ａは、ＳＹ平面に平行な平面である。 In FIG. 7A, a SYT coordinate system is defined as an orthogonal coordinate system used when adjusting (correcting) the angle of the MEMS mirror 140. Of the STY coordinate system, the Y axis is equal to the Y axis of the XYZ coordinate system. The S axis and the T axis are obtained by rotating the X axis and the Z axis by α degrees clockwise in the XZ plane, respectively. The S axis is included in the reflective surface 140A of the MEMS mirror 140, and the T axis is parallel to the normal line of the reflective surface 140A. The reflective surface 140A is a plane parallel to the SY plane.
図７（Ａ）では、ＭＥＭＳミラー１４０からハーフミラー１５０を経て瞳孔１８１に入射し、眼球１８２の奥にある網膜１８３に至るまでのレーザ光の中心軸（光軸）を一点鎖線で示し、レーザ光の範囲を実線と細破線で示す。 In FIG. 7A, the center axis (optical axis) of the laser light that enters the pupil 181 from the MEMS mirror 140 through the half mirror 150 and reaches the retina 183 at the back of the eyeball 182 is indicated by a one-dot chain line. The light range is indicated by a solid line and a thin broken line.
図７（Ａ）に示す光軸Ｌ０は、ＭＥＭＳミラー１４０の角度が初期値の場合に、ハーフミラー１５０で反射される反射光の光軸であり、Ｚ軸に平行である。ＭＥＭＳミラー１４０の角度の初期値とは、ハーフミラー１５０で反射される反射光の光軸が、Ｚ軸に平行になるときのＭＥＭＳミラー１４０の角度であり、反射面１４０ＡがＳＹ平面と平行な場合におけるＭＥＭＳミラー１４０の角度である。 An optical axis L 0 shown in FIG. 7A is an optical axis of reflected light reflected by the half mirror 150 when the angle of the MEMS mirror 140 is an initial value, and is parallel to the Z axis. The initial value of the angle of the MEMS mirror 140 is an angle of the MEMS mirror 140 when the optical axis of the reflected light reflected by the half mirror 150 is parallel to the Z axis, and the reflecting surface 140A is parallel to the SY plane. The angle of the MEMS mirror 140 in the case.
また、瞳孔１８１の中心１８１Ａと、円で示す眼球１８２の中心１８２Ａとを通る軸を瞳孔１８１の中心軸Ｌ１とする。 Further, to the center 181A of the pupil 181, an axis passing through the center 182A of the eye 182 shown by a circle with the center axis L 1 of the pupil 181.
図７（Ａ）では、利用者の瞳孔１８１は正面を向いて（正対して）おり、ＸＹステージ１２０の位置は、ハーフミラー１５０の反射光の光軸Ｌ０と、瞳孔１８１の中心軸Ｌ１とが一致するように調整されている。 In FIG. 7A, the pupil 181 of the user is facing front (facing), and the position of the XY stage 120 is the optical axis L 0 of the reflected light of the half mirror 150 and the central axis L of the pupil 181. 1 is adjusted to match.
図７（Ａ）では、ハーフミラー１５０の反射光の光軸Ｌ０と、瞳孔１８１の中心軸Ｌ１とが一致しているため、図７（Ａ）に示す光学系の位置は、ヘッドマウントディスプレイ装置１００を装着した利用者の瞳孔１８１正面を向いているときに、理想的な位置である。 In FIG. 7A, since the optical axis L 0 of the reflected light of the half mirror 150 and the central axis L 1 of the pupil 181 coincide, the position of the optical system shown in FIG. This is the ideal position when facing the front of the pupil 181 of the user wearing the display device 100.
次に、利用者の瞳孔１８１が回転移動した場合について説明する。ここで、Ｘ軸を回転軸として回転する角度をθｘと定義し、Ｙ軸を回転軸として回転する角度をθｙと定義する。角度θｘ、θｙは、それぞれ、Ｘ軸、Ｙ軸の負方向側から正方向側を見たときの時計回りの回転を正方向の回転とし、Ｘ軸、Ｙ軸の負方向側から正方向側を見たときの反時計回りの回転を負方向の回転とする。 Next, a case where the pupil 181 of the user is rotated will be described. Here, the angle of rotation about the X axis is defined as θx, and the angle of rotation about the Y axis as the rotation axis is defined as θy. The angles θx and θy are respectively positive rotations when viewed from the negative direction side of the X-axis and Y-axis as viewed in the positive direction, and from the negative direction side of the X-axis and Y-axis to the positive direction side. Rotation in the counterclockwise direction when looking at is regarded as rotation in the negative direction.
ここで、眼球の半径をｒ、位置検出部１７１によって検出される瞳孔１８１の位置のＹ軸方向における変位をＹとすると、角度θｘは次式（１）で表される。
θｘ＝ａｒｃｓｉｎ（Ｙ／ｒ） （１）
また、眼球の半径をｒ、位置検出部１７１によって検出される瞳孔の位置のＸ軸方向における変位をＸとすると、角度θｙは次式（２）で表される。
θｙ＝ａｒｃｓｉｎ（Ｘ／ｒ） （２）
角度制御部１７４は、位置検出部１７１によって検出される瞳孔１８１の位置のＸ軸方向及びＹ軸方向における変位がそれぞれＸ１、Ｙ１である場合に、角度θｘ及び角度θｙを次式（３）、（４）のように設定する。
θｘ＝ａｒｃｓｉｎ（Ｙ１／ｒ） （３）
θｙ＝ａｒｃｓｉｎ（Ｘ１／ｒ） （４）
例えば、ＸＺ平面視で、瞳孔１８１がＹ軸の周りに（時計回りの方向に）θｙだけ回転したとする。また、このとき、位置検出部１７１によって検出される瞳孔１８１の位置のＸ軸方向の変位がＸ１であるとする。
Here, if the radius of the eyeball is r and the displacement of the position of the pupil 181 detected by the position detector 171 in the Y-axis direction is Y, the angle θx is expressed by the following equation (1).
θx = arcsin (Y / r) (1)
Further, assuming that the radius of the eyeball is r and the displacement of the pupil position detected by the position detector 171 in the X-axis direction is X, the angle θy is expressed by the following equation (2).
θy = arcsin (X / r) (2)
When the displacement in the X-axis direction and the Y-axis direction of the position of the pupil 181 detected by the position detection unit 171 is X1 and Y1, respectively, the angle control unit 174 sets the angle θx and the angle θy to the following formula (3), Set as in (4).
θx = arcsin (Y1 / r) (3)
θy = arcsin (X1 / r) (4)
For example, it is assumed that the pupil 181 is rotated about the Y axis (clockwise direction) by θy in the XZ plan view. At this time, it is assumed that the displacement in the X-axis direction of the position of the pupil 181 detected by the position detection unit 171 is X1.
このような場合には、角度制御部１７４は、変位Ｘ１を用いて、角度θｙを求め、ＭＥＭＳミラー１４０をＸＺ平面内でＹ軸を回転軸として角度θｙだけ回転させる。この結果、ＭＥＭＳミラー１４０が、図７（Ａ）に示す状態から図７（Ｂ）に示すようにＸＺ平面視で角度θｙだけ時計回りに回転され、ハーフミラー１５０の反射光が瞳孔１８１から眼球１８２に入射する。 In such a case, the angle control unit 174 obtains the angle θy using the displacement X1, and rotates the MEMS mirror 140 by the angle θy about the Y axis in the XZ plane. As a result, the MEMS mirror 140 is rotated clockwise from the state shown in FIG. 7A by the angle θy in the XZ plan view as shown in FIG. 7B, and the reflected light of the half mirror 150 is reflected from the pupil 181 to the eyeball. Incident on 182.
また、ここでは、瞳孔１８１がＸＺ平面視でＹ軸の周りに（時計回りの方向に）θｙだけ回転する場合について説明するが、瞳孔１８１がＹＺ平面視でＸ軸の周りにθｘだけ回転する場合は、次のようにすればよい。 Here, a case will be described in which the pupil 181 rotates around the Y axis (clockwise direction) by θy in the XZ plan view, but the pupil 181 rotates by θx around the X axis in the YZ plan view. In this case, you can do as follows.
瞳孔１８１がＹＺ平面視でＸ軸の周りにθｘだけ回転した場合には、ＭＥＭＳミラー１４０をＳ軸の周りにθｘだけ回転させることにより、ハーフミラー１５０の反射光が瞳孔１８１から眼球１８２に入射するようにすればよい。ＭＥＭＳミラー１４０は、Ｓ軸の周りにθｘだけ回転されると、反射面１４０Ａの法線が、Ｔ軸に対して仰角（角度θｘ）を有するように角度が調整（補正）される。 When the pupil 181 rotates by θx around the X axis in YZ plan view, the reflected light of the half mirror 150 enters the eyeball 182 from the pupil 181 by rotating the MEMS mirror 140 by θx around the S axis. You just have to do it. When the MEMS mirror 140 is rotated by θx around the S-axis, the angle is adjusted (corrected) so that the normal line of the reflective surface 140A has an elevation angle (angle θx) with respect to the T-axis.
以上のように、位置検出部１７１によって検出される瞳孔１８１の位置のＸ軸方向及びＹ軸方向における変位に応じて、式（１）、（２）で求まる角度θｘ、θｙだけＭＥＭＳミラー１４０の角度を調整（補正）すれば、ハーフミラー１５０の反射光を瞳孔１８１から眼球１８２内に入射させることができる。 As described above, according to the displacement in the X-axis direction and the Y-axis direction of the position of the pupil 181 detected by the position detection unit 171, the MEMS mirror 140 has the angles θx and θy obtained by the equations (1) and (2). If the angle is adjusted (corrected), the reflected light of the half mirror 150 can enter the eyeball 182 from the pupil 181.
図７（Ｂ）に示すように、ＸＺ平面視で瞳孔１８１が角度θｙだけ時計回りに回転され、ハーフミラー１５０の反射光が瞳孔１８１から眼球１８２に入射する。このとき、ハーフミラー１５０の反射光の光軸Ｌ２は、瞳孔１８１の中心軸Ｌ１からオフセットしているが、反射光は瞳孔１８１を通って眼球１８２に入射しているため、網膜１８３に結像が得られる。 As shown in FIG. 7B, the pupil 181 is rotated clockwise by an angle θy in the XZ plan view, and the reflected light of the half mirror 150 enters the eyeball 182 from the pupil 181. At this time, although the optical axis L 2 of the reflected light of the half mirror 150 is offset from the central axis L 1 of the pupil 181, the reflected light is incident on the eyeball 182 through the pupil 181. Imaging is obtained.
なお、図７（Ｂ）では、ハーフミラー１５０の反射光が、瞳孔１８１の中心１８１Ａよりも外側を通って眼球１８２に入射する形態を示す。しかしながら、ハーフミラー１５０の湾曲形状を変えることにより、図７（Ａ）の状態からＭＥＭＳミラー１４０の角度を調整（補正）したときに、ハーフミラー１５０の反射光が瞳孔１８１の中心１８１Ａ又は中心１８１Ａの近傍を通るようにしてもよい。 FIG. 7B shows a form in which the reflected light of the half mirror 150 enters the eyeball 182 through the outside of the center 181A of the pupil 181. However, when the angle of the MEMS mirror 140 is adjusted (corrected) from the state of FIG. 7A by changing the curved shape of the half mirror 150, the reflected light of the half mirror 150 is reflected at the center 181A or the center 181A of the pupil 181. You may make it pass the vicinity of.
また、ヘッドマウントディスプレイ装置１００は、ＸＹステージ１２０を含むため、上述のようなＭＥＭＳミラー１４０の角度調整（角度補正）に加えて、位置制御部１７２がＸＹステージ１２０で光学系を移動させると、図７（Ｃ）に示すようになる。図７（Ｃ）では、一例として、図７（Ｂ）に比べて、破線で囲む光学系がＸ軸正方向側に移動している。 Further, since the head mounted display device 100 includes the XY stage 120, in addition to the angle adjustment (angle correction) of the MEMS mirror 140 as described above, when the position control unit 172 moves the optical system with the XY stage 120, As shown in FIG. In FIG. 7C, as an example, compared with FIG. 7B, the optical system surrounded by a broken line has moved to the X axis positive direction side.
位置制御部１７２は、位置検出部１７１によって検出される瞳孔１８１の画像１６３（図６参照）における中心位置１６５のＸ軸方向及びＹ軸方向における変位がそれぞれＸ１、Ｙ１である場合に、モータ１２４Ｘを駆動してステージ１２３を可動部１２２に対してＸ軸方向にＸ１移動するとともに、モータ１２４Ｙを駆動して可動部１２２を基部１２１に対してＹ軸方向にＹ１移動させる。 The position control unit 172 includes the motor 124X when the displacements in the X-axis direction and the Y-axis direction of the center position 165 in the image 163 (see FIG. 6) of the pupil 181 detected by the position detection unit 171 are X1 and Y1, respectively. Is driven to move the stage 123 in the X-axis direction relative to the movable part 122, and the motor 124Y is driven to move the movable part 122 in the Y-axis direction relative to the base 121.
このようにＸＹステージ１２０を移動させると、光学系がすべて移動する。このため、移動前の図７（Ｂ）に示すように、ハーフミラー１５０の反射光の光軸Ｌ２は、瞳孔１８１の中心軸Ｌ１からオフセットしている状態から、図７（Ｃ）に示すように、瞳孔１８１の中心軸Ｌ１と、ハーフミラー１５０の反射光の光軸Ｌ２とが一致する。すなわち、Ｘ軸方向及びＹ軸方向における変位Ｘ１、Ｙ１に応じて、ＸＹステージ１２０によって光学系の位置が補正される。 When the XY stage 120 is moved in this way, the entire optical system moves. For this reason, as shown in FIG. 7B before the movement, the optical axis L 2 of the reflected light of the half mirror 150 is offset from the central axis L 1 of the pupil 181, as shown in FIG. as shown, the center axis L 1 of the pupil 181, and the optical axis L 2 of the reflected light of the half mirror 150 matches. That is, the position of the optical system is corrected by the XY stage 120 according to the displacements X1 and Y1 in the X-axis direction and the Y-axis direction.
以上のように、ヘッドマウントディスプレイ装置１００は、位置検出部１７１によって検出される瞳孔１８１の変位に応じて、ＭＥＭＳミラー１４０の角度を調整（補正）するとともに、ＸＹステージ１２０で光学系の位置を調整（補正）する。 As described above, the head mounted display device 100 adjusts (corrects) the angle of the MEMS mirror 140 according to the displacement of the pupil 181 detected by the position detection unit 171, and adjusts the position of the optical system by the XY stage 120. Adjust (correct).
次に、図８を用いて、制御部１７０が実行する処理について説明する。 Next, processing executed by the control unit 170 will be described with reference to FIG.
図８は、制御部１７０が実行する処理を示すフローチャートである。 FIG. 8 is a flowchart illustrating processing executed by the control unit 170.
制御部１７０は、ヘッドマウントディスプレイ装置１００の電源がオンにされて、網膜に描画を行うモードが選択されると処理をスタートする（スタート）。 The controller 170 starts the process when the head-mounted display device 100 is turned on and a drawing mode on the retina is selected (start).
制御部１７０は、カメラモジュール１６０のカメラ１６１で撮像を開始し、照明装置１６２をオンにする（ステップＳ１）。ステップＳ２の処理は、位置検出部１７１によって実行される。 The controller 170 starts imaging with the camera 161 of the camera module 160 and turns on the illumination device 162 (step S1). The process of step S2 is executed by the position detection unit 171.
制御部１７０は、ケーブル１７０Ａを介して入力される画像信号に基づき、レーザアレイ１３１Ｒ、１３１Ｇ、１３１Ｂの出力を調整し、画像信号が表す色と輝度のレーザ光を出力する（ステップＳ２）。 The control unit 170 adjusts the output of the laser arrays 131R, 131G, and 131B based on the image signal input via the cable 170A, and outputs laser light of the color and brightness represented by the image signal (step S2).
光源１３０が出力するレーザ光は、ＭＥＭＳミラー１４０で反射される際にラスタースキャン方式で１画素ずつ走査され、さらにハーフミラー１５０で反射されて利用者の瞳孔に入射される。なお、ステップＳ２の処理は、出力制御部１７３によって実行される。 The laser light output from the light source 130 is scanned pixel by pixel by a raster scan method when reflected by the MEMS mirror 140, and further reflected by the half mirror 150 and incident on the pupil of the user. Note that the process of step S2 is executed by the output control unit 173.
制御部１７０は、カメラモジュール１６０によって撮像される画像に対して画像処理を行うことにより、瞳孔の位置を検出する（ステップＳ３）。ステップＳ３の処理は、位置検出部１７１によって実行される。 The control unit 170 detects the position of the pupil by performing image processing on the image captured by the camera module 160 (step S3). The process of step S3 is executed by the position detection unit 171.
制御部１７０は、ステップＳ３で検出される瞳孔の位置の基準位置に対する位置ずれが所定の閾値よりも大きいかどうか判定する（ステップＳ４）。基準位置は、図６に示す画像１６３の中で基準位置１６４である。また、所定の閾値は、例えば、１ｍｍである。瞳孔がＸ軸及びＹ軸に対して斜めの方向に移動している場合は、斜め方向の移動量が１ｍｍよりも大きいかどうかで判定すればよい。 The controller 170 determines whether or not the positional deviation of the pupil position detected in step S3 with respect to the reference position is larger than a predetermined threshold (step S4). The reference position is the reference position 164 in the image 163 shown in FIG. The predetermined threshold is 1 mm, for example. When the pupil is moving in an oblique direction with respect to the X axis and the Y axis, it may be determined whether or not the moving amount in the oblique direction is larger than 1 mm.
ステップＳ４は、瞳孔の移動量が所定の閾値以下である場合には、ＭＥＭＳミラー１４０の角度調整とＸＹステージ１２０の位置調整を行わなくするために判定する処理である。ステップＳ４の処理は、例えば、瞳孔の移動頻度が多いような場合に、利用者にとっての映像の見易さと、ヘッドマウントディスプレイ装置１００の制御の複雑化抑制とのバランスを取るために設けられている。 Step S <b> 4 is a process for determining that the angle adjustment of the MEMS mirror 140 and the position adjustment of the XY stage 120 are not performed when the moving amount of the pupil is equal to or less than a predetermined threshold. The process of step S4 is provided in order to balance the visibility of the image for the user and the suppression of complication of control of the head mounted display device 100, for example, when the pupil movement frequency is high. Yes.
制御部１７０は、位置ずれが所定の閾値よりも大きい（Ｓ４：ＹＥＳ）と判定すると、ステップＳ３で検出される瞳孔の位置に基づき、ＭＥＭＳミラー１４０の角度の調整値θｘ、θｙと、ＸＹステージ１２０の移動量Ｘ、Ｙを求める（ステップＳ５）。ステップＳ５の処理は、位置検出部１７１によって実行される。 If the controller 170 determines that the positional deviation is larger than the predetermined threshold (S4: YES), the angle adjustment values θx and θy of the MEMS mirror 140 and the XY stage based on the position of the pupil detected in step S3. The movement amounts X and Y of 120 are obtained (step S5). The process of step S5 is executed by the position detection unit 171.
制御部１７０は、ステップＳ５で求めたＭＥＭＳミラー１４０の角度の調整値θｘ、θｙとＸＹステージ１２０の移動量Ｘ、Ｙを用いて、ＭＥＭＳミラー１４０の角度を調整するとともに、ＸＹステージ１２０を駆動する（ステップＳ６）。ステップＳ６の処理のうち、ＭＥＭＳミラー１４０の角度の調整は、角度制御部１７４によって実行され、ＸＹステージ１２０の駆動は、位置制御部１７２によって実行される。 The controller 170 adjusts the angle of the MEMS mirror 140 and drives the XY stage 120 using the adjustment values θx and θy of the angle of the MEMS mirror 140 obtained in step S5 and the movement amounts X and Y of the XY stage 120. (Step S6). Of the processing in step S6, the angle control unit 174 adjusts the angle of the MEMS mirror 140, and the position control unit 172 drives the XY stage 120.
制御部１７０は、画像の描画が終了したかどうかを判定する（ステップＳ７）。ステップＳ７の処理は、出力制御部１７３によって実行される。画像の描画が終了したかどうかは、ケーブル１７０Ａを介して画像信号が入力されているかどうかで判定すればよい。また、画像信号に描画の終了を表すデータが含まれている場合には、描画の終了を表すデータを読み取ったかどうかで判定すればよい。 The controller 170 determines whether or not drawing of the image has been completed (step S7). The process of step S7 is executed by the output control unit 173. Whether or not drawing of the image has ended may be determined by whether or not an image signal is input via the cable 170A. If the image signal includes data indicating the end of drawing, it may be determined based on whether or not the data indicating the end of drawing has been read.
制御部１７０は、画像の描画が終了した（Ｓ７：ＹＥＳ）と判定すると、カメラモジュール１６０のカメラ１６１での撮像を終了し、照明装置１６２をオフにする（ステップＳ８）。ステップＳ８の処理は、位置検出部１７１によって実行される。 If the controller 170 determines that the drawing of the image has ended (S7: YES), the controller 170 ends the imaging with the camera 161 of the camera module 160 and turns off the illumination device 162 (step S8). The process of step S8 is executed by the position detection unit 171.
なお、制御部１７０は、ステップＳ４において、位置ずれが所定の閾値よりも大きくない（Ｓ４：ＮＯ）と判定すると、フローをステップＳ３にリターンする。位置ずれに基づくＭＥＭＳミラー１４０の角度の補正と、ＸＹステージ１２０による光学系の位置の補正を行わずに、現時点での瞳孔の位置を検出するためである。 If controller 170 determines in step S4 that the positional deviation is not greater than the predetermined threshold (S4: NO), the flow returns to step S3. This is to detect the current pupil position without correcting the angle of the MEMS mirror 140 based on the positional deviation and correcting the position of the optical system by the XY stage 120.
また、ステップＳ８において、画像の描画が終了していない（Ｓ７：ＮＯ）と判定すると、フローをステップＳ３にリターンする。現時点での瞳孔の位置を検出するためである。 If it is determined in step S8 that image drawing has not ended (S7: NO), the flow returns to step S3. This is to detect the position of the pupil at the current time.
以上で一連の処理が終了する。 Thus, a series of processing ends.
図９は、網膜描画が可能な瞳孔が移動範囲を示す図である。 FIG. 9 is a diagram showing a movement range of a pupil capable of retina drawing.
図９（Ａ）には、ＭＥＭＳミラー１４０の角度調整によってハーフミラー１５０の反射光の光軸調整を行うとともに、ＸＹステージ１２０で光学系の位置調整を行った場合に、網膜描画が可能な瞳孔の位置の範囲（有効範囲）を示す。 FIG. 9A shows a pupil capable of retina drawing when the optical axis of the reflected light of the half mirror 150 is adjusted by adjusting the angle of the MEMS mirror 140 and the position of the optical system is adjusted by the XY stage 120. Indicates the range of the position (effective range).
図９（Ｂ）には、ＭＥＭＳミラー１４０によるハーフミラー１５０の反射光の光軸調整と、ＸＹステージ１２０による光学系の位置調整とを行わない場合に、網膜描画が可能な瞳孔の位置の範囲を示す。 FIG. 9B shows a range of pupil positions where retina can be drawn when the optical axis adjustment of the reflected light of the half mirror 150 by the MEMS mirror 140 and the optical system position adjustment by the XY stage 120 are not performed. Indicates.
ここで、瞳孔の直径が５ｍｍであり、ＸＹステージ１２０のＸ軸方向及びＹ軸方向の移動可能量がそれぞれ１０ｍｍであるとする。 Here, it is assumed that the pupil diameter is 5 mm, and the movable amounts of the XY stage 120 in the X-axis direction and the Y-axis direction are 10 mm, respectively.
図９（Ａ）に示すように、ＭＥＭＳミラー１４０とＸＹステージ１２０を利用すると、有効範囲として示す直径１０ｍｍの円の中に瞳孔の少なくとも一部が入っていれば、利用者の網膜に画像を描画することができる。 As shown in FIG. 9A, when the MEMS mirror 140 and the XY stage 120 are used, an image is displayed on the user's retina as long as at least part of the pupil is in a 10 mm diameter circle shown as the effective range. Can be drawn.
一方、図９（Ｂ）に示すように、ＭＥＭＳミラー１４０とＸＹステージ１２０を利用しない場合は、有効範囲として示す直径５ｍｍの円の中に瞳孔の少なくとも一部が入っている場合に、利用者の網膜に画像を描画することができることになる。 On the other hand, as shown in FIG. 9B, when the MEMS mirror 140 and the XY stage 120 are not used, the user is in a case where at least a part of the pupil is in a circle with a diameter of 5 mm shown as an effective range. An image can be drawn on the retina.
図９（Ａ）と図９（Ｂ）を比較して分かるように、ＭＥＭＳミラー１４０とＸＹステージ１２０を利用することにより、ＭＥＭＳミラー１４０とＸＹステージ１２０を利用しない場合に比べて、有効範囲が約４倍に拡大していることが分かる。 As can be seen by comparing FIG. 9A and FIG. 9B, the use of the MEMS mirror 140 and the XY stage 120 increases the effective range compared to the case where the MEMS mirror 140 and the XY stage 120 are not used. It can be seen that the magnification is about 4 times.
従って、実施の形態１によれば、利用者が眼の向きを変えて瞳孔の位置が変化しても、図９（Ａ）に示す有効範囲の中であれば、瞳孔にレーザ光を入射させて網膜に描画することができる、視認性の良好なヘッドマウントディスプレイ装置１００を提供することができる。 Therefore, according to the first embodiment, even if the user changes the direction of the eye and the pupil position changes, laser light is incident on the pupil within the effective range shown in FIG. Thus, it is possible to provide the head mounted display device 100 with good visibility that can be drawn on the retina.
なお、以上では、ＭＥＭＳミラー１４０によるハーフミラー１５０の反射光の光軸調整に加えて、ＸＹステージ１２０による光学系の位置調整を行う形態について説明したが、ＸＹステージ１２０による光学系の位置調整を行わなくてもよい。 In the above, in addition to the optical axis adjustment of the reflected light of the half mirror 150 by the MEMS mirror 140, the form of adjusting the position of the optical system by the XY stage 120 has been described. However, the position adjustment of the optical system by the XY stage 120 is performed. It does not have to be done.
すなわち、瞳孔の移動に合わせて、ＭＥＭＳミラー１４０によるハーフミラー１５０の反射光の光軸調整のみを行ってよい。ＭＥＭＳミラー１４０によるハーフミラー１５０の反射光の光軸調整のみを行う場合は、ＸＹステージ１２０による光学系の位置調整を行う場合に比べて有効範囲は狭くなるが、瞳孔に入射するレーザ光の角度を調整できる。このため、網膜に描画される画像の歪みを抑制することができ、視認性の良好なヘッドマウントディスプレイ装置１００を提供することができる。 That is, only the optical axis adjustment of the reflected light of the half mirror 150 by the MEMS mirror 140 may be performed in accordance with the movement of the pupil. When only the optical axis adjustment of the reflected light of the half mirror 150 by the MEMS mirror 140 is performed, the effective range is narrower than when the position of the optical system is adjusted by the XY stage 120, but the angle of the laser light incident on the pupil Can be adjusted. For this reason, the distortion of the image drawn on a retina can be suppressed and the head mounted display apparatus 100 with favorable visibility can be provided.
また、以上では、ヘッドマウントディスプレイ装置をケーブル１７０Ａを介してコンピュータに接続し、コンピュータからケーブル１７０Ａを介してヘッドマウントディスプレイ装置１００の制御部１７０に入力される画像信号を網膜に描画する形態について説明した。しかしながら、ヘッドマウントディスプレイ装置１００とコンピュータを無線通信で接続し、無線通信で画像信号をコンピュータからヘッドマウントディスプレイ装置１００に送信してもよい。 In the above description, the head mounted display device is connected to the computer via the cable 170A and the image signal input from the computer to the control unit 170 of the head mounted display device 100 via the cable 170A is drawn on the retina. did. However, the head mounted display device 100 and the computer may be connected by wireless communication, and an image signal may be transmitted from the computer to the head mounted display device 100 by wireless communication.
また、以上では、カメラモジュール１６０を用いて利用者の瞳孔の位置を検出する形態について説明した。しかしながら、カメラモジュール１６０を用いる変わりに、利用者の眼電位を測定することによって瞳孔の位置を検出してもよい。 In the above description, the form in which the position of the user's pupil is detected using the camera module 160 has been described. However, instead of using the camera module 160, the position of the pupil may be detected by measuring the electrooculogram of the user.
図１０は、実施の形態１の変形例によるヘッドマウントディスプレイ装置１００Ａを示す図である。 FIG. 10 is a diagram showing a head mounted display device 100A according to a modification of the first embodiment.
ヘッドマウントディスプレイ装置１００Ａは、図３に示すヘッドマウントディスプレイ装置１００からカメラモジュール１６０を取り除き、電極１１６を追加し、図３に示す鼻パッド１１３Ｒ、１１３Ｌを鼻パッド１１３ＲＡ、１１３ＬＡに置き換えた構成を有する。 The head mounted display device 100A has a configuration in which the camera module 160 is removed from the head mounted display device 100 shown in FIG. 3, an electrode 116 is added, and the nose pads 113R and 113L shown in FIG. 3 are replaced with the nose pads 113RA and 113LA. .
鼻パッド１１３ＲＡ、１１３ＬＡは、電極としても機能するものであり、第１電極の一例である。また、電極１１６は、第２電極の一例である。 The nose pads 113RA and 113LA also function as electrodes and are examples of first electrodes. The electrode 116 is an example of a second electrode.
鼻パッド１１３ＲＡ、１１３ＬＡと電極１１６は、制御部１７０に接続されており、制御部１７０は、鼻パッド１１３ＲＡ、１１３ＬＡで検出される電位と、電極１１６で検出される電位との電位差を眼電位として検出する。眼球は、網膜側で負の電荷を帯びており、瞳孔がある角膜側で正の電荷を帯びている。鼻パッド１１３ＲＡ、１１３ＬＡと電極１１６とを用いると、上述のような電荷の分布に起因する眼電位を検出することができる。 The nose pads 113RA and 113LA and the electrode 116 are connected to the control unit 170. The control unit 170 uses the potential difference between the potential detected by the nose pads 113RA and 113LA and the potential detected by the electrode 116 as an ocular potential. To detect. The eyeball is negatively charged on the retinal side and positively charged on the cornea side where the pupil is located. When the nose pads 113RA and 113LA and the electrode 116 are used, it is possible to detect an electrooculogram due to the above-described charge distribution.
制御部１７０は、利用者の瞳孔が正面を向いている（正対している）ときの眼電位を基準として、利用者が瞳孔を動かしているときの眼電位を検出することにより、瞳孔の位置を求める。その他は、実施の形態１のヘッドマウントディスプレイ装置１００と同様である。 The control unit 170 detects the electrooculogram when the user is moving the pupil with reference to the electrooculogram when the user's pupil is facing the front (facing directly), so that the position of the pupil is detected. Ask for. Others are the same as those of the head mounted display device 100 of the first embodiment.
＜実施の形態２＞
図１１は、実施の形態２のヘッドマウントディスプレイ装置２００を示す図である。
<Embodiment 2>
FIG. 11 is a diagram illustrating the head mounted display device 200 according to the second embodiment.
実施の形態２のヘッドマウントディスプレイ装置２００は、実施の形態１のヘッドマウントディスプレイ装置１００の制御部１７０を制御部２７０に置き換えた構成を有する。その他の構成は、実施の形態１のヘッドマウントディスプレイ装置１００と同様である。 The head mounted display device 200 according to the second embodiment has a configuration in which the control unit 170 of the head mounted display device 100 according to the first embodiment is replaced with a control unit 270. Other configurations are the same as those of the head mounted display device 100 of the first embodiment.
図１２は、制御部２７０の構成を示す図である。 FIG. 12 is a diagram illustrating a configuration of the control unit 270.
制御部２７０は、位置検出部１７１、位置制御部１７２、出力制御部２７３、及び角度制御部２７４を有する。制御部２７０は、実施の形態１の制御部１７０（図５参照）の出力制御部１７３及び角度制御部１７４を出力制御部２７３及び角度制御部２７４にそれぞれ置き換えた構成を有する。 The control unit 270 includes a position detection unit 171, a position control unit 172, an output control unit 273, and an angle control unit 274. The control unit 270 has a configuration in which the output control unit 173 and the angle control unit 174 of the control unit 170 (see FIG. 5) of Embodiment 1 are replaced with the output control unit 273 and the angle control unit 274, respectively.
角度制御部２７４は、ラスタースキャンによる描画のためにＭＥＭＳミラー１４０を走査する際に、ハーフミラー１５０から利用者の眼球に向かう光路が、利用者の瞳孔よりも広い範囲に走査されるようにＭＥＭＳミラー１４０の角度を調整する。ハーフミラー１５０から利用者の眼球に向かう光路とは、図７（Ｂ）、図７（Ｃ）における光軸Ｌ１に沿った光路である。 When scanning the MEMS mirror 140 for rendering by raster scan, the angle control unit 274 is configured so that the optical path from the half mirror 150 toward the user's eyeball is scanned in a wider range than the user's pupil. The angle of the mirror 140 is adjusted. The optical path directed from the half mirror 150 to the eye of a user, FIG. 7 (B), the an optical path along the optical axis L 1 in FIG. 7 (C).
このようなＭＥＭＳミラー１４０の走査は、例えば、ＭＥＭＳミラー１４０の調整可能な最大の角度でラスタースキャンを行うことによって実現される。 Such scanning of the MEMS mirror 140 is realized, for example, by performing raster scanning at the maximum adjustable angle of the MEMS mirror 140.
そして、出力制御部２７３は、ハーフミラー１５０から利用者の眼球に向かう光路が利用者の瞳孔に入るときにのみ、光源１３０にレーザ光を出射させる。出力制御部２７３は、ハーフミラー１５０から利用者の眼球に向かう光路が利用者の瞳孔に入らないときには、光源１３０にレーザ光を出射させない。 Then, the output control unit 273 causes the light source 130 to emit laser light only when the optical path from the half mirror 150 toward the user's eyeball enters the user's pupil. The output control unit 273 does not cause the light source 130 to emit laser light when the optical path from the half mirror 150 toward the user's eyeball does not enter the user's pupil.
また、出力制御部２７３は、位置検出部１７１によって瞳孔の位置の変位（Ｘ，Ｙ）が検出されると、瞳孔の位置の変位（Ｘ，Ｙ）の分だけレーザ光を出力する領域をＸ軸方向及びＹ軸方向に移動する。 Further, when the displacement (X, Y) of the pupil position is detected by the position detection unit 171, the output control unit 273 outputs an area in which laser light is output by the amount of the displacement (X, Y) of the pupil. Move in the axial direction and the Y-axis direction.
出力制御部２７３及び角度制御部２７４がこのような制御を行うことにより、実施の形態１と同様に、ハーフミラー１５０で反射されるレーザ光は、利用者の瞳孔に入射する。 When the output control unit 273 and the angle control unit 274 perform such control, the laser beam reflected by the half mirror 150 enters the user's pupil as in the first embodiment.
図１３は、実施の形態２においてラスタースキャンを行う範囲とレーザ光を出力する領域との関係を示す図である。 FIG. 13 is a diagram illustrating a relationship between a raster scan range and a laser beam output region in the second embodiment.
図１３（Ａ）に示すように、レーザ光を出力する領域（出力領域）２１０よりも広い領域２２０でラスタースキャンを行う。 As shown in FIG. 13A, raster scanning is performed in a region 220 wider than a region (output region) 210 for outputting laser light.
出力領域２１０は、実施の形態１において、利用者が正面を向いている（正対している）ときにラスタースキャンを行う領域である。出力領域２１０を表す座標は、利用者が正面を向いている（正対している）ときに、レーザ光を出力する領域として、実験及び／又は統計等のデータに基づいて、予め設定しておけばよい。 The output area 210 is an area in which raster scanning is performed when the user is facing the front (facing) in the first embodiment. The coordinates representing the output area 210 may be set in advance based on data such as experiments and / or statistics as an area to output laser light when the user is facing the front (facing). That's fine.
出力領域２１０の座標は、利用者の瞳孔が移動すると、位置検出部１７１によって検出される瞳孔の位置の変位（Ｘ，Ｙ）の分だけＸ軸方向及びＹ軸方向に移動する。 When the user's pupil moves, the coordinates of the output area 210 move in the X-axis direction and the Y-axis direction by the displacement (X, Y) of the pupil position detected by the position detector 171.
領域２２０は、実施の形態２でＭＥＭＳミラー１４０がラスタースキャンのために駆動される範囲を表す領域である。領域２２０の大きさは、出力領域２１０よりも大きければよいため、ＭＥＭＳミラー１４０のサイズ等の諸元に基づいて設定される。領域２２０の座標は固定されているため、出力領域２１０は、位置検出部１７１によって瞳孔の位置の変位（Ｘ，Ｙ）に応じて、領域２２０の内部で移動することになる。 The region 220 is a region representing a range in which the MEMS mirror 140 is driven for raster scanning in the second embodiment. Since the size of the region 220 only needs to be larger than that of the output region 210, it is set based on specifications such as the size of the MEMS mirror 140. Since the coordinates of the region 220 are fixed, the output region 210 moves inside the region 220 according to the displacement (X, Y) of the pupil position by the position detection unit 171.
角度制御部２７４は、図１３（Ａ）に示すように、領域２２０の左上の角の点（１）から右上の角の点（２）までスキャンし、次に、点（２）から点（１）の一行下の点（３）まで移動し、点（３）から右端の点（４）までスキャンする。このような動作を繰り返して各行をスキャンすることにより、領域２２０の右下の角の点（５）までスキャンを行う。 As shown in FIG. 13A, the angle controller 274 scans from the upper left corner point (1) to the upper right corner point (2) of the region 220, and then from the point (2) to the point ( 1) Move to point (3) one line below, and scan from point (3) to right end point (4). By scanning each row by repeating such an operation, scanning is performed up to the point (5) in the lower right corner of the region 220.
なお、図１３（Ａ）は、角度制御部２７４によるラスタースキャンの軌跡だけを示しており、角度制御部２７４が図１３（Ａ）に示すようにラスタースキャンを行う際に、レーザ光の出力は、出力制御部２７３によって図１３（Ｂ）に示すように行われる。 FIG. 13A shows only the trajectory of the raster scan by the angle control unit 274. When the angle control unit 274 performs the raster scan as shown in FIG. This is performed by the output control unit 273 as shown in FIG.
出力制御部２７３は、角度制御部２７４がＭＥＭＳミラー１４０を駆動してラスタースキャンを行っているときに、ハーフミラー１５０から利用者の眼球に向かう光路の位置が出力領域２１０の内部にあるときに、光源１３０を駆動してレーザ光の出力させる。 When the angle control unit 274 drives the MEMS mirror 140 to perform a raster scan, the output control unit 273 is when the position of the optical path from the half mirror 150 toward the user's eyeball is within the output region 210. Then, the light source 130 is driven to output laser light.
このため、領域２２０の左上の角の点（１）から右上の角の点（２）までスキャンが行われるときには、出力領域２１０のうちの領域２１１においてレーザが出力される。領域２１１は、出力領域のうちの一番上の行に含まれる領域である。 For this reason, when scanning is performed from the upper left corner point (1) to the upper right corner point (2) of the region 220, the laser is output in the region 211 of the output region 210. An area 211 is an area included in the top row of the output area.
また、点（３）から右端の点（４）までスキャンまでスキャンが行われるときには、出力領域２１０のうちの領域２１２においてレーザが出力される。領域２１２は、出力領域のうちの上から２番目の行に含まれる領域である。 Further, when scanning is performed from the point (3) to the rightmost point (4), the laser is output in the region 212 of the output region 210. The area 212 is an area included in the second row from the top of the output area.
このようにレーザ光を出力することにより、図１３（Ｃ）に示すように、出力領域２１０の全体において、レーザ光を出力することができる。 By outputting the laser light in this way, the laser light can be output in the entire output region 210 as shown in FIG.
そして、出力制御部２７３は、位置検出部１７１によって瞳孔の位置の変位（Ｘ，Ｙ）に応じてレーザ光を出力する位置を変えるため、瞳孔の位置の変位（Ｘ，Ｙ）に応じて、領域２２０の内部で出力領域２１０の位置が移動する。 And since the output control part 273 changes the position which outputs a laser beam according to the displacement (X, Y) of the position of a pupil by the position detection part 171, according to the displacement (X, Y) of the position of a pupil, The position of the output area 210 moves within the area 220.
以上のように、ＭＥＭＳミラー１４０を走査してラスタースキャンを行う際に、ハーフミラー１５０から利用者の眼球に向かう光路が、利用者の瞳孔よりも広い範囲に走査されるようにＭＥＭＳミラー１４０の角度を調整する。 As described above, when the raster scan is performed by scanning the MEMS mirror 140, the optical path from the half mirror 150 toward the user's eyeball is scanned in a wider range than the user's pupil. Adjust the angle.
そして、瞳孔の位置の変位（Ｘ，Ｙ）に応じて、ハーフミラー１５０から利用者の眼球に向かう光路が利用者の瞳孔に入る（瞳孔を通る）ときにのみ、光源１３０にレーザ光を出射させることにより、実施の形態１と同様に、利用者の瞳孔にレーザ光を入射させることができる。 Then, in accordance with the displacement (X, Y) of the pupil position, laser light is emitted to the light source 130 only when the optical path from the half mirror 150 toward the user's eye enters the user's pupil (through the pupil). By doing so, the laser beam can be made incident on the pupil of the user as in the first embodiment.
従って、実施の形態２によれば、利用者が眼の向きを変えて瞳孔の位置が変化しても、瞳孔にレーザ光を入射させて網膜に描画することができる、視認性の良好なヘッドマウントディスプレイ装置２００を提供することができる。 Therefore, according to the second embodiment, even if the user changes the direction of the eyes and the position of the pupil changes, the laser beam can be incident on the pupil and drawn on the retina. A mount display device 200 can be provided.
また、実施の形態２のように、ＭＥＭＳミラー１４０の調整可能な最大の角度を用いてラスタースキャンを行うことは、共振駆動型のＭＥＭＳミラーを用いる場合に特に有効的である。 Further, as in the second embodiment, the raster scan using the maximum adjustable angle of the MEMS mirror 140 is particularly effective when using a resonance drive type MEMS mirror.
以上、本発明の例示的な実施の形態のヘッドマウントディスプレイ装置について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
網膜投影型のヘッドマウントディスプレイ装置であって、
利用者の頭部の眼前に配置されるフレームと、
レーザ光を出射する光源と、
前記光源から出射される前記レーザ光の反射方向を調整する可動ミラーと、
前記可動ミラーで反射されたレーザ光を利用者の瞳孔に向けて反射する固定ミラーと、
前記フレームに取り付けられ、利用者の瞳孔の位置を検出し、前記位置を表す位置信号を出力する検出部と、
前記位置信号が表す前記位置の基準位置に対する変位に基づき、前記固定ミラーで反射される前記レーザ光が利用者の瞳孔に入射するように、前記可動ミラーの角度を調整する制御部と
を含む、ヘッドマウントディスプレイ装置。
（付記２）
前記変位のうち、利用者の視界における左右方向の変位成分をｘ、利用者の視界における上下方向の変位成分をｙ、利用者の眼球の半径をｒとすると、
前記制御部が前記可動ミラーの角度を調整する調整量は、左右方向にθｘ＝ａｒｃｓｉｎ（ｙ／ｒ）、上下方向にθｙ＝ａｒｃｓｉｎ（ｘ／ｒ）である、付記１記載のヘッドマウントディスプレイ装置。
（付記３）
前記フレームに取り付けられ、前記フレームに対して、利用者の視界における上下方向及び左右方向の２軸方向に移動可能な２軸ステージをさらに含み、
前記光源、前記可動ミラー、及び前記固定ミラーは、前記２軸ステージに搭載されており、
前記制御部は、さらに、前記位置信号が表す前記位置の基準位置に対する変位に基づき、前記固定ミラーで反射される前記レーザ光が前記利用者の瞳孔に入射するように、前記２軸ステージの移動量を調整する、付記１又は２記載のヘッドマウントディスプレイ装置。
（付記４）
前記検出部は、前記フレームに取り付けられ、利用者の瞳孔を撮像する撮像部を有し、前記撮像部で撮像される瞳孔の画像に基づいて、利用者の瞳孔の前記位置を検出する、付記１乃至３のいずれか一項記載のヘッドマウントディスプレイ装置。
（付記５）
前記検出部は、前記フレームに取り付けられ、利用者の頭部に接触して眼電位を測定する第１電極及び第２電極を有し、前記第１電極と前記第２電極との電位差として得られる眼電位に基づいて、利用者の瞳孔の前記位置を検出する、付記１乃至３のいずれか一項記載のヘッドマウントディスプレイ装置。
（付記６）
前記制御部は、利用者の瞳孔よりも広い範囲で前記可動ミラーを走査するとともに、前記光源から前記可動ミラー及び前記固定ミラーを経て利用者の眼球に向かう光路が、利用者の瞳孔の位置を表す領域に入るときに前記光源に前記レーザ光を出射させており、前記位置信号が表す前記位置の基準位置に対する変位に基づき、利用者の瞳孔の位置を表す前記領域を補正する、請求項１乃至３のいずれか一項記載のヘッドマウントディスプレイ装置。
（付記７）
前記固定ミラーは、平面視で楕円の円弧の形状に湾曲されており、前記固定ミラーは、前記楕円の２つの焦点の位置が、前記可動ミラーの中心の位置と、利用者の瞳孔の中心の位置とに一致するように、配置される、付記１乃至６のいずれか一項記載のヘッドマウントディスプレイ装置。
The head mounted display device according to the exemplary embodiment of the present invention has been described above, but the present invention is not limited to the specifically disclosed embodiment, and departs from the scope of the claims. Various modifications and changes are possible.
Regarding the above embodiment, the following additional notes are disclosed.
(Appendix 1)
A retinal projection type head-mounted display device,
A frame placed in front of the user's head;
A light source that emits laser light;
A movable mirror that adjusts the reflection direction of the laser light emitted from the light source;
A fixed mirror that reflects the laser light reflected by the movable mirror toward the pupil of the user;
A detection unit that is attached to the frame, detects a position of a pupil of a user, and outputs a position signal representing the position;
A control unit that adjusts the angle of the movable mirror so that the laser light reflected by the fixed mirror is incident on a user's pupil based on a displacement of the position represented by the position signal with respect to a reference position. Head mounted display device.
(Appendix 2)
Of the displacements, x is the displacement component in the horizontal direction in the user's field of view, y is the displacement component in the vertical direction in the user's field of view, and r is the radius of the user's eyeball.
The head-mounted display device according to claim 1, wherein the control unit adjusts the angle of the movable mirror by θx = arcsin (y / r) in the left-right direction and θy = arcsin (x / r) in the up-down direction. .
(Appendix 3)
A biaxial stage attached to the frame and movable relative to the frame in a biaxial direction in a vertical direction and a horizontal direction in a user's field of view;
The light source, the movable mirror, and the fixed mirror are mounted on the two-axis stage,
The control unit further moves the biaxial stage so that the laser beam reflected by the fixed mirror is incident on the pupil of the user based on a displacement of the position represented by the position signal with respect to a reference position. The head mounted display device according to appendix 1 or 2, wherein the amount is adjusted.
(Appendix 4)
The detection unit is attached to the frame and includes an imaging unit that images a user's pupil, and detects the position of the user's pupil based on an image of a pupil captured by the imaging unit. The head mounted display device according to any one of claims 1 to 3.
(Appendix 5)
The detection unit is attached to the frame, and has a first electrode and a second electrode that measure an electrooculogram in contact with a user's head, and is obtained as a potential difference between the first electrode and the second electrode. The head-mounted display device according to any one of appendices 1 to 3, wherein the position of the user's pupil is detected based on the electrooculogram to be obtained.
(Appendix 6)
The control unit scans the movable mirror in a range wider than the user's pupil, and an optical path from the light source to the user's eyeball through the movable mirror and the fixed mirror determines the position of the user's pupil. The laser beam is emitted from the light source when entering a region to be represented, and the region representing the position of a user's pupil is corrected based on a displacement of the position represented by the position signal with respect to a reference position. The head mounted display apparatus as described in any one of thru | or 3.
(Appendix 7)
The fixed mirror is curved in the shape of an elliptical arc in plan view, and the fixed mirror has two focal positions of the ellipse, the center position of the movable mirror and the center of the user's pupil. The head mounted display device according to any one of appendices 1 to 6, which is arranged so as to coincide with a position.
１００ ヘッドマウントディスプレイ装置
１１０ フレーム
１１２Ｒ、１１２Ｌ サイドフレーム
１１３Ｒ、１１３Ｌ 鼻パッド
１１５Ｒ、１１５Ｌ レンズ
１２０ ＸＹステージ
１２１ 基部
１２２ 可動部
１２３ ステージ
１２４Ｘ、１２４Ｙ モータ
１３０ 光源
１３１Ｒ、１３１Ｇ、１３１Ｂ レーザアレイ
１４０ ＭＥＭＳミラー
１５０ ハーフミラー
１６０ カメラモジュール
１６１ カメラ
１６２ 照明装置
１７０ 制御部
１７１ 位置検出部
１７２ 位置制御部
１７３ 出力制御部
１７４ 角度制御部
２００ ヘッドマウントディスプレイ装置
２７０ 制御部
２７３ 出力制御部
２７４ 角度制御部
DESCRIPTION OF SYMBOLS 100 Head mounted display apparatus 110 Frame 112R, 112L Side frame 113R, 113L Nose pad 115R, 115L Lens 120 XY stage 121 Base 122 Movable part 123 Stage 124X, 124Y Motor 130 Light source 131R, 131G, 131B Laser array 140 MEMS mirror 150 Half mirror 160 Camera Module 161 Camera 162 Illumination Device 170 Control Unit 171 Position Detection Unit 172 Position Control Unit 173 Output Control Unit 174 Angle Control Unit 200 Head Mount Display Device 270 Control Unit 273 Output Control Unit 274 Angle Control Unit
Claims (6)
利用者の頭部の眼前に配置されるフレームと、
レーザ光を出射する光源と、
前記光源から出射される前記レーザ光の反射方向を調整する可動ミラーと、
前記可動ミラーで反射されたレーザ光を利用者の瞳孔に向けて反射する固定ミラーと、
前記フレームに取り付けられ、利用者の瞳孔の位置を検出し、前記位置を表す位置信号を出力する検出部と、
前記位置信号が表す前記位置の基準位置に対する変位に基づき、前記固定ミラーで反射される前記レーザ光が利用者の瞳孔に入射するように、前記可動ミラーの角度を調整する制御部と
を含む、ヘッドマウントディスプレイ装置。 A retinal projection type head-mounted display device,
A frame placed in front of the user's head;
A light source that emits laser light;
A movable mirror that adjusts the reflection direction of the laser light emitted from the light source;
A fixed mirror that reflects the laser light reflected by the movable mirror toward the pupil of the user;
A detection unit that is attached to the frame, detects a position of a pupil of a user, and outputs a position signal representing the position;
A control unit that adjusts the angle of the movable mirror so that the laser light reflected by the fixed mirror is incident on a user's pupil based on a displacement of the position represented by the position signal with respect to a reference position. Head mounted display device.
前記制御部が前記可動ミラーの角度を調整する調整量は、左右方向にθｘ＝ａｒｃｓｉｎ（ｙ／ｒ）、上下方向にθｙ＝ａｒｃｓｉｎ（ｘ／ｒ）である、請求項１記載のヘッドマウントディスプレイ装置。 Of the displacements, x is the displacement component in the horizontal direction in the user's field of view, y is the displacement component in the vertical direction in the user's field of view, and r is the radius of the user's eyeball.
2. The head mounted display according to claim 1, wherein the adjustment amount by which the control unit adjusts the angle of the movable mirror is θx = arcsin (y / r) in the left-right direction and θy = arcsin (x / r) in the up-down direction. apparatus.
前記光源、前記可動ミラー、及び前記固定ミラーは、前記２軸ステージに搭載されており、
前記制御部は、さらに、前記位置信号が表す前記位置の基準位置に対する変位に基づき、前記固定ミラーで反射される前記レーザ光が前記利用者の瞳孔に入射するように、前記２軸ステージの移動量を調整する、請求項１又は２記載のヘッドマウントディスプレイ装置。 A biaxial stage attached to the frame and movable relative to the frame in a biaxial direction in a vertical direction and a horizontal direction in a user's field of view;
The light source, the movable mirror, and the fixed mirror are mounted on the two-axis stage,
The control unit further moves the biaxial stage so that the laser beam reflected by the fixed mirror is incident on the pupil of the user based on a displacement of the position represented by the position signal with respect to a reference position. The head mounted display apparatus of Claim 1 or 2 which adjusts quantity.
The control unit scans the movable mirror in a range wider than the user's pupil, and an optical path from the light source to the user's eyeball through the movable mirror and the fixed mirror determines the position of the user's pupil. The laser beam is emitted from the light source when entering a region to be represented, and the region representing the position of a user's pupil is corrected based on a displacement of the position represented by the position signal with respect to a reference position. The head mounted display apparatus as described in any one of thru | or 3.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015205878A JP2017078756A (en) | 2015-10-19 | 2015-10-19 | Head-mounted display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015205878A JP2017078756A (en) | 2015-10-19 | 2015-10-19 | Head-mounted display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017078756A true JP2017078756A (en) | 2017-04-27 |
Family
ID=58665376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015205878A Pending JP2017078756A (en) | 2015-10-19 | 2015-10-19 | Head-mounted display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017078756A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019111520A1 (en) * | 2017-12-06 | 2019-06-13 | 株式会社Ｊｖｃケンウッド | Projection control device, head-up display device, projection control method and program |
| WO2019126150A1 (en) * | 2017-12-18 | 2019-06-27 | Facebook Technologies, Llc | Integrated augmented reality head-mounted display for pupil steering |
| JP2019211705A (en) * | 2018-06-07 | 2019-12-12 | 株式会社リコー | Optical device, image display device, and optometric device |
| JP2020507094A (en) * | 2017-12-25 | 2020-03-05 | 歌爾科技有限公司ＧｏｅｒＴｅｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | Laser beam scanning display device and augmented reality glasses |
| WO2020102132A1 (en) * | 2018-11-13 | 2020-05-22 | Facebook Technologies, Llc | Pupil steering: combiner actuation systems |
| JP2020204659A (en) * | 2019-06-14 | 2020-12-24 | 怡利電子工業股▲ふん▼有限公司 | Target reflective diffusion sheet head-up display device |
| US11624922B2 (en) | 2019-06-10 | 2023-04-11 | Meta Platforms Technologies, Llc | Optical assemblies having polarization volume gratings for projecting augmented reality content |
| WO2023187872A1 (en) * | 2022-03-28 | 2023-10-05 | Tdk株式会社 | Projector module and retinal projection display device comprising same |
-
2015
- 2015-10-19 JP JP2015205878A patent/JP2017078756A/en active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019111520A1 (en) * | 2017-12-06 | 2019-06-13 | 株式会社Ｊｖｃケンウッド | Projection control device, head-up display device, projection control method and program |
| JP2019101323A (en) * | 2017-12-06 | 2019-06-24 | 株式会社Ｊｖｃケンウッド | Projection control device, head-up display device, projection control method, and program |
| US11112613B2 (en) | 2017-12-18 | 2021-09-07 | Facebook Technologies, Llc | Integrated augmented reality head-mounted display for pupil steering |
| WO2019126150A1 (en) * | 2017-12-18 | 2019-06-27 | Facebook Technologies, Llc | Integrated augmented reality head-mounted display for pupil steering |
| US11914160B2 (en) | 2017-12-18 | 2024-02-27 | Meta Platforms Technologies, Llc | Augmented reality head-mounted display with a focus-supporting projector for pupil steering |
| US11061239B2 (en) | 2017-12-18 | 2021-07-13 | Facebook Technologies, Llc | Augmented reality head-mounted display with a pancake combiner and pupil steering |
| US11231592B2 (en) | 2017-12-18 | 2022-01-25 | Facebook Technologies, Llc | Augmented reality head-mounted display with a focus-supporting projector for pupil steering |
| US11194166B2 (en) | 2017-12-18 | 2021-12-07 | Facebook Technologies, Llc | Augmented reality head-mounted display with a Fresnel combiner and pupil steering |
| US11194167B2 (en) | 2017-12-18 | 2021-12-07 | Facebook Technologies, Llc | Augmented reality head-mounted display with eye tracking for pupil steering |
| US11209659B2 (en) | 2017-12-18 | 2021-12-28 | Facebook Technologies, Llc | Augmented reality head-mounted display with beam shifter for pupil steering |
| US11215837B2 (en) | 2017-12-18 | 2022-01-04 | Facebook Technologies, Llc | Eye tracking for pupil steering in head-mounted displays using eye tracking sensors |
| JP2020507094A (en) * | 2017-12-25 | 2020-03-05 | 歌爾科技有限公司ＧｏｅｒＴｅｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | Laser beam scanning display device and augmented reality glasses |
| US11372244B2 (en) | 2017-12-25 | 2022-06-28 | Goertek Technology Co., Ltd. | Laser beam scanning display device and augmented reality glasses |
| JP2019211705A (en) * | 2018-06-07 | 2019-12-12 | 株式会社リコー | Optical device, image display device, and optometric device |
| JP7052577B2 (en) | 2018-06-07 | 2022-04-12 | 株式会社リコー | Optical equipment, video display equipment, and optometry equipment |
| WO2020102132A1 (en) * | 2018-11-13 | 2020-05-22 | Facebook Technologies, Llc | Pupil steering: combiner actuation systems |
| EP3881124A1 (en) * | 2018-11-13 | 2021-09-22 | Facebook Technologies, LLC. | Pupil steering: combiner actuation systems |
| CN113287053A (en) * | 2018-11-13 | 2021-08-20 | 脸谱科技有限责任公司 | Pupil manipulation: combiner actuation system |
| US11624922B2 (en) | 2019-06-10 | 2023-04-11 | Meta Platforms Technologies, Llc | Optical assemblies having polarization volume gratings for projecting augmented reality content |
| JP2020204659A (en) * | 2019-06-14 | 2020-12-24 | 怡利電子工業股▲ふん▼有限公司 | Target reflective diffusion sheet head-up display device |
| WO2023187872A1 (en) * | 2022-03-28 | 2023-10-05 | Tdk株式会社 | Projector module and retinal projection display device comprising same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017078756A (en) | Head-mounted display device | |
| US10390006B2 (en) | Method and device for projecting a 3-D viewable image | |
| US11079601B2 (en) | Eye projection system and method | |
| US10218951B2 (en) | MEMS scan controlled keystone and distortion correction | |
| US9040923B2 (en) | Eye tracking system and related methods | |
| US10634904B2 (en) | Image projection device | |
| US20180130427A1 (en) | Device for projecting an image | |
| JP6231591B2 (en) | Image projection device | |
| JP2011066549A (en) | Head mounted display | |
| CN114815468A (en) | Multi-plane projection with laser beam scanning in augmented reality displays | |
| CN112543886A (en) | Device arrangement for projecting a laser beam for generating an image on the retina of an eye | |
| JPH11109278A (en) | Video display device | |
| KR20180102860A (en) | Head mount display device | |
| JPH11109279A (en) | Video display device | |
| JP2007178939A (en) | Image display device and retinal scanning image display device | |
| TWM547127U (en) | Image projection device with pupil-tracking function and pupil position-tracking device thereof | |
| CN108028038B (en) | Display device | |
| JP2011069902A (en) | Image display | |
| JP2005309264A (en) | Image display apparatus | |
| JP2021062162A (en) | Scanning type ocular fundus imaging apparatus | |
| WO2022176517A1 (en) | Eyeglass-type video display device | |
| TWI832308B (en) | Optic system for head wearable devices | |
| JP6966075B2 (en) | Image projection device | |
| US11822077B2 (en) | Virtual or augmented reality vision system with image sensor of the eye | |
| TWI634869B (en) | Image display device with pupil tracking function and pupil tracking device thereof |