JP2020160141A - Sightline detection device, sightline detection method, and display device - Google Patents

Sightline detection device, sightline detection method, and display device Download PDF

Info

Publication number
JP2020160141A
JP2020160141A JP2019056749A JP2019056749A JP2020160141A JP 2020160141 A JP2020160141 A JP 2020160141A JP 2019056749 A JP2019056749 A JP 2019056749A JP 2019056749 A JP2019056749 A JP 2019056749A JP 2020160141 A JP2020160141 A JP 2020160141A
Authority
JP
Japan
Prior art keywords
light
unit
line
eyeball
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019056749A
Other languages
Japanese (ja)
Other versions
JP7163230B2 (en
Inventor
孝弘 松田
Takahiro Matsuda
孝弘 松田
愼介 尾上
Shinsuke Onoe
愼介 尾上
俊輝 中村
Toshiteru Nakamura
俊輝 中村
瀬尾　欣穂
Yoshiho Seo
欣穂 瀬尾
大内　敏
Satoshi Ouchi
敏 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019056749A priority Critical patent/JP7163230B2/en
Publication of JP2020160141A publication Critical patent/JP2020160141A/en
Application granted granted Critical
Publication of JP7163230B2 publication Critical patent/JP7163230B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mechanical Optical Scanning Systems (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

To provide a sightline detection device capable of achieving high accuracy of sightline detection while reducing power consumption.SOLUTION: The sightline detection device includes: a light source unit that emits light; an optical scanning unit that scans the irradiation position of the light emitted by the light source unit; a light guide optical system that divides the light emitted from the optical scanning unit into multiple parts and emits them; a light receiving unit that generates a light-receiving signal by receiving scattered light or reflected light by the eyeball of the light emitted from the light guide optical system toward the user's eyeball; and a sightline direction determination unit that determines the user's sightline direction based on the received signal.SELECTED DRAWING: Figure 1

Description

本発明は、視線検出装置、視線検出方法、及び表示装置に関する。 The present invention relates to a line-of-sight detection device, a line-of-sight detection method, and a display device.

ディスプレイを見ているユーザの視線を検出する方法として、例えば特許文献１には、ＨＭＤ(Head Mounted Display)に視線検出用の光源、及びカメラを設けた構成が記載されている。 As a method of detecting the line of sight of a user who is looking at a display, for example, Patent Document 1 describes a configuration in which an HMD (Head Mounted Display) is provided with a light source for detecting the line of sight and a camera.

また、特許文献２は、「光源から射出された光を光走査手段により使用者の頭部付近の投影面上に走査することにより像を生じさせて知覚させるスキャン型ディスプレイ装置において、前記スキャン型ディスプレイ装置の光学系を共用しながら使用者の視線方向を検出する視線検出装置を組み込んだことを特徴とするスキャン型ディスプレイ装置」が記載されている。 Further, Patent Document 2 describes the scan type in a scan type display device in which an image is generated and perceived by scanning the light emitted from a light source on a projection surface near the user's head by an optical scanning means. A scan-type display device characterized by incorporating a line-of-sight detection device that detects the line-of-sight direction of a user while sharing the optical system of the display device is described.

国際公開第２０１６／１０３５２５号International Publication No. 2016/103525 特開２００３−２９１９８号公報Japanese Unexamined Patent Publication No. 2003-29198

特許文献１に記載された構成の場合、視線検出専用の光源やカメラが必要であり、それらを駆動するための電力が必要となるので、ＨＭＤの表示装置としての駆動時間が短くなってしまう可能性がある。 In the case of the configuration described in Patent Document 1, a light source and a camera dedicated to line-of-sight detection are required, and electric power is required to drive them, so that the driving time as an HMD display device may be shortened. There is sex.

特許文献２に記載された構成の場合、収束性が高いレーザ光を眼球の所定の位置に精度良く照射する必要がある。しかしながら、特許文献２に記載された構成をＨＭＤ等のウェアラブルディスプレイに適用した場合、眼球の位置やサイズには個人差があるので、レーザ光を所定の位置に精度良く照射できず、視線を検出できなくなる可能性がある。 In the case of the configuration described in Patent Document 2, it is necessary to accurately irradiate a predetermined position of the eyeball with a laser beam having high convergence. However, when the configuration described in Patent Document 2 is applied to a wearable display such as an HMD, the position and size of the eyeball vary from person to person, so that the laser beam cannot be accurately irradiated to a predetermined position and the line of sight is detected. It may not be possible.

本発明はこのような状況に鑑みてなされたものであり、消費電力の低減と視線検出の高精度化を実現できるようにすることを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to make it possible to reduce power consumption and improve the accuracy of line-of-sight detection.

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。 The present application includes a plurality of means for solving at least a part of the above problems, and examples thereof are as follows.

上記課題を解決すべく、本発明の一態様に係る視線検出装置は、光を出射する光源部と、前記光源部によって出射された前記光の照射位置を走査する光走査部と、前記光走査部から出射された前記光を複数に分割して出射する導光光学系と、前記導光光学系からユーザの眼球に向けて出射された前記光の前記眼球における散乱光または反射光を受光して受光信号を生成する受光部と、前記受光信号に基づき、前記ユーザの視線方向を判定する視線方向判定部と、を備えることを特徴とする。 In order to solve the above problems, the line-of-sight detection device according to one aspect of the present invention includes a light source unit that emits light, an optical scanning unit that scans an irradiation position of the light emitted by the light source unit, and the optical scanning unit. The light guide optical system that divides the light emitted from the unit into a plurality of units and emits the light, and receives the scattered light or the reflected light in the eyeball of the light emitted from the light guide optical system toward the user's eyeball. It is characterized by including a light receiving unit that generates a light receiving signal and a line-of-sight direction determining unit that determines the line-of-sight direction of the user based on the received light signal.

本発明の一態様によれば、消費電力の低減と視線検出の高精度化を実現することが可能となる。 According to one aspect of the present invention, it is possible to reduce power consumption and improve the accuracy of line-of-sight detection.

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.

図１は、本発明の第１の実施形態に係る表示装置の構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of a display device according to the first embodiment of the present invention. 図２は、光走査部の一例である光ファイバ走査デバイスの構成例を示す図である。FIG. 2 is a diagram showing a configuration example of an optical fiber scanning device which is an example of an optical scanning unit. 図３は、ｙ軸駆動信号、及びｘ軸駆動信号の一例を示す図である。FIG. 3 is a diagram showing an example of a y-axis drive signal and an x-axis drive signal. 図４は、光ファイバ走査デバイスによる走査軌跡の一例を示す図である。FIG. 4 is a diagram showing an example of a scanning locus by an optical fiber scanning device. 図５は、ｙ軸駆動信号、及びｘ軸駆動信号の一例を示す図である。FIG. 5 is a diagram showing an example of a y-axis drive signal and an x-axis drive signal. 図６は、光走査部の一例である可動ミラー走査デバイスの構成例を示す図である。FIG. 6 is a diagram showing a configuration example of a movable mirror scanning device which is an example of an optical scanning unit. 図７（Ａ）及び（Ｂ）は、光源部の構成例を示す図であり、図７（Ａ）は３種類のＬＤを用いた構成例、図７（Ｂ）は4種類のＬＤを用いた構成例を示す図である。7 (A) and 7 (B) are diagrams showing a configuration example of the light source unit, FIG. 7 (A) is a configuration example using three types of LDs, and FIG. 7 (B) uses four types of LDs. It is a figure which shows the configuration example which was. 図８は、導光光学系における光の伝搬について説明するための図である。FIG. 8 is a diagram for explaining the propagation of light in the light guide optical system. 図９（Ａ）〜（Ｃ）は、導光光学系の構成例を示す図であり、図９（Ａ）は第１の構成例、図９（Ｂ）は第２の構成例、図９（Ｃ）は第３の構成例を示す図である。9 (A) to 9 (C) are diagrams showing a configuration example of the light guide optical system, FIG. 9 (A) is a first configuration example, and FIG. 9 (B) is a second configuration example, FIG. (C) is a diagram showing a third configuration example. 図１０（Ａ）及び（Ｂ）は、眼球に照射されるレーザ光の位置を示す図であり、図１０（Ａ）は導光光学系を用いない場合、図１０（Ｂ）は導光光学系を用いた場合を示す図である。10 (A) and 10 (B) are views showing the position of the laser beam irradiating the eyeball, FIG. 10 (A) shows the light guide optics when the light guide optical system is not used. It is a figure which shows the case which used the system. 図１１（Ａ）〜（Ｃ）は、強膜反射を用いて視線検出を行う原理を説明するための図であり、図１１（Ａ）は眼球が正面を向いている場合、図１１（Ｂ）は眼球が図面の左側を向いている場合、図１１（Ｃ）は眼球が図面の右側を向いている場合を示す図である。11 (A) to 11 (C) are diagrams for explaining the principle of performing line-of-sight detection using scleral reflex, and FIG. 11 (A) is FIG. 11 (B) when the eyeball is facing the front. ) Is the case where the eyeball is facing the left side of the drawing, and FIG. 11C is a diagram showing the case where the eyeball is facing the right side of the drawing. 図１２は、強膜反射を用いる場合の視線方向判定部の構成例を示すブロック図である。FIG. 12 is a block diagram showing a configuration example of a line-of-sight direction determination unit when scleral reflection is used. 図１３（Ａ）〜（Ｃ）は、角膜反射を用いて視線検出を行う原理を説明するための図であり、図１３（Ａ）は正面を向いている眼球に対して光線が正面から照射される場合、図１３（Ｂ）は図面の右側から照射される場合、図１３（Ｃ）は図面の左側から照射される場合を示す図である。13 (A) to 13 (C) are views for explaining the principle of performing line-of-sight detection using corneal reflex, and FIG. 13 (A) is a diagram in which a light beam irradiates an eyeball facing the front from the front. 13 (B) is a diagram showing a case where the irradiation is performed from the right side of the drawing, and FIG. 13 (C) is a diagram showing the case where the irradiation is performed from the left side of the drawing. 図１４（Ａ）〜（Ｃ）は、角膜反射を用いて視線検出を行う原理を説明するための図であり、図１４（Ａ）は図面の左側を向いている眼球に対して光線が正面から照射される場合、図１４（Ｂ）は図面の右側から照射される場合、図１４（Ｃ）は図面の左側から照射される場合を示す図である。14 (A) to 14 (C) are views for explaining the principle of performing line-of-sight detection using corneal reflex, and FIG. 14 (A) shows the light beam in front of the eyeball facing the left side of the drawing. 14 (B) is a diagram showing a case of irradiation from the right side of the drawing, and FIG. 14 (C) is a diagram showing a case of irradiation from the left side of the drawing. 図１５（Ａ）〜（Ｃ）は、角膜反射を用いて視線検出を行う原理を説明するための図であり、図１５（Ａ）は図面の右側を向いている眼球に対して光線が正面から照射される場合、図１５（Ｂ）は図面の右側から照射される場合、図１５（Ｃ）は図面の左側から照射される場合を示す図である。15 (A) to 15 (C) are views for explaining the principle of performing line-of-sight detection using corneal reflex, and FIG. 15 (A) shows the light beam in front of the eyeball facing the right side of the drawing. 15 (B) is a diagram showing a case of irradiation from the right side of the drawing, and FIG. 15 (C) is a diagram showing a case of irradiation from the left side of the drawing. 図１６は、角膜反射を用いる場合の視線方向判定部の構成例を示すブロック図である。FIG. 16 is a block diagram showing a configuration example of a line-of-sight direction determination unit when corneal reflex is used. 図１７（Ａ）〜（Ｃ）は、眼球と導光光学系と第１受光部との配置例を示しており、図１７（Ａ）は側方から見た図、図１７（Ｂ）は正面から見た図、図１７（Ｃ）は上方から見た図である。17 (A) to 17 (C) show an arrangement example of the eyeball, the light guide optical system, and the first light receiving portion, FIG. 17 (A) is a side view, and FIG. 17 (B) is a side view. The view seen from the front, FIG. 17 (C) is the view seen from above. 図１８（Ａ）〜（Ｄ）は、図１７に示された配置例における角膜反射の例を示しており、図１８（Ａ）は眼球が正面を向いている場合の角膜反射の例、図１８（Ｂ）は眼球が正面を向いている場合の反射光の例、図１８（Ｃ）は眼球が図面の右側を向いている場合の角膜反射の例、図１８（Ｄ）は眼球が図面の右側を向いている場合の反射光の例を示す図である。18 (A) to 18 (D) show an example of the corneal reflex in the arrangement example shown in FIG. 17, and FIG. 18 (A) shows an example of the corneal reflex when the eyeball is facing the front. 18 (B) is an example of reflected light when the eyeball is facing the front, FIG. 18C is an example of corneal reflex when the eyeball is facing the right side of the drawing, and FIG. 18D is a drawing of the eyeball. It is a figure which shows the example of the reflected light when facing the right side of. 図１９は、レーザ光の走査角度情報と、第１受光部及び第２受光部による光検出との関係を示す図である。FIG. 19 is a diagram showing the relationship between the scanning angle information of the laser beam and the light detection by the first light receiving unit and the second light receiving unit. 図２０は、図１９に示された関係の時系列変化を示す図である。FIG. 20 is a diagram showing time-series changes in the relationship shown in FIG. 図２１（Ａ）〜（Ｃ）は、眼球と導光光学系と第１受光部との配置例を示しており、図２１（Ａ）は側方から見た図、図２１（Ｂ）は正面から見た図、図２１（Ｃ）は上方から見た図である。21 (A) to 21 (C) show an arrangement example of the eyeball, the light guide optical system, and the first light receiving portion, FIG. 21 (A) is a side view, and FIG. 21 (B) is a side view. The view seen from the front, FIG. 21 (C) is the view seen from above. 図２２（Ａ）〜（Ｄ）は、図２１に示された配置例における角膜反射の例を示しており、図２２（Ａ）は眼球が正面を向いている場合の角膜反射の例、図２２（Ｂ）は眼球が正面を向いている場合の反射光の例、図２２（Ｃ）は眼球が図面の右側を向いている場合の角膜反射の例、図２２（Ｄ）は眼球が図面の右側を向いている場合の反射光の例を示す図である。22 (A) to 22 (D) show an example of the corneal reflex in the arrangement example shown in FIG. 21, and FIG. 22 (A) shows an example of the corneal reflex when the eyeball is facing the front. 22 (B) is an example of reflected light when the eyeball is facing the front, FIG. 22C is an example of corneal reflex when the eyeball is facing the right side of the drawing, and FIG. 22D is a drawing of the eyeball. It is a figure which shows the example of the reflected light when facing the right side of. 図２３は、強膜反射を用いた視線検出におけるレーザ光の走査角度情報と、受光信号との時系列変化を示す図である。FIG. 23 is a diagram showing time-series changes between the scanning angle information of the laser beam and the received signal in the line-of-sight detection using scleral reflection. 図２４は、強膜反射を用いる場合の視線方向判定部の変形例を示すブロック図である。FIG. 24 is a block diagram showing a modification of the line-of-sight direction determination unit when scleral reflection is used. 図２５は、本発明の第２の実施形態に係る表示装置の構成例示すブロック図である。FIG. 25 is a block diagram showing a configuration example of a display device according to a second embodiment of the present invention. 図２６は、本発明の第３の実施形態に係る表示装置の構成例示すブロック図である。FIG. 26 is a block diagram showing a configuration example of a display device according to a third embodiment of the present invention. 図２７は、光分岐部及び受光部の配置例を示す図である。FIG. 27 is a diagram showing an arrangement example of an optical branching portion and a light receiving portion.

以下、本発明の複数の実施の形態を図面に基づいて説明する。なお、各実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａより成る」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似又は類似するもの等を含むものとする。 Hereinafter, a plurality of embodiments of the present invention will be described with reference to the drawings. In addition, in all the drawings for explaining each embodiment, in principle, the same members are designated by the same reference numerals, and the repeated description thereof will be omitted. Further, in the following embodiments, the components (including element steps and the like) are not necessarily essential unless otherwise specified or clearly considered to be essential in principle. Needless to say. In addition, when saying "consisting of A", "consisting of A", "having A", and "including A", other elements are excluded unless it is clearly stated that it is only that element. It goes without saying that it is not something to do. Similarly, in the following embodiments, when referring to the shape, positional relationship, etc. of a component or the like, the shape is substantially the same unless otherwise specified or when it is considered that it is not apparent in principle. Etc., etc. shall be included.

＜本発明の第１の実施の形態に係る表示装置１０の構成例＞
図１は、本発明の第１の実施の形態に係る表示装置１０の構成例を示している。 <Structural example of the display device 10 according to the first embodiment of the present invention>
FIG. 1 shows a configuration example of the display device 10 according to the first embodiment of the present invention.

表示装置１０は、例えばＨＭＤ(Head Mounted Display)等のように、頭部に装着したユーザに対して映像を視認させるためのものである。表示装置１０は、ユーザの視線検出機能を有する。なお、表示装置１０の形状は、例えば、メガネ型、ゴーグル型、ヘルメット型等のいずれであってもよい。表示装置１０は、本発明の表示装置、及び視線検出装置に相当する。 The display device 10 is for allowing a user who wears the head to visually recognize an image, such as an HMD (Head Mounted Display). The display device 10 has a user's line-of-sight detection function. The shape of the display device 10 may be, for example, a glasses type, a goggle type, a helmet type, or the like. The display device 10 corresponds to the display device and the line-of-sight detection device of the present invention.

表示装置１０は、光走査部１００１、光源部１００２、光源制御部１００３、発光制御部１００４、映像制御部１００５、映像情報記憶部１００６、走査軌跡制御部１００７、駆動信号生成部１００８、駆動制御部１００９、統括部１０１０、記憶部１０１１、及び入出力制御部１０１２を備える。また、表示装置１０は、導光光学系１０２０、第１受光部１０３１、第２受光部１０３２、及び視線方向判定部１０３３を備える。 The display device 10 includes an optical scanning unit 1001, a light source unit 1002, a light source control unit 1003, a light emitting control unit 1004, an image control unit 1005, an image information storage unit 1006, a scanning locus control unit 1007, a drive signal generation unit 1008, and a drive control unit. It includes 1009, a control unit 1010, a storage unit 1011 and an input / output control unit 1012. Further, the display device 10 includes a light guide optical system 1020, a first light receiving unit 1031, a second light receiving unit 1032, and a line-of-sight direction determination unit 1033.

光走査部１００１は、光源部１００２から出力されるレーザ光を走査して導光光学系１０２０に出力する。光源部１００２は、光源制御部１００３からの制御に従ってレーザ光を出射する。なお、光源部１００２が出射する光は、レーザ光に限らず、指向性が高い光であればよい。光源制御部１００３は、光源部１００２によりレーザ光の出力を制御する。 The optical scanning unit 1001 scans the laser beam output from the light source unit 1002 and outputs the laser beam to the light guide optical system 1020. The light source unit 1002 emits a laser beam according to the control from the light source control unit 1003. The light emitted by the light source unit 1002 is not limited to laser light, and may be light having high directivity. The light source control unit 1003 controls the output of the laser beam by the light source unit 1002.

発光制御部１００４、映像制御部１００５、走査軌跡制御部１００７、及び駆動信号生成部１００８は、例えばデジタル回路によって実現できる。具体的には、同一のＩＣ(Integrated Circuit)、例えばＦＰＧＡ(Field Programable Gate Array)、ＡＳＩＣ(Application Specific Integrated Circuit)等の集積回路内の機能ブロックとして実現していてもよい。 The light emission control unit 1004, the image control unit 1005, the scanning locus control unit 1007, and the drive signal generation unit 1008 can be realized by, for example, a digital circuit. Specifically, it may be realized as a functional block in an integrated circuit such as the same IC (Integrated Circuit), for example, FPGA (Field Programable Gate Array) or ASIC (Application Specific Integrated Circuit).

光源制御部１００３は、発光制御部１００４にて生成された信号に基づき、光源部１００２内のＬＤ(Laser Diode)に電流を供給してレーザ光を発生させる。光源部１００２は、レーザ光を発生し、光走査部１００１に入射する。光走査部１００１は、入射されたレーザ光を渦巻状の軌跡で走査しつつ、レーザ光を導光光学系１０２０に入射する。 The light source control unit 1003 supplies a current to the LD (Laser Diode) in the light source unit 1002 to generate a laser beam based on the signal generated by the light emission control unit 1004. The light source unit 1002 generates a laser beam and is incident on the optical scanning unit 1001. The optical scanning unit 1001 scans the incident laser light with a spiral locus, and incidents the laser light on the light guide optical system 1020.

発光制御部１００４は、映像制御部１００５からの画素データに応じて、光源部１００２を点灯させるための信号を生成する。また、発光制御部１００４は、走査軌跡制御部１００７からの情報に基づいて輝度の補正を行ってもよい。 The light emission control unit 1004 generates a signal for lighting the light source unit 1002 according to the pixel data from the image control unit 1005. Further, the light emission control unit 1004 may correct the brightness based on the information from the scanning locus control unit 1007.

映像制御部１００５は、走査軌跡制御部１００７からの同期信号に基づき、光走査位置に応じて決まる座標（ｘ，ｙ）を算出する。また、映像制御部１００５は、映像情報記憶部１００６から座標（ｘ，ｙ）に対応した画素データを読み出す。画素データは、例えばＲＧＢの階調データである。さらに、映像制御部１００５は、該画素データを発光制御部１００４に出力する。 The image control unit 1005 calculates the coordinates (x, y) determined according to the optical scanning position based on the synchronization signal from the scanning locus control unit 1007. Further, the image control unit 1005 reads pixel data corresponding to the coordinates (x, y) from the image information storage unit 1006. The pixel data is, for example, RGB gradation data. Further, the image control unit 1005 outputs the pixel data to the light emission control unit 1004.

走査軌跡制御部１００７は、統括部１０１０からの制御に基づき、光走査部１００１を駆動させてレーザ光を走査するための同期信号を生成し、映像制御部１００５に出力する。また、走査軌跡制御部１００７は、生成した同期信号を元に光走査部１００１がレーザ光を走査させるときの軌跡パターンを決定して駆動信号生成部１００８に通知する。駆動信号生成部１００８は、通知された軌跡パターンに基づき、光走査部１００１を駆動させるための駆動信号を生成し、駆動制御部１００９に出力する。 The scanning locus control unit 1007 generates a synchronization signal for driving the optical scanning unit 1001 to scan the laser beam based on the control from the control unit 1010, and outputs the synchronization signal to the image control unit 1005. Further, the scanning locus control unit 1007 determines a locus pattern when the optical scanning unit 1001 scans the laser beam based on the generated synchronization signal, and notifies the drive signal generation unit 1008. The drive signal generation unit 1008 generates a drive signal for driving the optical scanning unit 1001 based on the notified locus pattern, and outputs the drive signal to the drive control unit 1009.

駆動制御部１００９は、例えば増幅器等により実現される。駆動制御部１００９は、駆動信号生成部１００８からの駆動信号に応じた駆動電力を、光走査部１００１内のアクチュエータ部に印加することにより、光走査部１００１を駆動させる。 The drive control unit 1009 is realized by, for example, an amplifier or the like. The drive control unit 1009 drives the optical scanning unit 1001 by applying the driving power corresponding to the driving signal from the driving signal generation unit 1008 to the actuator unit in the optical scanning unit 1001.

統括部１０１０は、表示装置１０の各ブロックの制御を行う。統括部１０１０は、例えばＣＰＵ(Central Processing Unit)等により実現される。 The control unit 1010 controls each block of the display device 10. The control unit 1010 is realized by, for example, a CPU (Central Processing Unit) or the like.

記憶部１０１１は、統括部１０１０が表示装置１０を制御するためにプログラムやデータ等が格納されるメモリ領域であり、例えばフラッシュメモリ等により実現される。記憶部１０１１は、ＨＤＤ（Hard Disc Drive）や光ディスク等のデータの書き込み、及び読み出しが可能な他の記憶メディアであってもよい。また、ＲＡＭ(Random Access Memory)等の一時記憶領域であってもよい。 The storage unit 1011 is a memory area in which programs, data, and the like are stored for the control unit 1010 to control the display device 10, and is realized by, for example, a flash memory. The storage unit 1011 may be another storage medium such as an HDD (Hard Disc Drive) or an optical disk capable of writing and reading data. Further, it may be a temporary storage area such as RAM (Random Access Memory).

入出力制御部１０１２は、外部制御装置２０と接続し、外部制御装置２０から送信される映像信号を受信して映像情報記憶部１００６に格納する。入出力制御部１０１２は、発光制御部１００４、映像制御部１００５、及び走査軌跡制御部１００７とともに同一のデジタル回路としてＦＰＧＡやＡＳＩＣに集積されている構成としてもよいし、統括部１０１０内に集積されているようにしてもよい。 The input / output control unit 1012 is connected to the external control device 20, receives a video signal transmitted from the external control device 20, and stores it in the video information storage unit 1006. The input / output control unit 1012 may be integrated in the FPGA or ASIC as the same digital circuit together with the light emission control unit 1004, the image control unit 1005, and the scanning locus control unit 1007, or may be integrated in the control unit 1010. You may do so.

導光光学系１０２０は、光走査部１００１から入射されたレーザ光の光束径である瞳サイズを拡大して出射する。 The light guide optical system 1020 enlarges the pupil size, which is the luminous flux diameter of the laser beam incident from the optical scanning unit 1001, and emits the laser light.

第１受光部１０３１及び第２受光部１０３２は、導光光学系１０２０を挟んで配置される。第１受光部１０３１及び第２受光部１０３２は、ＰＤ(Photo Diode)等の光電変換素子から成り、導光光学系１０２０から照射されて眼球３０にて反射（散乱を含む）した反射光を検出し、検出強度を表す受光信号を視線方向判定部１０３３に出力する。 The first light receiving unit 1031 and the second light receiving unit 1032 are arranged so as to sandwich the light guide optical system 1020. The first light receiving unit 1031 and the second light receiving unit 1032 are composed of photoelectric conversion elements such as PD (Photo Diode), and detect reflected light that is irradiated from the light guide optical system 1020 and reflected (including scattering) by the eyeball 30. Then, a light receiving signal indicating the detection intensity is output to the line-of-sight direction determination unit 1033.

視線方向判定部１０３３は、第１受光部１０３１及び第２受光部１０３２から入力される受光信号に基づき、ユーザの視線方向を表す視線信号を生成する。 The line-of-sight direction determination unit 1033 generates a line-of-sight signal representing the user's line-of-sight direction based on the light-receiving signals input from the first light-receiving unit 1031 and the second light-receiving unit 1032.

次に、図２は、光走査部１００１の構成例を示している。同図に示されるように、光走査部１００１は、例えば、光ファイバ走査デバイス４０１によって実現される。 Next, FIG. 2 shows a configuration example of the optical scanning unit 1001. As shown in the figure, the optical scanning unit 1001 is realized by, for example, an optical fiber scanning device 401.

光走査部１００１としての光ファイバ走査デバイス４０１は、加振部１０１、導光路１０２、接合部１０３、レンズ１０４、外装部１０５、支持部材１０６、及び電気配線部１０７を備える。 The optical fiber scanning device 401 as the optical scanning unit 1001 includes a vibration exciting unit 101, a light guide path 102, a joint unit 103, a lens 104, an exterior unit 105, a support member 106, and an electrical wiring unit 107.

加振部１０１は、例えば圧電アクチュエータから成り、駆動制御部１００９からの駆動電力に応じて振動を発生する。加振部１０１は、中心部分が中空の円筒型の圧電素子であり、その内外周に複数の電極が配置されている。加振部１０１の中空の中心部分には、導光路１０２が配置され、加振部１０１と導光路１０２とは接合部１０３により機械的に接合される。加振部１０１は支持部材１０６により、外装部１０５と固定される。 The vibration excitation unit 101 is composed of, for example, a piezoelectric actuator, and generates vibration in response to the drive power from the drive control unit 1009. The excitation unit 101 is a cylindrical piezoelectric element having a hollow central portion, and a plurality of electrodes are arranged on the inner and outer circumferences thereof. A light guide path 102 is arranged in the hollow central portion of the vibration exciting portion 101, and the vibration guiding portion 101 and the light guide path 102 are mechanically joined by the joint portion 103. The vibrating portion 101 is fixed to the exterior portion 105 by the support member 106.

導光路１０２は、例えば光ファイバにより実現される。接合部１０３は、例えば接着剤等により実現される。導光路１０２の一端は、自由端１０２ａである。導光路１０２は、その一端に自由端１０２aを有する突き出し梁のような構造を有しており、振動し易く、固有周波数（固有振動数）を有する。導光路１０２の自由端１０２ａは、加振部１０１の振動が接合部１０３により導光路１０２に伝達されることによって振動する。 The light guide path 102 is realized by, for example, an optical fiber. The joint portion 103 is realized by, for example, an adhesive or the like. One end of the light guide path 102 is a free end 102a. The light guide path 102 has a structure like a protruding beam having a free end 102a at one end thereof, is easily vibrated, and has a natural frequency (natural frequency). The free end 102a of the light guide path 102 vibrates when the vibration of the exciting portion 101 is transmitted to the light guide path 102 by the joint portion 103.

レンズ１０４は、例えばガラス又は樹脂等により成型されている。レンズ１０４の形状は任意であり、球面レンズ、非球面レンズ、フレネルレンズ、屈折率分布型レンズ等の何れであってもよい。また、レンズ１０４は、導光路１０２の自由端１０２ａと一体化した構造であってもよい。また、レンズ１０４は、複数のレンズから構成してもよい。 The lens 104 is molded of, for example, glass or resin. The shape of the lens 104 is arbitrary, and may be any of a spherical lens, an aspherical lens, a Fresnel lens, a refractive index distribution type lens, and the like. Further, the lens 104 may have a structure integrated with the free end 102a of the light guide path 102. Further, the lens 104 may be composed of a plurality of lenses.

導光路１０２の自由端１０２aは、加振部１０１によって、ｙ軸及びｘ軸の２軸方向に独立して制御して振動させることができる。したがって、光ファイバ走査デバイス４０１は、自由端１０２ａの変位により、出射するレーザ光の進行方向を走査することができる。この走査に際して、駆動信号生成部１００８が生成するｙ軸駆動信号の位相と、ｘ軸駆動信号の位相とを９０°ずらすことで、レーザ光の軌跡が円を描くように走査することができる。 The free end 102a of the light guide path 102 can be independently controlled and vibrated in the two axial directions of the y-axis and the x-axis by the exciting portion 101. Therefore, the optical fiber scanning device 401 can scan the traveling direction of the emitted laser beam by the displacement of the free end 102a. During this scanning, the phase of the y-axis drive signal generated by the drive signal generation unit 1008 and the phase of the x-axis drive signal are shifted by 90 °, so that the trajectory of the laser beam can be scanned in a circular motion.

図３は、駆動信号生成部１００８が生成する１フレーム分のｙ軸駆動信号、及びｘ軸駆動信号の一例を示している。同図に示されるように、駆動信号生成部１００８が生成するｙ軸駆動信号の位相と、ｘ軸駆動信号の位相とを９０°ずらし、且つ、ｙ軸駆動信号の振幅Ａ１と、ｘ軸駆動信号の振幅Ａ２を時間とともに徐々に増加させることで、レーザ光の軌跡は円を描きながら振幅が増加して渦巻き状になる。これにより、点状の光スポットを面状に走査することができる。なお、図３において、共振周期を決める周波数ｆｒは、導光路１０２が有する固有周波数である。 FIG. 3 shows an example of a y-axis drive signal and an x-axis drive signal for one frame generated by the drive signal generation unit 1008. As shown in the figure, the phase of the y-axis drive signal generated by the drive signal generation unit 1008 and the phase of the x-axis drive signal are shifted by 90 °, and the amplitude A1 of the y-axis drive signal and the x-axis drive are provided. By gradually increasing the signal amplitude A2 with time, the trajectory of the laser beam increases in amplitude while drawing a circle and becomes spiral. As a result, the point-shaped light spots can be scanned in a planar manner. In FIG. 3, the frequency fr that determines the resonance period is the natural frequency of the light guide path 102.

次に、図４は、光ファイバ走査デバイス４０１によるレーザ光の渦巻状の走査の軌跡の一例を示している。すなわち、図３に示されたように、ｙ軸駆動信号、及びｘ軸駆動信号を変化させることにより、図４に示されたように、光走査部１００１の先にスクリーン６０を置いた場合、レーザ光の軌跡は渦巻状となる。 Next, FIG. 4 shows an example of the spiral scanning locus of the laser beam by the optical fiber scanning device 401. That is, when the screen 60 is placed in front of the optical scanning unit 1001 as shown in FIG. 4 by changing the y-axis drive signal and the x-axis drive signal as shown in FIG. The trajectory of the laser beam is spiral.

図５は、駆動信号生成部１００８が生成する数フレーム分のｙ軸駆動信号、及びｘ軸駆動信号の一例を示している。同図に示されるように、駆動信号生成部１００８が単位時間（１秒間）毎にＮｆ回繰り返してｙ軸駆動信号、及びｘ軸駆動信号を生成することにより、表示装置１０は、Ｎｆ（フレーム／秒）のフレームレートで映像表示を行うことができる。固有周波数ｆｒは、一般的に数キロヘルツ以上であり、フレームレートＮｆは、一般的に３０〜９０ヘルツ程度である。 FIG. 5 shows an example of the y-axis drive signal and the x-axis drive signal for several frames generated by the drive signal generation unit 1008. As shown in the figure, the drive signal generation unit 1008 repeatedly generates the y-axis drive signal and the x-axis drive signal Nf times every unit time (1 second), so that the display device 10 displays Nf (frame). Video can be displayed at a frame rate of (/ sec). The natural frequency fr is generally several kilohertz or more, and the frame rate Nf is generally about 30 to 90 hertz.

光走査部１００１は、図２に示された光ファイバ走査デバイス４０１の他、例えば、可動ミラー走査デバイスによって実現することもできる。図６は、光走査部１００１を実現する可動ミラー走査デバイス６０１の構成例を示している。 The optical scanning unit 1001 can be realized by, for example, a movable mirror scanning device in addition to the optical fiber scanning device 401 shown in FIG. FIG. 6 shows a configuration example of the movable mirror scanning device 601 that realizes the optical scanning unit 1001.

可動ミラー走査デバイス６０１は、２方向の回転軸を有する鏡面部６０２を有し、入射光６０３の反射角を変化させて、２次元に走査可能な出射光６０４を得ることができる。なお、可動ミラー走査デバイス６０１には、固定ミラーやコリメートレンズ等（何れも不図示）を含んでもよい。 The movable mirror scanning device 601 has a mirror surface portion 602 having rotation axes in two directions, and can change the reflection angle of the incident light 603 to obtain an emitted light 604 that can be scanned in two dimensions. The movable mirror scanning device 601 may include a fixed mirror, a collimating lens, and the like (none of which are shown).

さらに、光走査部１００１としての可動ミラー走査デバイスは、ガルバノミラーやポリゴンミラー等の単一の回転軸を持つミラーデバイスを複数個組み合わせて構成してもよい。 Further, the movable mirror scanning device as the optical scanning unit 1001 may be configured by combining a plurality of mirror devices having a single rotation axis such as a galvano mirror and a polygon mirror.

以下、光走査部１００１として光ファイバ走査デバイス４０１（図２）を採用した場合を例にして説明する。 Hereinafter, a case where the optical fiber scanning device 401 (FIG. 2) is adopted as the optical scanning unit 1001 will be described as an example.

次に、図７は、光源部１００２の詳細な構成例を示しており、同図（Ａ）は３種類のＬＤを用いた構成例、同図（Ｂ）は４種類のＬＤを用いた構成例を示している。 Next, FIG. 7 shows a detailed configuration example of the light source unit 1002, FIG. 7A is a configuration example using three types of LDs, and FIG. 7B is a configuration using four types of LDs. An example is shown.

同図（Ａ）の場合、光源部１００２は、赤色ＬＤ（ＬＤｒ）３００１、緑色ＬＤ（ＬＤｇ）３００２、及び青色ＬＤ（ＬＤｂ）３００３の３原色Ｒ，Ｇ，Ｂをそれぞれ発光する３種類のＬＤから構成される。 In the case of FIG. 3A, the light source unit 1002 emits three types of LDs that emit the three primary colors R, G, and B of red LD (LDr) 3001, green LD (LDg) 3002, and blue LD (LDb) 3003, respectively. Consists of.

赤色ＬＤ３００１は、アノードに電位ＶＬＤｒが印加され、カソードに電流制限抵抗３００４を介して光源制御部１００３からの電位ＣＴＲＬｒが印加される。電位ＶＬＤｒは任意の値に設定可能であり、赤色ＬＤ３００１の発光を制御できる。光源制御部１００３は、電位ＣＴＲＬｒを変化させることで、赤色ＬＤ３００１の発光量や発光時間等を制御し、任意の映像を表示できる。 In the red LD3001, the potential VLBr is applied to the anode, and the potential CTRLr from the light source control unit 1003 is applied to the cathode via the current limiting resistor 3004. The potential VLBr can be set to any value, and the light emission of the red LD3001 can be controlled. The light source control unit 1003 can control the light emission amount, the light emission time, and the like of the red LD3001 by changing the potential CTRLr, and can display an arbitrary image.

緑色ＬＤ３００２、及び青色ＬＤ３００３は、赤色ＬＤ３００１と同様、それぞれアノードに電位ＶＬＤｇ，ＶＬＤｂが印加され、カソードに電流制限抵抗３００５，３００６を介して光源制御部１００３からの電位ＣＴＲＬｇ，ＣＴＲＬｂが印加される。よって、緑色ＬＤ３００２、及び青色ＬＤ３００３についても、赤色ＬＤ３００１と同様に独立しそれぞれの発光量や発光時間等を制御し、任意の映像を表示できる。 Similar to the red LD3001, the green LD3002 and the blue LD3003 have potentials VLDg and VLDb applied to their anodes, and potentials CTRLg and CTRLb from the light source control unit 1003 applied to the cathode via current limiting resistors 3005 and 3006, respectively. Therefore, as with the red LD3001, the green LD3002 and the blue LD3003 can independently control their respective light emission amounts, light emission times, and the like, and can display an arbitrary image.

なお、電位ＶＬＤｒ，ＶＬＤｇ，ＶＬＤｂは、それぞれ異なる値でもよいし、同一の値でもよい。同一の値である場合、赤色ＬＤ３００１、緑色ＬＤ３００２、及び青色ＬＤ３００３のアノードを同一の端子に接続するようにしてもよい。また、電位ＣＴＲＬｒ，ＣＴＲＬｇ，ＣＴＲＬｂは、それぞれ異なる値でもよいし、同一の値でもよい。同一の値の場合、光源制御部１００３と各電流制限抵抗とを同一の端子を分岐して接続してもよい。 The potentials VLDr, VLDg, and VLDb may have different values or the same value. If the values are the same, the anodes of the red LD3001, the green LD3002, and the blue LD3003 may be connected to the same terminal. Further, the potentials CTRLr, CTRLg, and CTRLb may have different values or the same value. If the values are the same, the light source control unit 1003 and each current limiting resistor may be connected by branching the same terminal.

同図（Ｂ）の場合、光源部１００２は、赤色ＬＤ３００１、緑色ＬＤ３００２、及び青色ＬＤ３００３に加えて、赤外光を発する赤外ＬＤ（ＬＤｉ）３００７の４種類のＬＤから構成される。 In the case of FIG. 3B, the light source unit 1002 is composed of four types of LDs, an infrared LD (LDi) 3007 that emits infrared light, in addition to the red LD3001, the green LD3002, and the blue LD3003.

赤外ＬＤ３００７は、そのアノードに電位ＶＬＤｉが印加され、カソードに電流制限抵抗３００８を介して光源制御部１００３からの電位ＣＴＲＬｉが印加される。電位ＶＬＤｉは任意の値に設定可能であり、赤外ＬＤ３００７の発光を制御できる。光源制御部１００３は、電位ＣＴＲＬｉを変化させることで、赤外ＬＤ３００７の発光量や発光時間等を制御することができる。 The potential VLDi is applied to the anode of the infrared LD3007, and the potential CTRLi from the light source control unit 1003 is applied to the cathode via the current limiting resistor 3008. The potential VLDi can be set to an arbitrary value, and the light emission of the infrared LD3007 can be controlled. The light source control unit 1003 can control the light emission amount, the light emission time, and the like of the infrared LD3007 by changing the potential CTRLi.

同図（Ａ）の構成例では、３原色のＬＤを映像表示と視線検出とに兼用する。同図（Ｂ）の構成例では、３原色のＬＤを映像表示に用い、赤外ＬＤを視線検出に用いる。 In the configuration example of FIG. 3A, the LDs of the three primary colors are used for both image display and line-of-sight detection. In the configuration example of FIG. 3B, LDs of the three primary colors are used for image display, and infrared LDs are used for line-of-sight detection.

同図（Ａ）の構成例では、映像表示と視線検出とに同一のＬＤを用いるため、表示する映像の内容によってはＬＤの発光量が減少して、視線検出の感度に影響が生じることがある。一方、同図（Ｂ）の構成例では、映像表示のための光源とは別に視線検出のための光源があるので、表示する映像の内容に拘わらず、安定して視線検出を行うことができる。 In the configuration example of FIG. 3A, since the same LD is used for the image display and the line-of-sight detection, the amount of light emitted from the LD may decrease depending on the content of the displayed image, which may affect the sensitivity of the line-of-sight detection. is there. On the other hand, in the configuration example of FIG. 3B, since there is a light source for detecting the line of sight in addition to the light source for displaying the image, the line of sight can be stably detected regardless of the content of the image to be displayed. ..

次に、図８は、導光光学系１０２０におけるレーザ光の伝搬を説明するための図である。光走査部１００１から出射されたレーザ光ｋは、導光光学系１０２０のｘｚ面の一方（図面における上面）に設けられた光入力部２２１から導光光学系１０２０の内部に入射し、導光光学系１０２０の内部に設けられたｘｚ面に平行な対向する内側反射面２２３，２２４にて全反射しながら導光光学系１０２０の内部を伝搬する。 Next, FIG. 8 is a diagram for explaining the propagation of the laser beam in the light guide optical system 1020. The laser beam k emitted from the optical scanning unit 1001 is incident on the inside of the light guide optical system 1020 from the optical input unit 221 provided on one of the xz surfaces (upper surface in the drawing) of the light guide optical system 1020, and guides the light. It propagates inside the light guide optical system 1020 while being totally reflected by the opposite inner reflecting surfaces 223 and 224 parallel to the xz plane provided inside the optical system 1020.

導光光学系１０２０は、表示装置１０にて出力するレーザ光の光束径である瞳サイズを拡大する機能を有する。すなわち、導光光学系１０２０は、光走査部１００１から光入力部２２１に入射したレーザ光ｋを複数に分割して、導光光学系１０２０のｘｚ面の他方（図面における下面）に設けられた光出力部２２２から出射する。これにより、導光光学系１０２０は、光入力部２２１から導光板２２０に入射したレーザ光ｋの光束径である瞳サイズφ１よりも大きい瞳サイズφ２のレーザ光（同図の場合、複製された３本のレーザ光ｋ）を光出力部２２２から出射することができる。 The light guide optical system 1020 has a function of expanding the pupil size, which is the luminous flux diameter of the laser beam output by the display device 10. That is, the light guide optical system 1020 is provided on the other side (lower surface in the drawing) of the xz plane of the light guide optical system 1020 by dividing the laser light k incident on the light input unit 221 from the light scanning unit 1001 into a plurality of parts. It is emitted from the optical output unit 222. As a result, the light guide optical system 1020 is duplicated with a laser beam having a pupil size φ2, which is larger than the pupil size φ1 which is the beam diameter of the laser beam k incident on the light guide plate 220 from the light input unit 221 (in the case of the figure). Three laser beams k) can be emitted from the optical output unit 222.

次に、図９は、導光光学系１０２０の複数の構成例を示しており、同図（Ａ）は導光光学系１０２０の第１の構成例である導光板８０１、同図（Ｂ）は導光光学系１０２０の第２の構成例である導光板８１１、同図（Ｃ）は導光光学系１０２０の第３の構成例である導光板８２１を示している。 Next, FIG. 9 shows a plurality of configuration examples of the light guide optical system 1020, and FIG. 9A shows a light guide plate 801 and FIG. 9B which are first configuration examples of the light guide optical system 1020. Indicates a light guide plate 811 which is a second configuration example of the light guide optical system 1020, and FIG. 3C shows a light guide plate 821 which is a third configuration example of the light guide optical system 1020.

同図（Ａ）に示す導光板８０１は、３つの回折領域８０２〜８０４を備える。回折領域８０２は、ｙ軸に略平行な光をｚ軸に略平行な方向に回折する構造を有する。回折領域８０３は、ｘｚ面内でｚ軸に略平行な光をｘ軸に略平行な方向に回折する構造を有する。回折領域８０４は、ｘ軸に略平行な光をｙ軸に略平行な方向に回折する構造を有する。回折領域８０２と回折領域８０４の回折構造のピッチは互いに略等しく、回折領域８０３の回折構造のピッチは、回折領域８０２の回折構造のピッチの１／√２倍に略等しい。 The light guide plate 801 shown in FIG. 8A includes three diffraction regions 802 to 804. The diffraction region 802 has a structure that diffracts light substantially parallel to the y-axis in a direction substantially parallel to the z-axis. The diffraction region 803 has a structure that diffracts light substantially parallel to the z-axis in the xz plane in a direction substantially parallel to the x-axis. The diffraction region 804 has a structure that diffracts light substantially parallel to the x-axis in a direction substantially parallel to the y-axis. The pitch of the diffraction structure of the diffraction region 802 and the diffraction region 804 is substantially equal to each other, and the pitch of the diffraction structure of the diffraction region 803 is substantially equal to 1 / √2 times the pitch of the diffraction structure of the diffraction region 802.

導光板８０１においては、光走査部１００１からのレーザ光が光入力部２２１に対応する回折領域８０２に入射する。回折領域８０２に入射したレーザ光は回折して、導光板８０１の内部に取り込まれ、導光板８０１の内部を全反射導光し、回折領域８０３に到達する。回折領域８０３に到達したレーザ光の一部は回折領域８０３で回折し、回折しなかったレーザ光は導光板８０１の内部で全反射して、再び回折領域８０３に到達する。そして、回折領域８０３に到達する毎、レーザ光は複数に複製され、複製されたレーザ光は導光板８０１の内部を全反射導光し、光出力部２２２に対応する回折領域８０４に到達する。 In the light guide plate 801 the laser beam from the light scanning unit 1001 is incident on the diffraction region 802 corresponding to the light input unit 221. The laser beam incident on the diffraction region 802 is diffracted and taken into the inside of the light guide plate 801 to totally reflect and guide the inside of the light guide plate 801 to reach the diffraction region 803. A part of the laser beam that has reached the diffraction region 803 is diffracted in the diffraction region 803, and the undiffracted laser beam is totally reflected inside the light guide plate 801 and reaches the diffraction region 803 again. Then, each time it reaches the diffraction region 803, the laser beam is duplicated in a plurality of manners, and the duplicated laser beam totally reflects and guides the inside of the light guide plate 801 to reach the diffraction region 804 corresponding to the light output unit 222.

回折領域８０４に到達したレーザ光の一部は回折領域８０４で回折し、回折しなかったレーザ光は導光板８０１の内部で全反射して、再び回折領域８０４に到達する。そして、回折領域８０４に到達するごとにレーザ光は複数に分割されて導光板８０１から出射する。 A part of the laser light that has reached the diffraction region 804 is diffracted in the diffraction region 804, and the undiffracted laser light is totally reflected inside the light guide plate 801 and reaches the diffraction region 804 again. Then, each time the laser beam reaches the diffraction region 804, the laser beam is divided into a plurality of laser beams and emitted from the light guide plate 801.

したがって、導光板８０１によれば、レーザ光の光束径である瞳サイズを２次元方向に拡大することができる。なお、導光板８０１は、３つの回折領域８０２〜８０４を備えるが、例えば、導光板に２つの回折領域を設け、２つの回折領域の回折構造の方向と周期（ピッチ）を略同一としてもよい。これにより、導光板の構造を平易にすることができ、導光板のコストを低減できる。 Therefore, according to the light guide plate 801, the pupil size, which is the luminous flux diameter of the laser beam, can be enlarged in the two-dimensional direction. The light guide plate 801 includes three diffraction regions 802 to 804. For example, the light guide plate may be provided with two diffraction regions, and the directions and periods (pitch) of the diffraction structures of the two diffraction regions may be substantially the same. .. As a result, the structure of the light guide plate can be simplified, and the cost of the light guide plate can be reduced.

次に、同図（Ｂ）に示す導光板８１１は、２つの回折領域８１２，８１３を備える。 Next, the light guide plate 811 shown in FIG. 8B includes two diffraction regions 812 and 813.

回折領域８１２は、ｙ軸に略平行な光をｘｚ平面内でｘ軸に略平行な方向に回折する構造を有する。回折領域８１３は、ｘｚ面において、ｘ軸に略平行な光をｘ軸から反時計回りに略６０度と、略−６０度の２方向に回折する構造を有する。回折領域８１２の回折構造のピッチと、回折領域８１３の２つの方向の回折構造のピッチは、互いに全て略等しい。 The diffraction region 812 has a structure that diffracts light substantially parallel to the y-axis in a direction substantially parallel to the x-axis in the xz plane. The diffraction region 813 has a structure in which light substantially parallel to the x-axis is diffracted in two directions of approximately 60 degrees and approximately -60 degrees counterclockwise from the x-axis on the xz plane. The pitch of the diffraction structure in the diffraction region 812 and the pitch of the diffraction structure in the two directions of the diffraction region 813 are all substantially equal to each other.

導光板８１１においては、光走査部１００１からのレーザ光が光入力部２２１に対応する回折領域８１２に入射する。回折領域８１２に入射したレーザ光は回折して、導光板８１１の内部に取り込まれ、導光板８１１の内部を全反射導光し、光出力部２２２に対応する回折領域８１３に到達する。回折領域８１３はレーザ光を２方向に回折する構造を有するが、導光板８１１の内部で全反射導光する過程で、回折領域８１３が有する２方向の回折構造のそれぞれで１回ずつ回折すると、レーザ光は導光板８１１から出射する。 In the light guide plate 811, the laser beam from the light scanning unit 1001 is incident on the diffraction region 812 corresponding to the light input unit 221. The laser beam incident on the diffraction region 812 is diffracted and taken into the inside of the light guide plate 811 to totally reflect and guide the inside of the light guide plate 811 to reach the diffraction region 813 corresponding to the light output unit 222. The diffraction region 813 has a structure that diffracts the laser beam in two directions. However, in the process of totally reflecting and guiding the light inside the light guide plate 811, if the diffraction region 813 is diffracted once in each of the two directions of the diffraction structure, The laser beam is emitted from the light guide plate 811.

したがって、導光板８１１によれば、レーザ光の光束径である瞳サイズを２次元方向に拡大することができる。 Therefore, according to the light guide plate 811, the pupil size, which is the luminous flux diameter of the laser beam, can be enlarged in the two-dimensional direction.

次に、同図（Ｃ）に示す導光板８２１は、入射面８２２、及び複数の部分反射面８２３を備える。 Next, the light guide plate 821 shown in FIG. 2C includes an incident surface 822 and a plurality of partially reflecting surfaces 823.

複数の部分反射面８２３は、互いに平行で、入射した光の少なくとも一部を反射し、残りを透過する複数枚のビームスプリッタ面である。 The plurality of partially reflecting surfaces 823 are a plurality of beam splitter surfaces that are parallel to each other, reflect at least a part of the incident light, and transmit the rest.

導光板８２１においては、光走査部１００１からのレーザ光が光入力部２２１に対応する入射面８２２に入射する。入射面８２２に入射したレーザ光は、導光板８２１の内部で全反射導光し、複数の部分反射面８２３に到達する。複数の部分反射面８２３を構成するそれぞれのビームスプリッタ面がレーザ光を反射することにより、光出力部２２２に対応する光出力面８２４からレーザ光が出射する。 In the light guide plate 821, the laser beam from the light scanning unit 1001 is incident on the incident surface 822 corresponding to the light input unit 221. The laser beam incident on the incident surface 822 is totally reflected and guided inside the light guide plate 821, and reaches a plurality of partially reflected surfaces 823. The beam splitter surfaces constituting the plurality of partially reflecting surfaces 823 reflect the laser light, so that the laser light is emitted from the light output surface 824 corresponding to the light output unit 222.

したがって、導光板８２１によれば、レーザ光の光束径である瞳サイズを１次元方向に拡大することが可能となる。 Therefore, according to the light guide plate 821, it is possible to increase the pupil size, which is the luminous flux diameter of the laser beam, in the one-dimensional direction.

なお、導光光学系１０２０の構成例は、図９に示された導光板８０１，８１１，８２１に限定されず、レーザ光を複数に分割できる構造であればよい。例えば、導光光学系１０２０は、導光板８０１，８１１，８２１を組み合わせた構造であってもよい。 The configuration example of the light guide optical system 1020 is not limited to the light guide plates 801, 811 and 821 shown in FIG. 9, and may be any structure as long as the laser beam can be divided into a plurality of parts. For example, the light guide optical system 1020 may have a structure in which light guide plates 801, 811 and 821 are combined.

上述したように、導光板８０１，８１１，８２１から出射されたレーザ光の一部は、ユーザの眼球３０に入射する。眼球３０に照射されたレーザ光の一部は、眼球３０の瞳孔を通り、網膜に照射され、表示映像としてユーザに視認される。 As described above, a part of the laser beam emitted from the light guide plate 801, 811 and 821 is incident on the user's eyeball 30. A part of the laser beam irradiated to the eyeball 30 passes through the pupil of the eyeball 30 and is irradiated to the retina, and is visually recognized by the user as a display image.

次に、図１０は、ユーザの眼球３０に対するレーザ光の照射位置の例を示しており、同図（Ａ）は導光光学系１０２０を用いない場合、図（Ａ）は導光光学系１０２０を用いた場合を示している。 Next, FIG. 10 shows an example of the irradiation position of the laser beam with respect to the user's eyeball 30, and FIG. 10A shows the light guide optical system 1020 when the light guide optical system 1020 is not used. Is shown when is used.

同図（Ａ）の場合、導光光学系１０２０を用いないため、光走査部１００１からのレーザ光は、分割されることなく、眼球３０上の１点にスポット７０１として照射される。なお、スポット７０１は、光走査部１００１の走査によって破線で示す渦巻状の軌跡７０２を描くことになる。 In the case of FIG. 3A, since the light guide optical system 1020 is not used, the laser beam from the optical scanning unit 1001 is irradiated to one point on the eyeball 30 as a spot 701 without being divided. The spot 701 draws a spiral locus 702 indicated by a broken line by scanning the optical scanning unit 1001.

同図（Ａ）に示されたように、スポット７０１の渦巻き状の軌跡の中央部分と眼球３０との位置関係は、表示装置１０を装着したユーザの眼球３０の位置等に依存しており、個人差がある。このため、レーザ光の渦巻状の軌跡７０２が眼球３０の全体を網羅できない可能性がある。 As shown in FIG. 6A, the positional relationship between the central portion of the spiral locus of the spot 701 and the eyeball 30 depends on the position of the eyeball 30 of the user who wears the display device 10. There are individual differences. Therefore, the spiral locus 702 of the laser beam may not cover the entire eyeball 30.

一方、同図（Ｂ）の場合、導光光学系１０２０を用いているので、光走査部１００１からのレーザ光は、複数に分割されてスポット群７１０を形成し、眼球３０の広い範囲に照射される。さらに、スポット群７１０を形成する各スポットは、同図（Ａ）の場合と同様に渦巻状に走査される。よって、同図（Ｂ）の場合、眼球３０の全体にレーザ光を照射することができる。 On the other hand, in the case of FIG. 3B, since the light guide optical system 1020 is used, the laser light from the optical scanning unit 1001 is divided into a plurality of spot groups 710 to form a spot group 710 and irradiate a wide range of the eyeball 30. Will be done. Further, each spot forming the spot group 710 is scanned in a spiral shape as in the case of FIG. 3A. Therefore, in the case of FIG. 3B, the entire eyeball 30 can be irradiated with the laser beam.

＜強膜反射を用いた視線検出の原理＞
次に、強膜反射（眼球３０の黒目及び白目における散乱の違い）を用いた視線検出の原理について説明する。 <Principle of line-of-sight detection using scleral reflex>
Next, the principle of line-of-sight detection using scleral reflex (difference in scattering between the black and white eyes of the eyeball 30) will be described.

図１１は、強膜反射の例であり、同図（Ａ）は眼球３０が正面を向いている場合の強膜反射の例、図（Ｂ）は眼球３０が図面の左側を向いている場合の強膜反射の例、図（Ｃ）は眼球３０が図面の右側を向いている場合の強膜反射の例を示している。なお、図１１は、導光光学系１０２０、第１受光部１０３１、及び第２受光部１０３２を上方から見下ろした状態を示している。 11A and 11B are examples of scleral reflex, FIG. 11A is an example of scleral reflex when the eyeball 30 is facing the front, and FIG. 11B is a case where the eyeball 30 is facing the left side of the drawing. An example of scleral reflex, FIG. (C) shows an example of scleral reflex when the eyeball 30 is facing the right side of the drawing. Note that FIG. 11 shows a state in which the light guide optical system 1020, the first light receiving unit 1031, and the second light receiving unit 1032 are viewed from above.

導光光学系１０２０は、光走査部１００１から入射されたレーザ光を実線で示す複数の光線１８０１に分割して眼球３０に出射する。複数の光線１８０１のうち、破線で示す眼球３０の白目の部分にて散乱した白目散乱光１８０２は、点線で示す黒目にて散乱した黒目散乱光１８０３に比べて高強度となる。 The light guide optical system 1020 divides the laser light incident from the light scanning unit 1001 into a plurality of light rays 1801 indicated by solid lines and emits the laser light to the eyeball 30. Of the plurality of light rays 1801, the white-eyed scattered light 1802 scattered in the white-eyed portion of the eyeball 30 shown by the broken line has higher intensity than the black-eyed scattered light 1803 scattered in the black-eyed indicated by the dotted line.

第１受光部１０３１及び第２受光部１０３２は、このようにした散乱された白目散乱光１８０２及び黒目散乱光１８０３を検出する。第１受光部１０３１、及び第２受光部１０３２は、導光光学系１０２０を挟んで配置され、眼球３０の位置に対して略等しい距離に配置される。また、第１受光部１０３１、及び第２受光部１０３２は、それぞれの受光面の法線が眼球３０に向くように角度をつけて配置される。第１受光部１０３１及び第２受光部１０３２は図示しないレンズを含んでもよい。 The first light receiving unit 1031 and the second light receiving unit 1032 detect the scattered white-eye scattered light 1802 and the black-eye scattered light 1803 in this way. The first light receiving unit 1031 and the second light receiving unit 1032 are arranged so as to sandwich the light guide optical system 1020, and are arranged at substantially the same distance from the position of the eyeball 30. Further, the first light receiving unit 1031 and the second light receiving unit 1032 are arranged at an angle so that the normals of the respective light receiving surfaces face the eyeball 30. The first light receiving unit 1031 and the second light receiving unit 1032 may include a lens (not shown).

このように導光光学系１０２０、第１受光部１０３１、及び第２受光部１０３２を配置することにより、同図（Ａ）に示すように眼球３０が正面を向いている場合には、左右に配置された第１受光部１０３１及び第２受光部１０３２の両方で、高強度の白目散乱光１８０２が検出される。 By arranging the light guide optical system 1020, the first light receiving unit 1031, and the second light receiving unit 1032 in this way, when the eyeball 30 is facing the front as shown in FIG. High-intensity white-eye scattered light 1802 is detected by both the first light receiving unit 1031 and the second light receiving unit 1032 arranged.

また、同図（Ｂ）に示すように眼球３０が図面の左側を向いている場合には、眼球３０の黒目が第１受光部１０３１に近接し、第１受光部１０３１では弱い黒目散乱光１８０３が多く検出されるため、第１受光部１０３１の検出強度は同図（Ａ）の場合に比べて低下する。一方、第２受光部１０３２では、強い白目散乱光１８０２が多く検出されるため、第２受光部１０３２の検出強度は同図（Ａ）の場合と等しいか増加することになる。 Further, as shown in FIG. 3B, when the eyeball 30 faces the left side of the drawing, the black eye of the eyeball 30 is close to the first light receiving unit 1031, and the weak black eye scattered light 1803 in the first light receiving unit 1031. Is detected in large numbers, so that the detection intensity of the first light receiving unit 1031 is lower than that in the case of FIG. On the other hand, since a large amount of strong white-eyed scattered light 1802 is detected in the second light receiving unit 1032, the detection intensity of the second light receiving unit 1032 is equal to or increased as in the case of FIG.

反対に、同図（Ｃ）に示すように眼球３０が図面の右側を向いている場合には、眼球３０の黒目が第２受光部１０３２に近接し、第２受光部１０３２では弱い黒目散乱光１８０３が多く検出されるため、第２受光部１０３２の検出強度は同図（Ａ）の場合に比べて低下する。一方、第１受光部１０３１では、強い白目散乱光１８０２が多く検出されるため、第１受光部１０３１の検出強度は同図（Ａ）の場合と等しいか増加することになる。 On the contrary, when the eyeball 30 faces the right side of the drawing as shown in FIG. 3C, the black eye of the eyeball 30 is close to the second light receiving unit 1032, and the second light receiving unit 1032 has weak scattered light. Since a large number of 1803s are detected, the detection intensity of the second light receiving unit 1032 is lower than that in the case of FIG. On the other hand, since a large amount of strong white-eyed scattered light 1802 is detected in the first light receiving unit 1031, the detection intensity of the first light receiving unit 1031 is equal to or increased as in the case of FIG.

なお、図１１に示された例では、第１受光部１０３１及び第２受光部１０３２を導光光学系１０２０の左右に配置してユーザの左右方向への視線を検出したが、第１受光部１０３１及び第２受光部１０３２を導光光学系１０２０の上下に配置すれば、ユーザの上下方向への視線を検出することができる。 In the example shown in FIG. 11, the first light receiving unit 1031 and the second light receiving unit 1032 are arranged on the left and right sides of the light guide optical system 1020 to detect the user's line of sight in the left-right direction, but the first light receiving unit If the 1031 and the second light receiving unit 1032 are arranged above and below the light guide optical system 1020, the user's line of sight in the vertical direction can be detected.

また、導光光学系１０２０の上下左右の４箇所に受光部を配置すれば、ユーザの上下左右方向への視線を検出することができる。 Further, if the light receiving portions are arranged at four locations on the top, bottom, left, and right of the light guide optical system 1020, the user's line of sight in the up, down, left, and right directions can be detected.

次に、図１２は、強膜反射を用いる場合に対応する視線方向判定部１０３３の構成例（第１の構成例）を示している。視線方向判定部１０３３の第１の構成例は、信号処理部９０１，９０２、減算部９０３、加算部９０４、及び除算部９０５から構成される。 Next, FIG. 12 shows a configuration example (first configuration example) of the line-of-sight direction determination unit 1033 corresponding to the case where scleral reflection is used. The first configuration example of the line-of-sight direction determination unit 1033 is composed of a signal processing unit 901, 902, a subtraction unit 903, an addition unit 904, and a division unit 905.

信号処理部９０１は、増幅器やノイズリダクションフィルタ等から成り、第１受光部１０３１からの受光信号を整形し、出力信号Ｖ１として減算部９０３及び加算部９０４に出力する。信号処理部９０２は、増幅器やノイズリダクションフィルタ等から成り、第２受光部１０３２からの受光信号を整形し、出力信号Ｖ２として減算部９０３及び加算部９０４に出力する。 The signal processing unit 901 is composed of an amplifier, a noise reduction filter, and the like, shapes the received signal from the first light receiving unit 1031, and outputs the output signal V1 to the subtracting unit 903 and the adding unit 904. The signal processing unit 902 includes an amplifier, a noise reduction filter, and the like, shapes the received signal from the second light receiving unit 1032, and outputs the output signal V2 to the subtracting unit 903 and the adding unit 904.

減算部９０３は、次式（１）に従い、出力信号Ｖ１，Ｖ２の差信号Ｄｉｆを計算する。
Ｄｉｆ＝Ｖ２−Ｖ１ ・・・（１） The subtraction unit 903 calculates the difference signal Dif of the output signals V1 and V2 according to the following equation (1).
Dif = V2-V1 ... (1)

加算部９０４は、次式（２）に従い、出力信号Ｖ１，Ｖ２の和信号Ｓｕｍを計算する。
Ｓｕｍ＝Ｖ１＋Ｖ２ ・・・（２） The addition unit 904 calculates the sum signal Sum of the output signals V1 and V2 according to the following equation (2).
Sum = V1 + V2 ... (2)

除算部９０５は、次式（３）に従い、差信号Ｄｉｆと和信号Ｓｕｍとの商を計算し、視線信号Ｖｓとして出力する。
Ｖｓ＝Ｄｉｆ／Ｓｕｍ ・・・（３） The division unit 905 calculates the quotient of the difference signal Dif and the sum signal Sum according to the following equation (3) and outputs it as the line-of-sight signal Vs.
Vs = Dif / Sum ... (3)

除算部９０５にて、式（３）を計算することにより、光源部１００２が出射する光強度の変動による信号の増減を相殺することができる。これにより、映像表示を行うために連続的に光源部１００２が強度変調をしている場合にも視線信号を検出することが可能となる。 By calculating the equation (3) in the division unit 905, it is possible to offset the increase / decrease in the signal due to the fluctuation of the light intensity emitted by the light source unit 1002. As a result, it is possible to detect the line-of-sight signal even when the light source unit 1002 continuously performs intensity modulation for displaying an image.

除算部９０５から出力される視線信号Ｖｓは、図１１（Ｂ）に示されたように眼球３０が左側を向いた場合には増加し、図１１（Ｃ）に示されたように眼球３０が右側を向いた場合には減少することになる。 The line-of-sight signal Vs output from the division unit 905 increases when the eyeball 30 turns to the left as shown in FIG. 11 (B), and the eyeball 30 increases as shown in FIG. 11 (C). If you turn to the right, it will decrease.

なお、減算部９０３にて、次式（１’）に従い、出力信号Ｖ１，Ｖ２の差信号Ｄｉｆを計算するようにしてもよい。
Ｄｉｆ＝Ｖ１−Ｖ２ ・・・（１’） The subtraction unit 903 may calculate the difference signal Dif between the output signals V1 and V2 according to the following equation (1').
Dif = V1-V2 ... (1')

この場合、視線信号Ｖｓは、図１１（Ｂ）に示されたように眼球３０が左側を向いた場合には減少し、図１１（Ｃ）に示されたように眼球３０が右側を向いた場合には増加することになる。 In this case, the line-of-sight signal Vs decreases when the eyeball 30 faces the left side as shown in FIG. 11B, and the eyeball 30 faces the right side as shown in FIG. 11C. In some cases, it will increase.

また、加算部９０４にて、出力信号Ｖ１，Ｖ２を加算する代わりに、発光制御部１００４から得られる光源部１００２の発光強度情報に基づいてＳｕｍを計算してもよい。 Further, instead of adding the output signals V1 and V2 in the addition unit 904, Sum may be calculated based on the light emission intensity information of the light source unit 1002 obtained from the light emission control unit 1004.

以上、強膜反射を用いた視線検出の原理について説明した。 The principle of line-of-sight detection using scleral reflex has been described above.

＜角膜反射を用いた視線検出の原理＞
次に、角膜反射（眼球３０の角膜又は水晶体における散乱）を用いた視線検出の原理について、図１３〜図１５を参照して説明する。図１３〜図１５は、角膜反射の例を示しており、導光光学系１０２０、第１受光部１０３１、及び第２受光部１０３２を上方から見下ろした状態を示している。 <Principle of line-of-sight detection using corneal reflex>
Next, the principle of line-of-sight detection using the corneal reflex (scattering of the eyeball 30 in the cornea or the crystalline lens) will be described with reference to FIGS. 13 to 15. 13 to 15 show an example of corneal reflection, and show a state in which the light guide optical system 1020, the first light receiving unit 1031, and the second light receiving unit 1032 are viewed from above.

図１３は、眼球３０が正面を向いている場合の角膜反射の例であり、同図（Ａ）は眼球３０に対して導光光学系１０２０からの光線１８０１が略垂直に照射される場合、同図（Ｂ）は光線１８０１が図面の右側から照射される場合、同図（Ｃ）は光線１８０１が図面の左側から照射される場合をそれぞれ示している。 FIG. 13 is an example of corneal reflex when the eyeball 30 is facing the front, and FIG. 13 (A) shows a case where the light ray 1801 from the light guide optical system 1020 is irradiated substantially perpendicularly to the eyeball 30. FIG. (B) shows a case where the light ray 1801 is emitted from the right side of the drawing, and FIG. 3C shows a case where the light ray 1801 is emitted from the left side of the drawing.

導光光学系１０２０からの光線１８０１は、眼球３０の角膜にて、一点鎖線によって示す反射光１８０４として反射される。反射光１８０４の反射方向は、照射する光線１８０１の角度と眼球３０の向きによって決定される。 The light beam 1801 from the light guide optical system 1020 is reflected by the cornea of the eyeball 30 as reflected light 1804 indicated by a single point chain line. The reflection direction of the reflected light 1804 is determined by the angle of the irradiated light ray 1801 and the direction of the eyeball 30.

同図（Ａ）の場合、反射光１８０４は、眼球３０の角膜から導光光学系１０２０に向かって反射される。このため、第１受光部１０３１及び第２受光部１０３２では、反射光１８０４は検出されない。 In the case of FIG. 1A, the reflected light 1804 is reflected from the cornea of the eyeball 30 toward the light guide optical system 1020. Therefore, the reflected light 1804 is not detected in the first light receiving unit 1031 and the second light receiving unit 1032.

同図（Ｂ）及び同図（Ｃ）の場合、反射光１８０４は、眼球３０の角膜にて、導光光学系１０２０に向かって所定の角度で反射される。ただし、同図に示すように、眼球３０が正面向きである場合には、第１受光部１０３１及び第２受光部１０３２では反射光１８０４は検出されない。 In the case of FIGS. (B) and (C), the reflected light 1804 is reflected by the cornea of the eyeball 30 toward the light guide optical system 1020 at a predetermined angle. However, as shown in the figure, when the eyeball 30 is facing the front, the reflected light 1804 is not detected by the first light receiving unit 1031 and the second light receiving unit 1032.

次に、図１４は、眼球３０が図面の左側を向いている場合の角膜反射の例であり、同図（Ａ）は眼球３０に対して導光光学系１０２０からの光線１８０１が略垂直に照射される場合、同図（Ｂ）は光線１８０１が図面の右側から照射される場合、同図（Ｃ）は光線１８０１が図面の左側から照射される場合をそれぞれ示している。 Next, FIG. 14 is an example of corneal reflex when the eyeball 30 is facing the left side of the drawing, and FIG. 14 (A) shows a ray 1801 from the light guide optical system 1020 substantially perpendicular to the eyeball 30. When irradiated, FIG. 6B shows a case where the light beam 1801 is emitted from the right side of the drawing, and FIG. 3C shows a case where the light ray 1801 is emitted from the left side of the drawing.

同図（Ａ）〜（Ｃ）に示す反射光１８０４を比較して明らかなように、眼球３０が図面の左側を向いている場合、第１受光部１０３１による反射光１８０４の検出強度は、同図（Ｂ）の場合においてピークとなる。一方、第２受光部１０３２は、いずれの場合においても反射光１８０４を検出しない。 As is clear from the comparison of the reflected light 1804 shown in FIGS. (A) to (C), when the eyeball 30 faces the left side of the drawing, the detection intensity of the reflected light 1804 by the first light receiving unit 1031 is the same. It becomes a peak in the case of FIG. (B). On the other hand, the second light receiving unit 1032 does not detect the reflected light 1804 in any case.

次に、図１５は、眼球３０が図面の右側を向いている場合の角膜反射の例であり、同図（Ａ）は眼球３０に対して導光光学系１０２０からの光線１８０１が略垂直に照射される場合、同図（Ｂ）は光線１８０１が図面の右側から照射される場合、同図（Ｃ）は光線１８０１が図面の左側から照射される場合をそれぞれ示している。 Next, FIG. 15 is an example of corneal reflex when the eyeball 30 is facing the right side of the drawing, and FIG. 15 (A) shows that the light ray 1801 from the light guide optical system 1020 is substantially perpendicular to the eyeball 30. When irradiated, FIG. 6B shows a case where the light beam 1801 is emitted from the right side of the drawing, and FIG. 3C shows a case where the light ray 1801 is emitted from the left side of the drawing.

同図（Ａ）〜同図（Ｃ）に示す反射光１８０４を比較して明らかなように、眼球３０が図面の右側を向いている場合、第２受光部１０３２による反射光１８０４の検出強度は、同図（Ｃ）の場合においてピークとなる。一方、第１受光部１０３１は、いずれの場合においても反射光１８０４を検出しない。 As is clear by comparing the reflected light 1804 shown in FIGS. (A) to (C), when the eyeball 30 is facing the right side of the drawing, the detection intensity of the reflected light 1804 by the second light receiving unit 1032 is , It becomes a peak in the case of the figure (C). On the other hand, the first light receiving unit 1031 does not detect the reflected light 1804 in any case.

このように第１受光部１０３１及び第２受光部１０３２の設置位置と受光結果、光線１８０１の照射角度によって、角膜反射の反射光１８０４の検出結果が異なるため、これらの情報に基づいて視線方向を判定できる。 As described above, since the detection result of the reflected light 1804 of the corneal reflex differs depending on the installation position of the first light receiving unit 1031 and the second light receiving unit 1032, the light receiving result, and the irradiation angle of the light ray 1801, the line-of-sight direction is determined based on this information. Can be judged.

次に、図１６は、角膜反射を用いる場合に対応する視線方向判定部１０３３の構成例（第２の構成例）を示している。視線方向判定部１０３３の第２の構成例は、信号処理部１３０１，１３０２、ピーク検出部１３０３，１３０４、及び演算部１３０５から構成される。 Next, FIG. 16 shows a configuration example (second configuration example) of the line-of-sight direction determination unit 1033 corresponding to the case where the corneal reflex is used. The second configuration example of the line-of-sight direction determination unit 1033 is composed of a signal processing unit 1301, 1302, a peak detection unit 1303, 1304, and a calculation unit 1305.

導光光学系１０２０から眼球３０に照射される光線１８０１の照射角度は、光走査部１００１により変化される。図４に示すように、渦巻状の走査軌跡を1フレームとして、類似の軌跡での走査が繰り返し行われる。走査軌跡制御部１００７は、光走査部１００１の走査角度を表す走査角度情報（横ビーム角度、縦ビーム角度）と、１フレーム毎のタイミング情報をピーク検出部１３０３，１３０４及び演算部１３０５に出力する。 The irradiation angle of the light beam 1801 emitted from the light guide optical system 1020 to the eyeball 30 is changed by the optical scanning unit 1001. As shown in FIG. 4, the spiral scanning locus is set as one frame, and scanning with a similar locus is repeatedly performed. The scanning locus control unit 1007 outputs scanning angle information (horizontal beam angle, vertical beam angle) representing the scanning angle of the optical scanning unit 1001 and timing information for each frame to peak detection units 1303, 1304 and calculation unit 1305. ..

信号処理部１３０１は、増幅器やノイズリダクションフィルタ等から成り、第１受光部１０３１からの受光信号を整形し、出力信号Ｖ１としてピーク検出部１３０３に出力する。信号処理部１３０２は、増幅器やノイズリダクションフィルタ等から成り、第２受光部１０３２からの受光信号を整形し、出力信号Ｖ２としてピーク検出部１３０４に出力する。 The signal processing unit 1301 includes an amplifier, a noise reduction filter, and the like, shapes the received signal from the first light receiving unit 1031, and outputs the output signal V1 to the peak detecting unit 1303. The signal processing unit 1302 is composed of an amplifier, a noise reduction filter, and the like, shapes the received signal from the second light receiving unit 1032, and outputs the output signal V2 to the peak detecting unit 1304.

ピーク検出部１３０３は、走査軌跡の１フレームの間における出力信号Ｖ１の最大値Ｖ１ｍａｘと、そのときの走査角度情報Ａｄｄ１を検出し、演算部１３０５に出力する。ピーク検出部１３０４は、走査軌跡の１フレームの間における出力信号Ｖ２の最大値Ｖ２ｍａｘと、そのときの走査角度情報Ａｄｄ２を検出し、演算部１３０５に出力する。 The peak detection unit 1303 detects the maximum value V1max of the output signal V1 during one frame of the scanning locus and the scanning angle information Add1 at that time, and outputs the scan angle information Add1 to the calculation unit 1305. The peak detection unit 1304 detects the maximum value V2max of the output signal V2 during one frame of the scanning locus and the scanning angle information Add2 at that time, and outputs the scan angle information Add2 to the calculation unit 1305.

演算部１３０５は、1フレーム毎に、ピーク検出部１３０３からの最大値Ｖ１ｍａｘ及び走査角度情報Ａｄｄ１、並びにピーク検出部１３０４から最大値Ｖ２ｍａｘ及び走査角度情報に基づいて視線信号Ｖｓを演算する。 The calculation unit 1305 calculates the line-of-sight signal Vs from the peak detection unit 1303 based on the maximum value V1max and the scanning angle information Add1 and the peak detection unit 1304 based on the maximum value V2max and the scanning angle information for each frame.

ここで、演算部１３０５による視線信号Ｖｓの第１の演算方法について、図１７及び図１８を参照して説明する。 Here, the first calculation method of the line-of-sight signal Vs by the calculation unit 1305 will be described with reference to FIGS. 17 and 18.

図１７は、眼球３０と導光光学系１０２０と第１受光部１０３１との配置例を示しており、同図（Ａ）は側方から見た図、同図（Ｂ）は正面から見た図、同図（Ｃ）は上方から見た図である。 FIG. 17 shows an arrangement example of the eyeball 30, the light guide optical system 1020, and the first light receiving unit 1031. FIG. 17A is a side view, and FIG. 17B is a front view. The figure and the figure (C) are views viewed from above.

第１受光部１０３１は、同図（Ａ）に示されるように、導光光学系１０２０に対して眼球３０の上下方向には傾きを付けずに配置される（φｄｅｔｙ≒０）。また、第１受光部１０３１は、同図（Ｃ）に示されるように、眼球３０の左右方向に傾きを付けて配置される（φｄｅｔｘ≠０）。 As shown in FIG. 10A, the first light receiving unit 1031 is arranged with respect to the light guide optical system 1020 in the vertical direction of the eyeball 30 without being tilted (φ date ≈ 0). Further, as shown in FIG. 3C, the first light receiving unit 1031 is arranged with an inclination in the left-right direction of the eyeball 30 (φ detex ≠ 0).

図１８は、図１７に示された配置例における角膜反射の例を示しており、同図（Ａ）は眼球が正面を向いている場合の角膜反射の例、同図（Ｂ）は眼球が正面を向いている場合の第１受光部１０３１によって検出される反射光の例、同図（Ｃ）は眼球が図面の右側を向いている場合の角膜反射の例、同図（Ｄ）は眼球が図面の右側を向いている場合の第１受光部１０３１によって検出される反射光の例を示している。 FIG. 18 shows an example of the corneal reflex in the arrangement example shown in FIG. 17, FIG. 18A is an example of the corneal reflex when the eyeball is facing the front, and FIG. 18B is an example of the corneal reflex when the eyeball is facing the front. An example of reflected light detected by the first light receiving unit 1031 when facing the front, FIG. 3C is an example of corneal reflex when the eyeball is facing the right side of the drawing, and FIG. Shows an example of reflected light detected by the first light receiving unit 1031 when is facing the right side of the drawing.

同図（Ａ）に示されるように、眼球３０が正面を向いている場合（眼球３０の傾きが０度である場合）、光線１８０１が眼球３０の角膜で反射し、その反射光１８０４は第１受光部１０３１によって検出される。第１受光部１０３１による反射光１８０４の検出強度は、光線１８０１の照射角θｉｎ１によって変動する。 As shown in FIG. 3A, when the eyeball 30 is facing the front (when the inclination of the eyeball 30 is 0 degree), the light ray 1801 is reflected by the cornea of the eyeball 30, and the reflected light 1804 is the third. 1 Detected by the light receiving unit 1031. The detection intensity of the reflected light 1804 by the first light receiving unit 1031 varies depending on the irradiation angle θ in 1 of the light beam 1801.

そして、同図（Ｂ）に示されるように、第１受光部１０３１によって反射光１８０４が検出される場合、光線１８０１の照射角θｉｎ１は、光線１８０１が眼球３０の角膜に照射される角度α１と一致する。また、反射光１８０４の反射角β１は、光線１８０１が眼球３０に照射される角度α１と略等しい。 Then, as shown in FIG. 3B, when the reflected light 1804 is detected by the first light receiving unit 1031, the irradiation angle θ in 1 of the light ray 1801 is the angle α at which the light ray 1801 irradiates the cornea of the eyeball 30. Matches 1 . Further, the reflection angle β 1 of the reflected light 1804 is substantially equal to the angle α 1 at which the light beam 1801 irradiates the eyeball 30.

第１受光部１０３１の検出強度は、反射光１８０４が第１受光部１０３１に対して垂直に入射するときに最大となるので、反射角β１＝φｄｅｔｘが成立する場合に検出強度が最大となる。したがって、次式（４）が成立する場合には、眼球３０が正面を向いていると判定することができる。
θｉｎ１＝φｄｅｔｘ ・・・（４） Since the detection intensity of the first light receiving unit 1031 is maximum when the reflected light 1804 is incident perpendicularly to the first light receiving unit 1031, the detection intensity is maximum when the reflection angle β 1 = φ detx is established. Become. Therefore, when the following equation (4) is satisfied, it can be determined that the eyeball 30 is facing the front.
θ in1 = φ detex・ ・ ・ (4)

次に、同図（Ｃ）に示されるように、眼球３０が傾きΔｘだけ図面の右側を向いている場合にも、光線１８０１が眼球３０の角膜で反射し、その反射光１８０４は第１受光部１０３１によって検出される。この場合、光線１８０１が眼球３０の角膜に照射される角度α２＝θｉｎ２＋Δｘである。また、反射光１８０４の反射角β２は、角度α２と略等しい。反射角β２は、眼球３０の傾きΔｘを基準とした角度であるので、反射光１８０４が、第１受光部１０３１に対して垂直に入射する条件は、β２＋Δｘ＝φｄｅｔＸである。したがって、次式（５）が成立する場合、第１受光部１０３１による検出強度が最大となる。
θｉｎ２＋２×Δｘ＝φｄｅｔｘ ・・・（５） Next, as shown in FIG. 3C, even when the eyeball 30 is tilted Δx and faces the right side of the drawing, the light ray 1801 is reflected by the cornea of the eyeball 30, and the reflected light 1804 receives the first light. Detected by unit 1031. In this case, the angle α 2 = θ in 2 + Δx at which the light beam 1801 irradiates the cornea of the eyeball 30. Further, the reflection angle β 2 of the reflected light 1804 is substantially equal to the angle α 2 . Since the reflection angle β 2 is an angle based on the inclination Δx of the eyeball 30, the condition that the reflected light 1804 is vertically incident on the first light receiving unit 1031 is β 2 + Δx = φ dateX . Therefore, when the following equation (5) is satisfied, the detection intensity by the first light receiving unit 1031 becomes maximum.
θ in2 + 2 × Δx = φ detx・ ・ ・ (5)

なお、第１受光部１０３１の傾きφｄｅｔｘは固定値であり、表示装置１０の設計段階で決まるので、設計情報から取得して定数として扱えばよい。または、式（４）に基づき、眼球３０が正面を向いている場合に第１受光部１０３１による検出強度が最大となる光線１８０１の照射角θｉｎ１を取得して流用してもよい。 Since the inclination φ detx of the first light receiving unit 1031 is a fixed value and is determined at the design stage of the display device 10, it may be obtained from the design information and treated as a constant. Alternatively, based on the equation (4), the irradiation angle θ in 1 of the light ray 1801 that maximizes the detection intensity by the first light receiving unit 1031 when the eyeball 30 is facing the front may be acquired and diverted.

したがって、光線１８０１の照射角θｉｎ２が明らかになれば、式（５）に基づいて眼球３０の角度Δｘを求めることができる。 Therefore, if the irradiation angle θ in 2 of the light beam 1801 is clarified, the angle Δx of the eyeball 30 can be obtained based on the equation (5).

次に、レーザ光の渦巻状の走査と第１受光部１０３１及び第２受光部１０３２による光検出の関係性について、図１９及び図２０を参照して説明する。 Next, the relationship between the spiral scanning of the laser beam and the light detection by the first light receiving unit 1031 and the second light receiving unit 1032 will be described with reference to FIGS. 19 and 20.

図１９は、レーザ光の走査角度情報（横ビーム角度、及び縦ビーム角度）と、第１受光部１０３１及び第２受光部１０３２による光検出との関係を示している。図２０は、図１９に示された関係の時系列変化を示している。 FIG. 19 shows the relationship between the scanning angle information (horizontal beam angle and vertical beam angle) of the laser beam and the light detection by the first light receiving unit 1031 and the second light receiving unit 1032. FIG. 20 shows the time series change of the relationship shown in FIG.

レーザ光を渦巻状に走査した場合、第１受光部１０３１及び第２受光部１０３２では、図１９に示されるように、Ｘ軸変位ビーム角度とＹ軸変位ビーム角度とがともに特定の角度付近にきたときにだけ反射光を検出することができる。 When the laser beam is scanned in a spiral shape, in the first light receiving unit 1031 and the second light receiving unit 1032, as shown in FIG. 19, both the X-axis displacement beam angle and the Y-axis displacement beam angle are close to a specific angle. The reflected light can be detected only when it arrives.

図２０に示されるように、受光信号の最大値Ｖ１ｍａｘが検出されたときの走査角度情報Ａｄｄ１として、縦ビーム角度Ｙａｄｄ１、及び横ビーム角度Ｘａｄｄ１を取得する。 As shown in FIG. 20, the vertical beam angle Yadd1 and the horizontal beam angle Xadd1 are acquired as the scanning angle information Add1 when the maximum value V1max of the received light signal is detected.

横ビーム角度Ｘａｄｄ１については、上述した式（５）におけるθｉｎ２に代入することができるので、眼球３０の横方向の傾きΔxは、次式（６）に従って求めることができる。
Δｘ＝（φｄｅｔｘ−Ｘａｄｄ１）／２ ・・・（６） Since the lateral beam angle Xadd1 can be substituted for θ in 2 in the above equation (5), the lateral inclination Δx of the eyeball 30 can be obtained according to the following equation (6).
Δx = (φ detx −Xadd1) / 2 ・ ・ ・ (6)

同様に、眼球３０の縦方向の傾きΔｙは、次式（７）に従って求めることができる。
Δｙ＝（φｄｅｔｙ−Ｙａｄｄ１）／２ ・・・（７） Similarly, the vertical inclination Δy of the eyeball 30 can be obtained according to the following equation (7).
Δy = (φ date −Yadd1) / 2 ・ ・ ・ (7)

さらに、第２受光部１０３２を、第１受光部１０３１の設置角度とは異なる設置角度で設置すれば、眼球３０の横方向の傾きΔｘ及び縦方向の傾きΔｙの検出精度や検出範囲を増加することができる。 Further, if the second light receiving unit 1032 is installed at an installation angle different from the installation angle of the first light receiving unit 1031, the detection accuracy and the detection range of the lateral inclination Δx and the vertical inclination Δy of the eyeball 30 are increased. be able to.

次に、演算部１３０５による視線信号Ｖｓの第２の演算方法について、図２１及び図２２を参照して説明する。 Next, a second calculation method of the line-of-sight signal Vs by the calculation unit 1305 will be described with reference to FIGS. 21 and 22.

図２１は、眼球３０と導光光学系１０２０と第１受光部１０３１との配置例を示しており、同図（Ａ）は側方から見た図、同図（Ｂ）は正面から見た図、同図（Ｃ）は上方から見た図である。 FIG. 21 shows an arrangement example of the eyeball 30, the light guide optical system 1020, and the first light receiving unit 1031. FIG. 21A is a side view, and FIG. 21B is a front view. The figure and the figure (C) are views viewed from above.

同図に示されるように、導光光学系１０２０は、眼球３０から距離ｄだけ離れて配置される。第１受光部１０３１は、導光光学系１０２０と略同一の距離ｄだけ眼球３０から離れ、且つ、眼球３０が正面を向いているときの視線から距離Ｌだけ離れて配置される。 As shown in the figure, the light guide optical system 1020 is arranged at a distance d from the eyeball 30. The first light receiving unit 1031 is arranged away from the eyeball 30 by a distance d substantially the same as that of the light guide optical system 1020, and away from the line of sight when the eyeball 30 is facing the front by a distance L.

図２２は、図２１に示された配置例における角膜反射の例を示しており、同図（Ａ）は眼球が正面を向いている場合の角膜反射の例、同図（Ｂ）は眼球が正面を向いている場合の第１受光部１０３１によって検出される反射光の例、同図（Ｃ）は眼球が図面の右側を向いている場合の角膜反射の例、同図（Ｄ）は眼球が図面の右側を向いている場合の第１受光部１０３１によって検出される反射光の例を示している。 FIG. 22 shows an example of the corneal reflex in the arrangement example shown in FIG. 21, FIG. 22 (A) is an example of the corneal reflex when the eyeball is facing the front, and FIG. 22 (B) is an example of the eyeball. An example of reflected light detected by the first light receiving unit 1031 when facing the front, FIG. 3C is an example of corneal reflex when the eyeball is facing the right side of the drawing, and FIG. Shows an example of reflected light detected by the first light receiving unit 1031 when is facing the right side of the drawing.

同図（Ａ）に示されるように、眼球３０が正面を向いている場合（眼球の傾きが０度である場合）、光線１８０１が眼球３０の角膜で反射し、その反射光１８０４は第１受光部１０３１によって検出される。第１受光部１０３１による反射光１８０４の検出強度は、光線１８０１の照射角θｉｎ１によって変動する。 As shown in FIG. 3A, when the eyeball 30 is facing the front (when the inclination of the eyeball is 0 degree), the light ray 1801 is reflected by the cornea of the eyeball 30, and the reflected light 1804 is the first. It is detected by the light receiving unit 1031. The detection intensity of the reflected light 1804 by the first light receiving unit 1031 varies depending on the irradiation angle θ in 1 of the light beam 1801.

そして、同図（Ｂ）に示されるように、第１受光部１０３１によって反射光１８０４が検出される場合、光線１８０１の照射角θｉｎ１は、光線１８０１が眼球３０の角膜に照射される角度α１と一致する。また、反射光１８０４の反射角β１は、光線１８０１が眼球３０に照射される角度α１と略等しい。 Then, as shown in FIG. 3B, when the reflected light 1804 is detected by the first light receiving unit 1031, the irradiation angle θ in 1 of the light ray 1801 is the angle α at which the light ray 1801 irradiates the cornea of the eyeball 30. Matches 1 . Further, the reflection angle β 1 of the reflected light 1804 is substantially equal to the angle α 1 at which the light beam 1801 irradiates the eyeball 30.

第１受光部１０３１の検出強度は、反射光１８０４が第１受光部１０３１に入射するときに最大となるので、次式（８）が成立する場合には、眼球３０が正面を向いていると判することができる。
θｉｎ１＝α1＝ａｒｃｔａｎ(Ｌ／ｄ) ・・・（８） The detection intensity of the first light receiving unit 1031 is maximized when the reflected light 1804 is incident on the first light receiving unit 1031. Therefore, when the following equation (8) is satisfied, the eyeball 30 is facing the front. Can be determined.
θ in 1 = α 1 = arctan (L / d) ・ ・ ・ (8)

次に、同図（Ｃ）に示されるように、眼球３０が傾きΔｘだけ図面の右側を向いている場合にも、光線１８０１が眼球３０の角膜で反射し、その反射光１８０４は第１受光部１０３１によって検出される。この場合、光線１８０１が眼球３０の角膜に照射される角度α２＝θｉｎ２＋Δｘである。また、反射光１８０４の反射角β２は、角度α２と略等しい。反射角β２は、眼球３０の傾きΔｘを基準とした角度であるので、反射光１８０４の第１受光部１０３１に対する照射角θｏｕｔ２は、次式（９）に示すとおりである。
θｏｕｔ２＝β２＋Δx＝θｉｎ２＋２×Δｘ ・・・（９） Next, as shown in FIG. 3C, even when the eyeball 30 is tilted Δx and faces the right side of the drawing, the light ray 1801 is reflected by the cornea of the eyeball 30, and the reflected light 1804 receives the first light. Detected by unit 1031. In this case, the angle α 2 = θ in 2 + Δx at which the light beam 1801 irradiates the cornea of the eyeball 30. Further, the reflection angle β 2 of the reflected light 1804 is substantially equal to the angle α 2 . Reflection angle beta 2 is because it is an angle relative to the inclination Δx of the eye 30, the irradiation angle theta out2 with respect to the first light receiving portion 1031 of the reflected light 1804 is shown in the following equation (9).
θ out2 = β 2 + Δx = θ in2 + 2 × Δx ・ ・ ・ (9)

そして、眼球３０が傾きΔｘだけ右側を向いている場合、瞳孔の位置が距離Ｌｅｙｅだけ右側に横にずれると仮定すれば、次式（１０）が成立する。
Ｌ−Ｌｅｙｅ＝ｄ×ｔａｎ（θｏｕｔ２） ・・・（１０） Then, when the eyeball 30 is tilted Δx and faces to the right, the following equation (10) is established on the assumption that the position of the pupil is laterally shifted to the right by the distance Leeee .
L-L eye = d × tan (θ out2 ) ・ ・ ・ (10)

また、眼球３０の半径をＲｅｙｅと仮定すれば、次式（１１）が成立する。
Ｌｅｙｅ＝Ｒｅｙｅ×ｔａｎ(Δｘ) ・・・(１１) Further, assuming that the radius of the eyeball 30 is Reye , the following equation (11) holds.
L eye = R eye × tan (Δx) ・ ・ ・ (11)

よって、式（１０）は、式（８）及び式（１１）に基づき、次式（１２）に書き換えることができる。
Ｌ−Ｒｅｙｅ×ｔａｎ(Δｘ)＝ｄ×ｔａｎ（θｉｎ２＋２×Δx） ・・・（１２） Therefore, the equation (10) can be rewritten into the following equation (12) based on the equations (8) and (11).
L-R eye x tan (Δx) = d x tan (θ in2 + 2 x Δx) ... (12)

式（１２）における距離ｄ，Ｌは、固定値であり、表示装置１０の設計段階で決まるので、設計情報から取得して定数として扱えばよい。眼球３０の半径Ｒｅｙｅは、ユーザが成人である場合、個人差は少ないので、定数として扱うことができる。よって、式（１２）における未定の値は、光線１８０１の照射角θｉｎ２、及び眼球３０の傾きΔxとなる。 Since the distances d and L in the equation (12) are fixed values and are determined at the design stage of the display device 10, they may be obtained from the design information and treated as constants. When the user is an adult, the radius Reye of the eyeball 30 can be treated as a constant because there is little individual difference. Therefore, the undecided values in the equation (12) are the irradiation angle θ in 2 of the light beam 1801 and the inclination Δx of the eyeball 30.

従って、第２の演算方法では、第１の演算方法と同様、図２０に示された、受光信号が最大となるときの横ビーム角度Ｘａｄｄ１及び縦ビーム角度Ｙａｄｄ１を取得し、照射角θｉｎ２＝Ｘａｄｄ１として、式（１２）に代入すれば、眼球３０の傾きΔｘを求めることができる。 Therefore, in the second calculation method, similarly to the first calculation method, the horizontal beam angle X add1 and the vertical beam angle Y add1 when the received signal is maximized, which are shown in FIG. 20, are acquired, and the irradiation angle θ By substituting into equation (12) with in2 = X add1 , the inclination Δx of the eyeball 30 can be obtained.

なお、上述したように、定数として扱う距離ｄ，Ｌは、個人差は少ないが、ユーザによっては定数から離れた値となる可能性がある。そこで、距離ｄ，Ｌについてはキャリブレーションを行ってもよい。具体的には、ユーザが眼球３０を指定の方向に向け、そのときの眼球３０の傾きΔｘを任意の値として照射角θｉｎ２を求め、傾きΔｘ、及び照射角θｉｎ２の複数の組み合わせと式（１２）とを用い、最小二乗法等によって精度の高い距離ｄ，Ｌを推定するようにしてもよい。 As described above, the distances d and L treated as constants have little individual difference, but may be different from the constants depending on the user. Therefore, the distances d and L may be calibrated. Specifically, the user points the eyeball 30 in a designated direction, obtains the irradiation angle θ in 2 with the inclination Δx of the eyeball 30 at that time as an arbitrary value, and obtains an irradiation angle θ in 2 , a plurality of combinations and expressions of the inclination Δx and the irradiation angle θ in 2. (12) may be used to estimate the distances d and L with high accuracy by the least squares method or the like.

以上、角膜反射を用いた視線検出の原理について説明した。 The principle of line-of-sight detection using corneal reflex has been described above.

ところで、上述した強膜反射及び角膜反射は、実際には同時に発生しており、第１受光部１０３１及び第２受光部１０３２では、強膜反射光と角膜反射光とを同時に検出している。したがって、強膜反射を用いた視線検出では、角膜反射光がノイズとなる可能性があり、反対に、角膜反射を用いた視線検出では、強膜反射光がノイズとなる可能性がある。 By the way, the scleral reflection and the corneal reflex described above are actually generated at the same time, and the first light receiving unit 1031 and the second light receiving unit 1032 simultaneously detect the scleral reflected light and the corneal reflected light. Therefore, in the line-of-sight detection using the scleral reflex, the corneal reflected light may become noise, and conversely, in the line-of-sight detection using the corneal reflex, the scleral reflected light may become noise.

以下、受光信号から強膜反射成分または角膜反射成分の一方を抽出し、他方を排除する方法について説明する。 Hereinafter, a method of extracting one of the scleral reflection component or the corneal reflection component from the received signal and excluding the other will be described.

角膜反射光は、上述したように、光走査部１００１の走査によって変化するので、図２０に示されたように、光走査部１００１の走査の周波数ｆｒに近い周期で検出される。周波数ｆｒは数１０キロヘルツ以上の周波数である。 As described above, the corneal reflected light changes depending on the scanning of the optical scanning unit 1001, and therefore, as shown in FIG. 20, it is detected at a cycle close to the scanning frequency fr of the optical scanning unit 1001. The frequency fr is a frequency of several tens of kilohertz or more.

一方、強膜反射光は、フレームレートＮｆに近い周期で検出される。図２３は、強膜反射を用いた視線検出におけるレーザ光の走査角度情報（横ビーム角度、及び縦ビーム角度）と、第１受光部１０３１及び第２受光部１０３２によって検出される受光信号の時系列変化を示している。フレームレートＮｆは数１０ヘルツ程度である。 On the other hand, the scleral reflected light is detected at a period close to the frame rate Nf. FIG. 23 shows the scanning angle information (horizontal beam angle and vertical beam angle) of the laser beam in the line-of-sight detection using scleral reflection, and the light receiving signal detected by the first light receiving unit 1031 and the second light receiving unit 1032. It shows a series change. The frame rate Nf is about several tens of hertz.

そこで、強膜反射を用いて視線検出を行う場合には、図１２に示された視線方向判定部１０３３の第１の構成例における信号処理部９０１，９０２に、例えばカットオフ周波数１００〜１０００ヘルツのローパスフィルタを組み込めばよい。これにより、信号処理部９０１，９０２が出力する出力信号Ｖ１，Ｖ２に強膜反射成分を抽出し、角膜反射成分を排除することができる。 Therefore, when the line-of-sight detection is performed using the scleral reflection, the signal processing units 901 and 902 in the first configuration example of the line-of-sight direction determination unit 1033 shown in FIG. 12 have a cutoff frequency of 100 to 1000 Hz, for example. The low-pass filter of can be incorporated. As a result, the scleral reflection component can be extracted from the output signals V1 and V2 output by the signal processing units 901 and 902, and the corneal reflection component can be eliminated.

反対に、角膜反射を用いて視線検出を行う場合には、図１６に示された視線方向判定部１０３３の第２の構成例における信号処理部１３０１，１３０２に、例えばカットオフ周波数１００〜１０００ヘルツのハイパスフィルタを組み込めばよい。これにより、信号処理部１３０１，１３０２が出力する出力信号Ｖ１，Ｖ２に角膜反射成分を抽出し、強膜反射成分を排除することができる。 On the contrary, when the line-of-sight detection is performed using the corneal reflex, the signal processing units 1301 and 1302 in the second configuration example of the line-of-sight direction determination unit 1033 shown in FIG. 16 have a cutoff frequency of 100 to 1000 Hz, for example. High-pass filter can be incorporated. As a result, the corneal reflection component can be extracted from the output signals V1 and V2 output by the signal processing units 1301 and 1302, and the scleral reflection component can be eliminated.

また、強膜反射を用いて視線検出を行う場合には、図１２に示された視線方向判定部１０３３の第１の構成例を図２４に示すように変形してもよい。図２４は、視線方向判定部１０３３の第１の構成例の変形例を示している。該変形例は、図１２に示された第１の構成例に、演算部１４０６を追加したものである。演算部１４０６は、走査軌跡制御部１００７から１フレーム毎に入力されるタイミング情報に基づき、除算部９０５の出力を１フレーム間で平均化する。これにより、演算部１４０６から出力される視線信号Ｖｓには、図２３に示す第１受光部１０３１及び第２受光部１０３２の平均値Ｖ１ａｖｅ，Ｖ２ａｖｅのように、走査の周波数ｆｒに比べて十分に遅い変動成分のみが残り、強膜反射成分のみを抽出することができる。 Further, when the line-of-sight detection is performed using the scleral reflection, the first configuration example of the line-of-sight direction determination unit 1033 shown in FIG. 12 may be modified as shown in FIG. 24. FIG. 24 shows a modified example of the first configuration example of the line-of-sight direction determination unit 1033. In the modified example, the calculation unit 1406 is added to the first configuration example shown in FIG. The calculation unit 1406 averages the output of the division unit 905 between frames based on the timing information input from the scanning locus control unit 1007 for each frame. As a result, the line-of-sight signal Vs output from the calculation unit 1406 is sufficiently higher than the scanning frequency fr, as in the average values V1ave and V2ave of the first light receiving unit 1031 and the second light receiving unit 1032 shown in FIG. Only the slow fluctuating component remains and only the scleral reflection component can be extracted.

以上に説明した本発明の第１の実施の形態に係る表示装置１０によれば、光源部１００２が映像を表示するための光源と視線検出のための光源とを兼ねるので、視線検出専用の光源を設ける場合に比べて、消費電力を抑えることができる。また、表示装置１０によれば、導光光学系１０２０にてレーザ光を複数に分割してユーザの眼球３０に照射するので、レーザ光を眼球３０の所定の位置に照射するような正確な位置決めを行うことなく、高精度の視線検出を行うことが可能となる。 According to the display device 10 according to the first embodiment of the present invention described above, since the light source unit 1002 also serves as a light source for displaying an image and a light source for detecting the line of sight, a light source dedicated to detecting the line of sight. Power consumption can be suppressed as compared with the case of providing. Further, according to the display device 10, since the laser beam is divided into a plurality of parts by the light guide optical system 1020 and irradiated to the user's eyeball 30, accurate positioning such that the laser beam is irradiated to a predetermined position of the eyeball 30 is performed. It is possible to perform highly accurate line-of-sight detection without performing.

＜本発明の第２の実施の形態に係る表示装置４０の構成例＞
次に、図２５は、本発明の第２の実施の形態に係る表示装置４０の構成例を示している。 <Structure example of the display device 40 according to the second embodiment of the present invention>
Next, FIG. 25 shows a configuration example of the display device 40 according to the second embodiment of the present invention.

表示装置４０は、表示装置１０（図１）に、第１光取込部１０４１、及び第２光取込部１０４２を追加したものである。なお、表示装置４０の構成要素のうち、表示装置１０の構成要素と共通するものについては同一の符号を付してその説明を省略する。 The display device 40 is a display device 10 (FIG. 1) to which a first light capture unit 1041 and a second light capture unit 1042 are added. Of the components of the display device 40, those that are common to the components of the display device 10 are designated by the same reference numerals and the description thereof will be omitted.

第１光取込部１０４１、及び第２光取込部１０４２は、それぞれ光ファイバから成り、光ファイバの一端の開口が、導光光学系１０２０を挟んで眼球３０の位置に対して略等しい距離に配置される。また、第１光取込部１０４１、及び第２光取込部１０４２をそれぞれ成す光ファイバの他端の開口は、第１受光部１０３１、及び第２受光部１０３２の受光面に向けて配置されている。なお、第１光取込部１０４１、及び第２光取込部１０４２は、レンズ等の光学素子を含んでもよい。 The first light capture unit 1041 and the second light capture unit 1042 are each made of an optical fiber, and the opening at one end of the optical fiber is a distance substantially equal to the position of the eyeball 30 with the light guide optical system 1020 in between. Is placed in. Further, the openings at the other ends of the optical fibers forming the first light capture unit 1041 and the second light capture unit 1042 are arranged toward the light receiving surfaces of the first light receiving unit 1031 and the second light receiving unit 1032. ing. The first light capture unit 1041 and the second light capture unit 1042 may include an optical element such as a lens.

すなわち、第１光取込部１０４１、及び第２光取込部１０４２は、導光光学系１０２０から出射されて眼球３０にて反射（散乱を含む）した反射光を取り込んで、第１受光部１０３１または第２受光部１０３２に導光することができる。 That is, the first light capture unit 1041 and the second light capture unit 1042 capture the reflected light emitted from the light guide optical system 1020 and reflected (including scattering) by the eyeball 30, and the first light receiving unit 1041 The light can be guided to 1031 or the second light receiving unit 1032.

したがって、本発明の第２の実施の形態に係る表示装置４０によれば、表示装置１０（図１）と同様の効果を実現できる。また、表示装置４０によれば、眼球３０に近接する導光光学系１０２０と、第１受光部１０３１及び第２受光部１０３２とを物理的に離して配置することができる。よって、表示装置４０においては、第１受光部１０３１及び第２受光部１０３２を、ユーザが装着する眼鏡型等の装着部位から分離して設けることができ、該装着部位の軽量小型化を実現できる。 Therefore, according to the display device 40 according to the second embodiment of the present invention, the same effect as that of the display device 10 (FIG. 1) can be realized. Further, according to the display device 40, the light guide optical system 1020 close to the eyeball 30 and the first light receiving unit 1031 and the second light receiving unit 1032 can be physically separated from each other. Therefore, in the display device 40, the first light receiving unit 1031 and the second light receiving unit 1032 can be provided separately from the wearing part such as the eyeglass type worn by the user, and the weight and size of the wearing part can be reduced. ..

＜本発明の第３の実施の形態に係る表示装置５０の構成例＞
図２６は、本発明の第３の実施の形態に係る表示装置５０の構成例を示している。 <Structure example of the display device 50 according to the third embodiment of the present invention>
FIG. 26 shows a configuration example of the display device 50 according to the third embodiment of the present invention.

上述した表示装置１０，４０は、眼球３０の表面における強膜反射または角膜反射を用いて視線検出を行うが、表示装置５０は、眼球３０の眼底における網膜反射を用いて視線検出を行う。 The display devices 10 and 40 described above use the scleral reflex or the corneal reflex on the surface of the eyeball 30 to detect the line of sight, while the display device 50 uses the retinal reflex on the fundus of the eyeball 30 to detect the line of sight.

表示装置５０は、表示装置１０（図１）から第１受光部１０３１及び第２受光部１０３２を省略し、光分岐部１０６１及び受光部１０６２を追加したものである。なお、表示装置５０の構成要素のうち、表示装置１０の構成要素と共通するものについては同一の符号を付してその説明を省略する。 In the display device 50, the first light receiving unit 1031 and the second light receiving unit 1032 are omitted from the display device 10 (FIG. 1), and the optical branching unit 1061 and the light receiving unit 1062 are added. Of the components of the display device 50, those that are common to the components of the display device 10 are designated by the same reference numerals and the description thereof will be omitted.

光分岐部１０６１は、ハーフミラーやビームスプリッタプリズム、偏光ビームスプリッタ及び波長板からなる構成等によって実現される。光分岐部１０６１は、光走査部１００１から導光光学系１０２０の光入力部２２１（図８）に向けて出射されるレーザ光を透過する。また、光分岐部１０６１は、光出力部２２２から出射される反射光を受光部１０６２に向けて反射する。 The optical branching unit 1061 is realized by a configuration including a half mirror, a beam splitter prism, a polarizing beam splitter, and a wave plate. The optical branching unit 1061 transmits the laser light emitted from the optical scanning unit 1001 toward the optical input unit 221 (FIG. 8) of the light guide optical system 1020. Further, the optical branching unit 1061 reflects the reflected light emitted from the light output unit 222 toward the light receiving unit 1062.

受光部１０６２は、ＰＤ等の光電変換素子から成り、光分岐部１０６１にて反射した反射光を検出し、検出強度を表す受光信号を視線方向判定部１０３３に出力する。 The light receiving unit 1062 is composed of a photoelectric conversion element such as a PD, detects the reflected light reflected by the optical branching unit 1061, and outputs a light receiving signal indicating the detection intensity to the line-of-sight direction determination unit 1033.

次に、図２７は、光分岐部１０６１及び受光部１０６２の配置例を示している。光分岐部１０６１は、光走査部１００１から導光光学系１０２０に対して出射されるレーザ光の光路に配置される。 Next, FIG. 27 shows an arrangement example of the optical branching portion 1061 and the light receiving portion 1062. The optical branching unit 1061 is arranged in the optical path of the laser light emitted from the optical scanning unit 1001 to the light guide optical system 1020.

表示装置５０においては、導光光学系１０２０にて複数に分割され、光出力部２２２（図８）から出射された光線１８０１の一部が、眼球３０の網膜にて反射される。その反射光１８１０は、導光光学系１０２０の光入力部２２１に入射してその内部を伝搬し、光出力部２２２から出射され、光分岐部１０６１により受光部１０６２に向けて反射され、受光部１０６２に検出される。 In the display device 50, a part of the light beam 1801 emitted from the light output unit 222 (FIG. 8) is reflected by the retina of the eyeball 30 after being divided into a plurality of parts by the light guide optical system 1020. The reflected light 1810 enters the light input unit 221 of the light guide optical system 1020, propagates inside the light input unit 221 and is emitted from the light output unit 222, reflected by the optical branching unit 1061 toward the light receiving unit 1062, and is reflected toward the light receiving unit 1062. Detected at 1062.

なお、図２７は、眼球３０が正面を向いている場合を示しており、この場合、瞳孔から眼球３０に内部に入射したレーザ光は網膜にて瞳孔に向けて正反射されて導光光学系１０２０の光入力部２２１に戻ることができる。よって、受光部１０６２は、反射光を検出できるので、受光信号の値が大きくなる。一方、眼球３０が正面を向いていない場合、瞳孔から眼球３０に内部に入射したレーザ光は網膜にて瞳孔以外の方向に向けて正反射されるので、導光光学系１０２０の光入力部２２１に戻ることができない。よって、受光部１０６２は、反射光を検出できず、受光信号の値は小さくなる。 Note that FIG. 27 shows a case where the eyeball 30 is facing the front. In this case, the laser beam incident on the inside of the eyeball 30 from the pupil is specularly reflected by the retina toward the pupil, and the light guide optical system. It is possible to return to the optical input unit 221 of 1020. Therefore, since the light receiving unit 1062 can detect the reflected light, the value of the light receiving signal becomes large. On the other hand, when the eyeball 30 is not facing the front, the laser beam incident on the inside of the eyeball 30 from the pupil is specularly reflected by the retina in a direction other than the pupil, so that the light input unit 221 of the light guide optical system 1020 I can't go back to. Therefore, the light receiving unit 1062 cannot detect the reflected light, and the value of the light receiving signal becomes small.

よって、本発明の第３の実施の形態に係る表示装置５０によれば、視線方向判定部１０３３にて受光部１０６２による受光信号の変化に基づき、ユーザの眼球３０が正面を向いているか否かを判定することができる。 Therefore, according to the display device 50 according to the third embodiment of the present invention, whether or not the user's eyeball 30 is facing the front based on the change of the light receiving signal by the light receiving unit 1062 in the line-of-sight direction determination unit 1033. Can be determined.

本発明は、上記した実施形態や変形例に限定されるものではなく、さらに様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described embodiments and modifications, and further includes various modifications. For example, each of the above-described embodiments has been described in detail in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those including all the components described above. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration.

１０・・・表示装置、２０・・・外部制御装置、３０・・・眼球、４０・・・表示装置、５０・・・表示装置、６０・・・スクリーン、１０１・・・加振部、１０２・・・導光路、１０２ａ・・・自由端、１０３・・・接合部、１０４・・・レンズ、１０５・・・外装部、１０６・・・支持部材、１０７・・・電気配線部、２２０・・・導光板、２２１・・・光入力部、２２２・・・光出力部、２２３，２２４・・・内側反射面、４０１・・・光ファイバ走査デバイス、６０１・・・可動ミラー走査デバイス、６０２・・・鏡面部、６０３・・・入射光、６０４・・・出射光、７０１・・・スポット、７０２・・・軌跡、７１０・・・スポット群、８０１・・・導光板、８０２〜８０４・・・回折領域、８１１・・・導光板、８１２，８１３・・・回折領域、８２１・・・導光板、８２２・・・入射面、８２３・・・部分反射面、８２４・・・光出力面、９０１，９０２・・・信号処理部、９０３・・・減算部、９０４・・・加算部、９０５・・・除算部、１００１・・・光走査部、１００２・・・光源部、１００３・・・光源制御部、１００４・・・発光制御部、１００５・・・映像制御部、１００６・・・映像情報記憶部、１００７・・・走査軌跡制御部、１００８・・・駆動信号生成部、１００９・・・駆動制御部、１０１０・・・統括部、１０１１・・・記憶部、１０１２・・・入出力制御部、１０２０・・・導光光学系、１０３１・・・第１受光部、１０３２・・・第２受光部、１０３３・・・視線方向判定部、１０４１・・・第１光取込部、１０４２・・・第２光取込部、１０６１・・・光分岐部、１０６２・・・受光部、１３０１・・・信号処理部、１３０２・・・信号処理部、１３０３・・・ピーク検出部、１３０４・・・ピーク検出部、１３０５，１４０６・・・演算部、１８０１・・・光線、１８０２・・・白目散乱光、１８０３・・・黒目散乱光、１８０４，１８１０・・・反射光、３００１・・・赤色ＬＤ、３００２・・・緑色ＬＤ，３００３・・・青色ＬＤ、
３００４〜３００６・・・電流制限抵抗、３００７・・・赤外ＬＤ、３００８・・・電流制限抵抗 10 ... Display device, 20 ... External control device, 30 ... Eyeball, 40 ... Display device, 50 ... Display device, 60 ... Screen, 101 ... Vibration unit, 102 ... light guide path, 102a ... free end, 103 ... joint, 104 ... lens, 105 ... exterior, 106 ... support member, 107 ... electrical wiring, 220. ... Light guide plate, 221 ... Optical input unit, 222 ... Optical output unit, 223, 224 ... Inner reflective surface, 401 ... Optical fiber scanning device, 601 ... Movable mirror scanning device, 602 ... Mirror surface, 603 ... Incident light, 604 ... Emission light, 701 ... Spot, 702 ... Trajectory, 710 ... Spot group, 801 ... Light guide plate, 802 to 804 ...・ ・ Diffraction region, 811 ・ ・ ・ light guide plate, 812, 813 ・ ・ ・ diffraction region, 821 ・ ・ ・ light guide plate, 822 ... , 901, 902 ... signal processing unit, 903 ... subtraction unit, 904 ... addition unit, 905 ... division unit, 1001 ... optical scanning unit, 1002 ... light source unit, 1003 ... Light source control unit, 1004 ... Light emission control unit, 1005 ... Video control unit, 1006 ... Video information storage unit, 1007 ... Scan locus control unit, 1008 ... Drive signal generation unit, 1009.・ ・ Drive control unit, 1010 ... Control unit, 1011 ... Storage unit, 1012 ... Input / output control unit, 1020 ... Light guide optical system, 1031 ... First light receiving unit, 1032 ... 2nd light receiving unit, 1033 ... Line-of-sight direction determination unit, 1041 ... 1st light capturing unit, 1042 ... 2nd light capturing unit, 1061 ... Optical branching unit, 1062 ... Light receiving Unit, 1301 ... Signal processing unit, 1302 ... Signal processing unit, 1303 ... Peak detection unit, 1304 ... Peak detection unit, 1305, 1406 ... Calculation unit, 1801 ... Ray, 1802 ... White-eyed scattered light, 1803 ... Black-eyed scattered light, 1804, 1810 ... Reflected light, 3001 ... Red LD, 3002 ... Green LD, 3003 ... Blue LD,
3004 to 3006 ... current limiting resistor, 3007 ... infrared LD, 3008 ... current limiting resistor

Claims (10)

光を出射する光源部と、
前記光源部によって出射された前記光の照射位置を走査する光走査部と、
前記光走査部から出射された前記光を複数に分割して出射する導光光学系と、
前記導光光学系からユーザの眼球に向けて出射された前記光の前記眼球における散乱光または反射光を受光して受光信号を生成する受光部と、
前記受光信号に基づき、前記ユーザの視線方向を判定する視線方向判定部と、
を備えることを特徴とする視線検出装置。 A light source that emits light and
An optical scanning unit that scans the irradiation position of the light emitted by the light source unit, and
A light guide optical system that divides the light emitted from the optical scanning unit into a plurality of light and emits the light.
A light receiving unit that generates a light receiving signal by receiving scattered light or reflected light in the eyeball of the light emitted from the light guide optical system toward the user's eyeball.
A line-of-sight direction determination unit that determines the line-of-sight direction of the user based on the received signal,
A line-of-sight detection device comprising. 請求項１に記載の視線検出装置であって、
前記光走査部は、映像情報に基づいて前記光の照射位置を走査することにより、前記映像情報に対応する映像を前記ユーザに視認させる
ことを特徴とする視線検出装置。 The line-of-sight detection device according to claim 1.
The optical scanning unit is a line-of-sight detection device characterized in that the user visually recognizes an image corresponding to the image information by scanning the irradiation position of the light based on the image information. 請求項１に記載の視線検出装置であって、
複数の前記受光部を備え、
複数の前記各受光部は、前記導光光学系の周囲の異なる位置に配置されている
ことを特徴とする視線検出装置。 The line-of-sight detection device according to claim 1.
With a plurality of the light receiving parts
A line-of-sight detection device, wherein each of the plurality of light receiving units is arranged at different positions around the light guide optical system. 請求項１に記載の視線検出装置であって、
前記視線方向判定部は、前記光走査部の走査による前記光の照射位置を表す走査角度情報、及び前記受光信号に基づき、前記ユーザの視線方向を判定する
ことを特徴とする視線検出装置。 The line-of-sight detection device according to claim 1.
The line-of-sight direction determination unit is a line-of-sight detection device that determines the line-of-sight direction of the user based on scanning angle information representing the irradiation position of the light by scanning the light scanning unit and the received signal. 請求項１に記載の視線検出装置であって、
前記視線方向判定部は、前記光源部の発光強度情報、及び前記受光信号に基づき、前記ユーザの視線方向を判定する
ことを特徴とする視線検出装置。 The line-of-sight detection device according to claim 1.
The line-of-sight direction determination unit is a line-of-sight detection device that determines the line-of-sight direction of the user based on the light emission intensity information of the light source unit and the received light signal. 請求項１に記載の視線検出装置であって、
前記導光光学系から前記ユーザの眼球に向けて出射された前記光の前記眼球における散乱光または反射光を取り込んで前記受光部まで伝搬する光取込部を、
備えることを特徴とする視線検出装置。 The line-of-sight detection device according to claim 1.
A light capture unit that captures scattered or reflected light of the light emitted from the light guide optical system toward the user's eyeball and propagates to the light receiving portion.
A line-of-sight detection device characterized by being provided. 請求項１に記載の視線検出装置であって、
前記光走査部から出射され、前記導光光学系の光入力部に入射されて前記導光光学系の光出力部から前記ユーザの前記眼球に向けて出射され、前記眼球にて散乱または反射して前記導光光学系の前記光出力部に入射し、前記光入力部から出射された前記散乱光または前記反射光を前記受光部の方向に反射する光分岐部を、
備えることを特徴とする視線検出装置。 The line-of-sight detection device according to claim 1.
It is emitted from the optical scanning unit, incident on the light input unit of the light guide optical system, emitted from the light output unit of the light guide optical system toward the user's eyeball, and scattered or reflected by the eyeball. A light branching portion that is incident on the light output portion of the light guide optical system and reflects the scattered light or the reflected light emitted from the light input portion in the direction of the light receiving portion.
A line-of-sight detection device characterized by being provided. 請求項７に記載の視線検出装置であって、
前記光分岐部は、前記光走査部から前記導光光学系の前記光入力部までの光路に配置され、前記光走査部から出射され、前記導光光学系の前記光入力部に入射される前記光を透過する
ことを特徴とする視線検出装置。 The line-of-sight detection device according to claim 7.
The optical branching portion is arranged in an optical path from the optical scanning portion to the optical input portion of the light guide optical system, is emitted from the optical scanning unit, and is incident on the optical input portion of the light guide optical system. A line-of-sight detection device characterized by transmitting the light. 視線検出装置による視線検出方法であって、
光源部から出射され、光走査部によって照射位置が走査された光を複数に分割してユーザの眼球に向けて出射する出射ステップと、
前記光の前記眼球における散乱光または反射光を受光して受光信号を生成する生成ステップと、
前記受光信号に基づき、前記ユーザの視線方向を判定する判定ステップと、
を含むことを特徴とする視線検出方法。 It is a line-of-sight detection method using a line-of-sight detection device.
An emission step in which light emitted from a light source unit and whose irradiation position is scanned by an optical scanning unit is divided into a plurality of pieces and emitted toward the user's eyeball.
A generation step of receiving scattered light or reflected light of the light in the eyeball to generate a received signal.
A determination step for determining the line-of-sight direction of the user based on the received signal,
A line-of-sight detection method comprising. 光を出射する光源部と、
前記光源部によって出射された前記光の照射位置を映像情報に基づいて走査する光走査部と、
前記光走査部から出射された前記光を複数に分割して出射する導光光学系と、
前記導光光学系からユーザの眼球に向けて出射された前記光の前記眼球における散乱光または反射光を受光して受光信号を生成する受光部と、
前記受光信号に基づき、前記ユーザの視線方向を判定する視線方向判定部と、
を備えることを特徴とする表示装置。 A light source that emits light and
An optical scanning unit that scans the irradiation position of the light emitted by the light source unit based on image information, and
A light guide optical system that divides the light emitted from the optical scanning unit into a plurality of light and emits the light.
A light receiving unit that generates a light receiving signal by receiving scattered light or reflected light in the eyeball of the light emitted from the light guide optical system toward the user's eyeball.
A line-of-sight direction determination unit that determines the line-of-sight direction of the user based on the received signal,
A display device comprising.
JP2019056749A 2019-03-25 2019-03-25 Line-of-sight detection device, line-of-sight detection method, and display device Active JP7163230B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019056749A JP7163230B2 (en) 2019-03-25 2019-03-25 Line-of-sight detection device, line-of-sight detection method, and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019056749A JP7163230B2 (en) 2019-03-25 2019-03-25 Line-of-sight detection device, line-of-sight detection method, and display device

Publications (2)

Publication Number Publication Date
JP2020160141A true JP2020160141A (en) 2020-10-01
JP7163230B2 JP7163230B2 (en) 2022-10-31

Family

ID=72643096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019056749A Active JP7163230B2 (en) 2019-03-25 2019-03-25 Line-of-sight detection device, line-of-sight detection method, and display device

Country Status (1)

Country Link
JP (1) JP7163230B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021724A1 (en) * 2021-08-18 2023-02-23 ソニーグループ株式会社 Eyeball information detection device, display device, eyeball information detection method and display method
WO2024174769A1 (en) * 2023-02-24 2024-08-29 海思视康(上海)生物医学科技有限公司 Positioning device and measuring apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009041055A1 (en) * 2007-09-26 2009-04-02 Panasonic Corporation Beam scan type display device, its display method, program, and integrated circuit
JP2013187794A (en) * 2012-03-09 2013-09-19 Seiko Epson Corp Virtual image display device
WO2017014137A1 (en) * 2015-07-17 2017-01-26 ソニー株式会社 Eyeball observation device, eyewear terminal, gaze detection method, and program
US20180278924A1 (en) * 2017-03-21 2018-09-27 Magic Leap, Inc. Method and system for tracking eye movement in conjunction with a light scanning projector

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009041055A1 (en) * 2007-09-26 2009-04-02 Panasonic Corporation Beam scan type display device, its display method, program, and integrated circuit
JP2013187794A (en) * 2012-03-09 2013-09-19 Seiko Epson Corp Virtual image display device
WO2017014137A1 (en) * 2015-07-17 2017-01-26 ソニー株式会社 Eyeball observation device, eyewear terminal, gaze detection method, and program
US20180278924A1 (en) * 2017-03-21 2018-09-27 Magic Leap, Inc. Method and system for tracking eye movement in conjunction with a light scanning projector

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023021724A1 (en) * 2021-08-18 2023-02-23 ソニーグループ株式会社 Eyeball information detection device, display device, eyeball information detection method and display method
WO2024174769A1 (en) * 2023-02-24 2024-08-29 海思视康(上海)生物医学科技有限公司 Positioning device and measuring apparatus

Also Published As

Publication number Publication date
JP7163230B2 (en) 2022-10-31

Similar Documents

Publication Publication Date Title
KR102594058B1 (en) Method and system for tracking eye movements with optical scanning projector
US8582206B2 (en) Laser-scanning virtual image display
US10371952B2 (en) Fresnel lens with dynamic pitch
CN109804296B (en) Image projection apparatus
JP2020115213A (en) Dual mixed light field device
CN113454515A (en) Holographic illuminator in field
KR20230074227A (en) Optical arrays for smart glasses
CN113646688A (en) Scanning projector display with multiple light engines
CN114815468A (en) Multi-plane projection with laser beam scanning in augmented reality displays
JP2020160141A (en) Sightline detection device, sightline detection method, and display device
CN113396355A (en) Image display apparatus and head mounted display
KR20220046494A (en) Eye tracking method and eye tracking sensor
WO2017056802A1 (en) Image projection device
US11714282B2 (en) Compact array light source for scanning display
JP2006039271A (en) Image display apparatus, reflection mirror thereof and image display method
JP7428028B2 (en) Rotation angle detection device for three-dimensional objects, retinal projection display device, head-mounted display device, optometry device, and input device
JP6783470B2 (en) Image projection device
NZ795513A (en) 3D object rendering using detected features
TW201834607A (en) Image display device with pupil tracking function and pupil tracking device thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221019

R151 Written notification of patent or utility model registration

Ref document number: 7163230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151