JP2009268778A - Image display apparatus, image display method, program and integrated circuit - Google Patents

Image display apparatus, image display method, program and integrated circuit Download PDF

Info

Publication number
JP2009268778A
JP2009268778A JP2008123087A JP2008123087A JP2009268778A JP 2009268778 A JP2009268778 A JP 2009268778A JP 2008123087 A JP2008123087 A JP 2008123087A JP 2008123087 A JP2008123087 A JP 2008123087A JP 2009268778 A JP2009268778 A JP 2009268778A
Authority
JP
Japan
Prior art keywords
display
user
reaction
information
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008123087A
Other languages
Japanese (ja)
Inventor
Keiji Sugiyama
圭司 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008123087A priority Critical patent/JP2009268778A/en
Publication of JP2009268778A publication Critical patent/JP2009268778A/en
Pending legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that abnormalities of the visual field are hardly recognized by a display apparatus such as HMD (head-mounted display) for display for both eyes of a user. <P>SOLUTION: The apparatus displays information of examination for the abnormalities of the visual field for either the right or left eye to determine the abnormalities of the visual field from the records of user's responses to the examination information. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、HMD(ヘッドマウントディスプレイ)等の表示装置に関するものである。   The present invention relates to a display device such as an HMD (head mounted display).

従来、HMD(ヘッドマウントディスプレイ)等の表示装置において、レーザ光を2次元走査して、眼の網膜に直描する方式(以下、レーザ走査方式、と記す)がある。(例えば、特許文献1参照)。レーザ走査方式の表示装置は、網膜走査ディスプレイ、網膜照射ディスプレイ、網膜直描ディスプレイ、レーザ走査ディスプレイ、直視型表示装置、RSD(Retinal Scanning Display:網膜走査ディスプレイ)、VRD(Virtual Retinal Display:仮想網膜ディスプレイ)、などとも呼ばれている。   Conventionally, in a display device such as an HMD (head-mounted display), there is a method (hereinafter referred to as a laser scanning method) in which laser light is two-dimensionally scanned and directly drawn on the retina of the eye. (For example, refer to Patent Document 1). Laser scanning display devices include a retinal scanning display, a retinal irradiation display, a direct retina display, a laser scanning display, a direct-view display device, an RSD (Retina Scanning Display), and a VRD (Virtual Retina Display). ), Etc.

図1に眼鏡型のHMDの構造の例を示す。図1では眼鏡フレームにレーザ光を発光する光源101、110、およびレーザ光の波面を制御する波面形状変更手段102、109、レーザ光を二次元方向に走査する走査手段103、108を搭載している。レーザ光は、走査手段によって眼鏡レンズに向かって投影され、眼鏡レンズの表面に備えられた偏向手段104、107によって、反射され、ユーザの眼に入射し、網膜上に画像を形成する。ここで偏向手段104、107にはハーフミラーやホログラム光学素子(HOE:Hologram Optical Element)などが用いられ、ユーザは外の景色と、レーザによって描かれる画像の両方を同時に視聴することが可能になる。また走査手段103、108には、一枚の単板ミラーを一軸、もしくは二軸方向に振動させることでレーザ光を二次元方向に走査するミラーデバイスなどが用いられる。   FIG. 1 shows an example of the structure of a glasses-type HMD. In FIG. 1, light source 101, 110 for emitting laser light, wavefront shape changing means 102, 109 for controlling the wavefront of the laser light, and scanning means 103, 108 for scanning the laser light in a two-dimensional direction are mounted on the spectacle frame. Yes. The laser light is projected toward the spectacle lens by the scanning means, reflected by the deflecting means 104 and 107 provided on the surface of the spectacle lens, is incident on the user's eye, and forms an image on the retina. Here, a half mirror, a hologram optical element (HOE), or the like is used for the deflecting means 104 and 107, and the user can view both the outside scenery and the image drawn by the laser at the same time. . For the scanning means 103 and 108, a mirror device that scans laser light in a two-dimensional direction by vibrating a single single-plate mirror in a uniaxial or biaxial direction is used.

また従来から存在するマイクロディスプレイ型のHMDでは、レーザ光源ではなく、液晶ディスプレイや有機ELディスプレイなどのマイクロディスプレイを光源として用い、マイクロディスプレイからの光を偏向手段によってユーザの眼に導く構成が用いられている。また図1のように左右の眼にそれぞれ表示部分を備えるHMDを本明細書では、以後、両眼HMDと記す。   In addition, a conventional micro display type HMD uses a configuration in which a micro display such as a liquid crystal display or an organic EL display is used as a light source instead of a laser light source, and light from the micro display is guided to a user's eyes by a deflecting unit. ing. Further, as shown in FIG. 1, an HMD provided with display portions in the left and right eyes is hereinafter referred to as a binocular HMD.

通常、両眼HMDで左右の眼に映像を表示する場合、人間が左右の眼で捉える映像の間には融像効果が働く。融像効果とは、ユーザが左右の眼のそれぞれでみた映像が、一つに合成されてユーザに認識される現象である。図3に融像効果の例を示す。301はユーザの左眼に対して表示される画像、302はユーザの右眼に対して表示される画像である。左右の眼に対してこのような画像が提示されたとき、人間の脳は左右の画像を一つに合成して認識するため、ユーザは301と302の画像が合成された画像303を、表示されている画像として認識する。   Normally, when a video is displayed on the left and right eyes with a binocular HMD, a fusion effect works between the images captured by humans with the left and right eyes. The fusion effect is a phenomenon in which videos viewed by the user with the left and right eyes are combined into one and recognized by the user. FIG. 3 shows an example of the fusion effect. 301 is an image displayed for the user's left eye, and 302 is an image displayed for the user's right eye. When such an image is presented to the left and right eyes, the human brain combines and recognizes the left and right images, so the user displays an image 303 in which the images 301 and 302 are combined. Is recognized as an image.

緑内障・加齢黄斑変性症などの病気によって、ユーザの右眼の視野に欠損が生じている場合、本来、ユーザの右眼が捉える画像は302に示すように画面の一部が欠けたものになる。しかしながら前述した両目の融像効果により、右眼で見えていない部分が存在しても、左眼が正常ならば、人間の脳は欠損がない映像303を認識してしまう。このことは視野の異常を補う効果がある反面、視野の異常の早期発見を妨げている原因となる。   When a defect occurs in the visual field of the user's right eye due to a disease such as glaucoma or age-related macular degeneration, the image captured by the user's right eye is originally a part of the screen lacking as shown in 302. Become. However, due to the above-described fusion effect of both eyes, even if there is a portion that is not visible with the right eye, if the left eye is normal, the human brain will recognize the image 303 without a defect. This has the effect of compensating for abnormalities in the visual field, but prevents early detection of visual field abnormalities.

従来、このような視野欠損を発見するためには、視野検査装置などが用いられる(例えば、特許文献2参照)。
特開平10−301055号公報 特開2003−000542号公報
Conventionally, in order to find such a visual field defect, a visual field inspection device or the like is used (see, for example, Patent Document 2).
JP 10-301055 A JP 2003-000542 A

両眼HMDによって左右の眼に同じ映像を表示する場合、片方の眼の視野に異常があるユーザであっても両眼の融像効果によってユーザが自身の視野の欠損部分に気付かず、目の病気が進行する、といった課題が生じる。   When the same image is displayed on the left and right eyes by the binocular HMD, even if the user has an abnormality in the visual field of one eye, the user does not notice a defect in his visual field due to the fusion effect of both eyes. The problem that disease progresses arises.

また従来の視野検査装置による視野異常の検査は、視野中央に視線を固定した状態で行われるためユーザに眼球の固定を強いることになり、ユーザに対する負担が大きく、また日常的に使用することは困難である。   In addition, inspection of visual field abnormalities with a conventional visual field inspection device is performed with the line of sight fixed at the center of the visual field, which forces the user to fix the eyeball, which places a heavy burden on the user and is not routinely used. Have difficulty.

本発明は前記課題を解決するもので、ユーザが日常的に使用する眼鏡型HMDに目の健康を検査する機能を備えることで、視野検査におけるユーザの負担を軽減し、視野欠損などの病状の自覚を促すことを図ることを目的とする。   The present invention solves the above-mentioned problems. By providing the eyeglass-type HMD used by the user on a daily basis with a function of inspecting eye health, the burden on the user in visual field inspection is reduced, and medical conditions such as visual field defects are reduced. The purpose is to promote awareness.

前記従来の課題を解決するために、本発明の画像表示装置は、ユーザの両眼に画像を表示する装置であって、眼の異常を検査するための検査情報をユーザの左右の眼のいずれかに対して表示する検査情報表示手段と、検査情報に対するユーザの反応を検知する反応検知手段と、前記反応検知手段の検知結果を反応履歴として管理する反応履歴管理手段と、前記反応履歴管理手段が管理する反応履歴から、ユーザに表示する検査情報の表示内容、表示サイズ、表示時間、表示位置の少なくとも一つを決定する検査方法制御手段とを備えることを特徴とする。   In order to solve the above-described conventional problems, an image display device according to the present invention is a device that displays an image on both eyes of a user, and provides inspection information for inspecting eye abnormalities in either of the left and right eyes of the user. Inspection information display means for displaying the reaction information, reaction detection means for detecting a reaction of the user to the inspection information, reaction history management means for managing the detection result of the reaction detection means as a reaction history, and the reaction history management means It comprises inspection method control means for determining at least one of display contents, display size, display time, and display position of the inspection information displayed to the user from the reaction history managed by.

本構成によって、両眼の融像効果の影響を受けることなくユーザの視野の欠損を早期に発見することが可能になる。   With this configuration, it is possible to detect a user's visual field loss early without being affected by the fusion effect of both eyes.

また、本発明の反応履歴管理手段が保持する反応履歴は、ユーザに表示した検査情報の表示位置、表示内容、表示サイズ、表示時間および表示情報に対するユーザの反応の有無に関する情報を備え、前記検査方法制御手段は、前記反応履歴においてユーザの反応が無かった表示位置に検査情報を表示する際には、前記反応履歴から過去にその表示位置に表示された検査情報の表示サイズおよび表示時間の少なくとも一方を取得し、新たに表示する検査情報の表示サイズおよび表示時間の少なくとも一方を、過去の検査情報の表示サイズおよび表示時間より大きくすることを特徴とする特徴とする。   In addition, the reaction history held by the reaction history management means of the present invention includes information on the display position, display content, display size, display time, and presence / absence of the user's reaction to the display information of the inspection information displayed to the user, When displaying test information at a display position where there has been no user response in the reaction history, the method control means includes at least a display size and a display time of the test information displayed at the display position in the past from the reaction history. One is acquired, and at least one of the display size and the display time of examination information to be newly displayed is made larger than the display size and the display time of past examination information.

本構成によって、ユーザの反応が無かった場所に対する情報の表示を段階的に大きくすることができ、ユーザの視野欠損の度合いを測ることが可能になる。   With this configuration, it is possible to gradually increase the display of information for a place where the user has not reacted, and to measure the degree of visual field loss of the user.

また、本発明の反応履歴管理手段が保持する反応履歴は、ユーザに表示した検査情報の表示位置、表示内容、表示サイズ、表示時間および表示情報に対するユーザの反応の有無に関する情報を備え、前記検査方法制御手段は、前記反応履歴においてユーザの反応が有った表示位置に検査情報を表示する際には、前記反応履歴から過去にその表示位置に表示された検査情報の表示サイズおよび表示時間の少なくとも一方を取得し、新たに表示する検査情報の表示サイズおよび表示時間の少なくとも一方を、過去の検査情報の表示サイズおよび表示時間より小さくすることを特徴とする特徴とする。   In addition, the reaction history held by the reaction history management means of the present invention includes information on the display position, display content, display size, display time, and presence / absence of the user's reaction to the display information of the inspection information displayed to the user, When displaying the test information at a display position where the user's reaction has occurred in the reaction history, the method control means is configured to display a display size and a display time of the test information displayed at the display position in the past from the reaction history. At least one of them is acquired, and at least one of the display size and display time of examination information to be newly displayed is made smaller than the display size and display time of past examination information.

本構成によって、ユーザの反応があった場所に対する情報の表示を段階的に小さくすることが可能になり、ユーザの視野の欠損をより詳細に判定することが可能になる。   With this configuration, it is possible to gradually reduce the display of information for a place where the user has reacted, and to determine in more detail the loss of the user's visual field.

また本発明の検査方法制御手段は、前記反応履歴管理手段が保持する反応履歴中に、ユーザが反応を示さなかった無反応箇所がある場合、検査情報の表示を新たに行う際には無反応箇所の近傍を表示位置として決定することを特徴とする。   In addition, the inspection method control means of the present invention, when there is a non-reactive portion in which the user did not show a reaction in the reaction history held by the reaction history management means, when the inspection information is newly displayed, there is no reaction The vicinity of the place is determined as the display position.

本構成によって、視野欠損の疑いがある箇所の視野を重点的に検査することが可能になる。   With this configuration, it is possible to focus on the visual field at a place where there is a suspicion of visual field loss.

また本発明の画像表示装置は、ユーザの視線を検出する視線検出手段を備え、前記検査方法制御手段は、検査情報の表示を新たに行う際には前記視線検出手段で検出されたユーザの視線位置から一定距離はなれた場所を表示位置として決定することを特徴とする。   The image display apparatus according to the present invention further includes line-of-sight detection means for detecting the line of sight of the user, and the inspection method control means detects the line of sight of the user detected by the line-of-sight detection means when newly displaying inspection information. The display position is determined at a location that is a certain distance from the position.

本構成によって、ユーザに視線の移動を促すことなく周辺視野部分の視野欠損を検査することが可能になる。   With this configuration, it is possible to inspect the visual field defect in the peripheral visual field portion without prompting the user to move the line of sight.

また本発明の画像表示装置はユーザの視線を検出する視線検出手段を備え、前記反応検知手段は、前記視線検出手段で検出されたユーザの視線位置の動きから、検査情報に対してユーザが反応を行ったかどうかを判断することを特徴とする。   The image display apparatus according to the present invention further includes a line-of-sight detection unit that detects a user's line of sight, and the reaction detection unit responds to the examination information from the movement of the user's line-of-sight position detected by the line-of-sight detection unit. It is characterized by determining whether or not.

本構成によって、検査情報に対する反応を自動的に取得することが可能になる。   With this configuration, it is possible to automatically obtain a response to inspection information.

ユーザが日常的に使用する眼鏡型HMDに目の異常を検査する機能を備えることで、視野欠損などの病状の自覚を促すことを図ることが可能になる。   By providing the eyeglass-type HMD used by the user with a function of inspecting eye abnormalities, it becomes possible to promote awareness of medical conditions such as visual field defects.

以下本発明の実施の形態について、図面を参照しながら説明する。   Embodiments of the present invention will be described below with reference to the drawings.

(実施の形態1)
図1に、本発明の実施の形態1における、メガネ形のHMD(ヘッドマウントディスプレイ)の構成図(平面図と側面図)を示す。図2は、図1の一部の詳細図である。
(Embodiment 1)
FIG. 1 shows a configuration diagram (a plan view and a side view) of a glasses-type HMD (head-mounted display) in Embodiment 1 of the present invention. FIG. 2 is a detailed view of a part of FIG.

図1、図2の構成図において、各構成要素とその関係を記す。   In the configuration diagrams of FIGS. 1 and 2, each component and its relationship are described.

光源101、110は、ビームを出力する。出力するビームは、図2に示すように、赤色レーザ光源211と青色レーザ光源212と緑色レーザ光源213および赤外線レーザ光源215から出力される各レーザ光を合波したレーザ光とし、各色レーザ光源からの出力を適切に変調することで、任意の色のレーザ光を出力できる。さらに、後述する波面形状変更手段や走査手段と連動させて変調することで、ユーザの眼の網膜上に映像を表示できる。   The light sources 101 and 110 output beams. As shown in FIG. 2, the beam to be output is a laser beam obtained by combining the laser beams output from the red laser light source 211, the blue laser light source 212, the green laser light source 213, and the infrared laser light source 215, and from each color laser light source. By appropriately modulating the output of, laser light of any color can be output. Furthermore, an image can be displayed on the retina of the user's eye by performing modulation in conjunction with wavefront shape changing means and scanning means described later.

なお、図2では211は赤色の半導体レーザ光源、212は青色の半導体レーザ光源とし、213は赤外線の半導体レーザ光源と、赤外線を緑色に変換するSHG(Second−Harmonic Generation:第2次高調波発生)素子の組合せとして図示してある。また215は213の緑色レーザの生成に用いる赤外線の半導体レーザを途中で分配して利用している。この構成を利用することで赤外線レーザと緑レーザの生成に同一の半導体レーザ光源を用いることができるため部品数およびコストを削減することが可能になる。なお213は緑色の半導体レーザ光源でもよいし、その場合、215は独自の半導体レーザ光源を保持してもよい。また各光源が固体レーザ、液体レーザ、ガスレーザ、発光ダイオードでもよい。   In FIG. 2, 211 is a red semiconductor laser light source, 212 is a blue semiconductor laser light source, 213 is an infrared semiconductor laser light source, and SHG (Second Harmonic Generation: Second Harmonic Generation) that converts infrared light into green. ) It is shown as a combination of elements. Reference numeral 215 uses an infrared semiconductor laser distributed in the middle of 213 for generating the green laser. By using this configuration, the same semiconductor laser light source can be used to generate the infrared laser and the green laser, so that the number of parts and the cost can be reduced. Note that 213 may be a green semiconductor laser light source, and in that case, 215 may hold its own semiconductor laser light source. Each light source may be a solid laser, a liquid laser, a gas laser, or a light emitting diode.

なお、図2では各レーザ光源でレーザ光の変調を行っているが、レーザ光源から出力された光を変調する手段を、レーザ光源と組み合わせて用いることで、レーザ光を変調してもよい。   In FIG. 2, the laser light is modulated by each laser light source, but the means for modulating the light output from the laser light source may be used in combination with the laser light source to modulate the laser light.

光源101、110は、図2の214の光検出手段を含む。光検出手段は、ユーザの眼の網膜からの反射光を検出することで、ユーザの網膜上のビームスポット径を検出する。   The light sources 101 and 110 include the light detection means 214 in FIG. The light detection means detects a beam spot diameter on the retina of the user by detecting reflected light from the retina of the user's eye.

なお光検出手段214は、CCDカメラなどの撮像素子であってもよい。この場合、網膜からの反射光によって、網膜像を生成し、そこに写されているビームスポットの大きさからビームスポット径を検出してもよい。   The light detection means 214 may be an image sensor such as a CCD camera. In this case, a retinal image may be generated by reflected light from the retina, and the beam spot diameter may be detected from the size of the beam spot reflected there.

波面形状変更手段102、109は、前記光源101、110からのビームの波面形状をそれぞれ変化させて、後述の偏向手段104、107で偏向されたビームのスポットサイズを所定の範囲内となるようにする。以後、ビームの「スポットサイズ」とは、ユーザの眼の網膜でのスポットサイズとして扱う。   The wavefront shape changing means 102 and 109 change the wavefront shapes of the beams from the light sources 101 and 110, respectively, so that the spot sizes of the beams deflected by the deflecting means 104 and 107 described later are within a predetermined range. To do. Hereinafter, the “spot size” of the beam is treated as the spot size on the retina of the user's eye.

「波面形状」とはビーム波面の3次元形状であり、平面、球面、非球面の形状を含む。   The “wavefront shape” is a three-dimensional shape of a beam wavefront, and includes flat, spherical, and aspherical shapes.

図2では201の焦点距離水平成分変更手段と、202の焦点距離垂直成分変更手段とを光路に直列に配置しており、これによって、波面形状の水平方向の曲率と垂直方向の曲率とを独立して変更できる。焦点距離水平成分変更手段201はシリンドリカルレンズとミラーとの距離を変更することで水平方向の曲率を変更している。焦点距離垂直成分変更手段202は焦点距離水平成分変更手段201のシリンドリカルレンズに対して垂直に配置したシリンドリカルレンズを用いることで、垂直方向の曲率を変更している。また、焦点距離水平成分変更手段201、焦点距離垂直成分変更手段202ともに、曲率の変更に伴い、ビームの直径も変更している。   In FIG. 2, the focal length horizontal component changing means 201 and the focal length vertical component changing means 202 are arranged in series in the optical path, so that the horizontal curvature and the vertical curvature of the wavefront shape are independent. Can be changed. The focal length horizontal component changing unit 201 changes the curvature in the horizontal direction by changing the distance between the cylindrical lens and the mirror. The focal length vertical component changing unit 202 changes the curvature in the vertical direction by using a cylindrical lens arranged perpendicular to the cylindrical lens of the focal length horizontal component changing unit 201. In addition, both the focal length horizontal component changing unit 201 and the focal length vertical component changing unit 202 change the beam diameter along with the change in curvature.

なお、水平方向の曲率を垂直方向よりも大きく変化させると、水平方向の変化に、より大きく対応できるので、画面の水平視野角を垂直視野角より大きくしたい場合や、側頭部に走査手段(後述)があるHMDのように、走査手段から偏向手段(後述)へのビームの水平入射角が垂直入射角よりも大きい場合に、特に有効となる。   In addition, if the curvature in the horizontal direction is changed more greatly than in the vertical direction, the change in the horizontal direction can be handled more greatly. Therefore, when the horizontal viewing angle of the screen is desired to be larger than the vertical viewing angle, the scanning means ( This is particularly effective when the horizontal incident angle of the beam from the scanning means to the deflecting means (described later) is larger than the vertical incident angle, as in an HMD that will be described later.

なお図2では、波面形状を表す項目のなかで、水平方向の曲率と垂直方向の曲率とそれぞれの直径という波面形状の一部のみを変更しているが、他の項目として波面内での曲率の分布や、波面端の形状やサイズなどを変更する手段があってもよい。   In FIG. 2, among the items representing the wavefront shape, only a part of the wavefront shape, that is, the curvature in the horizontal direction, the curvature in the vertical direction, and the diameter of each is changed. There may be means for changing the distribution of the wavefront, the shape and size of the wavefront end, and the like.

なお、図2の波面形状変更手段では、シリンドリカルレンズとミラーを用いて波面形状を変更するが、他の手段として、液晶レンズや、液体レンズ等の可変形状レンズや、回折素子や、EO素子(電気−光変換素子)などを用いてもよい。   The wavefront shape changing means in FIG. 2 changes the wavefront shape using a cylindrical lens and a mirror, but as other means, a liquid crystal lens, a variable shape lens such as a liquid lens, a diffraction element, an EO element ( An electro-optical conversion element) or the like may be used.

走査手段103、108は、それぞれ前記波面形状変更手段102、109からのビームを2次元走査する。走査手段は角度を2次元的に変更できる単板小型ミラーで、MEMS(Micro−Electro−Mechanical−System)マイクロミラーである。   Scanning means 103 and 108 two-dimensionally scan the beams from the wavefront shape changing means 102 and 109, respectively. The scanning means is a single-plate small mirror that can change the angle two-dimensionally, and is a MEMS (Micro-Electro-Mechanical-System) micromirror.

なお、走査手段は水平走査用と垂直走査用のように2種以上の走査手段の組合せで実現してもよい。   The scanning unit may be realized by a combination of two or more types of scanning units, such as for horizontal scanning and vertical scanning.

偏向手段104、107は、前記走査手段103、108で走査されたビームの向きをそれぞれユーザの眼に向かう方向へ変更する。104、107の偏向手段では、メガネのレンズの内側(眼の側)に、例えばフォトポリマー層が形成され、フォトポリマー層にはリップマン体積ホログラムが形成されて、走査手段からのビームがユーザの眼の瞳孔に回折・集光されるように製作されている。フォトポリマー層には赤色、緑色、青色、それぞれの光源からの光を反射する3つのホログラムを多重に形成してもよいし、それぞれの色の光に対応した3層のホログラムを積層してもよい。また、ホログラムの波長選択性を用いることで、光源波長の光のみが回折し、外界からの光のほとんどを占める光源波長以外の波長の光は回折の影響を受けないように製作することで、透過型のディスプレイとできる。またホログラムの波長選択性を利用して可視光線ビームと赤外線ビームで偏向手段の反射性能を異なるようにしてもよい。可視光線はユーザの瞳に入射し網膜上で集光するようにホログラムの作成を行い、赤外線は瞳ではなく上瞼および下瞼に照射されるようにホログラムの作成を行うことで、映像を視聴しながら赤外線によるマイボーム腺の刺激を行うことが可能になる。   The deflecting units 104 and 107 change the directions of the beams scanned by the scanning units 103 and 108, respectively, toward the user's eyes. In the deflecting means 104 and 107, for example, a photopolymer layer is formed on the inner side (eye side) of the spectacle lens, a Lippmann volume hologram is formed on the photopolymer layer, and the beam from the scanning means is transmitted to the user's eye. It is made to be diffracted and focused on the pupil. The photopolymer layer may be formed with multiple holograms reflecting red, green, and blue light from each light source, or three layers of holograms corresponding to each color light may be laminated. Good. In addition, by using the wavelength selectivity of the hologram, only light of the light source wavelength is diffracted, and light of wavelengths other than the light source wavelength that occupies most of the light from the outside world is not affected by diffraction, It can be a transmissive display. Further, the reflection performance of the deflecting means may be made different between the visible light beam and the infrared beam by utilizing the wavelength selectivity of the hologram. Viewing images by creating holograms so that visible light is incident on the user's pupil and focused on the retina, and holograms are created so that infrared rays are irradiated on the upper and lower eyelids instead of the pupil. It is possible to stimulate the meibomian glands with infrared rays.

なお、偏向手段はホログラムなどの回折素子による偏向に限定されず、凹面鏡などのミラーや、凸レンズなどのレンズでもよい。また偏向手段は、反射型スクリーンや透過型スクリーンのように、スクリーンにビームが当たって発散する結果、スクリーンからの発散光の一部がユーザの眼の方向へ変更される方式も含む。   The deflection means is not limited to deflection by a diffraction element such as a hologram, and may be a mirror such as a concave mirror or a lens such as a convex lens. The deflecting means also includes a method of changing a part of the diverging light from the screen toward the user's eyes as a result of the beam hitting the screen and diverging, such as a reflective screen or a transmissive screen.

制御手段105、111は、HMD各部を制御する集積回路を備える。各レーザの出力および、波面形状変更手段、走査手段の動作が制御手段105、111によって行われる。   The control means 105 and 111 include an integrated circuit that controls each part of the HMD. The outputs of the lasers and the operations of the wavefront shape changing means and the scanning means are performed by the control means 105 and 111.

図5に本実施の形態における制御手段105の機能ブロック図を示す。図5の各機能ブロック501から505については、後述する。   FIG. 5 shows a functional block diagram of the control means 105 in the present embodiment. The function blocks 501 to 505 in FIG. 5 will be described later.

なお、制御手段は、携帯電話等の周辺機器と無線接続して映像音声信号を受信する通信手段を備えてもよい。画像制御手段1804は、ユーザに提示すべき画像を格納したメモリを備えていてもよいし、もしくは無線によって外部機器からユーザに提示すべき画像を取得しても良い。   The control unit may include a communication unit that wirelessly connects to a peripheral device such as a mobile phone and receives a video / audio signal. The image control unit 1804 may include a memory that stores an image to be presented to the user, or may acquire an image to be presented to the user from an external device by wireless.

なお、制御手段105、111はひとつであってもよく、制御手段105もしくは111が左右の眼に対応するレーザ光源、波面形状変更手段、走査手段、ヘッドホンの動作を制御してもよい。   The control means 105 and 111 may be one, and the control means 105 or 111 may control the operations of the laser light source, the wavefront shape changing means, the scanning means, and the headphones corresponding to the left and right eyes.

ヘッドホン部106、112は、スピーカーを備え、音声を出力する。   The headphone units 106 and 112 include speakers and output sound.

なお、ヘッドホン部には、HMD各部へ電源供給するバッテリーを備えてもよい。   The headphone unit may include a battery that supplies power to each unit of the HMD.

なお、図1における各手段や各部は、1台のHMDに内蔵されていてもよいし、内蔵されていなくてもよい。例えば、図1各部の全てが、1台のHMDに含まれていてもよいし、ヘッドホン部がなくてもよい。また、各部が分散配置していてもよい。例えば、制御手段が走査手段や波面形状手段に一部含まれていてもよい。複数の機器で図1の各部を共有してもよい。例えば、レーザ光源を2つのHMDで共有してもよい。   In addition, each means and each part in FIG. 1 may be incorporated in one HMD, or may not be incorporated. For example, all the components in FIG. 1 may be included in one HMD, or the headphone unit may not be provided. Moreover, each part may be distributed. For example, the control means may be partly included in the scanning means and the wavefront shape means. 1 may be shared by a plurality of devices. For example, the laser light source may be shared by two HMDs.

以下に、図1のビーム走査型表示装置において、検査情報を表示することで、ユーザの視力、視野の異常を検査する処理の例を示す。   In the following, an example of processing for inspecting a user's visual acuity and visual field abnormality by displaying inspection information in the beam scanning display apparatus of FIG. 1 will be described.

図4に本実施の形態における検査情報の表示の例を示す。401は図1のHMDの左眼部分に表示する画像であり、402はHMDの右眼部分に表示する画像である。この例においては検査情報403が右眼に対してのみ表示されている。このような表示がなされた場合、ユーザが検査情報403に対して何の反応も示さなかった場合、検査情報403が表示されている右眼の視野に異常がある可能性がある。本発明の画像表示装置は、検査情報403の表示位置や表示サイズ、表示時間を変えながら、検査情報403に対するユーザの反応履歴を蓄積し、ユーザの左右の眼の視野に検査情報403に反応しない部分がないかどうかを判定する。なお図4の例では右目に検査情報が表示されているが、検査情報は左右の眼のどちらに表示しても良い。   FIG. 4 shows an example of display of inspection information in the present embodiment. 401 is an image displayed on the left eye portion of the HMD in FIG. 1, and 402 is an image displayed on the right eye portion of the HMD. In this example, the examination information 403 is displayed only for the right eye. When such a display is made, there is a possibility that there is an abnormality in the visual field of the right eye on which the examination information 403 is displayed when the user does not show any response to the examination information 403. The image display device of the present invention accumulates the user's reaction history for the examination information 403 while changing the display position, display size, and display time of the examination information 403, and does not react to the examination information 403 in the visual field of the left and right eyes of the user. Determine if there is a part. In the example of FIG. 4, the examination information is displayed on the right eye, but the examination information may be displayed on either the left or right eye.

本実施の形態においては検査情報による視野の異常の検査は図6に示すステップ601〜606を実行することよって行われる。   In the present embodiment, the visual field abnormality inspection based on the inspection information is performed by executing steps 601 to 606 shown in FIG.

(ステップ601 表示位置の決定)
本ステップでは、検査方法制御手段502が、検査情報を表示する位置を決定する。本実施の形態では検査方法制御手段502は検査情報の表示位置Xを決定する本ステップにおいて、図7に示すステップ701〜704の処理を実行する。
(Step 601 Determination of display position)
In this step, the inspection method control unit 502 determines the position where the inspection information is displayed. In the present embodiment, the inspection method control unit 502 executes the processing of steps 701 to 704 shown in FIG. 7 in this step of determining the display position X of the inspection information.

(ステップ701 無反応箇所の判定)
まず検査方法制御手段502は、反応履歴管理手段501から過去ユーザが検査情報に対してどのような反応を行ったかを示す反応履歴を取得する。図8に本実施の形態における反応履歴の例を示す。この例では、検査情報が左右の眼のどちらに表示されたかに関する情報、表示された検査情報の内容、表示位置、表示時刻およびその検査情報に対するユーザの反応の有無が反応履歴として記録されている。なお本実施の形態においては、過去に検査情報が表示された際にユーザが反応を示さなかった表示位置を無反応箇所、ユーザが反応を示した表示位置を反応箇所と記す。
(Step 701: Determination of unreacted location)
First, the inspection method control unit 502 acquires a reaction history indicating how the past user has reacted to the inspection information from the reaction history management unit 501. FIG. 8 shows an example of the reaction history in the present embodiment. In this example, information regarding which examination information is displayed on the left and right eyes, the contents of the displayed examination information, the display position, the display time, and the presence or absence of a user's reaction to the examination information are recorded as a reaction history. . In the present embodiment, a display position where the user has not shown a reaction when the examination information has been displayed in the past is referred to as a non-reaction place, and a display position where the user has shown a reaction is referred to as a reaction place.

検査方法制御手段502は、取得した反応履歴から無反応箇所があるかどうかを検査する。無反応箇所が存在する場合は、検査方法制御手段502はステップ702の処理を実行する。また、無反応箇所が無い場合には検査方法制御手段502はステップ703の処理を実行する。   The inspection method control unit 502 inspects whether or not there is a non-reactive portion from the acquired reaction history. If there is an unreacted location, the inspection method control unit 502 executes the process of step 702. If there is no unreacted part, the inspection method control unit 502 executes the process of step 703.

(ステップ702 前回の無反応箇所への表示からの経過時間の判定)
検査方法制御手段502は、反応履歴管理手段501から取得した反応履歴に存在する無反応箇所の内、もっとも過去に行われた表示の表示時刻Aを取得する。このとき、現在時刻が表示時刻Aから一定時間Bが経過している場合、検査方法制御手段502は、ステップ704の処理を行う。また、現在時刻が表示時刻Aから一定時間Bを経過していない場合、ステップ703の処理を行う。
(Step 702: Judgment of the elapsed time from the previous display at the no-reaction point)
The inspection method control unit 502 acquires the display time A of the display most recently performed among the non-reaction points existing in the reaction history acquired from the reaction history management unit 501. At this time, when the predetermined time B has elapsed from the display time A as the current time, the inspection method control unit 502 performs the process of step 704. If the current time has not passed the display time A for a certain time B, the process of step 703 is performed.

なお一定時刻Bの値は、検査方法制御手段502内の記録媒体に予め記録されている値を用いても良いし、HMDを利用するユーザが入力インターフェースを用いて入力した値を使用しても良い。   As the value of the fixed time B, a value recorded in advance on a recording medium in the inspection method control unit 502 may be used, or a value input by a user using the HMD using an input interface may be used. good.

(ステップ703 新規表示位置の決定)
検査方法制御手段502は、反応履歴管理手段501から取得した反応履歴の中から過去に情報が表示された位置に関する情報を取得し、過去に情報が表示されていない位置を検査情報の表示位置Xとして決定する。
(Step 703 Determination of new display position)
The inspection method control unit 502 acquires information related to the position where the information has been displayed in the past from the reaction history acquired from the reaction history management unit 501, and displays the position where the information has not been displayed in the past as the display position X of the inspection information. Determine as.

なお表示位置Xの決定に際しては、まず左右の眼のどちらに表示するかをランダムに決定してから、表示位置の座標をランダムに生成して、過去の表示位置と一致しないものを選択しても良いし、過去に表示された表示位置の中間の位置を表示位置Xとして決定しても良い。また反応履歴中に無反応箇所が存在する場合は、無反応箇所の近傍点を表示位置Xとして決定しても良い。この時、無反応箇所からの距離はランダムに決定しても良いし、検査方法制御手段502内の記録媒体内に記憶されている一定値を用いても良い。   When determining the display position X, first, it is determined at random which of the left and right eyes is displayed, then the coordinates of the display position are randomly generated, and the one that does not match the past display position is selected. Alternatively, an intermediate position between display positions displayed in the past may be determined as the display position X. Further, when there is a non-reacted location in the reaction history, a point near the non-reacted location may be determined as the display position X. At this time, the distance from the unreacted portion may be determined randomly, or a fixed value stored in the recording medium in the inspection method control means 502 may be used.

また光検出手段214の出力結果から、ユーザの現在の視線位置を検出し、ユーザの視線の位置から一定値はなれた場所を表示位置Xとして決定しても良い。この時、ユーザの視線位置からの距離はランダムに決定しても良いし、検査方法制御手段502内の記録媒体内に記憶されている一定値を用いても良い。また入力インターフェースを介してユーザが入力した値を用いても良い。   Alternatively, the user's current line-of-sight position may be detected from the output result of the light detection means 214, and a place that deviates from the user's line-of-sight position by a certain value may be determined as the display position X. At this time, the distance from the user's line-of-sight position may be determined randomly, or a fixed value stored in the recording medium in the inspection method control means 502 may be used. A value input by the user via the input interface may be used.

また、全ての表示位置に既に検査情報が表示されている場合には、もっとも古い時刻に表示された表示位置を表示位置Xとして選択しても良いし、表示座標をランダムに決定してその値を表示位置Xとして使用しても良い。また反応履歴の中から最も過去に表示された位置を表示位置Xとして使用しても良い。   If inspection information is already displayed at all display positions, the display position displayed at the oldest time may be selected as the display position X. May be used as the display position X. Further, the position displayed most recently in the reaction history may be used as the display position X.

(ステップ704 無反応箇所への再表示)
検査方法制御手段502は、反応履歴管理手段501から取得した反応履歴の中から、ユーザが反応を示さなかった無反応箇所の内、もっとも過去に行われた表示の表示位置を表示位置Xとして決定する。
(Step 704 Redisplay to unreacted location)
The inspection method control unit 502 determines, as the display position X, the display position of the display most recently performed among the non-reaction points where the user did not respond from the reaction history acquired from the reaction history management unit 501. To do.

検査方法制御手段502は、上記ステップ701〜704を実行して表示位置Xを決定すると、ステップ602の処理を行う。   When the inspection method control unit 502 determines the display position X by executing Steps 701 to 704, the inspection method control unit 502 performs the process of Step 602.

(ステップ602 検査情報の決定)
本ステップでは、検査方法制御手段502が、表示する検査情報Yを決定する。検査方法制御手段502は、検査情報管理手段503からユーザに表示可能な検査情報のリストを取得する。図9に本実施の形態において検査情報管理手段503が保持する検査情報リストの例を示す。この例では、各検査情報について、名称、表示に必要な時間、情報のサイズおよび視認性に関する情報が示されている。ここで視認性とはその情報の見易さを示す指標であり、色彩が明るいなどユーザにとって見やすい情報ほど大きい値が与えられる。なお各検査情報の視認性は、情報の作成者がメタデータとして予め作成しておいても良いし、検査情報管理手段503が情報の内容・大きさ・色情報から自動的に計算しても良い。またユーザが入力インターフェースから、各検査情報の自身にとっての視認性を入力しても良い。
(Step 602 Determination of inspection information)
In this step, the inspection method control means 502 determines inspection information Y to be displayed. The inspection method control unit 502 acquires a list of inspection information that can be displayed to the user from the inspection information management unit 503. FIG. 9 shows an example of an inspection information list held by the inspection information management means 503 in the present embodiment. In this example, information on the name, the time required for display, the size of information, and the visibility is shown for each inspection information. Here, the visibility is an index indicating the visibility of the information, and a larger value is given to information that is easy for the user to see such as bright colors. The visibility of each piece of inspection information may be created in advance by the creator of the information as metadata, or may be calculated automatically by the inspection information management means 503 from the information content, size, and color information. good. Further, the user may input the visibility of each piece of inspection information from the input interface.

検査方法制御手段502は、検査情報管理手段503から取得したリストの中からユーザに表示する検査情報Yを選択する。なお検査情報の選択はリストからランダムに選択しても良い。また前記ステップ601において決定した表示位置Xが、過去にユーザが反応しなかった無反応箇所である場合には、最も高い視認性を持つ情報を検査情報Yとして選択する方法を用いても良い。   The inspection method control unit 502 selects the inspection information Y to be displayed to the user from the list acquired from the inspection information management unit 503. The inspection information may be selected at random from the list. In addition, when the display position X determined in step 601 is a non-reactive portion where the user has not reacted in the past, a method of selecting information having the highest visibility as the inspection information Y may be used.

検査方法制御手段502は、検査情報Yを決定すると、ステップ603を実行する。   When the inspection method control unit 502 determines the inspection information Y, the inspection method control unit 502 executes Step 603.

(ステップ603 表示方法の決定)
本ステップでは、検査方法制御手段502が、前記ステップ601で決定した表示位置Xに、前ステップ602で選択した検査情報Yを表示する際の表示方法を決定する。本実施の形態においては、検査方法制御手段502は、検査情報Yの表示サイズαおよび表示時間βを決定する。
(Step 603 Determination of display method)
In this step, the inspection method control unit 502 determines a display method for displaying the inspection information Y selected in the previous step 602 at the display position X determined in the step 601. In the present embodiment, the inspection method control unit 502 determines the display size α and the display time β of the inspection information Y.

無反応箇所に表示する場合。   When displaying in an unreacted location.

表示位置Xが無反応箇所である場合、検査方法制御手段502は、反応履歴管理手段501が保持する反応履歴から、過去に表示位置Xに対して検査情報Yが表示されたことがあるかどうかを判定する。反応履歴において表示位置Xに対して検査情報Yが表示された履歴がある場合、検査方法制御手段502は、反応履歴の中から表示位置Xに検査情報Yが表示された際の表示サイズα0および表示時間β0を取得する。反応履歴の中に、表示位置Xに検査情報Yが表示された履歴が複数存在する場合には、最も新しく表示された検査情報の表示サイズα0および表示時間β0の情報を取得する。   When the display position X is a non-reaction location, the inspection method control unit 502 determines whether or not the inspection information Y has been displayed for the display position X in the past from the reaction history held by the reaction history management unit 501. Determine. When there is a history in which the inspection information Y is displayed for the display position X in the reaction history, the inspection method control unit 502 displays the display size α0 when the inspection information Y is displayed at the display position X from the reaction history and The display time β0 is acquired. When there are a plurality of histories in which the examination information Y is displayed at the display position X in the reaction history, information on the display size α0 and the display time β0 of the examination information displayed most recently is acquired.

検査方法制御手段502は、α0およびβ0の値を取得した後、検査情報Yの表示サイズαをα0のα1倍とし、表示時間βをβ0のβ1倍として決定する。ここでα1およびβ1は1より大きい値であり、ユーザの視野が欠損していないかどうかの判断を行うために、前回ユーザが反応しなかった箇所に、前回よりも大きい情報を長時間表示する。   After obtaining the values of α0 and β0, the inspection method control means 502 determines the display size α of the inspection information Y as α1 times α0 and the display time β as β1 times β0. Here, α1 and β1 are values larger than 1, and in order to determine whether or not the user's visual field is missing, information larger than the previous time is displayed for a long time at a location where the previous user did not react. .

なおα1、β1の値は、検査方法制御手段502内の記録媒体に予め記録されている値を用いても良いし、HMDを利用するユーザが入力インターフェースを用いて入力した値を使用しても良い。   As the values of α1 and β1, values recorded in advance on a recording medium in the inspection method control unit 502 may be used, or values input by the user using the HMD using the input interface may be used. good.

また過去に表示位置Xに対して検査情報Yが表示されたことが無い場合、検査方法制御手段502は、検査情報管理手段503が保持する検査情報Yの表示サイズおよび表示時間を、表示サイズαおよび表示時間βとして使用する。   When the inspection information Y has not been displayed for the display position X in the past, the inspection method control unit 502 sets the display size and the display time of the inspection information Y held by the inspection information management unit 503 as the display size α. And used as the display time β.

反応箇所に表示する場合。   When displayed at the reaction site.

表示位置Xが反応箇所である場合、検査方法制御手段502は、反応履歴管理手段501が保持する反応履歴から、過去に表示位置Xに検査情報Yが表示されたことがあるかどうかを判定する。反応履歴において表示位置Xに検査情報Yが表示された履歴がある場合、検査方法制御手段502は、反応履歴の中から表示位置Xに検査情報Yが表示された際の表示サイズα0および表示時間β0を取得する。反応履歴の中に、表示位置Xに対して検査情報Yが表示された履歴が複数存在する場合には、最も新しく表示された検査情報の表示サイズα0および表示時間β0の情報を取得する。   When the display position X is a reaction location, the inspection method control unit 502 determines whether or not the inspection information Y has been displayed at the display position X in the past from the reaction history held by the reaction history management unit 501. . When there is a history in which the examination information Y is displayed at the display position X in the reaction history, the examination method control unit 502 displays the display size α0 and the display time when the examination information Y is displayed at the display position X from the reaction history. Obtain β0. When there are a plurality of histories in which the examination information Y is displayed for the display position X in the reaction history, information on the display size α0 and the display time β0 of the examination information displayed most recently is acquired.

検査方法制御手段502は、α0およびβ0の値を取得した後、検査情報Yの表示サイズαをα0のα2倍とし、表示時間βをβ0のβ2倍として決定する。ここでα2およびβ2は1より小さい値であり、ユーザの視野が欠損していないかどうかの判断を行うために、前回ユーザが反応した箇所に、前回よりも小さい情報を短時間表示する。   After obtaining the values of α0 and β0, the inspection method control means 502 determines that the display size α of the inspection information Y is α2 times α0 and the display time β is β2 times β0. Here, α2 and β2 are values smaller than 1, and in order to determine whether or not the user's visual field is missing, information smaller than the previous time is displayed for a short time at the location where the previous user reacted.

なおα2、β2の値は、検査方法制御手段502内の記録媒体に予め記録されている値を用いても良いし、HMDを利用するユーザが入力インターフェースを用いて入力した値を使用しても良い。   As the values of α2 and β2, values recorded in advance on the recording medium in the inspection method control unit 502 may be used, or values input by the user using the HMD using the input interface may be used. good.

また過去に表示位置Xに対して検査情報Yが表示されたことが無い場合、検査方法制御手段502は、検査情報管理手段503が保持する検査情報Yの表示サイズおよび表示時間を、表示サイズαおよび表示時間βとして使用する。   When the inspection information Y has not been displayed for the display position X in the past, the inspection method control unit 502 sets the display size and the display time of the inspection information Y held by the inspection information management unit 503 as the display size α. And used as the display time β.

・表示位置Xに該当する反応履歴が無い場合。   ・ When there is no reaction history corresponding to the display position X.

過去、表示位置Xに対して検査情報の表示が行われたことが無い場合、検査方法制御手段502は、検査情報管理手段503が保持する検査情報Yの表示サイズおよび表示時間を、表示サイズαおよび表示時間βとして使用する。   If no inspection information has been displayed for the display position X in the past, the inspection method control unit 502 displays the display size and display time of the inspection information Y held by the inspection information management unit 503 as the display size α. And used as the display time β.

なお検査方法制御手段502は、検査情報管理手段503が保持する検査情報の表示サイズおよび表示時間にかかわらず、一定の表示サイズおよび表示時間で検査情報を表示する方法を用いても良い。この時の表示サイズおよび表示時間は、検査方法制御手段502内の記録媒体に予め記録されている値を用いても良いし、HMDを利用するユーザが入力インターフェースを用いて入力した値を使用しても良い。   Note that the inspection method control unit 502 may use a method of displaying the inspection information with a constant display size and display time regardless of the display size and display time of the inspection information held by the inspection information management unit 503. As the display size and display time at this time, values recorded in advance on the recording medium in the inspection method control unit 502 may be used, or values input by the user using the HMD using the input interface may be used. May be.

検査方法制御手段502は、ステップ601〜603によって表示位置X、検査情報Y、表示サイズα、表示時間βを決定すると、その情報を検査情報表示手段504に通知する。   When the display position X, the inspection information Y, the display size α, and the display time β are determined in steps 601 to 603, the inspection method control unit 502 notifies the inspection information display unit 504 of the information.

(ステップ604 検査情報の表示)
本ステップでは、検査情報表示手段504が前記601〜603において検査方法制御手段502が決定した検査情報Yを、表示サイズαで表示位置Xに対して、表示期間βの間表示するように制御を行う。本実施の形態においては、図1のHMDにおける光源101および110、波面形状変更手段102および109、走査手段103および108に対して検査情報表示手段504が制御を行うことでユーザの左右の眼のいずれか一方に対して検査情報の表示を行う。
(Step 604 Display of inspection information)
In this step, control is performed so that the inspection information display unit 504 displays the inspection information Y determined by the inspection method control unit 502 in the above-described 601 to 603 with respect to the display position X with the display size α during the display period β. Do. In the present embodiment, the examination information display means 504 controls the light sources 101 and 110, the wavefront shape changing means 102 and 109, and the scanning means 103 and 108 in the HMD in FIG. Inspection information is displayed on either one.

検査情報表示手段504が検査情報の表示を行うと、次に反応検知手段505がステップ605を実行する。   When the inspection information display unit 504 displays the inspection information, the reaction detection unit 505 next executes step 605.

(ステップ605 検査情報に対する反応検知)
本ステップでは、反応検知手段505が、前ステップ604で表示された検査情報Yに対するユーザの反応を検知する。
(Step 605 Detection of reaction to inspection information)
In this step, the reaction detection unit 505 detects the user's reaction to the examination information Y displayed in the previous step 604.

本実施の形態では、反応検知手段505は、光検出手段214の情報からユーザの視線の動きを計測し、検査情報Yにユーザが視線を向けたかどうかを判定する。   In the present embodiment, the reaction detection unit 505 measures the movement of the user's line of sight from the information of the light detection unit 214 and determines whether or not the user has turned his / her line of sight to the examination information Y.

なお、反応検知手段505は、検査情報Yに対してユーザがHMDに接続された入力インターフェースを利用して入力を行った場合に、反応があったと判断しても良い。   The reaction detection unit 505 may determine that there is a reaction when the user inputs the inspection information Y using an input interface connected to the HMD.

検査情報Yに対するユーザの反応を検知すると、反応検知手段505はその情報を反応履歴管理手段501に通知する。   When detecting the user's reaction to the examination information Y, the reaction detection unit 505 notifies the reaction history management unit 501 of the information.

(ステップ606 反応履歴更新)
本ステップでは、反応履歴管理手段501が、前ステップ605で反応検知手段505から通知されたユーザの反応結果に従って反応履歴の更新を行う。本実施の形態では、図8に示される反応履歴の表に対して、今回行われた検査情報の表示結果を追加する。
(Step 606 Reaction history update)
In this step, the reaction history management unit 501 updates the reaction history according to the reaction result of the user notified from the reaction detection unit 505 in the previous step 605. In the present embodiment, the display result of the examination information performed this time is added to the reaction history table shown in FIG.

上記ステップ601〜605を繰り返すことで、ユーザの左右の目のどちらかに視野の異常を検査するための情報を表示し、検査情報の表示位置に対するユーザの反応履歴を蓄積することが可能になる。特定の表示位置に対して、ユーザが反応を示さない場合、その部分の視野が欠損している可能性があるため、HMDはユーザに視野の異常を警告するメッセージを表示する。この処理を行うことで、通常では気付きにくい視野の異常を早期に発見することが可能になる。   By repeating the above steps 601 to 605, it is possible to display information for inspecting visual field abnormality in either of the user's left and right eyes, and to accumulate the user's reaction history for the display position of the inspection information. . If the user does not respond to a specific display position, there is a possibility that the visual field of that part may be lost, so the HMD displays a message warning the user of abnormal visual field. By performing this processing, it is possible to detect an abnormality in the visual field that is usually difficult to notice at an early stage.

なお、検査情報表示手段504は、検査情報Yだけを表示しても良いし、ユーザの左右の目に対してTV映像やHMDに接続されている外部機器からの映像を表示し、それらの映像の上に重畳するように検査画像Yを表示してもよい。図4の例では、検査情報Yは、映像の上に重畳表示されている例である。   Note that the examination information display means 504 may display only the examination information Y, or display TV images or images from external devices connected to the HMD for the left and right eyes of the user, and display these images. You may display the test | inspection image Y so that it may overlap on. In the example of FIG. 4, the inspection information Y is an example of being superimposed on the video.

なお、上記した各実施の形態での制御処理は、記憶装置(ROM、RAM、ハードディスク等)に格納された上述した処理手順を実行可能な所定のプログラムデータが、CPUによって解釈実行されることで実現される。この場合、プログラムデータは、記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。なお、記録媒体は、ROM、RAM、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、CD−ROMやDVDやBD等の光ディスクやSDカード等のメモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。   The control processing in each embodiment described above is performed by the CPU interpreting and executing predetermined program data stored in a storage device (ROM, RAM, hard disk, etc.) that can execute the processing procedure described above. Realized. In this case, the program data may be introduced into the storage device via the recording medium, or may be directly executed from the recording medium. The recording medium refers to a recording medium such as a semiconductor memory such as a ROM, a RAM, a flash memory, a magnetic disk memory such as a flexible disk or a hard disk, an optical disk such as a CD-ROM, DVD or BD, or a memory card such as an SD card. . The recording medium is a concept including a communication medium such as a telephone line or a conveyance path.

本発明にかかる画像表示装置は、検査方法制御手段などを有し、表示装置、表示システム、表示方法、表示プログラム、などの用途にも応用できる。   The image display apparatus according to the present invention includes an inspection method control unit and the like, and can be applied to uses such as a display apparatus, a display system, a display method, and a display program.

本発明の実施の形態1におけるビーム走査型表示装置の構成図1 is a configuration diagram of a beam scanning display device according to a first embodiment of the present invention. 本発明の実施の形態1におけるビーム走査型表示装置の詳細構成図1 is a detailed configuration diagram of a beam scanning display device according to Embodiment 1 of the present invention. 両眼による融像効果を例示する図Diagram illustrating the fusion effect with both eyes 本発明の実施の形態1における検査情報の表示の例を示す図The figure which shows the example of a display of the test | inspection information in Embodiment 1 of this invention 本発明の実施の形態1における制御手段の機能ブロック図Functional block diagram of control means in Embodiment 1 of the present invention 本発明の実施の形態1における視野検査機能のフローチャートFlowchart of visual field inspection function in Embodiment 1 of the present invention 本発明の実施の形態1における検査情報の表示位置決定のフローチャートFlowchart of determining display position of inspection information in Embodiment 1 of the present invention 本発明の実施の形態1におけるユーザの反応履歴の例を示す図The figure which shows the example of the reaction history of the user in Embodiment 1 of this invention 本発明の実施の形態1における検査情報のリストの例を示す図The figure which shows the example of the list | wrist of the inspection information in Embodiment 1 of this invention.

符号の説明Explanation of symbols

101 左眼用光源
102 左眼用波面形状変更手段
103 左眼用走査手段
104 左眼用偏向手段
105 左眼用制御手段
106 左眼用ヘッドホン部
110 右眼用光源
109 右眼用波面形状変更手段
108 右眼用走査手段
107 右眼用偏向手段
111 右眼用制御手段
112 右眼用ヘッドホン部
201 焦点距離水平成分変更手段
202 焦点距離垂直成分変更手段
211 赤色レーザ光源
212 青色レーザ光源
213 緑色レーザ光源
214 光検出手段
401 左眼画像
402 右眼画像
403 検査情報
101 Left-eye light source 102 Left-eye wavefront shape changing means 103 Left-eye scanning means 104 Left-eye deflection means 105 Left-eye control means 106 Left-eye headphone unit 110 Right-eye light source 109 Right-eye wavefront shape changing means 108 right-eye scanning means 107 right-eye deflection means 111 right-eye control means 112 right-eye headphone unit 201 focal length horizontal component changing means 202 focal length vertical component changing means 211 red laser light source 212 blue laser light source 213 green laser light source 214 Photodetection means 401 Left eye image 402 Right eye image 403 Examination information

Claims (9)

ユーザの両眼に画像を表示する装置であって、眼の異常を検査するための検査情報をユーザの左右の眼のいずれかに対して表示する検査情報表示手段と、
検査情報に対するユーザの反応を検知する反応検知手段と、
前記反応検知手段の検知結果を反応履歴として管理する反応履歴管理手段と、
前記反応履歴管理手段が管理する反応履歴から、ユーザに表示する検査情報の表示内容、表示サイズ、表示時間、表示位置の少なくとも一つを決定する検査方法制御手段とを
備えることを特徴とする画像表示装置。
An apparatus for displaying an image on both eyes of the user, and inspection information display means for displaying inspection information for inspecting an abnormality of the eye for either one of the left and right eyes of the user;
Reaction detection means for detecting a user's reaction to the inspection information;
Reaction history management means for managing the detection result of the reaction detection means as a reaction history;
An inspection method control means for determining at least one of display contents, display size, display time, and display position of inspection information to be displayed to the user from the reaction history managed by the reaction history management means. Display device.
前記反応履歴は、ユーザに表示した検査情報の表示位置、表示内容、表示サイズ、表示時間およびユーザの反応の有無に関する情報を備え、
前記検査方法制御手段は、前記反応履歴においてユーザの反応が無かった表示位置に検査情報を表示する際には、前記反応履歴から過去にその表示位置に表示された検査情報の表示サイズおよび表示時間の少なくとも一方を取得し、新たに表示する検査情報の表示サイズおよび表示時間の少なくとも一方を、過去の検査情報の表示サイズおよび表示時間より大きくすることを特徴とする特徴とする請求項1記載の画像表示装置。
The reaction history includes information on the display position, display contents, display size, display time, and presence / absence of the user's reaction of examination information displayed to the user,
When the inspection method is displayed at a display position where there has been no user response in the reaction history, the inspection method control means displays the display size and display time of the inspection information displayed at the display position in the past from the reaction history. The display size and the display time of examination information to be newly displayed are acquired and at least one of the display size and the display time of past examination information is made larger than the display size and the display time of past examination information. Image display device.
前記反応履歴は、ユーザに表示した検査情報の表示位置、表示内容、表示サイズ、表示時間および表示情報に対するユーザの反応の有無に関する情報を備え、
前記検査方法制御手段は、前記反応履歴においてユーザの反応が有った表示位置に検査情報を表示する際には、前記反応履歴から過去にその表示位置に表示された検査情報の表示サイズおよび表示時間の少なくとも一方を取得し、新たに表示する検査情報の表示サイズおよび表示時間の少なくとも一方を、過去の検査情報の表示サイズおよび表示時間より小さくすることを特徴とする特徴とする請求項1記載の画像表示装置。
The reaction history includes information on the presence / absence of the user's reaction to the display position, display content, display size, display time, and display information of the examination information displayed to the user,
When the inspection method is displayed at a display position where a user's reaction has occurred in the reaction history, the inspection method control means displays the display size and display of the inspection information previously displayed at the display position from the reaction history. 2. At least one of the times is acquired, and at least one of the display size and display time of examination information to be newly displayed is made smaller than the display size and display time of past examination information. Image display device.
前記検査方法制御手段は、前記反応履歴管理手段が保持する反応履歴中に、ユーザが反応を示さなかった無反応箇所がある場合、検査情報の表示を新たに行う際には無反応箇所の近傍を表示位置として決定することを特徴とする請求項1から3いずれかの1項記載の画像表示装置。 In the reaction history held by the reaction history management means, the inspection method control means, when there is a non-reactive location where the user did not show a reaction, in the vicinity of the non-reactive location when newly displaying the inspection information The image display device according to claim 1, wherein the display position is determined as a display position. ユーザの視線を検出する視線検出手段を備え、
前記検査方法制御手段は、検査情報の表示を新たに行う際には前記視線検出手段で検出されたユーザの視線位置から一定距離はなれた場所を表示位置として決定することを特徴とする請求項1から3いずれかの1項記載の画像表示装置。
Provided with gaze detection means for detecting the gaze of the user,
2. The inspection method control means, when a new display of inspection information is performed, determines a place separated from a user's line-of-sight position detected by the line-of-sight detection means as a display position. 4. The image display device according to any one of items 1 to 3.
ユーザの視線を検出する視線検出手段を備え、
前記反応検知手段は、前記視線検出手段で検出されたユーザの視線の動きから、検査情報に対してユーザが反応を行ったかどうかを判断することを特徴とする請求項1から3いずれかの1項記載の画像表示装置。
Provided with gaze detection means for detecting the gaze of the user,
4. The method according to claim 1, wherein the reaction detection unit determines whether or not the user has reacted to the examination information from the movement of the user's line of sight detected by the line of sight detection unit. The image display device according to item.
ユーザの両眼に画像を表示する装置であって、眼の異常を検査するための検査情報をユーザの左右の眼のいずれかに対して表示する検査情報表示ステップと、
検査情報に対するユーザの反応を検知する反応検知ステップと、
前記反応検知ステップの検知結果を反応履歴として管理する反応履歴管理ステップと、
前記反応履歴管理ステップが管理する反応履歴から、ユーザに表示する検査情報の種類、表示サイズ、表示時間、表示位置の少なくとも一つを決定する検査方法制御ステップとを
備えることを特徴とする画像表示方法。
An apparatus for displaying an image on both eyes of the user, an inspection information display step for displaying inspection information for inspecting an abnormality of the eye for either of the left or right eyes of the user;
A reaction detection step for detecting a user's reaction to the inspection information;
A reaction history management step for managing the detection result of the reaction detection step as a reaction history;
An image display comprising: an inspection method control step for determining at least one of a type, display size, display time, and display position of inspection information to be displayed to a user from the reaction history managed by the reaction history management step Method.
ユーザの両眼に画像を表示する装置であって、眼の異常を検査するための検査情報をユーザの左右の眼のいずれかに対して表示する検査情報表示ステップと、
検査情報に対するユーザの反応を検知する反応検知ステップと、
前記反応検知ステップの検知結果を反応履歴として管理する反応履歴管理ステップと、
前記反応履歴管理ステップが管理する反応履歴から、ユーザに表示する検査情報の種類、表示サイズ、表示時間、表示位置の少なくとも一つを決定する検査方法制御ステップとを
備えることを特徴とする画像表示プログラム。
An apparatus for displaying an image on both eyes of the user, an inspection information display step for displaying inspection information for inspecting an abnormality of the eye for either of the left or right eyes of the user;
A reaction detection step for detecting a user's reaction to the inspection information;
A reaction history management step for managing the detection result of the reaction detection step as a reaction history;
An image display comprising: an inspection method control step for determining at least one of a type, display size, display time, and display position of inspection information to be displayed to a user from the reaction history managed by the reaction history management step program.
ユーザの両眼に画像を表示する装置であって、眼の異常を検査するための検査情報をユーザの左右の眼のいずれかに対して表示する検査情報表示ステップと、
検査情報に対するユーザの反応を検知する反応検知ステップと、
前記反応検知ステップの検知結果を反応履歴として管理する反応履歴管理ステップと、
前記反応履歴管理ステップが管理する反応履歴から、ユーザに表示する検査情報の種類、表示サイズ、表示時間、表示位置の少なくとも一つを決定する検査方法制御ステップとを
備えることを特徴とする集積回路。
An apparatus for displaying an image on both eyes of the user, an inspection information display step for displaying inspection information for inspecting an abnormality of the eye for either of the left or right eyes of the user;
A reaction detection step for detecting a user's reaction to the inspection information;
A reaction history management step for managing the detection result of the reaction detection step as a reaction history;
An integrated circuit comprising: an inspection method control step for determining at least one of the type, display size, display time, and display position of the inspection information displayed to the user from the reaction history managed by the reaction history management step .
JP2008123087A 2008-05-09 2008-05-09 Image display apparatus, image display method, program and integrated circuit Pending JP2009268778A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008123087A JP2009268778A (en) 2008-05-09 2008-05-09 Image display apparatus, image display method, program and integrated circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008123087A JP2009268778A (en) 2008-05-09 2008-05-09 Image display apparatus, image display method, program and integrated circuit

Publications (1)

Publication Number Publication Date
JP2009268778A true JP2009268778A (en) 2009-11-19

Family

ID=41435839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008123087A Pending JP2009268778A (en) 2008-05-09 2008-05-09 Image display apparatus, image display method, program and integrated circuit

Country Status (1)

Country Link
JP (1) JP2009268778A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846695A (en) * 1994-08-02 1996-02-16 Nitsuko Corp Holding tone selection device for each number of incoming call in direct inward dialling system
JP2012100760A (en) * 2010-11-08 2012-05-31 Panasonic Corp Visual field test system
JP2015013011A (en) * 2013-07-05 2015-01-22 国立大学法人 千葉大学 Visual field restriction image data creation program and visual field restriction apparatus using the same
WO2016009739A1 (en) * 2014-07-18 2016-01-21 株式会社トプコン Visual function testing device and visual function testing system
WO2017213200A1 (en) * 2016-06-09 2017-12-14 株式会社Qdレーザ Visual field/visual acuity examination system, visual field/visual acuity examination device, visual field/visual acuity examination method, visual field/visual acuity examination program, and server device
JP2017221657A (en) * 2016-06-09 2017-12-21 株式会社Qdレーザ Visual field and eyesight examination system, visual field and eyesight examination device, visual field and eyesight examination method, visual field and eyesight examination program, and server device
JP2018023446A (en) * 2016-08-08 2018-02-15 株式会社ニデック Visual function inspection apparatus and visual function inspection program
JP2018063436A (en) * 2016-06-09 2018-04-19 株式会社Qdレーザ Image projector and image projection system
WO2019065245A1 (en) * 2017-09-29 2019-04-04 株式会社Qdレーザ Image projection device
US10299674B2 (en) 2014-09-22 2019-05-28 Carl Zeiss Meditec Ag Visual field measuring device and system
JP2019174663A (en) * 2018-03-28 2019-10-10 株式会社Qdレーザ Image projection device
WO2020262206A1 (en) * 2019-06-24 2020-12-30 株式会社Qdレーザ Vision check device and vision check method
US10888222B2 (en) 2016-04-22 2021-01-12 Carl Zeiss Meditec, Inc. System and method for visual field testing
JP2021130010A (en) * 2015-03-16 2021-09-09 マジック リープ,インコーポレイティド Methods and systems for diagnosing and treating health-hazard diseases
US11714326B2 (en) 2017-02-23 2023-08-01 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846695A (en) * 1994-08-02 1996-02-16 Nitsuko Corp Holding tone selection device for each number of incoming call in direct inward dialling system
JP2012100760A (en) * 2010-11-08 2012-05-31 Panasonic Corp Visual field test system
JP2015013011A (en) * 2013-07-05 2015-01-22 国立大学法人 千葉大学 Visual field restriction image data creation program and visual field restriction apparatus using the same
WO2016009739A1 (en) * 2014-07-18 2016-01-21 株式会社トプコン Visual function testing device and visual function testing system
JP2016022150A (en) * 2014-07-18 2016-02-08 株式会社トプコン Visual function examination device and visual function examination system
US10448826B2 (en) 2014-07-18 2019-10-22 Kabushiki Kaisha Topcon Visual function testing device and visual function testing system
US10299674B2 (en) 2014-09-22 2019-05-28 Carl Zeiss Meditec Ag Visual field measuring device and system
US11747627B2 (en) 2015-03-16 2023-09-05 Magic Leap, Inc. Augmented and virtual reality display systems and methods for diagnosing health conditions based on visual fields
JP7179910B2 (en) 2015-03-16 2022-11-29 マジック リープ,インコーポレイティド Methods and systems for diagnosing and treating health-damaging diseases
US11474359B2 (en) 2015-03-16 2022-10-18 Magic Leap, Inc. Augmented and virtual reality display systems and methods for diagnosing health conditions based on visual fields
JP2021130010A (en) * 2015-03-16 2021-09-09 マジック リープ,インコーポレイティド Methods and systems for diagnosing and treating health-hazard diseases
US10888222B2 (en) 2016-04-22 2021-01-12 Carl Zeiss Meditec, Inc. System and method for visual field testing
EP3470909A4 (en) * 2016-06-09 2020-01-22 QD Laser, Inc. Image projection system, image projection device, image projection method, image projection program, and server device
JP2017221657A (en) * 2016-06-09 2017-12-21 株式会社Qdレーザ Visual field and eyesight examination system, visual field and eyesight examination device, visual field and eyesight examination method, visual field and eyesight examination program, and server device
WO2017213200A1 (en) * 2016-06-09 2017-12-14 株式会社Qdレーザ Visual field/visual acuity examination system, visual field/visual acuity examination device, visual field/visual acuity examination method, visual field/visual acuity examination program, and server device
CN109310315B (en) * 2016-06-09 2022-02-22 Qd激光公司 Visual field visual acuity test system, visual field visual acuity test device, visual field visual acuity test method, storage medium, and server device
CN109310315A (en) * 2016-06-09 2019-02-05 Qd激光公司 Visual field visual acuity test system, visual field equipment for examining vision, visual field eyesight exam method, visual field eye test program and server unit
US11129527B2 (en) 2016-06-09 2021-09-28 Qd Laser, Inc. Visual field/visual acuity examination system, visual field/visual acuity examination device, visual field/visual acuity examination method, visual field/visual acuity examination program, and server device
JP2018063436A (en) * 2016-06-09 2018-04-19 株式会社Qdレーザ Image projector and image projection system
CN109313343B (en) * 2016-06-09 2021-02-05 Qd激光公司 Image projection system, image projection apparatus, image projection method, and server apparatus
CN109313343A (en) * 2016-06-09 2019-02-05 Qd激光公司 Image projection system, image projection device, image projecting method, image projection program and server unit
JP2018023446A (en) * 2016-08-08 2018-02-15 株式会社ニデック Visual function inspection apparatus and visual function inspection program
US11982916B2 (en) 2017-02-23 2024-05-14 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
US11714326B2 (en) 2017-02-23 2023-08-01 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
JPWO2019065245A1 (en) * 2017-09-29 2019-11-14 株式会社Qdレーザ Image projection device
US11428926B2 (en) 2017-09-29 2022-08-30 Qd Laser, Inc. Image projection device
CN110753876A (en) * 2017-09-29 2020-02-04 Qd激光公司 Image projection apparatus
WO2019065245A1 (en) * 2017-09-29 2019-04-04 株式会社Qdレーザ Image projection device
JP7050292B2 (en) 2018-03-28 2022-04-08 株式会社Qdレーザ Image projection device
JP2019174663A (en) * 2018-03-28 2019-10-10 株式会社Qdレーザ Image projection device
JP2021000342A (en) * 2019-06-24 2021-01-07 株式会社Qdレーザ Visual inspection apparatus and visual inspection method
JP7213492B2 (en) 2019-06-24 2023-01-27 株式会社Qdレーザ Visual inspection device and visual inspection method
JP2023026672A (en) * 2019-06-24 2023-02-24 株式会社Qdレーザ Visual inspection apparatus and visual inspection method
JP7352905B2 (en) 2019-06-24 2023-09-29 株式会社Qdレーザ Visual inspection device and visual inspection method
WO2020262206A1 (en) * 2019-06-24 2020-12-30 株式会社Qdレーザ Vision check device and vision check method

Similar Documents

Publication Publication Date Title
JP2009268778A (en) Image display apparatus, image display method, program and integrated circuit
JP6255524B2 (en) Image projection system, image projection apparatus, image projection method, image projection program, and server apparatus
JP5237268B2 (en) Display device
JP5237267B2 (en) Beam scanning display device, display method, and automobile
US20180084232A1 (en) Optical See-Through Head Worn Display
JP2009134276A (en) Display apparatus, display method, display program, integrated circuit, goggle-type head-mounted display, vehicle, monocle and stationary display
KR102646729B1 (en) Electronic device system with complementary lens
JP2020514824A (en) Eye imaging device using diffractive optical element
KR20150136601A (en) Method for displaying an image projected from a head-worn display with multiple exit pupils
JP5233941B2 (en) Image display device
JP2011075956A (en) Head-mounted display
CN217467363U (en) Near-to-eye display optical system and head-mounted display equipment
US20230087535A1 (en) Wavefront sensing from retina-reflected light
JP2010117541A (en) Beam scanning-type display device
JP7275124B2 (en) Image projection system, image projection device, optical element for image display light diffraction, instrument, and image projection method
US20170261750A1 (en) Co-Aligned Retinal Imaging And Display System
JP5272813B2 (en) Head mounted display
JP2010113172A (en) Beam scanning type display and method
US11918286B2 (en) Ophthalmic instrument, management method, and management device
WO2018016223A1 (en) Image projection device, image projection system, server, image projection method, and image projection program
US20230080420A1 (en) Display apparatus
JP2010117542A (en) Beam scanning-type display device
JP2017055233A (en) Display device, display system, and control method of display device
WO2017213241A1 (en) Image projection system, image projection device, image projection method, image projection program, and server device
US20220269342A1 (en) Electronic device and method of operating the same