JP2018092108A - Image projection device, image display device, and movable body - Google Patents

Image projection device, image display device, and movable body Download PDF

Info

Publication number
JP2018092108A
JP2018092108A JP2016237832A JP2016237832A JP2018092108A JP 2018092108 A JP2018092108 A JP 2018092108A JP 2016237832 A JP2016237832 A JP 2016237832A JP 2016237832 A JP2016237832 A JP 2016237832A JP 2018092108 A JP2018092108 A JP 2018092108A
Authority
JP
Japan
Prior art keywords
image
correction information
subject
images
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016237832A
Other languages
Japanese (ja)
Other versions
JP6688213B2 (en
Inventor
薫 草深
Kaoru Kusafuka
薫 草深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2016237832A priority Critical patent/JP6688213B2/en
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to EP17879607.4A priority patent/EP3554069B1/en
Priority to KR1020197016411A priority patent/KR102134140B1/en
Priority to US16/467,884 priority patent/US10923003B2/en
Priority to KR1020197016407A priority patent/KR102176902B1/en
Priority to PCT/JP2017/043367 priority patent/WO2018105533A1/en
Priority to US16/467,917 priority patent/US11221481B2/en
Priority to CN201780076313.7A priority patent/CN110073659B/en
Priority to EP17878290.0A priority patent/EP3554068B1/en
Priority to CN201780076282.5A priority patent/CN110073658B/en
Priority to PCT/JP2017/043368 priority patent/WO2018105534A1/en
Publication of JP2018092108A publication Critical patent/JP2018092108A/en
Application granted granted Critical
Publication of JP6688213B2 publication Critical patent/JP6688213B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instrument Panels (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image projection device, an image display device, and a movable body that improve convenience of a technology that causes a subject to visually recognize a virtual image.SOLUTION: An image projection device 12 comprises: a display part 23; at least one second optical member 18; and a control part 26. The display part 23 displays a plurality of images. The second optical member 18 projects the plurality of images to the first optical member and causes a subject to visually recognize virtual images of the plurality of images. The control part 26 dynamically corrects the plurality of images to be displayed on the display part 23 respectively according to the positions of the eyes of the subject 13.SELECTED DRAWING: Figure 2

Description

本開示は、画像投影装置、画像表示装置、および移動体に関する。   The present disclosure relates to an image projection device, an image display device, and a moving body.

従来、移動体の運転者等の対象者に虚像を視認させる技術が知られている。例えば特許文献１には、周囲の明るさに応じて光源の光量を制御する技術が開示されている。   2. Description of the Related Art Conventionally, a technique for causing a subject such as a driver of a moving body to visually recognize a virtual image is known. For example, Patent Document 1 discloses a technique for controlling the light amount of a light source according to ambient brightness.

特開２０１５−１６８３８２号公報Japanese Patent Laying-Open No. 2015-168382

従来、対象者に虚像を視認させる技術の利便性を向上させることが望まれている。   Conventionally, it is desired to improve the convenience of a technique for allowing a subject to visually recognize a virtual image.

本開示は、対象者に虚像を視認させる技術の利便性を向上させる画像投影装置、画像表示装置、および移動体に関する。   The present disclosure relates to an image projection device, an image display device, and a moving body that improve the convenience of a technique for allowing a subject to visually recognize a virtual image.

本開示の一実施形態に係る画像投影装置は、表示部と、少なくとも１つの第２光学部材と、制御部と、を備える。表示部は、複数の画像を表示する。第２光学部材は、第１光学部材に複数の画像を投影し、複数の画像の虚像を対象者に視認させる。制御部は、表示部に表示させる複数の画像それぞれを対象者の両眼の位置に応じて動的に補正する。   An image projection device according to an embodiment of the present disclosure includes a display unit, at least one second optical member, and a control unit. The display unit displays a plurality of images. The second optical member projects a plurality of images on the first optical member and causes the subject to visually recognize virtual images of the plurality of images. The control unit dynamically corrects each of the plurality of images to be displayed on the display unit according to the positions of both eyes of the subject.

本開示の一実施形態に係る画像表示装置は、表示部と、制御部と、を備える。表示部は、複数の画像を表示する。制御部は、表示部に表示させる複数の画像それぞれを対象者の両眼の位置に応じて動的に補正する。   An image display device according to an embodiment of the present disclosure includes a display unit and a control unit. The display unit displays a plurality of images. The control unit dynamically corrects each of the plurality of images to be displayed on the display unit according to the positions of both eyes of the subject.

本開示の一実施形態に係る移動体は、第１光学部材と、表示部と、少なくとも１つの第２光学部材と、制御部と、を備える。表示部は、複数の画像を表示する。第２光学部材は、第１光学部材に複数の画像を投影し、複数の画像の虚像を対象者に視認させる。制御部は、表示部に表示させる複数の画像それぞれを対象者の両眼の位置に応じて動的に補正する。   A moving object according to an embodiment of the present disclosure includes a first optical member, a display unit, at least one second optical member, and a control unit. The display unit displays a plurality of images. The second optical member projects a plurality of images on the first optical member and causes the subject to visually recognize virtual images of the plurality of images. The control unit dynamically corrects each of the plurality of images to be displayed on the display unit according to the positions of both eyes of the subject.

本開示の一実施形態に係る画像投影装置、画像表示装置、および移動体によれば、対象者に虚像を視認させる技術の利便性が向上する。   According to the image projection device, the image display device, and the moving body according to an embodiment of the present disclosure, the convenience of a technique for allowing a subject to visually recognize a virtual image is improved.

本発明の一実施形態に係る移動体および画像投影装置を示す図である。It is a figure which shows the moving body and image projector which concern on one Embodiment of this invention. 図１の画像投影装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the image projector of FIG. 図２の画像表示装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the image display apparatus of FIG. 移動体における各基準位置に対応する補正情報の例を示す図である。It is a figure which shows the example of the correction information corresponding to each reference position in a moving body. 基準位置および対象者の両眼の位置の第１例を示す図である。It is a figure which shows the 1st example of a reference | standard position and the position of both eyes of a subject. 基準位置および対象者の両眼の位置の第２例を示す図である。It is a figure which shows the 2nd example of a reference | standard position and the position of both eyes of a subject. 画像投影装置の第１動作を示すフローチャートである。It is a flowchart which shows the 1st operation | movement of an image projector. 画像投影装置の第２動作を示すフローチャートである。It is a flowchart which shows the 2nd operation | movement of an image projector. 画像投影装置の第３動作を示すフローチャートである。It is a flowchart which shows the 3rd operation | movement of an image projector.

以下、本発明の一実施形態について、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

（移動体）
図１を参照して、本開示の一実施形態に係る移動体１０について説明する。移動体１０は、撮像装置１１と、画像投影装置１２と、を備える。 (Moving body)
A moving body 10 according to an embodiment of the present disclosure will be described with reference to FIG. The moving body 10 includes an imaging device 11 and an image projection device 12.

本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。   The “mobile body” in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like. The vehicle may include, for example, an automobile, an industrial vehicle, a railway vehicle, a living vehicle, a fixed wing aircraft that runs on a runway, and the like. Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses, and the like. Industrial vehicles may include, for example, industrial vehicles for agriculture and construction. Industrial vehicles may include, for example, forklifts and golf carts. Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combiners, lawn mowers, and the like. Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, crane trucks, dump trucks, road rollers, and the like. The vehicle may include a vehicle that travels manually. The classification of the vehicle is not limited to the example described above. For example, an automobile may include an industrial vehicle capable of traveling on a road. The same vehicle may be included in multiple classifications. Ships may include, for example, marine jets, boats, tankers, and the like. Aircraft may include, for example, fixed wing aircraft and rotary wing aircraft.

撮像装置１１は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像装置１１は、対象者１３の顔を撮像可能である。撮像装置１１の撮像範囲は、少なくとも後述するアイボックス１６を含む。対象者１３は、例えば移動体１０の運転者等を含んでよい。撮像装置１１の位置は、移動体１０の内部および外部において任意である。例えば、撮像装置１１は、移動体１０のダッシュボード内に位置する。撮像装置１１は、撮像画像を生成して、外部装置へ出力可能である。撮像画像の出力は、例えば有線、無線、およびＣＡＮ（Controller Area Network）等を介して行われてよい。   The imaging device 11 may include, for example, a CCD (Charge Coupled Device) imaging device or a CMOS (Complementary Metal Oxide Semiconductor) imaging device. The imaging device 11 can capture the face of the target person 13. The imaging range of the imaging device 11 includes at least an eye box 16 described later. The target person 13 may include a driver of the moving body 10, for example. The position of the imaging device 11 is arbitrary inside and outside the moving body 10. For example, the imaging device 11 is located in the dashboard of the moving body 10. The imaging device 11 can generate a captured image and output it to an external device. The output of the captured image may be performed via, for example, wired, wireless, and CAN (Controller Area Network).

画像投影装置１２は、対象者１３に所望の画像の虚像１４を視認させるヘッドアップディスプレイの少なくとも一部を構成し得る。画像投影装置１２の位置は、移動体１０の内部および外部において任意である。例えば、画像投影装置１２は、移動体１０のダッシュボード内に位置する。画像投影装置１２は、移動体１０に備えられた第１光学部材１５に画像を投影する。具体的には、画像投影装置１２は、第１光学部材１５の所定領域に向かって画像投影光を出射してよい。画像投影光の詳細については後述する。第１光学部材１５は、ウィンドシールドおよびコンバイナ等を含んでよい。画像投影装置１２が第１光学部材１５を有すると、画像投影装置１２はヘッドアップディスプレイを構成し得る。   The image projection device 12 may constitute at least a part of a head-up display that allows the subject person 13 to visually recognize a virtual image 14 of a desired image. The position of the image projection device 12 is arbitrary inside and outside the moving body 10. For example, the image projection device 12 is located in the dashboard of the moving body 10. The image projection device 12 projects an image on the first optical member 15 provided in the moving body 10. Specifically, the image projection device 12 may emit image projection light toward a predetermined region of the first optical member 15. Details of the image projection light will be described later. The first optical member 15 may include a windshield and a combiner. When the image projection device 12 includes the first optical member 15, the image projection device 12 may constitute a head-up display.

第１光学部材１５の所定領域で反射された画像投影光は、アイボックス１６に到達する。アイボックス１６は、例えば対象者１３の体格、姿勢、および姿勢の変化等を考慮して、対象者１３の眼が存在し得ると想定される実空間上の領域である。アイボックス１６の形状は任意である。アイボックス１６は、平面的または立体的な領域を含んでよい。図１に示す実線の矢印は、画像投影装置１２から出射する画像投影光の一部がアイボックス１６まで到達する経路を示す。以下、光が進む経路を光路ともいう。光路上には、光を透過する光学素子、および光を反射する光学素子の少なくとも一方が含まれてよい。対象者１３は、アイボックス１６内に眼が存在する場合、アイボックス１６に到達する画像投影光によって、当該画像の虚像１４を視認可能である。虚像１４は、例えば移動体１０よりも前方に視認され得る。   The image projection light reflected by the predetermined area of the first optical member 15 reaches the eye box 16. The eye box 16 is an area in the real space where it is assumed that the eye of the subject 13 can be present in consideration of, for example, the physique, posture, and posture change of the subject 13. The shape of the eye box 16 is arbitrary. The eye box 16 may include a planar or stereoscopic area. A solid line arrow shown in FIG. 1 indicates a path through which a part of the image projection light emitted from the image projection device 12 reaches the eye box 16. Hereinafter, a path along which light travels is also referred to as an optical path. The optical path may include at least one of an optical element that transmits light and an optical element that reflects light. When the eye 13 is present in the eye box 16, the subject 13 can visually recognize the virtual image 14 of the image by the image projection light that reaches the eye box 16. For example, the virtual image 14 can be visually recognized forward of the moving body 10.

（画像投影装置）
図２を参照して、画像投影装置１２について詳細に説明する。画像投影装置１２は、画像表示装置１７と、１つ以上の第２光学部材１８と、を備える。図２は、画像投影装置１２が２つの第２光学部材１８ａ、１８ｂを備える構成を例示している。図２は、画像投影装置１２の構成の例を模式的に示している。例えば、画像投影装置１２および画像投影装置１２の各構成要素の、大きさ、形状、および配置等は、図２に示す例に限定されない。 (Image projection device)
The image projector 12 will be described in detail with reference to FIG. The image projection device 12 includes an image display device 17 and one or more second optical members 18. FIG. 2 illustrates a configuration in which the image projection device 12 includes two second optical members 18a and 18b. FIG. 2 schematically illustrates an example of the configuration of the image projector 12. For example, the size, shape, arrangement, and the like of the image projecting device 12 and each component of the image projecting device 12 are not limited to the example shown in FIG.

画像表示装置１７は、任意の画像を表示可能であってよい。画像表示装置１７は、画像投影装置１２の内部において、画像投影光を出射する。画像投影光は、画像表示装置１７が表示する画像を投影する光を含んでよい。画像表示装置１７の詳細な構成については後述する。   The image display device 17 may be able to display an arbitrary image. The image display device 17 emits image projection light inside the image projection device 12. The image projection light may include light for projecting an image displayed by the image display device 17. The detailed configuration of the image display device 17 will be described later.

第２光学部材１８は、画像表示装置１７に表示された画像を第１光学部材１５に投影し、当該画像の虚像１４を対象者１３に視認させる。具体的には、第２光学部材１８は、画像表示装置１７から出射された画像投影光を画像投影装置１２の外部に到達させる。図２に示す例において、第２光学部材１８ａおよび１８ｂが、画像表示装置１７から出射された画像投影光を画像投影装置１２の外部に到達させる。第２光学部材１８は、レンズまたはミラーを含んでよい。例えば、第２光学部材１８ａおよび１８ｂそれぞれは、ミラーを含んでよい。第２光学部材１８ａおよび１８ｂの少なくとも一方は、レンズを含んでよい。第２光学部材１８ａおよび１８ｂの一方がミラーであり、他方がレンズであってよい。図２に示す実線の矢印は、画像表示装置１７から出射された画像投影光の一部が、第２光学部材１８ａおよび１８ｂによって反射され、画像投影装置１２の筐体に設けられた窓部を通過し、画像投影装置１２の外部まで到達する経路を示す。画像投影装置１２の外部に到達した画像投影光は、図１に示すように移動体１０に備えられた第１光学部材１５の所定領域に到達する。   The second optical member 18 projects the image displayed on the image display device 17 onto the first optical member 15 and causes the subject 13 to visually recognize the virtual image 14 of the image. Specifically, the second optical member 18 causes the image projection light emitted from the image display device 17 to reach the outside of the image projection device 12. In the example shown in FIG. 2, the second optical members 18 a and 18 b cause the image projection light emitted from the image display device 17 to reach the outside of the image projection device 12. The second optical member 18 may include a lens or a mirror. For example, each of the second optical members 18a and 18b may include a mirror. At least one of the second optical members 18a and 18b may include a lens. One of the second optical members 18a and 18b may be a mirror and the other may be a lens. A solid arrow shown in FIG. 2 indicates that a part of the image projection light emitted from the image display device 17 is reflected by the second optical members 18a and 18b, and the window provided in the housing of the image projection device 12 is displayed. A path that passes through and reaches the outside of the image projector 12 is shown. The image projection light that has reached the outside of the image projection device 12 reaches a predetermined region of the first optical member 15 provided in the moving body 10 as shown in FIG.

第２光学部材１８は、画像表示装置１７に表示された画像を拡大する拡大光学系として機能してよい。例えば、第２光学部材１８ａおよび１８ｂの少なくとも一方は、画像投影光が到達する面の少なくとも一部に凸面形状または凹面形状を有するミラーであってよい。第２光学部材１８ａおよび１８ｂの少なくとも一方は、画像投影光が入射または出射する面の少なくとも一部に凸面形状または凹面形状を有するレンズであってよい。凸面形状および凹面形状の少なくとも一部は、球面形状または非球面形状であってよい。   The second optical member 18 may function as a magnification optical system that magnifies an image displayed on the image display device 17. For example, at least one of the second optical members 18a and 18b may be a mirror having a convex shape or a concave shape on at least a part of the surface on which the image projection light reaches. At least one of the second optical members 18a and 18b may be a lens having a convex shape or a concave shape on at least a part of a surface on which image projection light is incident or emitted. At least a part of the convex shape and the concave shape may be a spherical shape or an aspherical shape.

（画像表示装置）
図３を参照して、画像表示装置１７について詳細に説明する。画像表示装置１７は、基板１９と、光源素子２０と、第３光学部材２１と、第４光学部材２２と、表示部２３と、通信部２４と、記憶部２５と、制御部２６と、を備える。基板１９、光源素子２０、第３光学部材２１、および第４光学部材２２が、１つの光源装置２７として構成されてよい。かかる場合、画像表示装置１７は、光源装置２７と、表示部２３と、通信部２４と、記憶部２５と、制御部２６と、を備える。基板１９、光源素子２０、第３光学部材２１、第４光学部材２２、表示部２３、通信部２４、記憶部２５、および制御部２６は、画像表示装置１７の内部において固定的に配置されてよい。光源素子２０は、基板１９上に配置されてよい。図３は、画像表示装置１７の構成の例を模式的に示している。例えば、画像表示装置１７および画像表示装置１７の各構成要素の、大きさ、形状、および配置等は、図３に示される例に限られない。 (Image display device)
The image display device 17 will be described in detail with reference to FIG. The image display device 17 includes a substrate 19, a light source element 20, a third optical member 21, a fourth optical member 22, a display unit 23, a communication unit 24, a storage unit 25, and a control unit 26. Prepare. The substrate 19, the light source element 20, the third optical member 21, and the fourth optical member 22 may be configured as one light source device 27. In this case, the image display device 17 includes a light source device 27, a display unit 23, a communication unit 24, a storage unit 25, and a control unit 26. The substrate 19, the light source element 20, the third optical member 21, the fourth optical member 22, the display unit 23, the communication unit 24, the storage unit 25, and the control unit 26 are fixedly arranged inside the image display device 17. Good. The light source element 20 may be disposed on the substrate 19. FIG. 3 schematically shows an example of the configuration of the image display device 17. For example, the size, shape, arrangement, and the like of the image display device 17 and each component of the image display device 17 are not limited to the example shown in FIG.

光源素子２０は、例えば１つ以上の発光ダイオード（ＬＥＤ：Light Emission Diode）または１つ以上のレーザ装置等を含んでよい。光源素子２０は、制御部２６の制御に応じて光を発する。図３において光源素子２０から延びる実線の矢印は、光源素子２０から発せられた光の一部が進行する経路を示す。以下、光源素子２０から発せられた光の少なくとも一部を、単に光源素子２０からの光ともいう。   The light source element 20 may include, for example, one or more light emitting diodes (LEDs) or one or more laser devices. The light source element 20 emits light according to the control of the control unit 26. In FIG. 3, a solid line arrow extending from the light source element 20 indicates a path along which a part of the light emitted from the light source element 20 travels. Hereinafter, at least a part of the light emitted from the light source element 20 is also simply referred to as light from the light source element 20.

第３光学部材２１は、光源素子２０の位置に対して、光源素子２０からの光が進む方向に位置する。例えば図３においては、第３光学部材２１は、光源素子２０の右方向に位置している。第３光学部材２１は、例えばコリメータレンズを含む。第３光学部材２１は、光源素子２０から入射される光をコリメートする。コリメートされた光は、第３光学部材２１の光軸方向と略平行な方向に進む光であってよい。   The third optical member 21 is located in the direction in which the light from the light source element 20 travels with respect to the position of the light source element 20. For example, in FIG. 3, the third optical member 21 is located in the right direction of the light source element 20. The third optical member 21 includes, for example, a collimator lens. The third optical member 21 collimates light incident from the light source element 20. The collimated light may be light traveling in a direction substantially parallel to the optical axis direction of the third optical member 21.

第４光学部材２２は、第３光学部材２１の位置に対して、光源素子２０からの光が進む方向に位置する。例えば図３においては、第４光学部材２２は、第３光学部材２１の右方向に位置している。第４光学部材２２は、例えばレンズを含む。第４光学部材２２は、例えばフレネルレンズを含んでよい。第４光学部材２２は、第４光学部材２２の光軸と第３光学部材２１の光軸とが略一致するように、画像表示装置１７の内部に固定的に配置されてよい。以下、第３光学部材２１の光軸または第４光学部材２２の光軸を、画像表示装置１７の光軸または光源装置２７の光軸ともいう。画像表示装置１７から発せられる画像投影光の進行方向と、画像表示装置１７の光軸方向と、が略平行であってよい。第４光学部材２２は、第３光学部材２１を通過してコリメートされた光の少なくとも一部を所望の進行方向に屈折させてよい。   The fourth optical member 22 is positioned in the direction in which the light from the light source element 20 travels relative to the position of the third optical member 21. For example, in FIG. 3, the fourth optical member 22 is located to the right of the third optical member 21. The fourth optical member 22 includes, for example, a lens. The fourth optical member 22 may include, for example, a Fresnel lens. The fourth optical member 22 may be fixedly disposed inside the image display device 17 so that the optical axis of the fourth optical member 22 and the optical axis of the third optical member 21 substantially coincide with each other. Hereinafter, the optical axis of the third optical member 21 or the optical axis of the fourth optical member 22 is also referred to as the optical axis of the image display device 17 or the optical axis of the light source device 27. The traveling direction of the image projection light emitted from the image display device 17 and the optical axis direction of the image display device 17 may be substantially parallel. The fourth optical member 22 may refract at least a part of the light collimated through the third optical member 21 in a desired traveling direction.

表示部２３は、例えばＬＣＤ（Liquid Crystal Display）、およびＭＥＭＳ（Micro Electro Mechanical Systems）シャッターディスプレイ等の透過型液晶デバイスを含む。表示部２３は、第４光学部材２２の位置に対して、光源素子２０からの光が進む方向に位置する。例えば図３においては、表示部２３は、第４光学部材２２の右方向に位置している。一実施形態において、例えば図３に示すように、光源素子２０、第３光学部材２１、第４光学部材２２、および表示部２３は、この順番で画像表示装置１７の光軸に沿って配置されてよい。以下、表示部２３から出射する光を、画像投影光ともいう。   The display unit 23 includes a transmissive liquid crystal device such as an LCD (Liquid Crystal Display) and a MEMS (Micro Electro Mechanical Systems) shutter display. The display unit 23 is positioned in the direction in which the light from the light source element 20 travels with respect to the position of the fourth optical member 22. For example, in FIG. 3, the display unit 23 is located on the right side of the fourth optical member 22. In one embodiment, for example, as shown in FIG. 3, the light source element 20, the third optical member 21, the fourth optical member 22, and the display unit 23 are arranged in this order along the optical axis of the image display device 17. It's okay. Hereinafter, the light emitted from the display unit 23 is also referred to as image projection light.

通信部２４は、外部装置と通信可能なインタフェースを含んでよい。外部装置は、例えば撮像装置１１を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。   The communication unit 24 may include an interface capable of communicating with an external device. The external device may include the imaging device 11, for example. The “communication interface” in the present disclosure may include, for example, a physical connector and a wireless communication device. The physical connector may include an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves. The electrical connector includes a connector conforming to IEC 60603, a connector conforming to the USB standard, a connector corresponding to the RCA terminal, a connector corresponding to the S terminal defined in EIAJ CP-1211A, and a D terminal defined in EIAJ RC-5237. A connector corresponding to a coaxial cable including a corresponding connector, a connector conforming to the HDMI (registered trademark) standard, and a BNC (British Naval Connector or Baby-series N Connector) may be included. The optical connector may include various connectors that conform to IEC 61754. The wireless communication device may include a wireless communication device that conforms to standards including Bluetooth (registered trademark) and IEEE802.11. The wireless communication device includes at least one antenna.

記憶部２５は、一時記憶装置および二次記憶装置を含んでよい。記憶部２５は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray Disc）（登録商標）等を含んでよい。記憶部２５は、画像表示装置１７の動作に必要な種々の情報およびプログラムを記憶する。   The storage unit 25 may include a temporary storage device and a secondary storage device. The storage unit 25 may be configured using, for example, a semiconductor memory, a magnetic memory, an optical memory, or the like. The semiconductor memory may include volatile memory and non-volatile memory. The magnetic memory may include, for example, a hard disk and a magnetic tape. The optical memory may include, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), and a BD (Blu-ray Disc) (registered trademark). The storage unit 25 stores various information and programs necessary for the operation of the image display device 17.

例えば、記憶部２５は、実空間上の複数の位置にそれぞれ対応する複数の補正情報を記憶してよい。以下、当該複数の位置それぞれを、基準位置ともいう。補正情報の詳細については後述する。図４は、実空間上のｎ個の基準位置にそれぞれ対応するｎ個の補正情報Ｐ１−Ｐｎを示す。ｎ個の基準位置それぞれは、移動体１０における任意の位置を原点とする３次元直交座標または３次元極座標で示されてよい。各補正情報に対応する実空間上の基準位置は、アイボックス１６の内部または外部に存在してよい。例えば、アイボックス１６が六面体である場合、当該複数の基準位置は、当該六面体における８つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス１６を包含する、アイボックス１６よりも大きい第１の六面体における８つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス１６に包含される、アイボックス１６よりも小さい第２の六面体における８つの頂点の位置を含んでよい。アイボックス１６の内部に、複数の第２の六面体が含まれてよい。当該複数の基準位置は、第１の六面体または第２の六面体の内部または辺上の任意の位置を含んでよい。一例において、記憶部２５は、アイボックス１６の内部に存在する複数の基準位置にそれぞれ対応する複数の補正情報を記憶してよい。   For example, the storage unit 25 may store a plurality of correction information respectively corresponding to a plurality of positions in the real space. Hereinafter, each of the plurality of positions is also referred to as a reference position. Details of the correction information will be described later. FIG. 4 shows n pieces of correction information P1-Pn respectively corresponding to n reference positions in the real space. Each of the n reference positions may be indicated by three-dimensional orthogonal coordinates or three-dimensional polar coordinates with an arbitrary position on the moving body 10 as the origin. The reference position in the real space corresponding to each correction information may exist inside or outside the eye box 16. For example, when the eye box 16 is a hexahedron, the plurality of reference positions may include the positions of eight vertices in the hexahedron. The plurality of reference positions may include the positions of eight vertices in the first hexahedron that includes the eye box 16 and is larger than the eye box 16. The plurality of reference positions may include the positions of eight vertices in a second hexahedron that is included in the eye box 16 and is smaller than the eye box 16. A plurality of second hexahedrons may be included in the eye box 16. The plurality of reference positions may include any position inside or on the side of the first hexahedron or the second hexahedron. In one example, the storage unit 25 may store a plurality of correction information respectively corresponding to a plurality of reference positions existing in the eye box 16.

補正情報の詳細について説明する。上述したように、第１光学部材１５で反射してアイボックス１６へ到達する画像投影光によって、対象者１３は表示部２３に表示されている画像の虚像１４を視認可能である。第１光学部材１５の表面形状は、例えば取り付けられる移動体１０に応じて設計され、必ずしも平面形状ではない。さらに、第１光学部材１５が移動体１０に取り付けられると、移動体１０の剛性によって第１光学部材１５に対して曲げまたはねじり等の力が加わり、第１光学部材１５が歪み得る。このため、対象者１３によって視認される虚像１４の形状は、当該虚像１４を視認する対象者１３の眼の位置に応じて歪み得る。   Details of the correction information will be described. As described above, the subject 13 can visually recognize the virtual image 14 displayed on the display unit 23 by the image projection light reflected by the first optical member 15 and reaching the eye box 16. The surface shape of the first optical member 15 is designed according to the moving body 10 to be attached, for example, and is not necessarily a planar shape. Further, when the first optical member 15 is attached to the moving body 10, a force such as bending or twisting is applied to the first optical member 15 due to the rigidity of the moving body 10, and the first optical member 15 may be distorted. For this reason, the shape of the virtual image 14 visually recognized by the subject 13 can be distorted according to the position of the eye of the subject 13 who visually recognizes the virtual image 14.

補正情報は、対象者１３の眼の位置に応じて、虚像１４の形状の歪みを補正するために用いられる。補正情報は、虚像１４の形状の歪みを低減させるように、表示部２３に表示させる画像を変形させる情報を含んでよい。例えば、補正情報は、表示部２３に表示される画像上の複数の特徴点それぞれのシフト量を示す情報を含んでよい。画像上における複数の特徴点の配置は、任意に定められてよい。例えば、複数の特徴点は、任意の間隔をあけて格子状に配列されてよい。複数の特徴点は、画像を表示する複数の画素に対応してよい。当該補正情報を用いた補正によって、表示部２３に表示される画像は、例えば当該画像上の複数の特徴点それぞれが当該補正情報に示されるシフト量だけ移動するように変形される。例えば、当該補正情報を用いた補正によって、表示部２３に表示される当該画像が、均一または不均一に変形して、表示部２３に表示され得る。補正情報に基づき変形された画像の画像投影光によって、対象者１３は、歪みを低減させた虚像１４を視認可能である。補正情報は、例えば実験またはシミュレーションにより決定可能である。   The correction information is used to correct distortion of the shape of the virtual image 14 according to the position of the eye of the subject 13. The correction information may include information for deforming the image displayed on the display unit 23 so as to reduce the distortion of the shape of the virtual image 14. For example, the correction information may include information indicating the shift amounts of a plurality of feature points on the image displayed on the display unit 23. The arrangement of the plurality of feature points on the image may be arbitrarily determined. For example, the plurality of feature points may be arranged in a grid pattern with an arbitrary interval. The plurality of feature points may correspond to a plurality of pixels that display an image. By the correction using the correction information, the image displayed on the display unit 23 is deformed such that each of a plurality of feature points on the image moves by the shift amount indicated by the correction information. For example, the image displayed on the display unit 23 can be uniformly or non-uniformly deformed and displayed on the display unit 23 by the correction using the correction information. The subject 13 can visually recognize the virtual image 14 with reduced distortion by the image projection light of the image deformed based on the correction information. The correction information can be determined by, for example, experiments or simulations.

制御部２６は、１つ以上のプロセッサを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部２６は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってもよい。   The control unit 26 includes one or more processors. The processor may include a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process. The dedicated processor may include an application specific integrated circuit (ASIC). The processor may include a programmable logic device (PLD). The PLD may include an FPGA (Field-Programmable Gate Array). The control unit 26 may be any of SoC (System-on-a-Chip) and SiP (System In a Package) in which one or more processors cooperate.

制御部２６は、光源装置２７全体の動作を制御する。例えば、制御部２６は、光源素子２０の駆動電力を制御して、光源素子２０を発光させる。制御部２６は、表示部２３に画像を表示させる。画像は、文字または図形を含んでよい。   The control unit 26 controls the overall operation of the light source device 27. For example, the control unit 26 controls the driving power of the light source element 20 to cause the light source element 20 to emit light. The control unit 26 causes the display unit 23 to display an image. The image may include characters or graphics.

制御部２６は、通信部２４を介して撮像装置１１から、対象者１３を撮像した撮像画像を取得する。制御部２６は、取得された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出する。実空間における対象者１３の両眼の位置の検出には、撮像画像を用いる任意のアルゴリズムが採用可能である。例えば、記憶部２５は、撮像画像上の対象者１３の顔の位置、顔の向き、および顔の大きさの組み合わせと、実空間における対象者１３の両眼の位置と、を対応付けた対応情報を予め記憶する。対応情報は、例えば実験またはシミュレーションによって決定可能である。対応情報は、例えばルックアップテーブルとして記憶されてよい。制御部２６は、撮像画像上の対象者１３の顔の位置、顔の向き、および顔の大きさを検出する。顔および眼の検出には、例えばパターンマッチングを用いる手法、または撮像画像上の対象者１３の特徴点を抽出する手法等が採用可能である。制御部２６は、検出された撮像画像上の対象者１３の顔の位置、顔の向き、および顔の大きさの組み合わせに対応する、実空間における対象者１３の両眼の位置を、対応情報から抽出する。制御部２６は、抽出された位置を、実空間における対象者１３の両眼の位置として検出する。   The control unit 26 acquires a captured image obtained by capturing the target person 13 from the imaging device 11 via the communication unit 24. The control unit 26 detects the positions of both eyes of the target person 13 in the real space based on the acquired captured image. Arbitrary algorithms using captured images can be used to detect the positions of both eyes of the subject 13 in the real space. For example, the storage unit 25 associates the combination of the face position, face direction, and face size of the target person 13 on the captured image with the positions of both eyes of the target person 13 in the real space. Information is stored in advance. Correspondence information can be determined, for example, by experiment or simulation. The correspondence information may be stored as a lookup table, for example. The control unit 26 detects the face position, face direction, and face size of the subject 13 on the captured image. For the detection of the face and eyes, for example, a method using pattern matching or a method of extracting feature points of the target person 13 on the captured image can be employed. The control unit 26 sets the binocular position of the target person 13 in the real space corresponding to the combination of the face position, face direction, and face size of the target person 13 on the detected captured image. Extract from The control unit 26 detects the extracted position as the position of both eyes of the subject 13 in the real space.

制御部２６は、検出された両目の位置に応じて、表示部２３に表示させる画像を動的に補正する。画像の補正は、例えば画像の変形を含んでよい。画像を補正する任意のアルゴリズムが採用可能である。以下、互いに異なる２つのアルゴリズムについて具体的に説明する。   The control unit 26 dynamically corrects the image displayed on the display unit 23 according to the detected positions of both eyes. Image correction may include, for example, image deformation. Any algorithm that corrects the image can be employed. Hereinafter, two different algorithms will be described in detail.

（第１アルゴリズム）
概略として、第１アルゴリズムでは、対象者１３の右眼の位置に対応する第１補正情報と、対象者１３の左眼の位置に対応する第２補正情報とに基づいて、第３補正情報が生成される。生成された第３補正情報に基づいて、表示部２３に表示される表示画像が動的に補正される。以下、具体的に説明する。 (First algorithm)
As an outline, in the first algorithm, the third correction information is based on the first correction information corresponding to the position of the right eye of the target person 13 and the second correction information corresponding to the position of the left eye of the target person 13. Generated. The display image displayed on the display unit 23 is dynamically corrected based on the generated third correction information. This will be specifically described below.

制御部２６は、対象者１３の右眼の位置に対応する第１補正情報を決定する。例えば、制御部２６は、対象者１３の右眼の位置に対応する第１補正情報を、記憶部２５に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部２６は、対象者１３の右眼の位置に対応する第１補正情報を、２つ以上の補正情報に基づいて生成することによって決定してよい。第１補正情報の生成には、任意のアルゴリズムが採用可能である。   The control unit 26 determines first correction information corresponding to the position of the right eye of the target person 13. For example, the control unit 26 may determine the first correction information corresponding to the position of the right eye of the target person 13 by selecting from among a plurality of correction information stored in the storage unit 25. Alternatively, the control unit 26 may determine the first correction information corresponding to the position of the right eye of the target person 13 based on two or more correction information. An arbitrary algorithm can be employed for generating the first correction information.

例えば図５において、それぞれ補正情報が対応付けられた８つの基準位置を頂点とする六面体の内部に、対象者１３の右眼Ｒが位置している。かかる場合、制御部２６は、右眼Ｒの近傍に存在する当該８つの補正情報のうち２つ以上の補正情報に基づいて、右眼Ｒの位置に対応する第１補正情報を内挿により生成する。   For example, in FIG. 5, the right eye R of the subject 13 is located inside a hexahedron whose apexes are eight reference positions each associated with correction information. In this case, the control unit 26 generates first correction information corresponding to the position of the right eye R by interpolation based on two or more correction information among the eight correction information existing in the vicinity of the right eye R. To do.

例えば図６において、それぞれ補正情報が対応付けられた８つの基準位置を頂点とする六面体の外部に、対象者１３の右眼Ｒが位置している。かかる場合、制御部２６は、右眼Ｒの近傍に存在する当該８つの補正情報のうち２つ以上の補正情報に基づいて、右眼Ｒの位置に対応する第１補正情報を外挿により生成する。   For example, in FIG. 6, the right eye R of the target person 13 is located outside the hexahedron whose apexes are eight reference positions each associated with correction information. In such a case, the control unit 26 extrapolates the first correction information corresponding to the position of the right eye R based on two or more correction information among the eight correction information existing in the vicinity of the right eye R. To do.

かかる構成によれば、内挿または外挿によって第１補正情報が生成される。このため、補正情報を記憶すべき基準位置の数が低減可能であり、記憶部２５に記憶すべき補正情報の情報量が低減可能である。   According to this configuration, the first correction information is generated by interpolation or extrapolation. For this reason, the number of reference positions where correction information should be stored can be reduced, and the amount of correction information to be stored in the storage unit 25 can be reduced.

制御部２６は、対象者１３の左眼の位置に対応する第２補正情報を決定する。例えば、制御部２６は、対象者１３の左眼の位置に対応する第２補正情報を、記憶部２５に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部２６は、対象者１３の左眼の位置に対応する第２補正情報を、２つ以上の補正情報に基づいて生成することによって決定してよい。第２補正情報の生成は、上述した第１補正情報の生成と同様にして行われてよい。例えば図５に示すように、対象者１３の左眼Ｌが六面体の内部に位置する場合、制御部２６は、左眼Ｌの位置に対応する第２補正情報を内挿により生成する。例えば図６に示すように、対象者１３の左眼Ｌが六面体の外部に位置する場合、制御部２６は、左眼Ｌの位置に対応する第２補正情報を外挿により生成する。   The control unit 26 determines second correction information corresponding to the position of the left eye of the subject 13. For example, the control unit 26 may determine the second correction information corresponding to the position of the left eye of the target person 13 by selecting from among a plurality of correction information stored in the storage unit 25. Alternatively, the control unit 26 may determine the second correction information corresponding to the position of the left eye of the target person 13 based on two or more correction information. The generation of the second correction information may be performed in the same manner as the generation of the first correction information described above. For example, as illustrated in FIG. 5, when the left eye L of the subject 13 is located inside the hexahedron, the control unit 26 generates second correction information corresponding to the position of the left eye L by interpolation. For example, as illustrated in FIG. 6, when the left eye L of the subject 13 is located outside the hexahedron, the control unit 26 generates second correction information corresponding to the position of the left eye L by extrapolation.

制御部２６は、第１補正情報と、第２補正情報と、に基づいて第３補正情報を生成する。第３補正情報の生成には、任意のアルゴリズムが採用可能であってよい。例えば、制御部２６は、第１補正情報および第２補正情報それぞれに重み付けを行い、第３補正情報を生成する。具体的には、第３補正情報に示される、画像上の特徴点のシフト量Ｓ３は、次式（１）で決定される。
Ｓ３＝α×Ｓ１＋（１−α）×Ｓ２ （１）
式（１）において、αは、０以上１以下の値を示す重み係数を示す。Ｓ１は、第１補正情報に示される、当該特徴点のシフト量を示す。Ｓ２は、第２補正情報に示される、当該特徴点のシフト量を示す。例えば、重み係数α＝０．３、ある特徴点のシフト量Ｓ１＝＋１０、および当該特徴点のシフト量Ｓ２＝−１０である場合、第３補正情報に示される当該特徴点のシフト量Ｓ３は、Ｓ３＝０．３×（＋１０）＋０．７×（−１０）＝−４となる。 The control unit 26 generates third correction information based on the first correction information and the second correction information. An arbitrary algorithm may be employed for generating the third correction information. For example, the control unit 26 weights each of the first correction information and the second correction information to generate the third correction information. Specifically, the shift amount S3 of the feature point on the image indicated in the third correction information is determined by the following equation (1).
S3 = α × S1 + (1−α) × S2 (1)
In Expression (1), α represents a weighting coefficient indicating a value between 0 and 1. S1 indicates the shift amount of the feature point indicated in the first correction information. S2 indicates the shift amount of the feature point indicated in the second correction information. For example, when the weight coefficient α = 0.3, the shift amount S1 = + 10 of a certain feature point, and the shift amount S2 = −10 of the feature point, the shift amount S3 of the feature point indicated in the third correction information is S3 = 0.3 × (+10) + 0.7 × (−10) = − 4.

重み係数αは、０以上１以下の範囲で任意に定められてよい。例えば、重み係数αは、予め定められてよい。あるいは、重み係数αは、対象者１３の優位眼を考慮して決定されてよい。   The weighting factor α may be arbitrarily determined in the range of 0 to 1. For example, the weighting factor α may be determined in advance. Alternatively, the weight coefficient α may be determined in consideration of the dominant eye of the subject 13.

対象者１３の優位眼を考慮した重み係数αの決定は、例えば、対象者１３が移動体１０を運転するより前に行われてよい。具体的には、制御部２６は、対象者１３を撮像した撮像画像を取得する。制御部２６は、実空間上の対象者１３の両眼の位置を検出する。制御部２６は、検出された両眼の位置に基づいて、第１補正情報および第２補正情報を決定する。制御部２６は、重み係数αを初期値に設定する。制御部２６は、第１補正情報、第２補正情報、および重み係数αに基づいて、第３補正情報を生成する。制御部２６は、生成された第３補正情報を用いて補正した基準画像を表示部２３に表示させる。基準画像として、任意の画像が採用可能である。例えば、基準画像は、正方形、円、または格子状に並んだ複数の線等を含んでよい。   The determination of the weighting factor α in consideration of the dominant eye of the subject 13 may be performed, for example, before the subject 13 drives the moving body 10. Specifically, the control unit 26 acquires a captured image obtained by capturing the subject 13. The control unit 26 detects the positions of both eyes of the subject 13 in the real space. The control unit 26 determines the first correction information and the second correction information based on the detected positions of both eyes. The control unit 26 sets the weight coefficient α to an initial value. The control unit 26 generates third correction information based on the first correction information, the second correction information, and the weighting factor α. The control unit 26 causes the display unit 23 to display the reference image corrected using the generated third correction information. Any image can be adopted as the reference image. For example, the reference image may include a plurality of lines arranged in a square, a circle, or a grid.

制御部２６は、例えば対象者１３によるユーザ操作に応じて、重み係数αを変化させる。重み係数αを変化させた場合、制御部２６は、第１補正情報、第２補正情報、および変化後の重み係数αに基づいて、第３補正情報を新たに生成する。制御部２６は、新たに生成された第３補正情報を用いて補正された基準画像を表示部２３に表示させる。重み係数αの変化、および新たに生成される第３補正情報を用いて補正された基準画像の表示は、ユーザ操作に応じて複数回実行されてよい。制御部２６は、例えば対象者１３によるユーザ操作に応じて、重み係数αを確定し、記憶部２５に記憶する。   The control unit 26 changes the weighting factor α in accordance with, for example, a user operation by the target person 13. When the weighting factor α is changed, the control unit 26 newly generates third correction information based on the first correction information, the second correction information, and the changed weighting factor α. The control unit 26 causes the display unit 23 to display the reference image corrected using the newly generated third correction information. The change of the weight coefficient α and the display of the reference image corrected using the newly generated third correction information may be executed a plurality of times in accordance with the user operation. The control unit 26 determines the weighting coefficient α and stores it in the storage unit 25 according to, for example, a user operation by the target person 13.

上述のように重み係数αが確定された後、例えば対象者１３が移動体１０を運転する場合に、制御部２６は、表示部２３に表示させる表示画像を対象者１３の両眼の位置に応じて動的に補正する。具体的には、制御部２６は、対象者１３の両眼の位置に対応する第１補正情報および第２補正情報と、確定された重み係数αと、に基づいて第３補正情報を決定する。制御部２６は、決定された第３補正情報を用いて、表示部２３に表示する表示画像を動的に補正する。表示画像は、任意の情報または画像を含んでよい。例えば、表示画像は、移動体１０の走行速度、予測進路、走行路の制限速度、標識情報、ルートガイド等の運転支援画像、および歩行者等の障害物を示す画像等を含んでよい。   After the weighting coefficient α is determined as described above, for example, when the subject 13 drives the moving body 10, the control unit 26 displays the display image to be displayed on the display unit 23 at the position of both eyes of the subject 13. Dynamic correction is performed accordingly. Specifically, the control unit 26 determines the third correction information based on the first correction information and the second correction information corresponding to the positions of both eyes of the subject 13 and the determined weight coefficient α. . The control unit 26 dynamically corrects the display image displayed on the display unit 23 using the determined third correction information. The display image may include any information or image. For example, the display image may include a travel speed of the moving body 10, a predicted course, a speed limit of the travel path, sign information, a driving support image such as a route guide, and an image showing an obstacle such as a pedestrian.

虚像１４の歪みが最も小さいと対象者１３が知覚し得るような重み係数αは、対象者１３の優位眼および非優位眼の映像合成比率に応じて異なる。対象者１３は、例えば両眼で基準画像の虚像１４を視認しながら重み係数αを変化させることによって、虚像１４の歪みが最も小さいと知覚したときの重み係数αを記憶部２５に記憶させることができる。かかる構成によれば、対象者１３の優位眼を考慮した重み係数αによって表示画像が補正される。このため、対象者１３によって知覚される虚像１４の歪みが低減され、虚像１４の視認性が向上する。対象者１３に虚像１４を視認させる技術の利便性が向上する。   The weighting factor α that can be perceived by the subject 13 that the distortion of the virtual image 14 is the smallest varies depending on the video synthesis ratio of the dominant eye and the non-dominant eye of the subject 13. For example, the subject 13 changes the weighting coefficient α while visually recognizing the virtual image 14 of the reference image with both eyes, thereby causing the storage unit 25 to store the weighting coefficient α when the distortion of the virtual image 14 is perceived to be the smallest. Can do. According to this configuration, the display image is corrected by the weighting factor α that takes into account the dominant eye of the subject 13. For this reason, the distortion of the virtual image 14 perceived by the subject 13 is reduced, and the visibility of the virtual image 14 is improved. Convenience of the technique for causing the subject 13 to visually recognize the virtual image 14 is improved.

（第２アルゴリズム）
概略として、第２アルゴリズムでは、対象者１３の両眼の位置に基づいて、特定位置が決定される。決定された特定位置に対応する第３補正情報が決定される。決定された第３補正情報に基づいて、表示部２３に表示される表示画像が動的に補正される。以下、具体的に説明する。 (Second algorithm)
As an outline, in the second algorithm, the specific position is determined based on the positions of both eyes of the subject 13. Third correction information corresponding to the determined specific position is determined. Based on the determined third correction information, the display image displayed on the display unit 23 is dynamically corrected. This will be specifically described below.

制御部２６は、対象者１３の両眼の位置を決定する。制御部２６は、対象者１３の両眼の位置に基づいて特定位置を決定する。特定位置の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部２６は、対象者１３の右眼の位置および左眼の位置それぞれに重み付けを行い、特定位置を決定する。具体的には、特定位置Ｑ３は、次式（２）で決定される。
Ｑ３＝α×Ｑ１＋（１−α）×Ｑ２ （２）
式（２）において、αは、０以上１以下の値を示す重み係数を示す。Ｑ１は、対象者１３の右眼の位置を示す。Ｑ２は、対象者１３の左眼の位置を示す。例えば、重み係数α＝０．３、対象者１３の右眼の位置Ｑ１＝｛１０，０，０｝、対象者１３の左眼の位置Ｑ２＝｛２０，１０，０｝である場合、特定位置Ｑ３は、Ｑ３＝｛１７，７，０｝となる。 The control unit 26 determines the position of both eyes of the subject 13. The control unit 26 determines a specific position based on the positions of both eyes of the subject 13. An arbitrary algorithm may be employed for determining the specific position. For example, the control unit 26 weights each of the right eye position and the left eye position of the target person 13 and determines the specific position. Specifically, the specific position Q3 is determined by the following equation (2).
Q3 = α × Q1 + (1−α) × Q2 (2)
In Expression (2), α represents a weighting coefficient indicating a value of 0 or more and 1 or less. Q1 indicates the position of the right eye of the subject 13. Q2 indicates the position of the left eye of the subject 13. For example, if the weight coefficient α = 0.3, the right eye position Q1 of the subject 13 = {10, 0, 0}, and the left eye position Q2 of the subject 13 = {20, 10, 0} The position Q3 is Q3 = {17, 7, 0}.

重み係数αは、０以上１以下の範囲で任意に定められてよい。例えば、重み係数αは、予め定められてよい。あるいは、重み係数αは、対象者１３の優位眼を考慮して決定されてよい。対象者１３の優位眼を考慮した重み係数αの決定は、上述した第１アルゴリズムと同様に行われてよい。具体的には、制御部２６は、対象者１３を撮像した撮像画像を取得する。制御部２６は、実空間上の対象者１３の両眼の位置を検出する。制御部２６は、重み係数αを初期値に設定する。制御部２６は、対象者１３の両眼の位置および重み係数αに応じて特定位置を決定する。制御部２６は、特定位置に対応する第３補正情報を決定する。特定位置に対応する第３補正情報の決定は、上述した第１アルゴリズムにおける第１補正情報または第２補正情報の決定と同様に行われてよい。制御部２６は、決定された第３補正情報を用いて補正した基準画像を表示部２３に表示させる。   The weighting factor α may be arbitrarily determined in the range of 0 to 1. For example, the weighting factor α may be determined in advance. Alternatively, the weight coefficient α may be determined in consideration of the dominant eye of the subject 13. The determination of the weighting factor α in consideration of the dominant eye of the subject 13 may be performed in the same manner as the first algorithm described above. Specifically, the control unit 26 acquires a captured image obtained by capturing the subject 13. The control unit 26 detects the positions of both eyes of the subject 13 in the real space. The control unit 26 sets the weight coefficient α to an initial value. The control unit 26 determines the specific position according to the position of both eyes of the subject 13 and the weighting factor α. The control unit 26 determines third correction information corresponding to the specific position. The determination of the third correction information corresponding to the specific position may be performed in the same manner as the determination of the first correction information or the second correction information in the first algorithm described above. The control unit 26 causes the display unit 23 to display the reference image corrected using the determined third correction information.

制御部２６は、例えば対象者１３によるユーザ操作に応じて、重み係数αを変化させる。重み係数αを変化させた場合、制御部２６は、対象者１３の両眼の位置、および変化後の重み係数αに基づいて、特定位置を新たに決定する。制御部２６は、新たに決定された特定位置に対応する第３補正情報を新たに決定する。制御部２６は、新たに決定された第３補正情報を用いて補正された基準画像を表示部２３に表示させる。重み係数αの変化、および新たに決定される第３補正情報を用いて補正された基準画像の表示は、ユーザ操作に応じて複数回実行されてよい。制御部２６は、例えば対象者１３によるユーザ操作に応じて、重み係数αを確定し、記憶部２５に記憶する。   For example, the control unit 26 changes the weighting coefficient α in accordance with a user operation by the subject 13. When the weighting factor α is changed, the control unit 26 newly determines a specific position based on the position of both eyes of the subject 13 and the changed weighting factor α. The control unit 26 newly determines third correction information corresponding to the newly determined specific position. The control unit 26 causes the display unit 23 to display the reference image corrected using the newly determined third correction information. The change of the weighting factor α and the display of the reference image corrected using the newly determined third correction information may be executed a plurality of times in response to a user operation. The control unit 26 determines the weighting coefficient α and stores it in the storage unit 25 according to, for example, a user operation by the target person 13.

上述のように重み係数αが確定された後、例えば対象者１３が移動体１０を運転する場合に、制御部２６は、表示部２３に表示させる表示画像を対象者１３の両眼の位置に応じて動的に補正する。具体的には、制御部２６は、対象者１３の両眼の位置と、確定された重み係数αと、に基づいて特定位置を決定する。制御部２６は、特定位置に対応する第３補正情報を決定する。制御部２６は、決定された第３補正情報を用いて、表示部２３に表示する表示画像を動的に補正する。   After the weighting coefficient α is determined as described above, for example, when the subject 13 drives the moving body 10, the control unit 26 displays the display image to be displayed on the display unit 23 at the position of both eyes of the subject 13. Dynamic correction is performed accordingly. Specifically, the control unit 26 determines the specific position based on the position of both eyes of the subject 13 and the determined weight coefficient α. The control unit 26 determines third correction information corresponding to the specific position. The control unit 26 dynamically corrects the display image displayed on the display unit 23 using the determined third correction information.

上述した第２アルゴリズムによれば、第１アルゴリズムが採用される場合と同様に、対象者１３の優位眼を考慮した重み係数αによって表示画像が補正される。このため、対象者１３によって知覚される虚像１４の歪みが低減され、虚像１４の視認性が向上する。対象者１３に虚像１４を視認させる技術の利便性が向上する。第２アルゴリズムによれば、対象者１３の両眼の位置と重み係数αとに基づいて決定される特定位置に対応する第３補正情報を決定すればよい。このため、第１補正情報、第２補正情報、および重み係数αに基づいて第３補正情報を生成する第１アルゴリズムと比較して、処理負担が軽減可能である。   According to the second algorithm described above, the display image is corrected by the weighting factor α in consideration of the dominant eye of the subject 13 as in the case where the first algorithm is adopted. For this reason, the distortion of the virtual image 14 perceived by the subject 13 is reduced, and the visibility of the virtual image 14 is improved. Convenience of the technique for causing the subject 13 to visually recognize the virtual image 14 is improved. According to the second algorithm, the third correction information corresponding to the specific position determined based on the position of both eyes of the target person 13 and the weighting factor α may be determined. For this reason, compared with the 1st algorithm which produces | generates 3rd correction information based on 1st correction information, 2nd correction information, and weighting coefficient (alpha), a processing burden can be reduced.

図７を参照して、上述した第１アルゴリズムが採用される構成において、対象者１３の優位眼を考慮して重み係数αを決定する画像投影装置１２の動作について説明する。本動作は、例えば対象者１３が移動体１０を運転するより前に行われてよい。   With reference to FIG. 7, the operation of the image projection device 12 that determines the weighting factor α in consideration of the dominant eye of the subject 13 in the configuration in which the first algorithm described above is employed will be described. This operation may be performed before the subject 13 drives the moving body 10, for example.

ステップＳ１００：制御部２６は、通信部２４を介して撮像装置１１から、対象者１３を撮像した撮像画像を取得する。   Step S <b> 100: The control unit 26 acquires a captured image obtained by capturing the target person 13 from the imaging device 11 via the communication unit 24.

ステップＳ１０１：制御部２６は、取得された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出する。   Step S101: The control unit 26 detects the positions of both eyes of the target person 13 in the real space based on the acquired captured image.

ステップＳ１０２：制御部２６は、対象者１３の右眼の位置に対応する第１補正情報と、左眼の位置に対応する第２補正情報と、を決定する。   Step S102: The control unit 26 determines first correction information corresponding to the position of the right eye of the subject 13 and second correction information corresponding to the position of the left eye.

ステップＳ１０３：制御部２６は、重み係数αを初期値に設定する。   Step S103: The control unit 26 sets the weighting factor α to an initial value.

ステップＳ１０４：制御部２６は、第１補正情報、第２補正情報、および重み係数αに基づいて、第３補正情報を生成する。   Step S104: The control unit 26 generates third correction information based on the first correction information, the second correction information, and the weighting factor α.

ステップＳ１０５：制御部２６は、第３補正情報を用いて補正した基準画像を表示部２３に表示させる。   Step S105: The control unit 26 causes the display unit 23 to display the reference image corrected using the third correction information.

ステップＳ１０６：制御部２６は、例えば対象者１３によるユーザ操作を検出すると、重み係数αを変化させるか否かを決定する。重み係数αを変化させると決定した場合（ステップＳ１０６−Ｙｅｓ）、プロセスはステップＳ１０７に進む。一方、重み係数αを変化させないと決定した場合（ステップＳ１０６−Ｎｏ）、プロセスはステップＳ１０８に進む。   Step S106: For example, when detecting a user operation by the subject 13, the control unit 26 determines whether or not to change the weighting coefficient α. If it is determined to change the weighting factor α (step S106—Yes), the process proceeds to step S107. On the other hand, when it is determined not to change the weighting coefficient α (step S106—No), the process proceeds to step S108.

ステップＳ１０７：制御部２６は、例えばステップＳ１０６のユーザ操作に応じて、重み係数αを変化させる。その後、プロセスはステップＳ１０４に戻る。   Step S107: The control unit 26 changes the weighting factor α in accordance with, for example, the user operation in step S106. Thereafter, the process returns to step S104.

ステップＳ１０８：制御部２６は、例えばステップＳ１０６のユーザ操作に応じて、重み係数αを確定し、記憶部２５に記憶する。その後、プロセスは終了する。   Step S108: The control unit 26 determines the weighting coefficient α and stores it in the storage unit 25, for example, according to the user operation in step S106. Thereafter, the process ends.

図８を参照して、上述した第１アルゴリズムが採用される構成において、表示画像を対象者１３の両眼の位置に応じて動的に補正する画像投影装置１２の動作について説明する。本動作は、例えば対象者１３が移動体１０を運転している間に繰り返し行われてよい。   With reference to FIG. 8, the operation of the image projection device 12 that dynamically corrects the display image according to the position of both eyes of the subject 13 in the configuration in which the above-described first algorithm is employed will be described. This operation may be repeatedly performed while the subject 13 is driving the moving body 10, for example.

ステップＳ２００：制御部２６は、通信部２４を介して撮像装置１１から、対象者１３を撮像した撮像画像を取得する。   Step S <b> 200: The control unit 26 acquires a captured image obtained by capturing the target person 13 from the imaging device 11 via the communication unit 24.

ステップＳ２０１：制御部２６は、取得された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出する。   Step S201: The control unit 26 detects the positions of both eyes of the target person 13 in the real space based on the acquired captured image.

ステップＳ２０２：制御部２６は、対象者１３の右眼の位置に対応する第１補正情報と、左眼の位置に対応する第２補正情報と、を決定する。   Step S202: The control unit 26 determines first correction information corresponding to the position of the right eye of the subject 13 and second correction information corresponding to the position of the left eye.

ステップＳ２０３：制御部２６は、第１補正情報、第２補正情報、および記憶部２５に記憶された重み係数αに基づいて、第３補正情報を生成する。   Step S203: The control unit 26 generates third correction information based on the first correction information, the second correction information, and the weighting coefficient α stored in the storage unit 25.

ステップＳ２０４：制御部２６は、第３補正情報を用いて補正した表示画像を表示部２３に表示させる。その後、プロセスはステップＳ２００に戻る。   Step S204: The control unit 26 causes the display unit 23 to display the display image corrected using the third correction information. Thereafter, the process returns to step S200.

図９を参照して、上述した第２アルゴリズムが採用される構成において、表示画像を対象者１３の両眼の位置に応じて動的に補正する画像投影装置１２の動作について説明する。本動作は、例えば対象者１３が移動体１０を運転している間に繰り返し行われてよい。   With reference to FIG. 9, the operation of the image projection device 12 that dynamically corrects the display image according to the position of both eyes of the subject 13 in the configuration in which the second algorithm described above is employed will be described. This operation may be repeatedly performed while the subject 13 is driving the moving body 10, for example.

ステップＳ３００：制御部２６は、通信部２４を介して撮像装置１１から、対象者１３を撮像した撮像画像を取得する。   Step S300: The control unit 26 acquires a captured image obtained by capturing the target person 13 from the imaging device 11 via the communication unit 24.

ステップＳ３０１：制御部２６は、取得された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出する。   Step S301: The control unit 26 detects the positions of both eyes of the target person 13 in the real space based on the acquired captured image.

ステップＳ３０２：制御部２６は、対象者１３の右眼の位置、左眼の位置、および記憶部２５に記憶された重み係数αに基づいて、特定位置を決定する。   Step S <b> 302: The control unit 26 determines a specific position based on the position of the right eye of the subject 13, the position of the left eye, and the weight coefficient α stored in the storage unit 25.

ステップＳ３０３：制御部２６は、決定された特定位置に対応する第３補正情報を決定する。   Step S303: The control unit 26 determines third correction information corresponding to the determined specific position.

ステップＳ３０４：制御部２６は、第３補正情報を用いて補正した表示画像を表示部２３に表示させる。その後、プロセスはステップＳ３００に戻る。   Step S304: The control unit 26 causes the display unit 23 to display the display image corrected using the third correction information. Thereafter, the process returns to step S300.

以上述べたように、一実施形態に係る画像投影装置１２は、表示部２３に表示させる画像を対象者１３の両眼の位置に応じて動的に補正する。かかる構成によれば、対象者１３によって知覚される虚像１４の歪みが低減され、虚像１４の視認性が向上する。対象者１３に虚像１４を視認させる技術の利便性が向上する。   As described above, the image projection device 12 according to an embodiment dynamically corrects an image to be displayed on the display unit 23 according to the position of both eyes of the subject 13. According to this configuration, the distortion of the virtual image 14 perceived by the subject 13 is reduced, and the visibility of the virtual image 14 is improved. Convenience of the technique for causing the subject 13 to visually recognize the virtual image 14 is improved.

画像投影装置１２は、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶してよい。画像投影装置１２は、記憶された複数の補正情報に基づいて、対象者１３の右眼の位置に対応する第１補正情報と、対象者１３の左眼の位置に対応する第２補正情報と、を決定してよい。画像投影装置１２は、対象者１３の優位眼を考慮して決定される重み係数を記憶してよい。画像投影装置１２は、第１補正情報と、第２補正情報と、重み係数と、に基づいて第３補正情報を生成してよい。画像投影装置１２は、表示部２３に表示させる画像を、第３補正情報を用いて補正してよい。かかる構成によれば、対象者１３によって知覚される虚像１４の歪みが精度良く低減され、虚像１４の視認性がさらに向上される。   The image projection device 12 may store a plurality of correction information respectively corresponding to a plurality of reference positions in the real space. The image projecting device 12 includes first correction information corresponding to the right eye position of the target person 13 and second correction information corresponding to the left eye position of the target person 13 based on the plurality of stored correction information. , May be determined. The image projection device 12 may store a weighting factor determined in consideration of the dominant eye of the subject 13. The image projection apparatus 12 may generate the third correction information based on the first correction information, the second correction information, and the weighting factor. The image projection device 12 may correct the image displayed on the display unit 23 using the third correction information. According to such a configuration, the distortion of the virtual image 14 perceived by the subject 13 is accurately reduced, and the visibility of the virtual image 14 is further improved.

画像投影装置１２は、対象者１３の右眼の位置と、対象者１３の左眼の位置と、対象者１３の優位眼を考慮して決定される重み係数と、に基づいて特定位置を決定してよい。画像投影装置１２は、記憶部２５に記憶された複数の補正情報に基づいて、特定位置に対応する第３補正情報を決定してよい。画像投影装置１２は、表示部２３に表示させる画像を、第３補正情報を用いて補正してよい。かかる構成によれば、対象者１３によって知覚される虚像１４の歪みが精度良く低減され、虚像１４の視認性がさらに向上される。   The image projecting device 12 determines a specific position based on the position of the right eye of the target person 13, the position of the left eye of the target person 13, and a weighting factor determined in consideration of the dominant eye of the target person 13. You can do it. The image projection device 12 may determine the third correction information corresponding to the specific position based on the plurality of correction information stored in the storage unit 25. The image projection device 12 may correct the image displayed on the display unit 23 using the third correction information. According to such a configuration, the distortion of the virtual image 14 perceived by the subject 13 is accurately reduced, and the visibility of the virtual image 14 is further improved.

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。   Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various changes and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, functions and the like included in each means and each step can be rearranged so as not to be logically contradictory, and a plurality of means and steps can be combined into one or divided. .

例えば、上述した一実施形態において、表示部２３に表示される画像上の複数の特徴点それぞれのシフト量を示す情報を含む補正情報を用いて、当該画像を変形させることによって当該画像を補正する構成について説明した。しかしながら、補正情報の内容および画像を補正する処理は、上述した構成に限られない。   For example, in the above-described embodiment, the image is corrected by deforming the image using correction information including information indicating the shift amounts of the plurality of feature points on the image displayed on the display unit 23. The configuration has been described. However, the content of the correction information and the process for correcting the image are not limited to the above-described configuration.

例えば、制御部２６は、表示部２３に表示させる画像を、テクスチャ画像としてポリゴンに投影してよい。ポリゴンに対するテクスチャ画像の投影には、任意のアルゴリズムが採用可能であってよい。例えば、ポリゴンに対するテクスチャ画像の投影は、テクスチャ画像上のテクスチャ座標と、ポリゴン上の複数の頂点と、の対応関係を示すマッピング情報を用いて行われてよい。ポリゴンの形状は、任意に定められてよい。マッピング情報は、任意に定められてよい。制御部２６は、テクスチャ画像が投影されたポリゴンを、例えば３次元仮想空間内に配置する。制御部２６は、仮想カメラを視点として、当該ポリゴンを含む当該仮想空間内の領域を眺めた画像を、表示部２３に表示させる。かかる構成によれば、上述した一実施形態と同様に、対象者１３は、表示部２３に表示させた画像の虚像１４を視認可能である。   For example, the control unit 26 may project an image to be displayed on the display unit 23 onto a polygon as a texture image. An arbitrary algorithm may be employed for projecting the texture image onto the polygon. For example, the projection of the texture image onto the polygon may be performed using mapping information indicating the correspondence between the texture coordinates on the texture image and a plurality of vertices on the polygon. The shape of the polygon may be arbitrarily determined. The mapping information may be arbitrarily determined. The control unit 26 arranges the polygon on which the texture image is projected, for example, in a three-dimensional virtual space. The control unit 26 causes the display unit 23 to display an image in which a region in the virtual space including the polygon is viewed from the viewpoint of the virtual camera. According to this configuration, the target person 13 can visually recognize the virtual image 14 displayed on the display unit 23 as in the above-described embodiment.

ポリゴンが用いられる上述の構成において、補正情報は、虚像１４の形状の歪みを低減させるように、マッピング情報を変化させる情報を含んでよい。例えば、補正情報は、テクスチャ画像上のテクスチャ座標に対応するポリゴン上の頂点を、他の頂点に変更する情報を含んでよい。例えば、当該補正情報を用いた補正によって、ポリゴンに投影されるテクスチャ画像は、均一または不均一に変形して、表示部２３に表示され得る。補正情報に基づき変形されたテクスチャ画像の画像投影光によって、対象者１３は、上述した一実施形態と同様に、歪みを低減させた虚像１４を視認可能である。マッピング情報を変化させる処理は、例えば制御部２６が専用のハードウェアを包含することによって高速に実行可能である。専用のハードウェアは、例えばグラフィックアクセラレータを含んでよい。かかる構成によれば、表示部２３に表示させる画像の補正処理が高速化する。このため、例えば対象者１３の両眼の位置が変化する場合に、両眼の位置の変化に対する虚像１４の歪みの低減が高速に行われる。対象者１３に虚像１４を視認させる技術の利便性がさらに向上する。   In the above-described configuration in which polygons are used, the correction information may include information for changing the mapping information so as to reduce the distortion of the shape of the virtual image 14. For example, the correction information may include information for changing a vertex on a polygon corresponding to a texture coordinate on the texture image to another vertex. For example, the texture image projected on the polygon can be uniformly or non-uniformly deformed and displayed on the display unit 23 by the correction using the correction information. By the image projection light of the texture image deformed based on the correction information, the target person 13 can visually recognize the virtual image 14 with reduced distortion, as in the above-described embodiment. The process of changing the mapping information can be executed at high speed, for example, when the control unit 26 includes dedicated hardware. The dedicated hardware may include a graphic accelerator, for example. According to such a configuration, the correction processing of the image displayed on the display unit 23 is accelerated. For this reason, for example, when the position of both eyes of the subject 13 changes, the distortion of the virtual image 14 with respect to the change of the positions of both eyes is reduced at high speed. The convenience of the technique for causing the subject person 13 to visually recognize the virtual image 14 is further improved.

ポリゴンが用いられる上述の構成において、補正情報は、虚像１４の形状の歪みを低減させるように、ポリゴンの形状を変化させる情報を含んでよい。例えば、当該補正情報を用いた補正によって、ポリゴンに投影されるテクスチャ画像は、均一または不均一に変形して、表示部２３に表示され得る。補正情報に基づき変形されたテクスチャ画像の画像投影光によって、対象者１３は、上述した一実施形態と同様に、歪みを低減させた虚像１４を視認可能である。ポリゴンの形状を変化させる処理は、例えば制御部２６が専用のハードウェアを包含することによって高速に実行可能である。専用のハードウェアは、例えばグラフィックアクセラレータを含んでよい。かかる構成によれば、表示部２３に表示させる画像の補正処理が高速化する。このため、例えば対象者１３の両眼の位置が変化する場合に、両眼の位置の変化に対する虚像１４の歪みの低減が高速に行われる。対象者１３に虚像１４を視認させる技術の利便性がさらに向上する。   In the above-described configuration in which a polygon is used, the correction information may include information for changing the shape of the polygon so as to reduce distortion of the shape of the virtual image 14. For example, the texture image projected on the polygon can be uniformly or non-uniformly deformed and displayed on the display unit 23 by the correction using the correction information. By the image projection light of the texture image deformed based on the correction information, the target person 13 can visually recognize the virtual image 14 with reduced distortion, as in the above-described embodiment. The process of changing the shape of the polygon can be executed at high speed, for example, when the control unit 26 includes dedicated hardware. The dedicated hardware may include a graphic accelerator, for example. According to such a configuration, the correction processing of the image displayed on the display unit 23 is accelerated. For this reason, for example, when the position of both eyes of the subject 13 changes, the distortion of the virtual image 14 with respect to the change of the positions of both eyes is reduced at high speed. The convenience of the technique for causing the subject person 13 to visually recognize the virtual image 14 is further improved.

上述した一実施形態において、表示部２３に１つの画像が表示される構成について説明した。しかしながら、表示部２３に表示される画像の数は、任意に定められてよい。表示部２３に表示される複数の画像それぞれの位置、形状、および大きさは、任意に定められてよい。かかる構成において、制御部２６は、表示部２３に表示させる画像毎に、当該画像を対象者１３の両眼の一に応じて動的に補正してよい。表示部２３に表示させる各画像の補正は、上述した一実施形態と同様に行われてよい。例えば、記憶部２５は、表示部２３に表示させる画像毎に、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する。制御部２６は、表示部２３に表示させる画像毎に、例えば上述した第１アルゴリズムまたは第２アルゴリズムを用いて、重み係数αおよび第３補正情報を決定してよい。制御部２６は、表示部２３に表示させる画像毎に、当該画像に対応する第３補正情報を用いて当該画像を補正する。かかる構成によれば、対象者１３は、複数の画像にそれぞれ対応する複数の虚像１４を視認可能である。対象者１３に虚像１４を視認させる技術の利便性がさらに向上する。   In the above-described embodiment, the configuration in which one image is displayed on the display unit 23 has been described. However, the number of images displayed on the display unit 23 may be arbitrarily determined. The position, shape, and size of each of the plurality of images displayed on the display unit 23 may be arbitrarily determined. In such a configuration, the control unit 26 may dynamically correct the image for each image displayed on the display unit 23 according to one of the eyes of the subject 13. Correction of each image displayed on the display unit 23 may be performed similarly to the above-described embodiment. For example, the storage unit 25 stores a plurality of correction information respectively corresponding to a plurality of reference positions in the real space for each image displayed on the display unit 23. The control unit 26 may determine the weighting coefficient α and the third correction information for each image displayed on the display unit 23 using, for example, the first algorithm or the second algorithm described above. For each image to be displayed on the display unit 23, the control unit 26 corrects the image using the third correction information corresponding to the image. According to such a configuration, the target person 13 can visually recognize a plurality of virtual images 14 respectively corresponding to the plurality of images. The convenience of the technique for causing the subject person 13 to visually recognize the virtual image 14 is further improved.

１０ 移動体
１１ 撮像装置
１２ 画像投影装置
１３ 対象者
１４ 虚像
１５ 第１光学部材
１６ アイボックス
１７ 画像表示装置
１８、１８ａ、１８ｂ 第２光学部材
１９ 基板
２０ 光源素子
２１ 第３光学部材
２２ 第４光学部材
２３ 表示部
２４ 通信部
２５ 記憶部
２６ 制御部
２７ 光源装置 DESCRIPTION OF SYMBOLS 10 Mobile body 11 Imaging device 12 Image projection device 13 Target person 14 Virtual image 15 1st optical member 16 Eye box 17 Image display device 18, 18a, 18b 2nd optical member 19 Substrate 20 Light source element 21 3rd optical member 22 4th optical Member 23 Display unit 24 Communication unit 25 Storage unit 26 Control unit 27 Light source device

Claims (8)

複数の画像を表示する表示部と、
第１光学部材に前記複数の画像を投影し、前記複数の画像の虚像を対象者に視認させる少なくとも１つの第２光学部材と、
前記表示部に表示させる前記複数の画像それぞれを前記対象者の両眼の位置に応じて動的に補正する制御部と、
を備える、画像投影装置。 A display unit for displaying a plurality of images;
At least one second optical member that projects the plurality of images onto the first optical member and causes a subject to visually recognize a virtual image of the plurality of images;
A control unit that dynamically corrects each of the plurality of images to be displayed on the display unit according to the positions of both eyes of the subject;
An image projection apparatus comprising: 請求項１に記載の画像投影装置であって、
前記対象者を撮像した撮像画像を取得する通信部を更に備え、
前記制御部は、前記撮像画像に基づいて前記対象者の両眼の位置を検出する、画像投影装置。 The image projection device according to claim 1,
A communication unit that acquires a captured image of the target person;
The said control part is an image projector which detects the position of both eyes of the said subject based on the said captured image. 請求項１または２に記載の画像投影装置であって、
前記表示部に表示させる画像毎に、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
前記制御部は、
前記表示部に表示させる画像毎に、前記対象者の右眼の位置に対応する第１補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは２つ以上の前記補正情報に基づいて生成し、
前記表示部に表示させる画像毎に、前記対象者の左眼の位置に対応する第２補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは２つ以上の前記補正情報に基づいて生成し、
前記表示部に表示させる画像毎に、前記第１補正情報と、前記第２補正情報と、に基づいて第３補正情報を生成し、
前記表示部に表示させる前記複数の画像それぞれを、該画像に対応する前記第３補正情報を用いて補正する、画像投影装置。 The image projection device according to claim 1, wherein:
A storage unit for storing a plurality of correction information respectively corresponding to a plurality of reference positions in real space for each image to be displayed on the display unit;
The controller is
For each image to be displayed on the display unit, first correction information corresponding to the position of the right eye of the subject is selected from a plurality of the correction information stored in the storage unit or two or more of the correction information Based on the correction information,
For each image displayed on the display unit, second correction information corresponding to the position of the left eye of the subject is selected from a plurality of the correction information stored in the storage unit, or two or more of the correction information are stored. Based on the correction information,
For each image to be displayed on the display unit, third correction information is generated based on the first correction information and the second correction information,
An image projection apparatus that corrects each of the plurality of images to be displayed on the display unit using the third correction information corresponding to the images. 請求項３に記載の画像投影装置であって、
前記記憶部は、前記対象者の優位眼を考慮して決定される重み係数を記憶し、
前記制御部は、前記第１補正情報と、前記第２補正情報と、前記重み係数と、に基づいて前記第３補正情報を生成する、画像投影装置。 The image projection device according to claim 3, wherein
The storage unit stores a weighting factor determined in consideration of the subject's dominant eye,
The control unit generates the third correction information based on the first correction information, the second correction information, and the weighting factor. 請求項１または２に記載の画像投影装置であって、
前記表示部に表示させる画像毎に、実空間上の複数の位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
前記制御部は、
前記対象者の右眼の位置と、前記対象者の左眼の位置と、に基づいて１つの特定位置を決定し、
前記表示部に表示させる画像毎に、前記特定位置に対応する第３補正情報を、前記複数の補正情報の中から選択しまたは２つ以上の前記補正情報に基づいて生成し、
前記表示部に表示させる前記複数の画像それぞれを、該画像に対応する前記第３補正情報を用いて補正する、画像投影装置。 The image projection device according to claim 1, wherein:
A storage unit that stores a plurality of correction information corresponding to a plurality of positions in real space for each image to be displayed on the display unit;
The controller is
One specific position is determined based on the position of the right eye of the subject and the position of the left eye of the subject,
For each image to be displayed on the display unit, the third correction information corresponding to the specific position is selected from the plurality of correction information or generated based on two or more correction information,
An image projection apparatus that corrects each of the plurality of images to be displayed on the display unit using the third correction information corresponding to the images. 請求項５に記載の画像投影装置であって、
前記記憶部は、前記対象者の優位眼を考慮して決定される重み係数を記憶し、
前記制御部は、前記対象者の右眼の位置と、前記対象者の左眼の位置と、前記重み係数と、に基づいて前記特定位置を決定する、画像投影装置。 The image projection device according to claim 5,
The storage unit stores a weighting factor determined in consideration of the subject's dominant eye,
The said control part is an image projection apparatus which determines the said specific position based on the position of the said subject's right eye, the position of the said subject's left eye, and the said weighting coefficient. 複数の画像を表示する表示部と、
前記表示部に表示させる前記複数の画像それぞれを対象者の両眼の位置に応じて動的に補正する制御部と、
を備える、画像表示装置。 A display unit for displaying a plurality of images;
A control unit that dynamically corrects each of the plurality of images to be displayed on the display unit according to the positions of both eyes of the subject;
An image display device comprising: 第１光学部材と、
複数の画像を表示する表示部と、
前記第１光学部材に前記複数の画像を投影し、前記複数の画像の虚像を対象者に視認させる少なくとも１つの第２光学部材と、
前記表示部に表示させる前記複数の画像それぞれを前記対象者の両眼の位置に応じて動的に補正する制御部と、
を備える、移動体。 A first optical member;
A display unit for displaying a plurality of images;
Projecting the plurality of images onto the first optical member, and causing the subject to visually recognize virtual images of the plurality of images, and at least one second optical member;
A control unit that dynamically corrects each of the plurality of images to be displayed on the display unit according to the positions of both eyes of the subject;
A moving object comprising:
JP2016237832A 2016-12-07 2016-12-07 Image projection device, image display device, and moving body Active JP6688213B2 (en)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2016237832A JP6688213B2 (en) 2016-12-07 2016-12-07 Image projection device, image display device, and moving body
EP17878290.0A EP3554068B1 (en) 2016-12-07 2017-12-01 Image projection apparatus
US16/467,884 US10923003B2 (en) 2016-12-07 2017-12-01 Light source apparatus, display apparatus, vehicle, three-dimensional projection apparatus, three-dimensional projection system, image projection apparatus, and image display apparatus
KR1020197016407A KR102176902B1 (en) 2016-12-07 2017-12-01 Image projection device, image display device and moving object
PCT/JP2017/043367 WO2018105533A1 (en) 2016-12-07 2017-12-01 Image projection device, image display device, and moving body
US16/467,917 US11221481B2 (en) 2016-12-07 2017-12-01 Image projection apparatus, image display apparatus, and vehicle
EP17879607.4A EP3554069B1 (en) 2016-12-07 2017-12-01 Image projection device, image display device, and moving body
KR1020197016411A KR102134140B1 (en) 2016-12-07 2017-12-01 Light source device, display device, moving object, three-dimensional projection device, three-dimensional projection system, image projection device, and image display device
CN201780076282.5A CN110073658B (en) 2016-12-07 2017-12-01 Image projection apparatus, image display apparatus, and moving object
PCT/JP2017/043368 WO2018105534A1 (en) 2016-12-07 2017-12-01 Light source device, display device, moving body, three-dimensional projection device, three-dimensional projection system, image projection device, and image display device
CN201780076313.7A CN110073659B (en) 2016-12-07 2017-12-01 Image projection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016237832A JP6688213B2 (en) 2016-12-07 2016-12-07 Image projection device, image display device, and moving body

Publications (2)

Publication Number Publication Date
JP2018092108A true JP2018092108A (en) 2018-06-14
JP6688213B2 JP6688213B2 (en) 2020-04-28

Family

ID=62565410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016237832A Active JP6688213B2 (en) 2016-12-07 2016-12-07 Image projection device, image display device, and moving body

Country Status (1)

Country Link
JP (1) JP6688213B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031618A (en) * 2004-07-21 2006-02-02 Denso Corp Display device for vehicle and display method thereof
JP2009269551A (en) * 2008-05-09 2009-11-19 Calsonic Kansei Corp Display for vehicle
JP2011180351A (en) * 2010-03-01 2011-09-15 Equos Research Co Ltd Head-up display apparatus
JP2012141502A (en) * 2011-01-05 2012-07-26 Nippon Seiki Co Ltd Viewpoint position detecting device, method for detecting viewpoint position, and stereographic display device
JP2014199385A (en) * 2013-03-15 2014-10-23 日本精機株式会社 Display device and display method thereof
JP2015197707A (en) * 2014-03-31 2015-11-09 株式会社デンソー Display control device for vehicle
JP2015215505A (en) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 Display apparatus and display method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031618A (en) * 2004-07-21 2006-02-02 Denso Corp Display device for vehicle and display method thereof
JP2009269551A (en) * 2008-05-09 2009-11-19 Calsonic Kansei Corp Display for vehicle
JP2011180351A (en) * 2010-03-01 2011-09-15 Equos Research Co Ltd Head-up display apparatus
JP2012141502A (en) * 2011-01-05 2012-07-26 Nippon Seiki Co Ltd Viewpoint position detecting device, method for detecting viewpoint position, and stereographic display device
JP2014199385A (en) * 2013-03-15 2014-10-23 日本精機株式会社 Display device and display method thereof
JP2015197707A (en) * 2014-03-31 2015-11-09 株式会社デンソー Display control device for vehicle
JP2015215505A (en) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 Display apparatus and display method

Also Published As

Publication number Publication date
JP6688213B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
US11221481B2 (en) Image projection apparatus, image display apparatus, and vehicle
JP6799507B2 (en) 3D projection device, 3D projection system, and mobile
WO2018105534A1 (en) Light source device, display device, moving body, three-dimensional projection device, three-dimensional projection system, image projection device, and image display device
CN108027511B (en) Information display device, information providing system, moving object apparatus, information display method, and recording medium
US10768416B2 (en) Projection type display device, projection display method, and projection display program
US10313666B2 (en) Display device and display method
CN110308556B (en) Image forming system, image correcting system, image displaying method, moving object, and non-transitory computer-readable medium
JP2015184908A (en) Image processor and image processing program
JP2017047794A (en) Distortion correction method for head-up display and distortion correction device for head-up display using the same
JP6688212B2 (en) Image projection device, image display device, and moving body
JP6665077B2 (en) Image projection device, image display device, and moving object
JP6688213B2 (en) Image projection device, image display device, and moving body
JP7274392B2 (en) Cameras, head-up display systems, and moving objects
JP2018088669A (en) Projection image distortion correction device and method
US11782270B2 (en) Head-up display, head-up display system, and mobile body
WO2023120603A1 (en) Imaging device and image processing method
CN112955933B (en) Controller, position determination device, position determination system, display system, program, and recording medium
CN111243102B (en) Method and system for improving and increasing FOV (field of view) based on diffusion film transformation
WO2021201161A1 (en) Detection device and image display module
JP7250582B2 (en) Image display module, moving body, and optical system
JP2023074703A (en) Display control device, head-up display device and display control method
JP2021166031A (en) Detection device and image display module
JP2022159303A (en) Image display module
JP2020145564A (en) Image processing device and image processing method
JP2021182344A (en) Viewpoint detection device and display unit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200403

R150 Certificate of patent or registration of utility model

Ref document number: 6688213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04