JP2022021866A

JP2022021866A - Camera system and image display system

Info

Publication number: JP2022021866A
Application number: JP2020125730A
Authority: JP
Inventors: 薫草深; Kaoru Kusafuka; 昭典佐藤; Akinori Sato; 直橋本; Sunao Hashimoto
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2022-02-03

Abstract

To provide a camera system and an image display system capable of enhancing the accuracy of detection processing using a captured image.SOLUTION: A camera system 50 comprises a light source 1 and a camera 11. The camera 11 is capable of imaging a region including an eye box 16 of an operator 13 of a mobile object 10. The light source 1 is disposed at a position higher than the eye box 16 and emits infrared light toward the eye box 16.SELECTED DRAWING: Figure 1

Description

本開示は、カメラシステムおよび画像表示システムに関する。 The present disclosure relates to a camera system and an image display system.

車両の安全性向上および自動運転制御の補助などを目的として、カメラで運転者を撮影し、その画像から運転者の姿勢、顔の動き、視線などを検出し、車両の運転状態を監視する運転者監視システムが車両に搭載される（例えば、特許文献１等）。また、運転中の運転者が、車両に関連する情報、ナビゲーションに関連する情報などを視認できるように画像を表示させるヘッドアップディスプレイなどの画像表示装置では、カメラで運転者の顔を撮影し、瞳孔の位置を検出している（例えば、特許文献２等）。 For the purpose of improving vehicle safety and assisting automatic driving control, the driver is photographed with a camera, and the driver's posture, facial movement, line of sight, etc. are detected from the image to monitor the driving condition of the vehicle. A person monitoring system is mounted on a vehicle (for example, Patent Document 1 and the like). In addition, in an image display device such as a head-up display that displays an image so that the driver who is driving can visually recognize information related to the vehicle, information related to navigation, etc., the driver's face is photographed with a camera. The position of the pupil is detected (for example, Patent Document 2 and the like).

特開平１１－３０４４２８号公報Japanese Unexamined Patent Publication No. 11-304428 特開平６－２３０１３２号公報Japanese Unexamined Patent Publication No. 6-230132

運転者監視システムおよび画像表示装置では、夜間およびトンネル内などでも運転者を撮影可能なように、運転者に赤外光を照射し、その反射光を赤外光カメラで撮影する。赤外光光源の配置位置によって、撮影された画像は異なり、検出精度に影響を及ぼすことになる。 In the driver monitoring system and the image display device, the driver is irradiated with infrared light so that the driver can be photographed even at night or in a tunnel, and the reflected light is photographed by an infrared camera. The captured image differs depending on the position of the infrared light source, which affects the detection accuracy.

本開示の一実施形態に係るカメラシステムは、カメラと、複数の光源と、を備える。カメラは、車両の運転者のアイボックスを含む領域を撮像可能に構成される。複数の光源は、前記アイボックスより高い位置に配置され、前記アイボックスに向かって赤外光を出射するように構成される。 The camera system according to the embodiment of the present disclosure includes a camera and a plurality of light sources. The camera is configured to be capable of capturing an area including the eyebox of the driver of the vehicle. The plurality of light sources are arranged at a position higher than the eye box and are configured to emit infrared light toward the eye box.

本開示の一実施形態に係る画像表示システムは、上記のカメラシステムと、表示部と、バリア部と、筐体と、制御部と、を備える。表示部は、運転者の両眼に対して前記ウインドシールドを介して投影される視差画像を表示する。バリア部は、前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与える。筐体は、前記表示部および前記バリア部を収容する。制御部は、前記カメラの撮像画像に基づいて、前記表示部を制御する。 The image display system according to the embodiment of the present disclosure includes the above-mentioned camera system, a display unit, a barrier unit, a housing, and a control unit. The display unit displays a parallax image projected on both eyes of the driver through the windshield. The barrier portion gives parallax to both eyes by defining the traveling direction of the image light of the parallax image. The housing houses the display unit and the barrier unit. The control unit controls the display unit based on the image captured by the camera.

本開示の一実施形態に係るカメラシステムによれば、撮像画像を用いた検出処理の精度を高めることができる。また、画像表示システムによれば、高精度の検出結果に基づいて表示部を制御することができる。 According to the camera system according to the embodiment of the present disclosure, the accuracy of the detection process using the captured image can be improved. Further, according to the image display system, the display unit can be controlled based on the detection result with high accuracy.

３次元投影システムが搭載された移動体の概略構成の一例を示す図である。It is a figure which shows an example of the schematic structure of the moving body which mounted the 3D projection system. ３次元投影システムの概略構成の一例を示す図である。It is a figure which shows an example of the schematic structure of the 3D projection system. 運転者の眼と表示部とバリア部との関係を示す模式図である。It is a schematic diagram which shows the relationship between a driver's eye, a display part, and a barrier part. ルームミラーの他の例を示すブロック図である。It is a block diagram which shows another example of a room mirror. 光源の他の配置例を示す概略図である。It is a schematic diagram which shows the other arrangement example of a light source.

以下、本開示の実施形態について、図面を参照しながら詳細に説明がされる。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings. The figures used in the following description are schematic. The dimensional ratios on the drawings do not always match the actual ones.

図１に示されるように、本開示の一実施形態に係るカメラシステム５０は、移動体１０に搭載されている。カメラシステム５０は、光源１と、カメラ１１と、を備える。移動体１０は、画像表示システムである３次元投影システム１００を備えてよい。３次元投影システム１００は、カメラシステム５０と、３次元投影装置１２と、を備える。 As shown in FIG. 1, the camera system 50 according to the embodiment of the present disclosure is mounted on the mobile body 10. The camera system 50 includes a light source 1 and a camera 11. The moving body 10 may include a three-dimensional projection system 100, which is an image display system. The three-dimensional projection system 100 includes a camera system 50 and a three-dimensional projection device 12.

本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。 The "mobile body" in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like. Vehicles may include, for example, automobiles, industrial vehicles, railroad vehicles, living vehicles, fixed-wing aircraft traveling on runways, and the like. Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses and the like. Industrial vehicles may include, for example, industrial vehicles for agriculture and construction. Industrial vehicles may include, for example, forklifts, golf carts and the like. Industrial vehicles for agriculture may include, for example, tractors, cultivators, porting machines, binders, combines, lawnmowers and the like. Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, mobile cranes, dump trucks, road rollers and the like. The vehicle may include a vehicle that travels manually. The classification of vehicles is not limited to the above examples. For example, an automobile may include an industrial vehicle capable of traveling on a road. The same vehicle may be included in multiple categories. Vessels may include, for example, marine jets, boats, tankers and the like. Aircraft may include, for example, fixed-wing aircraft, rotary-wing aircraft, and the like.

以下では、移動体１０が、乗用車である場合を例として説明する。移動体１０は、乗用車に限らず、上記例のいずれかであってよい。カメラ１１は、移動体１０に取り付けられてよい。カメラ１１は、撮像方向が運転者１３を向いていてよい。カメラ１１は、移動体１０の運転者１３のアイボックス１６を含む領域を撮像可能に構成される。アイボックス１６とは、例えば運転者１３の体格、姿勢、及び姿勢の変化等を考慮して、運転者１３の眼５が存在しうると想定される実空間上の領域である。アイボックス１６の形状は任意である。アイボックス１６は、平面的又は立体的な領域を含んでよい。カメラ１１の取り付け位置は、移動体１０の内部及び外部において任意である。例えば、カメラ１１は、移動体１０のダッシュボード内に位置してよい。 Hereinafter, the case where the moving body 10 is a passenger car will be described as an example. The mobile body 10 is not limited to a passenger car, and may be any of the above examples. The camera 11 may be attached to the moving body 10. The camera 11 may have the image pickup direction facing the driver 13. The camera 11 is configured to be capable of capturing an area including the eye box 16 of the driver 13 of the mobile body 10. The eye box 16 is an area in real space where the eyes 5 of the driver 13 are assumed to exist in consideration of, for example, the physique, posture, and changes in the posture of the driver 13. The shape of the eye box 16 is arbitrary. The eyebox 16 may include a planar or three-dimensional region. The mounting position of the camera 11 is arbitrary inside and outside the moving body 10. For example, the camera 11 may be located within the dashboard of the mobile body 10.

カメラ１１は、撮像方向が移動体１０の前方を向いてよい。撮像方向は、カメラ１１の光軸方向に沿う方向であって、被写体に向かう方向である。言い換えると、撮像方向は、カメラ１１の光軸方向に沿う方向であって、入射光と反対向きの方向である。移動体１０の移動方向には、前方と後方とがあり、例えば、乗用車であれば、操作ハンドルの位置、運転者の座席位置などによって、前方と後方のいずれであるかが決定できる。カメラ１１の撮像方向が移動体１０の前方に向くとは、少なくとも撮像方向が、移動体１０の前方と同一方向の成分を有している場合である。撮像方向が移動体１０の前方を向いている場合は、カメラ１１の撮像方向の先には、ウインドシールド１５が位置していてよい。ウインドシールド１５には、運転者１３の顔が映り込みうる。運転者１３の顔は、運転時に所定の範囲に位置するものとして、カメラ１１は、運転者の顔があるものと想定される想定領域を、ウインドシールド１５を介して撮像するように構成される。カメラ１１は、ウインドシールド１５を介して想定領域にある運転者の顔を撮像するように構成される。カメラ１１は、ウインドシールド１５を介して少なくとも移動体１０の運転者１３の眼５を撮像するように構成されている。カメラシステム５０は、ウインドシールド１５を含みうる。 The camera 11 may have the imaging direction facing the front of the moving body 10. The imaging direction is a direction along the optical axis direction of the camera 11 and is a direction toward the subject. In other words, the imaging direction is a direction along the optical axis direction of the camera 11 and is a direction opposite to the incident light. The moving direction of the moving body 10 includes front and rear. For example, in the case of a passenger car, it can be determined whether it is front or rear depending on the position of the operation handle, the seat position of the driver, and the like. The image pickup direction of the camera 11 faces the front of the moving body 10 when the image pickup direction has at least a component in the same direction as the front of the moving body 10. When the image pickup direction is facing the front of the moving body 10, the windshield 15 may be located ahead of the image pickup direction of the camera 11. The face of the driver 13 can be reflected on the windshield 15. Assuming that the face of the driver 13 is located in a predetermined range during driving, the camera 11 is configured to take an image of an assumed area where the face of the driver is assumed to be located via the windshield 15. .. The camera 11 is configured to capture the face of the driver in the assumed region via the windshield 15. The camera 11 is configured to capture at least the eyes 5 of the driver 13 of the mobile body 10 via the windshield 15. The camera system 50 may include a windshield 15.

カメラ１１は、赤外光を受光して画像を生成する赤外光カメラであってよい。カメラ１１は、赤外光カメラと可視光カメラの両方の機能を有していてよい。カメラ１１は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んでよい。 The camera 11 may be an infrared light camera that receives infrared light and generates an image. The camera 11 may have the functions of both an infrared light camera and a visible light camera. The camera 11 may include, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

カメラ１１で撮像された画像は、３次元投影装置１２に出力される。カメラ１１から出力される撮像画像に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。カメラ１１は、有線通信又は無線通信を介して撮像画像を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ（Controller Area Network）等を含みうる。 The image captured by the camera 11 is output to the three-dimensional projection device 12. The three-dimensional projection device 12 may be configured to control the image to be projected based on the captured image output from the camera 11. The camera 11 may be configured to output the captured image to the three-dimensional projection device 12 via wired communication or wireless communication. Wired communication may include, for example, CAN (Controller Area Network) and the like.

光源１は、アイボックス１６より高い位置に配置され、アイボックス１６に向かって赤外光を出射するように構成される。光源１から被写体である運転者１３に向かって出射された赤外光は、被写体である運転者１３で反射され、カメラ１１は、反射された赤外光を受光する。光源１は、アイボックス１６より高い位置に配置されていればよく、例えば、ルームミラー２に設けられてよい。ルームミラー２は、車両室内に吊り下げられている後写鏡である。光源１は、例えば、ルームミラー２上に固定されていてよい。ルームミラー２は角度調整が可能であり、光源１がルームミラー２に固定されていることで、光源１の出射方向も調整可能に構成されてよい。ルームミラー２は角度調整が可能であって、光源１の出射方向は、固定されていてよい。 The light source 1 is arranged at a position higher than the eye box 16 and is configured to emit infrared light toward the eye box 16. The infrared light emitted from the light source 1 toward the driver 13 as the subject is reflected by the driver 13 as the subject, and the camera 11 receives the reflected infrared light. The light source 1 may be arranged at a position higher than the eye box 16, and may be provided in, for example, the rear-view mirror 2. The rear-view mirror 2 is a rear-view mirror suspended in the vehicle interior. The light source 1 may be fixed on the rearview mirror 2, for example. The angle of the rearview mirror 2 can be adjusted, and since the light source 1 is fixed to the rearview mirror 2, the emission direction of the light source 1 may also be adjustable. The angle of the rearview mirror 2 can be adjusted, and the emission direction of the light source 1 may be fixed.

アイボックス１６より高い位置からアイボックス１６に向かって赤外光を出射することで、運転者１３には、上方から赤外光が照射される。カメラ１１は、上方から運転者１３に照射された赤外光の反射光を、光源１より低い位置で受光しうる。これにより、カメラ１１による撮像画像を用いた運転者１３の眼５の位置（瞳孔位置）の検出などの検出処理の精度を高めることができる。本実施形態において、瞳孔位置の検出などの検出処理としては、既存の検出処理を実行してよい。 By emitting infrared light toward the eyebox 16 from a position higher than the eyebox 16, the driver 13 is irradiated with infrared light from above. The camera 11 can receive the reflected light of the infrared light radiated to the driver 13 from above at a position lower than the light source 1. This makes it possible to improve the accuracy of detection processing such as detection of the position (pupil position) of the eye 5 of the driver 13 using the image captured by the camera 11. In the present embodiment, as the detection process such as the detection of the pupil position, the existing detection process may be executed.

カメラシステム５０は、例えば、センサを含んでよい。センサは、超音波センサ又は光センサ等であってよい。カメラシステム５０は、センサによって運転者１３の頭部の位置を検出するように構成され、頭部の位置に基づいて、運転者１３の眼５の位置を検出するように構成されうる。カメラ１１は、２つ以上のセンサによって、運転者１３の眼５の位置を三次元空間の座標として検出するように構成されうる。 The camera system 50 may include, for example, a sensor. The sensor may be an ultrasonic sensor, an optical sensor, or the like. The camera system 50 may be configured to detect the position of the driver 13's head by sensors and may be configured to detect the position of the driver 13's eyes 5 based on the position of the head. The camera 11 may be configured to detect the position of the eye 5 of the driver 13 as coordinates in three-dimensional space by two or more sensors.

カメラシステム５０は、検出した眼５の位置に関する位置情報を３次元投影装置１２に出力するように構成してよい。この位置情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。カメラシステム５０は、有線又は無線を介して眼５の位置を示す情報を３次元投影装置１２へ出力するように構成してよい。有線は、例えばＣＡＮ（Controller Area Network）等を含みうる。 The camera system 50 may be configured to output position information regarding the detected position of the eye 5 to the three-dimensional projection device 12. Based on this position information, the three-dimensional projection device 12 may be configured to control the image to be projected. The camera system 50 may be configured to output information indicating the position of the eye 5 to the three-dimensional projection device 12 via wired or wireless. Wired may include, for example, CAN (Controller Area Network) and the like.

カメラシステム５０は、撮像した画像を外部装置に出力するように構成してよい。この外部装置は、出力された画像から、運転者１３の眼５の位置を検出するように構成されてよい。この外部装置は、検出した眼５の位置に関する位置情報を３次元投影装置１２に出力するように構成してよい。この位置情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。カメラシステム５０は、有線又は無線を介して撮像した画像を外部装置へ出力するように構成してよい。外部装置は、有線又は無線を介して撮像した画像を３次元投影装置１２へ出力するように構成してよい。有線は、例えばＣＡＮ等を含みうる。 The camera system 50 may be configured to output the captured image to an external device. This external device may be configured to detect the position of the eye 5 of the driver 13 from the output image. This external device may be configured to output the position information regarding the detected position of the eye 5 to the three-dimensional projection device 12. Based on this position information, the three-dimensional projection device 12 may be configured to control the image to be projected. The camera system 50 may be configured to output an image captured by wire or wirelessly to an external device. The external device may be configured to output an image captured by wire or wirelessly to the three-dimensional projection device 12. Wired may include, for example, CAN and the like.

３次元投影装置１２の位置は、移動体１０の内部及び外部において任意である。例えば、３次元投影装置１２は、移動体１０のダッシュボード内に位置してよい。３次元投影装置１２は、ウインドシールド１５に向けて画像光を射出するように構成される。画像光は、例えば、筐体１２０に設けられた開口を通って射出されてよい。 The position of the three-dimensional projection device 12 is arbitrary inside and outside the moving body 10. For example, the 3D projection device 12 may be located within the dashboard of the moving body 10. The three-dimensional projection device 12 is configured to emit image light toward the windshield 15. The image light may be emitted, for example, through an opening provided in the housing 120.

ウインドシールド１５は、３次元投影装置１２から射出された画像光を反射するように構成される。ウインドシールド１５で反射された画像光は、アイボックス１６に到達する。図１に示されている実線の矢印は、３次元投影装置１２から射出される画像光の少なくとも一部がアイボックス１６まで到達する経路を示す。画像光が進む経路は、光路とも称される。運転者１３の眼５がアイボックス１６内に位置する場合、運転者１３は、アイボックス１６に到達する画像光によって、虚像１４を視認可能である。虚像１４は、ウインドシールド１５から眼５に到達する経路を前方に延長した、一点鎖線で示されている線の上に位置する。３次元投影装置１２は、運転者１３に虚像１４を視認させることによって、ヘッドアップディスプレイとして機能しうる。図１において、運転者１３の眼５が並ぶ方向は、ｘ軸方向に対応する。鉛直方向は、ｙ軸方向に対応する。 The windshield 15 is configured to reflect the image light emitted from the three-dimensional projection device 12. The image light reflected by the windshield 15 reaches the eyebox 16. The solid arrow shown in FIG. 1 indicates a path through which at least a part of the image light emitted from the three-dimensional projection device 12 reaches the eye box 16. The path through which the image light travels is also called an optical path. When the eye 5 of the driver 13 is located in the eye box 16, the driver 13 can visually recognize the virtual image 14 by the image light reaching the eye box 16. The virtual image 14 is located on the line indicated by the alternate long and short dash line, which extends the path from the windshield 15 to the eye 5 forward. The three-dimensional projection device 12 can function as a head-up display by allowing the driver 13 to visually recognize the virtual image 14. In FIG. 1, the direction in which the eyes 5 of the driver 13 are lined up corresponds to the x-axis direction. The vertical direction corresponds to the y-axis direction.

図２に示されるように、３次元投影装置１２は、３次元表示装置１７と、光学素子１８とを備える。３次元表示装置１７は、バックライト１９と、表示面２０ａを有する表示部２０と、バリア部２１と、制御部２４とを備えうる。３次元表示装置１７は、通信部２２をさらに備えてよい。３次元表示装置１７は、記憶部２３をさらに備えてよい。３次元投影装置１２は、例えば、筐体１２０を備えてよい。筐体１２０内には、３次元表示装置１７と、光学素子１８とが収容される。 As shown in FIG. 2, the three-dimensional projection device 12 includes a three-dimensional display device 17 and an optical element 18. The three-dimensional display device 17 may include a backlight 19, a display unit 20 having a display surface 20a, a barrier unit 21, and a control unit 24. The three-dimensional display device 17 may further include a communication unit 22. The three-dimensional display device 17 may further include a storage unit 23. The three-dimensional projection device 12 may include, for example, a housing 120. A three-dimensional display device 17 and an optical element 18 are housed in the housing 120.

光学素子１８は、第１ミラー１８ａと、第２ミラー１８ｂとを含んでよい。第１ミラー１８ａ及び第２ミラー１８ｂの少なくとも一方は、光学的なパワーを有してよい。本実施形態において、第１ミラー１８ａは、光学的なパワーを有する凹面鏡であるとする。第２ミラー１８ｂは、平面鏡であるとする。光学素子１８は、３次元表示装置１７に表示された画像を拡大する拡大光学系として機能してよい。図２に示される一点鎖線の矢印は、３次元表示装置１７から射出される画像光の少なくとも一部が、第１ミラー１８ａ及び第２ミラー１８ｂによって反射され、３次元投影装置１２の外部に射出される際の経路を示す。３次元投影装置１２の外部に射出された画像光は、ウインドシールド１５に到達し、ウインドシールド１５で反射されて運転者１３の眼５に到達する。その結果、運転者１３は、３次元表示装置１７に表示された画像を視認できる。 The optical element 18 may include a first mirror 18a and a second mirror 18b. At least one of the first mirror 18a and the second mirror 18b may have optical power. In the present embodiment, the first mirror 18a is a concave mirror having optical power. It is assumed that the second mirror 18b is a plane mirror. The optical element 18 may function as a magnifying optical system for enlarging the image displayed on the three-dimensional display device 17. The one-dot chain line arrow shown in FIG. 2 indicates that at least a part of the image light emitted from the three-dimensional display device 17 is reflected by the first mirror 18a and the second mirror 18b and emitted to the outside of the three-dimensional projection device 12. The route when it is done is shown. The image light emitted to the outside of the three-dimensional projection device 12 reaches the windshield 15, is reflected by the windshield 15, and reaches the driver 13's eye 5. As a result, the driver 13 can visually recognize the image displayed on the three-dimensional display device 17.

光学素子１８とウインドシールド１５とは、３次元表示装置１７から射出させる画像光を運転者１３の眼５に到達させうるように構成される。光学素子１８とウインドシールド１５とは、光学系３０を構成してよい。言い換えれば、光学系３０は、光学素子１８とウインドシールド１５とを含む。光学系３０は、３次元表示装置１７から射出される画像光を一点鎖線で示されている光路に沿って運転者１３の眼５に到達させるように構成される。光学系３０は、運転者１３に視認させる画像が拡大したり縮小したりするように、画像光の進行方向を制御するように構成してよい。光学系３０は、運転者１３に視認させる画像の形状を所定の行列に基づいて変形させるように、画像光の進行方向を制御するように構成してよい。 The optical element 18 and the windshield 15 are configured so that the image light emitted from the three-dimensional display device 17 can reach the eye 5 of the driver 13. The optical element 18 and the windshield 15 may form an optical system 30. In other words, the optical system 30 includes an optical element 18 and a windshield 15. The optical system 30 is configured to bring the image light emitted from the three-dimensional display device 17 to the eye 5 of the driver 13 along the optical path indicated by the alternate long and short dash line. The optical system 30 may be configured to control the traveling direction of the image light so that the image visually recognized by the driver 13 is enlarged or reduced. The optical system 30 may be configured to control the traveling direction of the image light so as to deform the shape of the image visually recognized by the driver 13 based on a predetermined matrix.

光学素子１８は、例示される構成に限られない。ミラーは、凹面鏡であってよいし、凸面鏡であってよいし、平面鏡であってよい。ミラーが凹面鏡又は凸面鏡である場合、その形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。光学素子１８を構成する要素の数は、２つに限られず、１つであってよいし、３つ以上であってよい。光学素子１８は、ミラーに限られずレンズを含んでよい。レンズは、凹面レンズであってよいし、凸面レンズであってよい。レンズの形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。 The optical element 18 is not limited to the illustrated configuration. The mirror may be a concave mirror, a convex mirror, or a plane mirror. When the mirror is a concave mirror or a convex mirror, the shape may include at least a spherical shape or at least a part aspherical shape. The number of elements constituting the optical element 18 is not limited to two, and may be one or three or more. The optical element 18 is not limited to the mirror and may include a lens. The lens may be a concave lens or a convex lens. The shape of the lens may include a spherical shape at least in part, or may include an aspherical shape in at least a part.

バックライト１９は、画像光の光路上において、運転者１３から見て、表示部２０及びバリア部２１よりも遠い側に位置する。バックライト１９は、バリア部２１と表示部２０とに向けて光を射出する。バックライト１９が射出した光の少なくとも一部は、一点鎖線で示されている光路に沿って進行し、運転者１３の眼５に到達する。バックライト１９は、ＬＥＤ（Light Emission Diode）又は有機ＥＬ若しくは無機ＥＬ等の発光素子を含んでよい。バックライト１９は、発光強度、及び、その分布を制御可能に構成されてよい。 The backlight 19 is located on the optical path of the image light on the side farther from the display unit 20 and the barrier unit 21 when viewed from the driver 13. The backlight 19 emits light toward the barrier unit 21 and the display unit 20. At least a part of the light emitted by the backlight 19 travels along the optical path indicated by the alternate long and short dash line and reaches the eye 5 of the driver 13. The backlight 19 may include a light emitting element such as an LED (Light Emission Diode) or an organic EL or an inorganic EL. The backlight 19 may be configured so that the emission intensity and its distribution can be controlled.

表示部２０は、表示パネルを含む。表示部２０は、例えば、ＬＣＤ（Liquid Crystal Display）等の液晶デバイスであってよい。本実施形態において、表示部２０は、透過型の液晶表示パネルを含むとする。表示部２０は、この例に限られず、種々の表示パネルを含んでよい。 The display unit 20 includes a display panel. The display unit 20 may be, for example, a liquid crystal device such as an LCD (Liquid Crystal Display). In the present embodiment, the display unit 20 includes a transmissive liquid crystal display panel. The display unit 20 is not limited to this example, and may include various display panels.

表示部２０は、複数の画素を有し、各画素においてバックライト１９から入射する光の透過率を制御し、運転者１３の眼５に到達する画像光として射出するように構成される。運転者１３は、表示部２０の各画素から射出される画像光によって構成される画像を視認する。 The display unit 20 has a plurality of pixels, controls the transmittance of the light incident from the backlight 19 in each pixel, and is configured to emit as image light reaching the eye 5 of the driver 13. The driver 13 visually recognizes an image composed of image light emitted from each pixel of the display unit 20.

バリア部２１は、入射してくる光の進行方向を規定するように構成される。バリア部２１が表示部２０よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、バリア部２１に入射し、さらに表示部２０に入射する。この場合、バリア部２１は、バックライト１９から射出される光の一部を遮ったり減衰させたりし、他の一部を表示部２０に向けて透過させるように構成される。表示部２０は、バリア部２１によって規定された方向に進行する入射光を、同じ方向に進行する画像光としてそのまま射出する。表示部２０がバリア部２１よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、表示部２０に入射し、さらにバリア部２１に入射する。この場合、バリア部２１は、表示部２０から射出される画像光の一部を遮ったり減衰させたりし、他の一部を運転者１３の眼５に向けて透過させるように構成される。 The barrier portion 21 is configured to define the traveling direction of the incident light. When the barrier unit 21 is located closer to the backlight 19 than the display unit 20, the light emitted from the backlight 19 is incident on the barrier unit 21 and further incident on the display unit 20. In this case, the barrier unit 21 is configured to block or attenuate a part of the light emitted from the backlight 19 and transmit the other part toward the display unit 20. The display unit 20 emits incident light traveling in the direction defined by the barrier unit 21 as it is as image light traveling in the same direction. When the display unit 20 is located closer to the backlight 19 than the barrier unit 21, the light emitted from the backlight 19 is incident on the display unit 20 and further incident on the barrier unit 21. In this case, the barrier unit 21 is configured to block or attenuate a part of the image light emitted from the display unit 20 and transmit the other part toward the eye 5 of the driver 13.

表示部２０とバリア部２１とのどちらが運転者１３の近くに位置するかにかかわらず、バリア部２１は、画像光の進行方向を制御できるように構成される。バリア部２１は、表示部２０から射出される画像光の一部を運転者１３の左眼５Ｌ及び右眼５Ｒ（図４参照）のいずれかに到達させ、画像光の他の一部を運転者１３の左眼５Ｌ及び右眼５Ｒの他方に到達させるように構成される。つまり、バリア部２１は、画像光の少なくとも一部の進行方向を運転者１３の左眼５Ｌと右眼５Ｒとに分けるように構成される。左眼５Ｌ及び右眼５Ｒはそれぞれ、第１眼及び第２眼ともいう。本実施形態において、バリア部２１は、バックライト１９と表示部２０との間に位置する。つまり、バックライト１９から射出される光は、先にバリア部２１に入射し、次に表示部２０に入射する。 Regardless of whether the display unit 20 or the barrier unit 21 is located closer to the driver 13, the barrier unit 21 is configured to be able to control the traveling direction of the image light. The barrier unit 21 causes a part of the image light emitted from the display unit 20 to reach either the left eye 5L or the right eye 5R (see FIG. 4) of the driver 13, and drives the other part of the image light. It is configured to reach the other of the left eye 5L and the right eye 5R of the person 13. That is, the barrier portion 21 is configured to divide at least a part of the traveling direction of the image light into the left eye 5L and the right eye 5R of the driver 13. The left eye 5L and the right eye 5R are also referred to as the first eye and the second eye, respectively. In the present embodiment, the barrier unit 21 is located between the backlight 19 and the display unit 20. That is, the light emitted from the backlight 19 first incidents on the barrier portion 21, and then incidents on the display portion 20.

バリア部２１によって画像光の進行方向が規定されることによって、運転者１３の左眼５Ｌ及び右眼５Ｒそれぞれに異なる画像光が到達しうる。その結果、運転者１３は、左眼５Ｌ及び右眼５Ｒそれぞれで異なる画像を視認しうる。 By defining the traveling direction of the image light by the barrier portion 21, different image lights can reach the left eye 5L and the right eye 5R of the driver 13. As a result, the driver 13 can visually recognize different images for each of the left eye 5L and the right eye 5R.

図３に示されるように、表示部２０は、表示面２０ａ上に、運転者１３の左眼５Ｌで視認される左眼視認領域２０１Ｌと、運転者１３の右眼５Ｒで視認される右眼視認領域２０１Ｒとを含む。表示部２０は、運転者１３の左眼５Ｌに視認させる左眼画像と、運転者１３の右眼５Ｒに視認させる右眼画像とを含む視差画像を表示するように構成される。視差画像は、運転者１３の左眼５Ｌ及び右眼５Ｒそれぞれに投影される画像であって、運転者１３の両眼に視差を与える画像であるとする。表示部２０は、左眼視認領域２０１Ｌに左眼画像を表示し、右眼視認領域２０１Ｒに右眼画像を表示するように構成される。つまり、表示部２０は、左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとに視差画像を表示するように構成される。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、視差方向を表すｕ軸方向に並んでいるとする。左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向に直交するｖ軸方向に沿って延在してよいし、ｖ軸方向に対して所定角度で傾斜する方向に延在してよい。つまり、左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向の成分を含む所定方向に沿って交互に並んでいてよい。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとが交互に並ぶピッチは、視差画像ピッチともいう。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、間隔をあけて位置していてよいし、互いに隣接していてよい。表示部２０は、表示面２０ａ上に、平面画像を表示する表示領域をさらに有していてよい。平面画像は、運転者１３の眼５に視差を与えず、立体視されない画像であるとする。 As shown in FIG. 3, the display unit 20 has a left eye viewing area 201L visually recognized by the driver 13's left eye 5L and a right eye visually recognized by the driver 13's right eye 5R on the display surface 20a. Includes the viewing area 201R. The display unit 20 is configured to display a parallax image including a left eye image visually recognized by the left eye 5L of the driver 13 and a right eye image visually recognized by the right eye 5R of the driver 13. The parallax image is an image projected on each of the left eye 5L and the right eye 5R of the driver 13, and is an image that gives parallax to both eyes of the driver 13. The display unit 20 is configured to display the left eye image in the left eye viewing area 201L and display the right eye image in the right eye viewing area 201R. That is, the display unit 20 is configured to display the parallax image in the left eye visual recognition area 201L and the right eye visual recognition area 201R. It is assumed that the left eye visual recognition area 201L and the right eye visual recognition area 201R are aligned in the u-axis direction representing the parallax direction. The left eye visual recognition area 201L and the right eye visual recognition area 201R may extend along the v-axis direction orthogonal to the parallax direction, or may extend in a direction inclined at a predetermined angle with respect to the v-axis direction. That is, the left eye visual recognition area 201L and the right eye visual recognition area 201R may be alternately arranged along a predetermined direction including a component in the parallax direction. The pitch in which the left eye visual recognition area 201L and the right eye visual recognition area 201R are alternately arranged is also referred to as a parallax image pitch. The left eye visual recognition area 201L and the right eye visual recognition area 201R may be located at intervals or may be adjacent to each other. The display unit 20 may further have a display area for displaying a flat image on the display surface 20a. It is assumed that the planar image is an image that does not give parallax to the eyes 5 of the driver 13 and is not stereoscopically viewed.

図３に示されるように、バリア部２１は、開口領域２１ｂと、遮光面２１ａとを有する。バリア部２１が、画像光の光路上において、運転者１３から見て表示部２０よりも近い側に位置する場合、バリア部２１は、表示部２０から射出される画像光の透過率を制御するように構成される。開口領域２１ｂは、表示部２０からバリア部２１に入射する光を透過させるように構成される。開口領域２１ｂは、第１所定値以上の透過率で光を透過させてよい。第１所定値は、例えば１００％であってよいし、１００％に近い値であってよい。遮光面２１ａは、表示部２０からバリア部２１に入射する光を遮るように構成される。遮光面２１ａは、第２所定値以下の透過率で光を透過させてよい。第２所定値は、例えば０％であってよいし、０％に近い値であってよい。第１所定値は、第２所定値より大きい。 As shown in FIG. 3, the barrier portion 21 has an opening region 21b and a light-shielding surface 21a. When the barrier unit 21 is located on the optical path of the image light closer to the display unit 20 when viewed from the driver 13, the barrier unit 21 controls the transmittance of the image light emitted from the display unit 20. It is configured as follows. The opening region 21b is configured to transmit light incident on the barrier portion 21 from the display portion 20. The opening region 21b may transmit light with a transmittance of the first predetermined value or more. The first predetermined value may be, for example, 100%, or may be a value close to 100%. The light-shielding surface 21a is configured to block the light incident on the barrier unit 21 from the display unit 20. The light-shielding surface 21a may transmit light at a transmittance of a second predetermined value or less. The second predetermined value may be, for example, 0% or a value close to 0%. The first predetermined value is larger than the second predetermined value.

開口領域２１ｂと遮光面２１ａとは、視差方向を表すｕ軸方向に交互に並ぶとする。開口領域２１ｂと遮光面２１ａとの境界は、図４に例示されているように視差方向に直交するｖ軸方向に沿ってよいし、ｖ軸方向に対して所定角度で傾斜する方向に沿ってよい。言い換えれば、開口領域２１ｂと遮光面２１ａとは、視差方向の成分を含む所定方向に沿って交互に並んでよい。 It is assumed that the opening region 21b and the light-shielding surface 21a are alternately arranged in the u-axis direction representing the parallax direction. The boundary between the opening region 21b and the light-shielding surface 21a may be along the v-axis direction orthogonal to the parallax direction as illustrated in FIG. 4, or along a direction inclined at a predetermined angle with respect to the v-axis direction. good. In other words, the opening region 21b and the light-shielding surface 21a may be alternately arranged along a predetermined direction including a component in the parallax direction.

本実施形態では、バリア部２１は、画像光の光路上において、運転者１３から見て表示部２０よりも遠い側に位置している。バリア部２１は、バックライト１９から表示部２０に向けて入射する光の透過率を制御するように構成される。開口領域２１ｂは、バックライト１９から表示部２０に向けて入射する光を透過させるように構成される。遮光面２１ａは、バックライト１９から表示部２０に入射する光を遮るように構成される。このようにすることで、表示部２０に入射する光の進行方向は、所定方向に限定される。その結果、画像光の一部は、バリア部２１によって運転者１３の左眼５Ｌに到達するように制御されうる。画像光の他の一部は、バリア部２１によって運転者１３の右眼５Ｒに到達するように制御されうる。 In the present embodiment, the barrier unit 21 is located on the optical path of the image light on the side farther from the display unit 20 when viewed from the driver 13. The barrier unit 21 is configured to control the transmittance of light incident on the display unit 20 from the backlight 19. The opening region 21b is configured to transmit light incident on the display unit 20 from the backlight 19. The light-shielding surface 21a is configured to block the light incident on the display unit 20 from the backlight 19. By doing so, the traveling direction of the light incident on the display unit 20 is limited to a predetermined direction. As a result, a part of the image light can be controlled by the barrier portion 21 to reach the driver 13's left eye 5L. The other part of the image light can be controlled by the barrier portion 21 to reach the driver 13's right eye 5R.

バリア部２１は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に基づいて光の透過率を制御しうる。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域又は光の透過率が低い領域を任意の形状に形成しうる。バリア部２１が液晶シャッターで構成される場合、開口領域２１ｂは、第１所定値以上の透過率を有してよい。バリア部２１が液晶シャッターで構成される場合、遮光面２１ａは、第２所定値以下の透過率を有してよい。第１所定値は、第２所定値より高い値に設定されてよい。第１所定値に対する第２所定値の比率は、一例では、１／１００に設定されてよい。第１所定値に対する第２所定値の比率は、他の例では、１／１０００に設定されてもよい。開口領域２１ｂと遮光面２１ａとの形状が変更可能に構成されるバリア部２１は、アクティブバリアとも称される。 The barrier portion 21 may be composed of a liquid crystal shutter. The liquid crystal shutter can control the transmittance of light based on the applied voltage. The liquid crystal shutter is composed of a plurality of pixels, and the transmittance of light in each pixel may be controlled. The liquid crystal shutter can form a region having a high light transmittance or a region having a low light transmittance into an arbitrary shape. When the barrier portion 21 is composed of a liquid crystal shutter, the opening region 21b may have a transmittance of a first predetermined value or more. When the barrier portion 21 is composed of a liquid crystal shutter, the light-shielding surface 21a may have a transmittance of a second predetermined value or less. The first predetermined value may be set to a value higher than the second predetermined value. The ratio of the second predetermined value to the first predetermined value may be set to 1/100 in one example. The ratio of the second predetermined value to the first predetermined value may be set to 1/1000 in another example. The barrier portion 21 having a shape-changeable shape between the opening region 21b and the light-shielding surface 21a is also referred to as an active barrier.

制御部２４は、表示部２０を制御するように構成される。バリア部２１がアクティブバリアである場合、制御部２４は、バリア部２１を制御するように構成してよい。制御部２４は、バックライト１９を制御するように構成してよい。制御部２４は、カメラ１１から運転者１３の眼５の位置に関する位置情報を取得し、その位置情報に基づいて表示部２０を制御するように構成される。制御部２４は、位置情報に基づいてバリア部２１、及びバックライト１９の少なくとも一方を制御するように構成されうる。制御部２４は、カメラシステム５０から出力された画像を受信し、受信した画像から運転者１３の眼５を検出してよい。制御部２４は、検出した眼５の位置に基づいて表示部２０を制御するように構成されてよい。制御部２４は、検出した眼５の位置に基づいて、バリア部２１及びバックライト１９の少なくとも一報を制御するように構成されうる。制御部２４は、例えばプロセッサとして構成される。制御部２４は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部２４は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。 The control unit 24 is configured to control the display unit 20. When the barrier unit 21 is an active barrier, the control unit 24 may be configured to control the barrier unit 21. The control unit 24 may be configured to control the backlight 19. The control unit 24 is configured to acquire position information regarding the position of the eye 5 of the driver 13 from the camera 11 and control the display unit 20 based on the position information. The control unit 24 may be configured to control at least one of the barrier unit 21 and the backlight 19 based on the position information. The control unit 24 may receive the image output from the camera system 50 and detect the eye 5 of the driver 13 from the received image. The control unit 24 may be configured to control the display unit 20 based on the detected position of the eye 5. The control unit 24 may be configured to control at least one report of the barrier unit 21 and the backlight 19 based on the detected position of the eye 5. The control unit 24 is configured as, for example, a processor. The control unit 24 may include one or more processors. The processor may include a general-purpose processor that loads a specific program and performs a specific function, and a dedicated processor specialized for a specific process. The dedicated processor may include an application specific integrated circuit (ASIC). The processor may include a programmable logic device (PLD). The PLD may include an FPGA (Field-Programmable Gate Array). The control unit 24 may be either a SoC (System-on-a-Chip) in which one or a plurality of processors cooperate, or a SiP (System In a Package).

通信部２２は、外部装置と通信可能なインタフェースを含んでよい。外部装置は、例えばカメラシステム５０を含んでよい。通信部２２は、カメラシステム５０から情報を取得し、制御部２４に出力してよい。本開示における「通信可能なインタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、又はＲＣＡ端子に対応するコネクタを含んでよい。電気コネクタは、ＥＩＡＪＣＰ－１２１ａＡに規定されるＳ端子に対応するコネクタ、又はＥＩＡＪＲＣ－５２３７に規定されるＤ端子に対応するコネクタを含んでよい。電気コネクタは、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、又はＢＮＣ（British Naval Connector又はBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２１ａを含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。 The communication unit 22 may include an interface capable of communicating with an external device. The external device may include, for example, the camera system 50. The communication unit 22 may acquire information from the camera system 50 and output it to the control unit 24. The "communicable interface" in the present disclosure may include, for example, a physical connector and a wireless communication device. The physical connector may include an electric connector corresponding to transmission by an electric signal, an optical connector corresponding to transmission by an optical signal, and an electromagnetic connector corresponding to transmission by an electromagnetic wave. The electrical connector may include a connector conforming to IEC60603, a connector conforming to the USB standard, or a connector corresponding to an RCA terminal. The electric connector may include a connector corresponding to the S terminal specified in EIAJ CP-121aA or a connector corresponding to the D terminal specified in EIAJ RC-5237. The electrical connector may include a connector conforming to the HDMI® standard or a connector corresponding to a coaxial cable including a BNC (British Naval Connector or Baby-series N Connector, etc.). Optical connectors may include various connectors according to IEC 61754. The wireless communication device may include a wireless communication device conforming to each standard including Bluetooth (registered trademark) and IEEE8021a. The wireless communication device includes at least one antenna.

記憶部２３は、各種情報、又は３次元表示装置１７の各構成部を動作させるためのプログラム等を格納するように構成されてよい。記憶部２３は、例えば半導体メモリ等で構成されてよい。記憶部２３は、制御部２４のワークメモリとして機能してよい。記憶部２３は、制御部２４に含まれてよい。 The storage unit 23 may be configured to store various information, a program for operating each component of the three-dimensional display device 17, and the like. The storage unit 23 may be composed of, for example, a semiconductor memory or the like. The storage unit 23 may function as a work memory of the control unit 24. The storage unit 23 may be included in the control unit 24.

図３に示されるように、バックライト１９から射出された光は、バリア部２１と表示部２０とを透過して運転者１３の眼５に到達する。バックライト１９から射出された光が眼５に到達するまでの経路は、破線で表されている。バリア部２１の開口領域２１ｂを透過して右眼５Ｒに到達する光は、表示部２０の右眼視認領域２０１Ｒを透過する。つまり、右眼５Ｒは、開口領域２１ｂを透過した光によって右眼視認領域２０１Ｒを視認できる。バリア部２１の開口領域２１ｂを透過して左眼５Ｌに到達する光は、表示部２０の左眼視認領域２０１Ｌを透過する。つまり、左眼５Ｌは、開口領域２１ｂを透過した光によって左眼視認領域２０１Ｌを視認できる。 As shown in FIG. 3, the light emitted from the backlight 19 passes through the barrier unit 21 and the display unit 20 and reaches the driver 13's eye 5. The path of the light emitted from the backlight 19 to reach the eye 5 is represented by a broken line. The light that passes through the opening region 21b of the barrier portion 21 and reaches the right eye 5R passes through the right eye viewing region 201R of the display unit 20. That is, the right eye 5R can visually recognize the right eye viewing region 201R by the light transmitted through the opening region 21b. The light that passes through the opening region 21b of the barrier portion 21 and reaches the left eye 5L passes through the left eye viewing region 201L of the display unit 20. That is, the left eye 5L can visually recognize the left eye viewing region 201L by the light transmitted through the opening region 21b.

表示部２０は、右眼視認領域２０１Ｒ及び左眼視認領域２０１Ｌに、それぞれ右眼画像及び左眼画像を表示するように構成される。これによって、バリア部２１は、左眼画像に係る画像光を左眼５Ｌに到達させ、右眼画像に係る画像光を右眼５Ｒに到達させるように構成される。つまり、開口領域２１ｂは、左眼画像に係る画像光を運転者１３の左眼５Ｌに到達させ、右眼画像に係る画像光を運転者１３の右眼５Ｒに到達させるように構成される。このようにすることで、３次元表示装置１７は、運転者１３の両眼に対して視差画像を投影できる。運転者１３は、左眼５Ｌと右眼５Ｒとで視差画像を見ることによって、画像を立体視できる。 The display unit 20 is configured to display a right eye image and a left eye image in the right eye viewing area 201R and the left eye viewing area 201L, respectively. As a result, the barrier unit 21 is configured to allow the image light related to the left eye image to reach the left eye 5L and the image light related to the right eye image to reach the right eye 5R. That is, the opening region 21b is configured so that the image light related to the left eye image reaches the left eye 5L of the driver 13 and the image light related to the right eye image reaches the right eye 5R of the driver 13. By doing so, the three-dimensional display device 17 can project a parallax image to both eyes of the driver 13. The driver 13 can see the image stereoscopically by viewing the parallax image with the left eye 5L and the right eye 5R.

バリア部２１の開口領域２１ｂを透過し、表示部２０の表示面２０ａから射出された画像光の少なくとも一部は、光学素子１８を介してウインドシールド１５に到達する。画像光は、ウインドシールド１５で反射されて運転者１３の眼５に到達する。これにより、運転者１３の眼５はウインドシールド１５よりもｚ軸の負の方向の側に位置する第１虚像１４ａを視認できる。第１虚像１４ａは、表示面２０ａが表示している画像に対応する。バリア部２１の開口領域２１ｂと遮光面２１ａとは、ウインドシールド１５の前方であって第１虚像１４ａのウインドシールド１５側に第２虚像１４ｂをつくる。図３に示すように、運転者１３は、見かけ上、第１虚像１４ａの位置に表示部２０が存在し、第２虚像１４ｂの位置にバリア部２１が存在するかのように、画像を視認しうる。 At least a part of the image light transmitted from the opening region 21b of the barrier portion 21 and emitted from the display surface 20a of the display unit 20 reaches the windshield 15 via the optical element 18. The image light is reflected by the windshield 15 and reaches the driver 13's eye 5. As a result, the eye 5 of the driver 13 can visually recognize the first virtual image 14a located on the side in the negative direction of the z-axis with respect to the windshield 15. The first virtual image 14a corresponds to the image displayed by the display surface 20a. The opening region 21b of the barrier portion 21 and the light-shielding surface 21a form a second virtual image 14b in front of the windshield 15 and on the windshield 15 side of the first virtual image 14a. As shown in FIG. 3, the driver 13 visually recognizes the image as if the display unit 20 exists at the position of the first virtual image 14a and the barrier unit 21 exists at the position of the second virtual image 14b. Can be done.

表示面２０ａに表示される画像に係る画像光は、バリア部２１によって規定される方向に向けて、３次元表示装置１７から射出される。光学素子１８は、ウインドシールド１５に向けて射出するように構成される。光学素子１８は、画像光を反射したり屈折させたりするように構成されうる。ウインドシールド１５は、画像光を反射し、運転者１３の眼５に向けて進行させるように構成される。画像光が運転者１３の眼５に入射することによって、運転者１３は、視差画像を虚像１４として視認する。運転者１３は、虚像１４を視認することによって立体視できる。虚像１４のうち視差画像に対応する画像は、視差虚像とも称される。視差虚像は、光学系３０を介して投影される視差画像であるともいえる。虚像１４のうち平面画像に対応する画像は、平面虚像とも称される。平面虚像は、光学系３０を介して投影される平面画像であるともいえる。 The image light related to the image displayed on the display surface 20a is emitted from the three-dimensional display device 17 in the direction defined by the barrier unit 21. The optical element 18 is configured to emit light toward the windshield 15. The optical element 18 may be configured to reflect or refract image light. The windshield 15 is configured to reflect image light and travel toward the driver 13's eye 5. When the image light is incident on the eye 5 of the driver 13, the driver 13 visually recognizes the parallax image as a virtual image 14. The driver 13 can see stereoscopically by visually recognizing the virtual image 14. The image corresponding to the parallax image among the virtual images 14 is also referred to as a parallax virtual image. It can be said that the parallax virtual image is a parallax image projected via the optical system 30. The image corresponding to the plane image among the virtual images 14 is also referred to as a plane virtual image. It can be said that the planar virtual image is a planar image projected via the optical system 30.

図４は、ルームミラーの他の例を示すブロック図である。本例におけるルームミラー２Ａは、鏡の代わりに、車両後方の撮像画像を表示可能なディスプレイ２ａを有している。光源１は、ルームミラー２Ａに設けられている。ルームミラー２Ａは、運転者１３のアイボックス１６より高い位置に配置されていてよい。光源１は、例えば、ルームミラー２Ａ上に固定されていてよい。ルームミラー２Ａは、例えば、配置位置および外観形状が、前述のルームミラー２と同じであってよい。 FIG. 4 is a block diagram showing another example of the rearview mirror. The rearview mirror 2A in this example has a display 2a capable of displaying a captured image behind the vehicle instead of the mirror. The light source 1 is provided in the rearview mirror 2A. The rear-view mirror 2A may be arranged at a position higher than the eye box 16 of the driver 13. The light source 1 may be fixed on the rearview mirror 2A, for example. The rear-view mirror 2A may have, for example, the same arrangement position and appearance shape as the above-mentioned rear-view mirror 2.

移動体１０の後部には、撮像方向が後方に向いた後部カメラ３が搭載されていてよい。この後部カメラ３によって車両後方の撮像画像が得られる。撮像画像は、ルームミラー２Ａの表示制御部２ｂによってディスプレイ２ａに表示される。運転者１３は、ルームミラー２Ａによって車両後方の状況を確認することができる。また、ルームミラー２Ａを動作させるための電力は、移動体１０に搭載された車載バッテリなどの電源４から供給されるように構成される。電源４からディスプレイ２ａに供給される電力の一部が、ルームミラー２Ａに設けられた光源１に供給される。ルームミラー２Ａに供給される電力の一部を利用できるので、電源４から光源１までの供給配線など光源１用の構成を不要とすることができる。 A rear camera 3 whose imaging direction is directed to the rear may be mounted on the rear portion of the moving body 10. The rear camera 3 obtains a captured image of the rear of the vehicle. The captured image is displayed on the display 2a by the display control unit 2b of the rearview mirror 2A. The driver 13 can confirm the situation behind the vehicle by the rearview mirror 2A. Further, the electric power for operating the rearview mirror 2A is configured to be supplied from a power source 4 such as an in-vehicle battery mounted on the mobile body 10. A part of the electric power supplied from the power source 4 to the display 2a is supplied to the light source 1 provided in the rearview mirror 2A. Since a part of the electric power supplied to the rearview mirror 2A can be used, the configuration for the light source 1 such as the supply wiring from the power supply 4 to the light source 1 can be eliminated.

図５は、光源の他の配置例を示す概略図である。本例の光源１Ａは、車両のＡピラー６に設けられている。Ａピラー６は、複数のピラーのうち最も前に位置するピラーである。Ａピラー６は、フロントピラーとも呼ばれ、ウインドシールド１５の両側部に位置する。光源１Ａは、Ａピラー６の車室内側表面に設けられてよい。光源１Ａは、Ａピラー６内に埋め込まれて設けられてよい。光源１Ａは、アイボックス１６より高い位置に配置されていればよく、Ａピラー６からアイボックス１６に向かって赤外光を出射するように構成される。本例の光源１Ａは、左右両側のＡピラー６にそれぞれ設けられている。光源１Ａは、左右両側のＡピラー６のいずれか一方に設けられてよい。本例のように光源１Ａが、左右両側のＡピラー６にそれぞれ設けられている場合、アイボックス１６より高い位置であれば、それぞれの光源１Ａが配置された高さは、同じであってよく、異なっていてもよい。Ａピラー６に設けられた光源１Ａによって、運転者１３には、上方から赤外光が照射される。カメラ１１は、上方から運転者１３に照射された赤外光の反射光を、光源１より低い位置で受光する。これにより、カメラ１１による撮像画像を用いた運転者１３の眼５の位置（瞳孔位置）の検出などの検出処理の精度を高めることができる。 FIG. 5 is a schematic view showing another arrangement example of the light source. The light source 1A of this example is provided in the A pillar 6 of the vehicle. The A-pillar 6 is the frontmost pillar among the plurality of pillars. The A-pillar 6 is also called a front pillar and is located on both sides of the windshield 15. The light source 1A may be provided on the vehicle interior side surface of the A pillar 6. The light source 1A may be provided embedded in the A pillar 6. The light source 1A may be arranged at a position higher than the eye box 16, and is configured to emit infrared light from the A pillar 6 toward the eye box 16. The light source 1A of this example is provided on each of the left and right A pillars 6. The light source 1A may be provided on either one of the left and right A pillars 6. When the light sources 1A are provided on the A pillars 6 on both the left and right sides as in this example, the heights at which the light sources 1A are arranged may be the same as long as they are located higher than the eyebox 16. , May be different. The driver 13 is irradiated with infrared light from above by the light source 1A provided on the A pillar 6. The camera 11 receives the reflected infrared light emitted from above to the driver 13 at a position lower than the light source 1. This makes it possible to improve the accuracy of detection processing such as detection of the position (pupil position) of the eye 5 of the driver 13 using the image captured by the camera 11.

前述のルームミラー２またはルームミラー２Ａに設けられた光源１と、Ａピラー６に設けられた光源１Ａとを組み合わせて用いてよい。例えば、ルームミラー２に設けられた１つの光源１と、Ａピラー６のいずれかに設けられた光源１Ａとの２つの光源を用いてよい。組み合わせて用いる場合の光源１，１Ａの数は、２つの限られず、３つ以上であってよい。 The light source 1 provided in the room mirror 2 or the room mirror 2A described above may be used in combination with the light source 1A provided in the A pillar 6. For example, two light sources, one light source 1 provided in the rearview mirror 2 and one light source 1A provided in any of the A pillars 6, may be used. The number of light sources 1, 1A when used in combination is not limited to two, and may be three or more.

上記は、カメラシステム５０が、３次元投影システム１００に含まれ、視差画像を表示するための瞳孔位置の検出処理に用いられる構成を説明したが、カメラシステム５０は、他のシステムに用いてよい。例えば、カメラシステム５０は、車両の運転状態を監視する運転者監視システム（ドライバーモニタリングシステム）に用いてよい。カメラシステム５０によって撮像された画像を用いて、運転中の運転者の姿勢、顔の動き、視線などを検出してよい。 The above has described the configuration in which the camera system 50 is included in the three-dimensional projection system 100 and is used for the detection process of the pupil position for displaying the parallax image, but the camera system 50 may be used for other systems. .. For example, the camera system 50 may be used as a driver monitoring system (driver monitoring system) for monitoring the driving state of the vehicle. The image captured by the camera system 50 may be used to detect the posture, facial movement, line of sight, and the like of the driver during driving.

本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。 The configuration according to the present disclosure is not limited to the embodiments described above, and can be modified or modified in many ways. For example, the functions and the like included in each component and the like can be rearranged so as not to be logically inconsistent, and a plurality of components and the like can be combined or divided into one.

本開示に係る構成を説明する図は、模式的なものである。図面上の寸法比率等は、現実のものと必ずしも一致しない。 The figure illustrating the configuration according to the present disclosure is schematic. The dimensional ratios on the drawings do not always match the actual ones.

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１眼は、第２眼と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。 In the present disclosure, the description of "first", "second" and the like is an identifier for distinguishing the configuration. The configurations distinguished by the descriptions such as "first" and "second" in the present disclosure can exchange numbers in the configurations. For example, the first eye can exchange the identifiers "first" and "second" with the second eye. The exchange of identifiers takes place at the same time. Even after exchanging identifiers, the configuration is distinguished. The identifier may be deleted. Configurations with the identifier removed are distinguished by a code. Based solely on the description of identifiers such as "1st" and "2nd" in the present disclosure, it shall not be used as an interpretation of the order of the configurations or as a basis for the existence of identifiers with smaller numbers.

本開示において、ｘ軸、ｙ軸、及びｚ軸は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、ｘ軸、ｙ軸、及びｚ軸によって構成される直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。 In the present disclosure, the x-axis, y-axis, and z-axis are provided for convenience of explanation and may be interchanged with each other. The configuration according to the present disclosure has been described using a Cartesian coordinate system composed of x-axis, y-axis, and z-axis. The positional relationship of each configuration according to the present disclosure is not limited to being orthogonal.

１，１Ａ光源
２，２Ａルームミラー
２ａディスプレイ
２ｂ表示制御部
３後部カメラ
４電源
５眼（５Ｌ：左眼、５Ｒ：右眼）
６Ａピラー
１０移動体
１１カメラ
１２３次元投影装置
１３運転者
１４虚像（１４ａ：第１虚像、１４ｂ：第２虚像）
１５ウインドシールド
１６アイボックス
１７３次元表示装置
１８光学素子（１８ａ：第１ミラー、１８ｂ：第２ミラー）
１９バックライト
２０表示部（２０ａ：表示面）
２０１Ｌ左眼視認領域
２０１Ｒ右眼視認領域
２１バリア部（２１ａ：遮光面、２１ｂ：開口領域）
２２通信部
２３記憶部
２４制御部
３０光学系
５０カメラシステム
１００３次元投影システム（画像表示システム）
１２０筐体
２０１Ｌ左眼視認領域
２０１Ｒ右眼視認領域 1,1A Light source 2,2A Room mirror 2a Display 2b Display control unit 3 Rear camera 4 Power supply 5 eyes (5L: left eye, 5R: right eye)
6 A-pillar 10 Mobile 11 Camera 12 3D projection device 13 Driver 14 Virtual image (14a: 1st virtual image, 14b: 2nd virtual image)
15 Windshield 16 Eyebox 17 3D display device 18 Optical elements (18a: 1st mirror, 18b: 2nd mirror)
19 Backlight 20 Display unit (20a: Display surface)
201L Left eye visual recognition area 201R Right eye visual recognition area 21 Barrier part (21a: light-shielding surface, 21b: opening area)
22 Communication unit 23 Storage unit 24 Control unit 30 Optical system 50 Camera system 100 Three-dimensional projection system (image display system)
120 Housing 201L Left eye viewing area 201R Right eye viewing area

Claims

A camera configured to capture the area including the vehicle driver's eyebox,
A camera system comprising a light source located higher than the eyebox and configured to emit infrared light towards the eyebox.

The camera system according to claim 1.
The light source is a camera system provided in a rear-view mirror.

The camera system according to claim 2.
The rear-view mirror has a display capable of displaying a captured image behind the vehicle.
A camera system in which a part of the electric power supplied to the display is supplied to a light source provided in the rearview mirror.

The camera system according to any one of claims 1 to 3.
The light source is a camera system provided in the A pillar of the vehicle.

The camera system according to any one of claims 1 to 4.
With more windshields
The camera is a camera system configured to be capable of taking an image through the windshield.

The camera system according to claim 5 and
A display unit that displays a parallax image projected through the windshield to both eyes of the driver.
A barrier portion that gives parallax to both eyes by defining the traveling direction of the image light of the parallax image, and
A housing that houses the display unit and the barrier unit,
An image display system including a control unit that controls the display unit based on an image captured by the camera.