JP2021160498A - 撮像表示システム - Google Patents

撮像表示システム Download PDF

Info

Publication number
JP2021160498A
JP2021160498A JP2020063144A JP2020063144A JP2021160498A JP 2021160498 A JP2021160498 A JP 2021160498A JP 2020063144 A JP2020063144 A JP 2020063144A JP 2020063144 A JP2020063144 A JP 2020063144A JP 2021160498 A JP2021160498 A JP 2021160498A
Authority
JP
Japan
Prior art keywords
camera
light
display system
imaging
translucent cover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020063144A
Other languages
English (en)
Inventor
吉輝 三野
Yoshiteru Mino
英樹 高橋
Hideki Takahashi
真樹 多田
Maki Tada
俊也 森
Toshiya Mori
裕昭 岡山
Hiroaki Okayama
和博 南
Kazuhiro Minami
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020063144A priority Critical patent/JP2021160498A/ja
Priority to DE112021002117.6T priority patent/DE112021002117T5/de
Priority to CN202180023127.3A priority patent/CN115335253A/zh
Priority to PCT/JP2021/001360 priority patent/WO2021199583A1/ja
Publication of JP2021160498A publication Critical patent/JP2021160498A/ja
Priority to US17/950,606 priority patent/US20230019596A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/23—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • B60K2360/21—
    • B60K2360/23—
    • B60K2360/31—
    • B60K2360/33—
    • B60K2360/691—
    • B60K2360/693—
    • B60K2360/785—
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)

Abstract

【課題】虚像をユーザに視認させる構成を利用しながらそのユーザを適切に撮像することができる撮像表示システムを提供する。【解決手段】この撮像表示システム１００は、表示部１１２と、第１ミラー１１３ａおよび第２ミラー１１３ｂを含む光学系と、筐体１１１と、筐体１１１の開口の少なくとも一部を塞ぐように配置される透光性を有する透光カバー１１４と、筐体１１１の外側に連結される支持体１１５に支持されるドライバモニタリングカメラ１２０とを備え、表示部１１２から出射される第１光Ｌ１は、光学系を介して透光カバー１１４を透過し、ウインドシールド２によってユーザ側に向けて反射され、ドライバモニタリングカメラ１２０は、運転者１側からの第２光Ｌ２がウインドシールド２によって透光カバー１１４側に向けて反射されることによって透光カバー１１４に映し出される運転者１を撮像する。【選択図】図２Ａ

Description

本開示は、例えば車両などに搭載される撮像表示システムに関する。
従来、車両に搭載される撮像表示システムとして、ヘッドアップディスプレイとドライバモニタリングカメラとを含むシステムが提案されている（例えば、特許文献１参照）。このシステムは、ヘッドアップディスプレイによってウインドシールド越しに現れる虚像を車両の運転者に視認させ、さらに、ドライバモニタリングカメラによってその運転者を撮像する。
米国特許出願公開第２０１８／００３７１１６号明細書
しかしながら、上記特許文献１のシステムでは、そのシステムのユーザである運転者を適切に撮像することが難しいという課題がある。
そこで、本開示は、虚像をユーザに視認させる構成を利用しながらそのユーザを適切に撮像することができる撮像表示システムを提供する。
本発明の一態様に係る撮像表示システムは、画像を示す第１光を出射する表示部と、少なくとも１つのミラーを含む光学系と、開口を有し、前記表示部および前記光学系を囲う筐体と、前記筐体の前記開口の少なくとも一部を塞ぐように配置される透光性を有する透光カバーと、前記透光カバーの少なくとも一部を覆うように前記筐体の外側に連結される支持体に支持されるカメラとを備え、前記表示部から出射される前記第１光は、前記光学系を介して前記透光カバーを透過し、表示媒体によってユーザ側に向けて反射され、前記カメラは、前記支持体における前記透光カバー側の面に配置され、前記ユーザ側からの第２光が前記表示媒体によって前記透光カバー側に向けて反射されることによって前記透光カバーに映し出される前記ユーザを撮像する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
本開示の撮像表示システムは、虚像をユーザに視認させる構成を利用しながらそのユーザを適切に撮像することができる。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
図１Ａは、従来技術から想定されるシステムの構成を示す図である。 図１Ｂは、従来技術から想定されるシステムのドライバモニタリングカメラによる撮像によって得られる監視画像の一例を示す図である。 図２Ａは、実施の形態における撮像表示システムの構成例を示す図である。 図２Ｂは、実施の形態におけるドライバモニタリングカメラによる撮像によって得られる監視画像の一例を示す図である。 図３は、実施の形態の変形例１における撮像表示システムの構成例を示す図である。 図４は、実施の形態の変形例１における撮像表示システムの他の構成例を示す図である。 図５は、実施の形態の変形例２における撮像表示システムの構成例を示す図である。 図６は、実施の形態の変形例３における撮像表示システムの構成例を示す図である。 図７は、実施の形態の変形例４における撮像表示システムの構成例を示す図である。 図８は、実施の形態の変形例５における撮像表示システムの構成例を示す図である。 図９は、実施の形態の変形例５における制御部による処理を説明するための図である。 図１０は、実施の形態の変形例５における撮像表示システムの他の構成例を示す図である。 図１１は、実施の形態の変形例５における制御部の処理動作を示すフローチャートである。
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した上記特許文献１に関し、以下の問題が生じることを見出した。
図１Ａは、上記特許文献１から想定されるシステムの構成を示す図である。
このシステム９００は、ヘッドアップディスプレイ（以下、ＨＵＤという）９１０と、ドライバモニタリングカメラ９２０とを備える。
ＨＵＤ９１０は、車両に搭載される装置であって、筐体９１１と、表示部９１２と、第１ミラー９１３ａおよび第２ミラー９１３ｂと、透光カバー９１４とを備える。
表示部９１２から出射される画像の光は、第１ミラー９１３ａおよび第２ミラー９１３ｂによって反射され、透光カバー９１４を透過し、さらに、車両のウインドシールド２によって運転者１側に向けて反射される。これにより、運転者１は、表示部９１２の画像を、ウインドシールド２越しに現れる虚像３としてアイボックスＢ内で視認することができる。
また、ドライバモニタリングカメラ９２０は、筐体９１１内に配置されている。運転者１側からの光は、ウインドシールド２によってＨＵＤ９１０側に向けて反射され、透光カバー９１４を透過し、さらに、第２ミラー９１３ｂによって第１ミラー９１３ａ側に向けて反射される。そして、その光は、例えば半透明の第１ミラー９１３ａを透過してドライバモニタリングカメラ９２０のレンズに入射する。これにより、このドライバモニタリングカメラ９２０は、運転者１を撮像することができる。
しかし、その運転者１側からの光は、位置ｐ１〜ｐ４（図１Ａ中の破線丸印の位置）で反射または透過が繰り返されることによって減衰する。その結果、ドライバモニタリングカメラ９２０による撮像によって得られる監視画像の輝度は低くなってしまう。さらに、ドライバモニタリングカメラ９２０によって撮像することができる撮像範囲Ａは狭い。
図１Ｂは、ドライバモニタリングカメラ９２０による撮像によって得られる監視画像の一例を示す図である。
上述のように撮像範囲Ａが狭いため、ドライバモニタリングカメラ９２０による撮像によって得られる監視画像Ｐｉｃ１に、運転者１の広い範囲を映し出すことができない。その結果、その監視画像Ｐｉｃ１に基づいて運転者１を適切に監視することが難しいという課題がある。
このような課題を解決するために、本発明の一態様に係る撮像表示システムは、画像を示す第１光を出射する表示部と、少なくとも１つのミラーを含む光学系と、開口を有し、前記表示部および前記光学系を囲う筐体と、前記筐体の前記開口の少なくとも一部を塞ぐように配置される透光性を有する透光カバーと、前記透光カバーの少なくとも一部を覆うように前記筐体の外側に連結される支持体に支持されるカメラとを備え、前記表示部から出射される前記第１光は、前記光学系を介して前記透光カバーを透過し、表示媒体によってユーザ側に向けて反射され、前記カメラは、前記支持体における前記透光カバー側の面に配置され、前記ユーザ側からの第２光が前記表示媒体によって前記透光カバー側に向けて反射されることによって前記透光カバーに映し出される前記ユーザを撮像する。例えば、表示媒体は車両のウインドシールドである。
これにより、表示部と光学系と筐体と透光カバーとによって、表示媒体越しに現れる虚像をユーザに視認させるヘッドアップディスプレイが構成され、カメラは、そのヘッドアップディスプレイの筐体の外側から透光カバーに映し出されるユーザを撮像する。したがって、ユーザ側からの第２光が、ヘッドアップディスプレイの光学系を介することなくカメラに到達するため、カメラは、強い強度の第２光によってユーザを撮像することができる。その結果、その撮像によって得られる撮像画像（いわゆる監視画像）の輝度を高めることができる。また、カメラはその筐体の外にあるため、仮に筐体内で太陽光による集光熱が発生しても、カメラが受けるその集光熱の影響を抑えることができ、さらに、カメラの配置設計の自由度を高めることができる。
さらに、カメラを透光カバーに近づけることができるため、そのカメラの撮像範囲を広げることができる。したがって、虚像をユーザに視認させる構成を利用しながら、ユーザを明るく、かつ広い範囲で適切に撮像することができる。また、カメラは、透光カバーの少なくとも一部を覆う支持体の透光カバー側の面に配置されるため、その支持体によってカメラをユーザから隠すことができる。その結果、ユーザはカメラによって撮像されていることを気にすることなく、例えば車両の運転などの作業に集中することができる。
例えば、前記透光カバーには、可視光よりも赤外線に対する反射率が高く、かつ可視光に対して透光性を有する第１赤外線反射層が積層され、前記カメラは、赤外線カメラであってもよい。例えば、赤外線は、近赤外領域の光である。
これにより、虚像に対するユーザの視認性を低減させることなく、例えば可視光である外光の影響を抑えてユーザを撮像することができる。
また、前記表示媒体には、可視光よりも赤外線に対する反射率が高く、かつ可視光に対して透光性を有する第２赤外線反射層が積層されていてもよい。例えば、前記第２赤外線反射層は、２つの反射層からなり、前記２つの反射層のうちの一方は、前記表示媒体における前記ユーザ側の面に形成され、前記２つの反射層のうちの他方は、前記表示媒体における前記ユーザ側と反対側の面に形成されていてもよい。
これにより、虚像に対するユーザの視認性を低減させることなく、例えば可視光である外光の影響をさらに抑えてユーザをより適切に撮像することができる。
また、前記撮像表示システムは、さらに、赤外線に対して透光性を有し、赤外線よりも赤外線以外の光に対する反射率または吸収率が高い赤外線透過部を備え、前記カメラは、赤外線カメラであって、前記透光カバー側から前記赤外線透過部を介して前記カメラ内部の撮像素子に入射する赤外線によって、前記ユーザを撮像してもよい。
これにより、例えば可視光である外光の影響をさらに抑えてユーザをより適切に撮像することができる。例えば、太陽光の影響を抑えることができる。
また、前記カメラの少なくとも一部には、可視光に対する反射率が前記支持体よりも低い低反射層が形成されていてもよい。
これにより、例えば太陽光などの外光がカメラに照射されても、その外光のうちの可視光のそのカメラでの反射を抑えることができる。その結果、カメラの像が透光カバーに映し出され難くすることができる。つまり、ユーザがそのカメラに気付き難くすることができ、外界の見易さを向上することができる。
また、前記撮像表示システムは、さらに、前記支持体に支持され、赤外線を第３光として出射する光源を備え、前記カメラは、赤外線カメラであって、前記光源から出射される前記第３光は、前記透光カバーによって前記表示媒体側に向けて反射され、かつ、前記表示媒体によって前記ユーザ側に向けて反射されてもよい。例えば、赤外線は、近赤外領域の光である。
これにより、赤外線である第３光がユーザに照射されるため、その第３光に照らされたユーザを赤外線カメラで撮像することができる。その結果、高い輝度の撮像画像を得ることができる。また、カメラと同様に、支持体によって光源をユーザから隠すことができる。さらに、第３光の照射範囲をカメラの撮像範囲に簡単に合わせることができるため、光源は無駄に広い範囲に第３光を出射することなく、その第３光の照射パワーを抑えることができる。
また、前記撮像表示システムは、さらに、前記カメラの光軸を移動させる駆動部と、前記カメラによる撮像によって得られる撮像画像に基づいて、前記駆動部を制御する制御部とを備え、前記制御部は、前記撮像画像における前記ユーザの一部が映し出されている第１領域よりも高い輝度を有する第２領域が、前記第１領域から予め定められた距離以下の位置にある場合に、前記カメラの光軸の移動を前記駆動部に実行させてもよい。
これにより、例えば太陽光などの外光によって明るく映し出されている第２領域が第１領域に近い場合には、カメラの光軸が移動する。その結果、第２領域を第１領域から離すことができる可能性を高めることができる。したがって、第２領域が第１領域に重なって、その第１領域に映し出されているユーザの一部が不鮮明になってしまうことを防ぐ可能性を高めることができる。例えば、そのユーザの一部が両目である場合、その不鮮明な第１領域を含む撮像画像では、そのユーザが眠い状態か、よそ見をしている状態かなど、どのような状態にあるのかを特定することが難しい。しかし、本開示の一態様に係る撮像表示システムでは、第２領域が第１領域に重なって第１領域が不鮮明になってしまうことを抑制することができるため、ユーザの状態を適切に監視することができる。
また、前記撮像表示システムは、さらに、前記カメラである第１カメラと異なる第２カメラと、前記ユーザの撮像に用いられるカメラを前記第１カメラと前記第２カメラとに切り替える切替部と、前記第１カメラによる撮像によって得られる撮像画像に基づいて、前記切替部を制御する制御部とを備え、前記制御部は、前記撮像画像における前記ユーザの一部が映し出されている第１領域よりも高い輝度を有する第２領域が、前記第１領域から予め定められた距離以下の位置にある場合に、前記第１カメラから前記第２カメラへの切り替えを前記切替部に実行させてもよい。
これにより、例えば太陽光などの外光によって明るく映し出されている第２領域が第１領域に近い場合には、カメラが第１カメラから第２カメラに切り替わる。したがって、第２領域が第１領域に重なって、その第１領域に映し出されているユーザの一部が不鮮明になってしまうことを防ぐ可能性を高めることができる。例えば、そのユーザの一部が両目である場合、その不鮮明な第１領域を含む撮像画像では、そのユーザが眠い状態か、よそ見をしている状態かなど、どのような状態にあるのかを特定することが難しい。しかし、本開示の一態様に係る撮像表示システムでは、第２領域が第１領域に重なって第１領域が不鮮明になってしまうことを抑制することができるため、ユーザの状態を適切に監視することができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。また、以下の実施の形態において、略同一などの表現を用いている。例えば、略同一は、完全に同じであることを意味するだけでなく、実質的に同じである、すなわち、例えば数％程度の誤差を含むことも意味する。また、略同一は、本開示による効果を奏し得る範囲において同一という意味である。他の「略」を用いた表現についても同様である。
（実施の形態）
図２Ａは、本実施の形態における撮像表示システムの構成例を示す図である。
本実施の形態における撮像表示システム１００は、例えば、ウインドシールド２を有する車両などに搭載されるシステムであって、ＨＵＤ１１０と、ドライバモニタリングカメラ１２０とを備える。
ＨＵＤ１１０は、虚像３を形成する。この虚像３は、例えば車両の前方外側に存在するように、撮像表示システム１００のユーザである運転者１に視認される。このようなＨＵＤ１１０は、筐体１１１と、表示部１１２と、第１ミラー１１３ａおよび第２ミラー１１３ｂと、透光カバー１１４と、支持体１１５とを備える。
表示部１１２は、運転者１に虚像３として視認される画像を表示する。つまり、表示部１１２は、画像を示す第１光Ｌ１を出射する。例えば、表示部１１２は、ＬＣＤ（Liquid Crystal Display）である。なお、表示部１１２は、ＬＣＤ以外のデバイス、例えば有機発光ダイオード、蛍光表示装置（いわゆるセブンセグメント）、またはプラズマディスプレイなどであってもよい。また、表示部１１２は、プロジェクタまたは走査型レーザであってもよい。このような表示部１１２は、筐体１１１内の底面側に収納されて、車両１０の後方上側に第１光Ｌ１を出射する。
第１ミラー１１３ａおよび第２ミラー１１３ｂは、表示部１１２から出射された第１光Ｌ１を筐体１１１の外に導くための光学系を構成している。例えば、表示部１１２から出射された第１光Ｌ１は、第１ミラー１１３ａによって第２ミラー１１３ｂ側に向けて反射され、さらに、その第２ミラー１１３ｂによって筐体１１１の外側に向けて反射される。なお、本実施の形態における光学系は、第１ミラー１１３ａおよび第２ミラー１１３ｂの２つのミラーからなるが、少なくとも１つのミラーを含んでいればよい。
筐体１１１は、例えば樹脂成型品であって、車両のダッシュボードの内部に配置される。このような筐体１１１は、開口を有し、表示部１１２と、上述の光学系を構成する第１ミラー１１３ａおよび第２ミラー１１３ｂを囲う。なお、筐体１１１は、ダッシュボードに配置されるときには、その開口を上側に向けて配置される。
透光カバー１１４は、筐体１１１の開口の少なくとも一部を塞ぐように配置される透光性を有するカバーである。透光カバー１１４は、例えば樹脂成型されたフィルムからなる。このような透光カバー１１４は、塵または埃などの筐体１１１内への進入を防止する防塵カバーとして機能を有する。また、透光カバー１１４は、筐体１１１の内側に凹むように湾曲した状態で配置される。これにより、ウインドシールド２側から透光カバー１１４に入射する光の少なくとも一部は、その透光カバー１１４によって支持体１１５側に向けて反射される。
このようなＨＵＤ１１０における表示部１１２から出射される第１光Ｌ１は、光学系を介して透光カバー１１４を透過し、ウインドシールド２によって運転者１側に向けて反射される。なお、ウインドシールド２は、板状の透光性を有する表示媒体の一例である。その結果、運転者１は、ウインドシールド２越しの背景を見ながら、その反射された第１光Ｌ１によってウインドシールド２の前方外側（すなわち車外側）に虚像３として現われる表示部１１２の画像を視認することができる。
また、このようなＨＵＤ１１０は、その虚像３が予め定められたアイボックスＢ内において視認されるように設計されている。アイボックスＢは、例えば、運転者１の両目の高さおよび水平方向の位置などに基づいて設定される。したがって、運転者１は、そのアイボックスＢ内に両目が位置する状態で、その虚像３を視認する。
支持体１１５は、透光カバー１１４の少なくとも一部を覆うように筐体１１１の外側に連結される部材である。具体的には、支持体１１５は、透光カバー１１４よりも前方にあって、筐体１１１の前方上部から後方上側に向けて立脚するように形成されている。このような支持体１１５は、ベゼルとも呼ばれる。また、上述のように、支持体１１５には、透光カバー１１４によって反射された光が照射される。この支持体１１５における光を受ける面は、その光を反射し難く形成されている。例えば、その面は暗色または黒色である。これにより、外光などの光の散乱を抑えることができる。したがって、この支持体１１５は、ライトトラップとも呼ばれる。なお、支持体１１５は、上述のＨＵＤ１１０の筐体１１１と一体に形成されていてもよく、別体に形成されていてもよい。
本実施の形態におけるドライバモニタリングカメラ１２０は、上述の支持体１１５に支持されるカメラである。具体的には、ドライバモニタリングカメラ１２０は、支持体１１５における透光カバー１１４側の面に配置される。そして、ドライバモニタリングカメラ１２０は、その透光カバー１１４に映し出される運転者１を撮像する。
つまり、運転者１側からの第２光Ｌ２は、ウインドシールド２によって透光カバー１１４側に向けて反射される。その結果、透光カバー１１４には、そのウインドシールド２によって反射された第２光Ｌ２が照射される。また、上述のように、透光カバー１１４は、光が支持体１１５側に反射されるように湾曲している。したがって、第２光Ｌ２は、透光カバー１１４によって支持体１１５側に反射される。これにより、支持体１１５に支持されているドライバモニタリングカメラ１２０は、その透光カバー１１４によって反射された第２光Ｌ２を受けることによって、その透光カバー１１４に映し出される運転者１を撮像する。したがって、ドライバモニタリングカメラ１２０によって運転者１を監視することができる。
ここで、本実施の形態では、ドライバモニタリングカメラ１２０がＨＵＤ１１０の筐体１１１の外に配置されている。したがって、第２光Ｌ２が運転者１側からドライバモニタリングカメラ１２０に向かうまでに反射または透過される回数を抑えることができる。つまり、図２Ａに示すように、第２光Ｌ２は、ウインドシールド２の位置ｐ１で反射され、透光カバー１１４の位置ｐ２で反射された後に、ドライバモニタリングカメラ１２０に到達する。したがって、反射または透過される回数を２回に抑えることができる。その結果、ドライバモニタリングカメラ１２０による撮像によって得られる監視画像（すなわち撮像画像）の輝度の低下を抑制することができる。
さらに、本実施の形態では、ドライバモニタリングカメラ１２０を透光カバー１１４の近くに配置することができるため、そのドライバモニタリングカメラ１２０によって撮像することができる撮像範囲Ａを広くすることができる。
図２Ｂは、ドライバモニタリングカメラ１２０による撮像によって得られる監視画像の一例を示す図である。
本実施の形態では、上述のように撮像範囲Ａが広いため、ドライバモニタリングカメラ１２０による撮像によって得られる監視画像Ｐｉｃ２に、運転者１の広い範囲を映し出すことができる。その結果、その監視画像Ｐｉｃ２に基づいて運転者１を適切に監視することができる。
以上のように、本実施の形態では、運転者１側からの第２光Ｌ２が、ＨＵＤ１１０の光学系を介することなくドライバモニタリングカメラ１２０に到達するため、ドライバモニタリングカメラ１２０は、強い強度の第２光Ｌ２によって運転者１を撮像することができる。その結果、その撮像によって得られる監視画像Ｐｉｃ２の輝度を高めることができる。また、ドライバモニタリングカメラ１２０はその筐体１１１の外にあるため、仮に筐体１１１内で太陽光による集光熱が発生しても、ドライバモニタリングカメラ１２０が受けるその集光熱の影響を抑えることができ、さらに、ドライバモニタリングカメラ１２０の配置設計の自由度を高めることができる。
さらに、ドライバモニタリングカメラ１２０を透光カバー１１４に近づけることができるため、そのドライバモニタリングカメラ１２０の撮像範囲Ａを広げることができる。したがって、運転者１を明るく、かつ広い範囲で適切に撮像することができる。具体的には、上述のように、監視画像Ｐｉｃ２の輝度である撮像輝度を高めることができる。すなわち、撮像輝度を十分に確保することができる。さらに、運転者１側からの第２光Ｌ２が、ＨＵＤ１１０の光学系を介することなくドライバモニタリングカメラ１２０に到達するため、撮像にはＨＵＤ１１０の光学系が用いられない。つまり、撮像に用いられる光学系をシンプルにすることができる。その結果、監視画像Ｐｉｃ２の解像度である撮像解像度を向上することができる。また、撮像範囲Ａが広いため、運転者１が動いても、その運転者１を撮像することができる。
また、ドライバモニタリングカメラ１２０は、透光カバー１１４の少なくとも一部を覆う支持体１１５の透光カバー１１４側の面に配置されるため、その支持体１１５によってドライバモニタリングカメラ１２０を運転者１から隠すことができる。その結果、運転者１はドライバモニタリングカメラ１２０によって撮像されていることを気にすることなく、例えば車両の運転などの作業に集中することができる。
なお、上述の例では、ドライバモニタリングカメラ１２０は、湾曲している透光カバー１１４に映し出される運転者１を撮像するため、非点隔差が生じたり、像の歪みが発生したりする。しかし、歪みについては、画像処理または補正光学系によってその発生を抑制することができる。また、非点隔差については、補正光学系によってその発生を抑制することができる。例えば、その補正光学系では、ドライバモニタリングカメラ１２０の焦点深度を最適に調整することによって、非点隔差の発生を抑制することができる。焦点深度の調整は、絞りによって、あるいは、位相物体の挿入によるＥＯＤＦ（Extended Depth of Focus）によって行われてもよい。これにより、非点隔差および歪みのそれぞれが抑えられた監視画像Ｐｉｃ２を得ることができる。
（変形例１）
図３は、実施の形態の変形例１における撮像表示システムの構成例を示す図である。
本変形例における撮像表示システム１０１では、図３に示すように、透光カバー１１４に第１赤外線反射層１３１が積層されている。この第１赤外線反射層１３１は、可視光よりも赤外線に対する反射率が高く、かつ可視光に対して透光性を有する材質からなる。例えば、第１赤外線反射層１３１は、透光カバー１１４の上面、すなわち、ウインドシールド２側の面に積層される。なお、第１赤外線反射層１３１は、透光カバー１１４の下面、すなわち、ウインドシールド２側と反対側の面に積層されていてもよい。また、第１赤外線反射層１３１は、フィルムとして構成されていてもよい。
さらに、本変形例におけるウインドシールド２には、第２赤外線反射層１３２が積層されている。この第２赤外線反射層１３２は、可視光よりも赤外線に対する反射率が高く、かつ可視光に対して透光性を有する材質からなる。例えば、例えば、第２赤外線反射層１３２は、ウインドシールド２の内面、すなわち、運転者１側の面に積層される。なお、第２赤外線反射層１３２は、ウインドシールド２の外面、すなわち、運転者１側と反対側の面に積層されてもよい。また、第２赤外線反射層１３２は、フィルムとして構成されていてもよい。
また、本変形例におけるドライバモニタリングカメラ１２０は、赤外線カメラである。なお、本開示における赤外線は、例えば近赤外領域の光であるが、近赤外領域以外の領域の光であってもよい。
これにより、本変形例では、運転者１の撮像に赤外線を用いるため、虚像に対する運転者１の視認性を低減させることなく、例えば可視光である外光の影響を抑えて運転者１を撮像することができる。
図４は、実施の形態の変形例１における撮像表示システムの他の構成例を示す図である。
ここで、第２赤外線反射層１３２は、図４に示すように、２つの反射層１３２ａおよび１３２ｂから構成されていてもよい。２つの反射層１３２ａおよび１３２ｂのうちの一方、例えば反射層１３２ａは、ウインドシールド２における運転者１側の面（すなわち内面）に形成される。その２つの反射層１３２ａおよび１３２ｂのうちの他方、例えば反射層１３２ｂは、ウインドシールド２における運転者１側と反対側の面に形成されている。
これにより、第２赤外線反射層１３２が２つの反射層１３２ａおよび１３２ｂからなるため、第２赤外線反射層１３２の厚みを増すことができる。その結果、ウインドシールド２の外面に照射される太陽光Ｌ５に含まれる赤外線をより効率的に反射して、その太陽光Ｌ５に含まれる赤外線によって、ドライバモニタリングカメラ１２０による撮像に与える影響をより低減することができる。
（変形例２）
図５は、実施の形態の変形例２における撮像表示システムの構成例を示す図である。
本変形例における撮像表示システム１０２は、上記実施の形態における撮像表示システム１００と同様の構成を備えるとともに、さらに、赤外線透過部１２１を備える。
赤外線透過部１２１は、赤外線に対して透光性を有し、赤外線よりも赤外線以外の光に対する反射率または吸収率が高い性質を有する。このような赤外線透過部１２１は、例えば図５に示すように、ドライバモニタリングカメラ１２０の前、すなわち、ドライバモニタリングカメラ１２０と透光カバー１１４との間に配置される。
また、ドライバモニタリングカメラ１２０は、変形例１と同様、赤外線カメラである。したがって、ドライバモニタリングカメラ１２０は、透光カバー１１４側から赤外線透過部１２１を介してドライバモニタリングカメラ１２０内部の撮像素子に入射する赤外線によって、運転者１を撮像する。
これにより、例えば可視光である外光の影響を抑えて運転者１をより適切に撮像することができる。例えば、太陽光Ｌ５の影響を抑えることができる。
なお、本変形例では、赤外線透過部１２１は、ドライバモニタリングカメラ１２０と透光カバー１１４との間にあるが、ドライバモニタリングカメラ１２０に取着されていてもよく、そのドライバモニタリングカメラ１２０の内部に収められていてもよい。
（変形例３）
図６は、実施の形態の変形例３における撮像表示システムの構成例を示す図である。
本変形例における撮像表示システム１０３は、上記実施の形態における撮像表示システム１００におけるドライバモニタリングカメラ１２０の代わりに、ドライバモニタリングカメラ１２０ａを備える。
このドライバモニタリングカメラ１２０ａの表面には、可視光に対する反射率が支持体１１５よりも低い低反射層が形成されている。
したがって、例えば、太陽光などに含まれる可視光がドライバモニタリングカメラ１２０ａに照射されても、そのドライバモニタリングカメラ１２０ａによって反射されたその可視光である外光Ｌ４の強度を弱めることができる。したがって、外光Ｌ４が運転者１に届き難くすることができる。つまり、外光Ｌ４が、透光カバー１１４によってウインドシールド２側に向けて反射され、さらに、そのウインドシールド２によって運転者１側に向けて反射されても、運転者１がドライバモニタリングカメラ１２０ａの像を視認し難くすることができる。つまり、運転者１がそのドライバモニタリングカメラ１２０ａに気付き難くすることができ、外界の見易さを向上することができる。
なお、本変形例では、ドライバモニタリングカメラ１２０ａの表面全体に低反射層が形成されているが、少なくとも一部にその低反射層が形成されていてもよい。
（変形例４）
図７は、実施の形態の変形例４における撮像表示システムの構成例を示す図である。
本変形例における撮像表示システム１０４は、上記実施の形態における撮像表示システム１００と同様の構成を備えるとともに、さらに、光源１４０を備える。
光源１４０は、支持体１１５に支持され、赤外線を第３光Ｌ３として出射する。この光源１４０から出射される第３光Ｌ３は、透光カバー１１４によってウインドシールド２側に向けて反射され、かつ、ウインドシールド２によって運転者１側に向けて反射される。つまり、光源１４０からの赤外線である第３光Ｌ３は、透光カバー１１４から、表示部１１２から出射された第１光Ｌ１と略同一の光路を経由して運転者１に届く。また、本変形例におけるドライバモニタリングカメラ１２０は、赤外線カメラである。
その結果、運転者１がその第３光Ｌ３によって照らし出されるため、ドライバモニタリングカメラ１２０は、その運転者１の輝度が高い監視画像Ｐｉｃ２を撮像によって生成することができる。さらに、第３光Ｌ３の照射範囲をドライバモニタリングカメラ１２０の撮像範囲Ａに簡単に合わせることができるため、光源１４０は無駄に広い範囲に第３光Ｌ３を出射することなく、その第３光Ｌ３の照射パワーを抑えることができる。
（変形例５）
図８は、実施の形態の変形例５における撮像表示システムの構成例を示す図である。
本変形例における撮像表示システム１０５は、上記実施の形態における撮像表示システム１００と同様の構成を備えるとともに、さらに、駆動部１５０と、制御部１６０とを備える。なお、図８では、撮像表示システム１０５の一部が部分的に示されている。
このような撮像表示システム１０５は、ドライバモニタリングカメラ１２０の撮像範囲を外光に応じてシフトさせる。
具体的には、駆動部１５０は、ドライバモニタリングカメラ１２０を例えば傾けることによって、そのドライバモニタリングカメラ１２０の光軸を移動させる。
制御部１６０は、ドライバモニタリングカメラ１２０による撮像によって得られる監視画像Ｐｉｃ２に基づいて、駆動部１５０を制御する。
図９は、制御部１６０による処理を説明するための図である。
制御部１６０は、監視画像Ｐｉｃ２における第２領域１２が第１領域１１から予め定められた距離以下の位置にある場合に、ドライバモニタリングカメラ１２０の光軸の移動を駆動部１５０に実行させる。第１領域１１は、運転者１の一部が映し出されている領域であって、例えば、運転者１の両目が映し出されている領域である。例えば、制御部１６０は、監視画像Ｐｉｃ２に対する例えばパターンマッチングなどの画像処理を行うことによって、その第１領域を特定する。第２領域１２は、第１領域１１よりも高い輝度を有する領域であって、例えば、太陽光Ｌ５によって明るく照らされた領域である。また、例えば、第２領域１２の平均輝度が、第１領域１１の平均輝度よりも高くてもよく、第２領域１２の最高輝度が、第１領域１１の最高輝度よりも高くてもよい。そして、第１領域１１と第２領域１２との間の距離は、それらの領域間の最短の距離でもよく、それらの領域の中心間の距離であってもよい。
したがって、制御部１６０は、明るい第２領域１２が第１領域１１に近いときに、そのドライバモニタリングカメラ１２０の光軸を駆動部１５０に移動させる。また、その予め定められた距離が０であれば、制御部１６０は、明るい第２領域１２が第１領域１１に重なるときに、そのドライバモニタリングカメラ１２０の光軸を駆動部１５０に移動させる。
これにより、ドライバモニタリングカメラ１２０の光軸が移動するため、撮像範囲Ａを例えば撮像範囲Ａ１にシフトさせることができる。その結果、第２領域１２を第１領域１１から離すことができる可能性を高めることができる。
したがって、第２領域１２が第１領域１１に重なって、その第１領域１１に映し出されている運転者１の一部が不鮮明になってしまうことを防ぐ可能性を高めることができる。例えば、その運転者１の一部が両目である場合、その不鮮明な第１領域１１を含む監視画像Ｐｉｃ２では、その運転者１が眠い状態か、よそ見をしている状態かなど、どのような状態にあるのかを特定することが難しい。しかし、本変形例における撮像表示システム１０５では、第２領域１２が第１領域１１に重なって第１領域１１が不鮮明になってしまうことを抑制することができるため、運転者１の状態を適切に監視することができる。
また、上述の例では、撮像範囲Ａを撮像範囲Ａ１に変えるために、ドライバモニタリングカメラ１２０の光軸を移動させたが、光軸が互いに異なる２つのドライバモニタリングカメラの切り替えを行ってもよい。
図１０は、実施の形態の変形例５における撮像表示システム１０５の他の構成例を示す図である。
図１０に示す撮像表示システム１０５は、２つのドライバモニタリングカメラ１２０および１２２を備える。つまり、撮像表示システム１０５は、ドライバモニタリングカメラ１２０と光軸が異なるドライバモニタリングカメラ１２２を備える。
そして、図１０に示す撮像表示システム１０５は、図８に示す駆動部１５０の代わりに切替部１７０を備える。切替部１７０は、運転者１の撮像に用いられるカメラをドライバモニタリングカメラ１２０とドライバモニタリングカメラ１２２とに切り替える。また、図１０に示す例では、制御部１６０は、ドライバモニタリングカメラ１２０による撮像によって得られる監視画像Ｐｉｃ２に基づいて、その切替部１７０を制御する。
つまり、制御部１６０は、図９に示すように、監視画像Ｐｉｃ２における第２領域１２が第１領域１１から予め定められた距離以下の位置にある場合に、ドライバモニタリングカメラ１２０からドライバモニタリングカメラ１２２への切り替えを切替部１７０に実行させる。
したがって、制御部１６０は、明るい第２領域１２が第１領域１１に近いときに、切替部１７０を制御することにより、運転者１の撮像に用いられるカメラをそのドライバモニタリングカメラ１２０からドライバモニタリングカメラ１２２に切り替える。また、その予め定められた距離が０であれば、制御部１６０は、明るい第２領域１２が第１領域１１に重なるときに、切替部１７０を制御することにより、運転者１の撮像に用いられるカメラを切り替える。
これにより、カメラが切り替えられるため、撮像範囲Ａを例えば撮像範囲Ａ１に変えることができる。その結果、ドライバモニタリングカメラ１２２による撮像によって得られる監視画像では、ドライバモニタリングカメラ１２０の監視画像Ｐｉｃ２と比べて、第２領域１２が第１領域１１から遠く離れている可能性を高めることができる。
図１１は、制御部１６０の処理動作を示すフローチャートである。
まず、制御部１６０は、監視画像Ｐｉｃ２から第１領域１１を特定する（ステップＳ１）。
次に、制御部１６０は、第１領域１１よりも高い輝度を有する第２領域１２がその監視画像Ｐｉｃ２に存在するか否かを判定する（ステップＳ２）。
ここで、制御部１６０は、第２領域１２が存在すると判定すると（ステップＳ２のＹｅｓ）、さらに、第２領域１２が第１領域１１から０以下の距離の位置にあるか否か、すなわち、第２領域１２が第１領域１１に重なるか否かを判定する（ステップＳ３）。ここで、制御部１６０は、重なると判定すると（ステップＳ３のＹｅｓ）、図８に示す例では、ドライバモニタリングカメラ１２０の光軸を駆動部１５０に移動させる（ステップＳ４）。また、図１０に示す例では、制御部１６０は、切替部１７０を制御することにより、運転者１の撮像に用いられるカメラを、ドライバモニタリングカメラ１２０からドライバモニタリングカメラ１２２に切り替える。
そして、制御部１６０は、運転者１のモニタリングの処理を終了するための条件が満たされたか否かを判定する（ステップＳ５）。例えば、制御部１６０は、車両のイグニッションスイッチがオフにされたときに、その条件が満たされたと判定する。ここで、制御部１６０は、その条件が満たされたと判定すると（ステップＳ５のＹｅｓ）、モニタリングの処理を終了する。一方、その条件が満たされていないと判定すると（ステップＳ５のＮｏ）、制御部１６０は、ステップＳ１からの処理を繰り返し実行する。なお、ステップＳ１が繰り返されるときには、先のステップＳ１で第１領域１１が特定された監視画像Ｐｉｃ２ではなく、ドライバモニタリングカメラ１２０によって新たに得られた監視画像Ｐｉｃ２に対して、第１領域１１の特定が行われる。
なお、駆動部１５０によって光軸の移動が繰り返し行われるときには、その光軸は、上向きと下向きとに交互に移動してもよく、上向きおよび下向きの何れか一方にのみ移動してもよい。また、ステップＳ４でカメラの切り替えが行われ、その後にステップＳ１からの処理が繰り返される場合には、切り替え後のカメラによって得られる監視画像に対してステップＳ１〜Ｓ３の処理が行われる。例えば、ステップＳ４において、運転者１の撮像に用いられるカメラが、ドライバモニタリングカメラ１２０からドライバモニタリングカメラ１２２に切り替えられた後には、ドライバモニタリングカメラ１２２がドライバモニタリングカメラ１２０の代わりに用いられる。つまり、ステップＳ１では、制御部１６０は、ドライバモニタリングカメラ１２２による撮像によって得られた監視画像から第１領域１１を特定する。そして、その後のステップＳ４では、制御部１６０は、切替部１７０を制御することにより、運転者１の撮像に用いられるカメラを、ドライバモニタリングカメラ１２２からドライバモニタリングカメラ１２０に切り替える。
また、図１０の例では、撮像表示システム１０５は、２つのドライバモニタリングカメラ１２０および１２２を備えるが、３つ以上のドライバモニタリングカメラを備え、それらのカメラに対する切り替えを行ってもよい。例えば、制御部１６０は、３つ以上のドライバモニタリングカメラのそれぞれの監視画像のうち、第２領域１２が第１領域１１から最も離れている監視画像を選択してもよい。
（その他の変形例）
以上、一つまたは複数の態様に係る撮像表示システムについて、実施の形態およびその変形例に基づいて説明したが、本開示は、この実施の形態および変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態およびその変形例に施したものや、実施の形態および各変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
例えば、上記実施の形態および各変形例では、撮像表示システムは、ドライバモニタリングカメラ１２０を備えて、運転者１の監視のために、そのドライバモニタリングカメラ１２０に撮像をさせる。しかし、運転者１の監視のために限らず、他の目的でそのドライバモニタリングカメラ１２０に撮像させてもよい。この場合には、ドライバモニタリングカメラ１２０は、単にカメラ１２０として用いられ、その撮像表示システムのユーザを撮像する。
また、上記実施の形態および各変形例では、撮像表示システムは車両に搭載されているが、その車両に搭載されていなくてもよく、ウインドシールド２は、表示媒体として機能するものであれば、どのようなものであってもよい。
また、上記実施の形態および各変形例における第１赤外線反射層１３１、第２赤外線反射層１３２、および赤外線透過部１２１のそれぞれは、公知の材質によって構成されていてもよい。
また、本開示では、実施の形態およびその変形例を用いて、ＨＵＤを有する撮像表示システムについて説明したが、この撮像表示システムは、ＨＵＤを備えていなくてもよい。この場合には、撮像表示システムは、撮像システムとも呼べる。このような撮像システムは、反射板と、その反射板の少なくとも一部を覆うように配置される支持体１１５に支持されるドライバモニタリングカメラ１２０とを備える。なお、反射板は、透光カバー１１４であってもよく、表示媒体であるウインドシールド２側からの光を反射する機能があれば、透光カバー１１４のように可視光に対する透光性を有していなくてもよい。そして、そのドライバモニタリングカメラ１２０は、その支持体１１５における反射板側の面に配置される。このようなドライバモニタリングカメラ１２０は、例えば運転者１であるユーザ側からの光がウインドシールド２によって反射板側に向けて反射されることによってその反射板に映し出されるユーザを撮像する。このような撮像システムでは、上述の撮像表示システムと同様に、ユーザを適切に撮像することができる。
なお、上記変形例５における駆動部１５０、制御部１６０、および切替部１７０などの各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記変形例５の制御部１６０を実現するソフトウェアは、図１１に示すフローチャートの各ステップを実行させるプログラムである。
本開示の撮像表示システムは、例えば車両に搭載されて、その車両の運転者に虚像を視認させながらその運転者を撮像する車載機器として利用可能である。
１ 運転者（ユーザ）
２ ウインドシールド（表示媒体）
１００〜１０５ 撮像表示システム
１１０ ＨＵＤ
１１１ 筐体
１１２ 表示部
１１３ａ 第１ミラー
１１３ｂ 第２ミラー
１１４ 透光カバー
１１５ 支持体
１２０，１２０ａ，１２２ ドライバモニタリングカメラ（カメラ）
１２１ 赤外線透過部
１３１ 第１赤外線反射層
１３２ 第２赤外線反射層
１３２ａ，１３２ｂ 反射層
１４０ 光源
１５０ 駆動部
１６０ 制御部
１７０ 切替部
Ａ 撮像範囲
Ｂ アイボックス
Ｌ１ 第１光
Ｌ２ 第２光
Ｌ３ 第３光
Ｌ４ 外光
Ｌ５ 太陽光
Ｐｉｃ１、Ｐｉｃ２ 監視画像（撮像画像）

Claims (9)

  1. 画像を示す第１光を出射する表示部と、
    少なくとも１つのミラーを含む光学系と、
    開口を有し、前記表示部および前記光学系を囲う筐体と、
    前記筐体の前記開口の少なくとも一部を塞ぐように配置される透光性を有する透光カバーと、
    前記透光カバーの少なくとも一部を覆うように前記筐体の外側に連結される支持体に支持されるカメラとを備え、
    前記表示部から出射される前記第１光は、前記光学系を介して前記透光カバーを透過し、表示媒体によってユーザ側に向けて反射され、
    前記カメラは、
    前記支持体における前記透光カバー側の面に配置され、
    前記ユーザ側からの第２光が前記表示媒体によって前記透光カバー側に向けて反射されることによって前記透光カバーに映し出される前記ユーザを撮像する、
    撮像表示システム。
  2. 前記透光カバーには、可視光よりも赤外線に対する反射率が高く、かつ可視光に対して透光性を有する第１赤外線反射層が積層され、
    前記カメラは、赤外線カメラである、
    請求項１に記載の撮像表示システム。
  3. 前記表示媒体には、可視光よりも赤外線に対する反射率が高く、かつ可視光に対して透光性を有する第２赤外線反射層が積層されている、
    請求項２に記載の撮像表示システム。
  4. 前記第２赤外線反射層は、２つの反射層からなり、
    前記２つの反射層のうちの一方は、前記表示媒体における前記ユーザ側の面に形成され、
    前記２つの反射層のうちの他方は、前記表示媒体における前記ユーザ側と反対側の面に形成されている、
    請求項３に記載の撮像表示システム。
  5. 前記撮像表示システムは、さらに、
    赤外線に対して透光性を有し、赤外線よりも赤外線以外の光に対する反射率または吸収率が高い赤外線透過部を備え、
    前記カメラは、赤外線カメラであって、前記透光カバー側から前記赤外線透過部を介して前記カメラ内部の撮像素子に入射する赤外線によって、前記ユーザを撮像する、
    請求項１〜４の何れか１項に記載の撮像表示システム。
  6. 前記カメラの少なくとも一部には、可視光に対する反射率が前記支持体よりも低い低反射層が形成されている、
    請求項１に記載の撮像表示システム。
  7. 前記撮像表示システムは、さらに、
    前記支持体に支持され、赤外線を第３光として出射する光源を備え、
    前記カメラは、赤外線カメラであって、
    前記光源から出射される前記第３光は、前記透光カバーによって前記表示媒体側に向けて反射され、かつ、前記表示媒体によって前記ユーザ側に向けて反射される、
    請求項１〜６の何れか１項に記載の撮像表示システム。
  8. 前記撮像表示システムは、さらに、
    前記カメラの光軸を移動させる駆動部と、
    前記カメラによる撮像によって得られる撮像画像に基づいて、前記駆動部を制御する制御部とを備え、
    前記制御部は、
    前記撮像画像における前記ユーザの一部が映し出されている第１領域よりも高い輝度を有する第２領域が、前記第１領域から予め定められた距離以下の位置にある場合に、前記カメラの光軸の移動を前記駆動部に実行させる、
    請求項１〜７の何れか１項に記載の撮像表示システム。
  9. 前記撮像表示システムは、さらに、
    前記カメラである第１カメラと異なる第２カメラと、
    前記ユーザの撮像に用いられるカメラを前記第１カメラと前記第２カメラとに切り替える切替部と、
    前記第１カメラによる撮像によって得られる撮像画像に基づいて、前記切替部を制御する制御部とを備え、
    前記制御部は、
    前記撮像画像における前記ユーザの一部が映し出されている第１領域よりも高い輝度を有する第２領域が、前記第１領域から予め定められた距離以下の位置にある場合に、前記第１カメラから前記第２カメラへの切り替えを前記切替部に実行させる、
    請求項１〜７の何れか１項に記載の撮像表示システム。
JP2020063144A 2020-03-31 2020-03-31 撮像表示システム Pending JP2021160498A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020063144A JP2021160498A (ja) 2020-03-31 2020-03-31 撮像表示システム
DE112021002117.6T DE112021002117T5 (de) 2020-03-31 2021-01-15 Bildaufnahme- und Anzeigesystem
CN202180023127.3A CN115335253A (zh) 2020-03-31 2021-01-15 摄像显示系统
PCT/JP2021/001360 WO2021199583A1 (ja) 2020-03-31 2021-01-15 撮像表示システム
US17/950,606 US20230019596A1 (en) 2020-03-31 2022-09-22 Imaging and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020063144A JP2021160498A (ja) 2020-03-31 2020-03-31 撮像表示システム

Publications (1)

Publication Number Publication Date
JP2021160498A true JP2021160498A (ja) 2021-10-11

Family

ID=77929810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020063144A Pending JP2021160498A (ja) 2020-03-31 2020-03-31 撮像表示システム

Country Status (5)

Country Link
US (1) US20230019596A1 (ja)
JP (1) JP2021160498A (ja)
CN (1) CN115335253A (ja)
DE (1) DE112021002117T5 (ja)
WO (1) WO2021199583A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228919A1 (ja) * 2022-05-27 2023-11-30 京セラ株式会社 表示装置および空中像表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5353734B2 (ja) * 2010-01-28 2013-11-27 トヨタ自動車株式会社 撮像装置
US20180037116A1 (en) 2016-08-04 2018-02-08 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Combined head up display (hud) and camera system
CN110073273B (zh) * 2016-12-12 2021-06-01 富士胶片株式会社 投影型显示装置、投影型显示装置的控制方法、存储介质
JP6825903B2 (ja) * 2016-12-27 2021-02-03 矢崎総業株式会社 ドライバー撮像装置
JP2019128389A (ja) * 2018-01-22 2019-08-01 三菱電機株式会社 ヘッドアップディスプレイ装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228919A1 (ja) * 2022-05-27 2023-11-30 京セラ株式会社 表示装置および空中像表示装置

Also Published As

Publication number Publication date
US20230019596A1 (en) 2023-01-19
CN115335253A (zh) 2022-11-11
WO2021199583A1 (ja) 2021-10-07
DE112021002117T5 (de) 2023-03-09

Similar Documents

Publication Publication Date Title
CN110471181B (zh) 车辆用显示装置
JP6489841B2 (ja) ヘッドアップディスプレイ
JP6297238B1 (ja) 車両用表示装置
CN110471182B (zh) 车辆用显示装置
JP2010243940A (ja) 画像表示装置
JPWO2018066062A1 (ja) 投影光学系、及びヘッドアップディスプレイ装置
WO2021199574A1 (ja) 表示装置
WO2020235675A1 (ja) ヘッドアップディスプレイ装置
US11812200B2 (en) Head-up display apparatus
CN112748575A (zh) 车辆用显示装置
JP2015152718A (ja) ヘッドアップディスプレイ装置
JP6737291B2 (ja) 表示装置及びヘッドアップディスプレイ
KR20180122020A (ko) 헤드업 디스플레이 장치
JP2019028137A (ja) 車両用表示装置
WO2021199583A1 (ja) 撮像表示システム
JP2022056520A (ja) 車両用表示装置
CN113325572A (zh) 可穿戴显示设备及注视点的位置的确定方法
JP2006091104A (ja) 車両用ヘッドアップディスプレイ
JP7268073B2 (ja) 車両用表示装置
JP6822543B2 (ja) ヘッドアップディスプレイ装置
JP6907256B2 (ja) 車両用表示装置
JP6942747B2 (ja) 車両用表示装置
JP7476747B2 (ja) 車両用表示装置
JPH07101266A (ja) 車両用ヘッドアップディスプレイ
WO2021210225A1 (ja) 電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240220

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240304