JP2021057780A - カメラ、ヘッドアップディスプレイシステム、及び移動体 - Google Patents

カメラ、ヘッドアップディスプレイシステム、及び移動体 Download PDF

Info

Publication number
JP2021057780A
JP2021057780A JP2019179694A JP2019179694A JP2021057780A JP 2021057780 A JP2021057780 A JP 2021057780A JP 2019179694 A JP2019179694 A JP 2019179694A JP 2019179694 A JP2019179694 A JP 2019179694A JP 2021057780 A JP2021057780 A JP 2021057780A
Authority
JP
Japan
Prior art keywords
image
display
head
user
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019179694A
Other languages
English (en)
Other versions
JP7274392B2 (ja
Inventor
村田 充弘
Mitsuhiro Murata
充弘 村田
薫 草深
Kaoru Kusafuka
薫 草深
健慈 小倉
Kenji Ogura
健慈 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2019179694A priority Critical patent/JP7274392B2/ja
Priority to US17/764,524 priority patent/US20220353485A1/en
Priority to EP20871316.4A priority patent/EP4040788A4/en
Priority to PCT/JP2020/034565 priority patent/WO2021065427A1/ja
Priority to CN202080068262.5A priority patent/CN114450942A/zh
Publication of JP2021057780A publication Critical patent/JP2021057780A/ja
Application granted granted Critical
Publication of JP7274392B2 publication Critical patent/JP7274392B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • B60K35/23
    • B60K35/65
    • B60K35/81
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/32Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers characterised by the geometry of the parallax barriers, e.g. staggered barriers, slanted parallax arrays or parallax arrays of varying shape or size
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/346Image reproducers using prisms or semi-transparent mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B60K2360/21
    • B60K2360/336
    • B60K2360/741
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Abstract

【課題】ヘッドアップディスプレイシステムにおける眼の位置を検出する性能を向上する。【解決手段】本開示のカメラは、撮像素子と、信号処理部と、出力部とを含む。撮像素子は、ヘッドアップディスプレイの利用者の眼を含む被写体の第1画像を取得するように構成される。信号処理部は、第1画像のうち、利用者の眼が前記ヘッドアップディスプレイの表示する虚像を視認可能な領域であるアイボックスに含まれない領域の解像度を低下させた第2画像を生成するように構成される。出力部は、第2画像を、ヘッドアップディスプレイに出力するように構成される。【選択図】図3

Description

本開示は、カメラ、ヘッドアップディスプレイシステム、及び移動体に関する。
従来、利用者の左右の眼に互いに視差を有する画像を伝播させ、利用者の視野内に奥行きを有する3次元画像として視認される虚像を投影するヘッドアップディスプレイシステムが知られている(例えば、特許文献1参照)。
国際公開第2018/142610号パンフレット
利用者の左右の眼に適切な画像を視認させるため、3次元画像を表示するヘッドアップディスプレイシステムは、利用者の眼の位置を検出するためのカメラを含む。利用者の眼の位置は変化する。そのため、カメラは、リアルタイムに利用者の眼の位置を追跡する必要がある。このようなカメラは、運転者の頭部及び/又は瞼の動きを監視する運転者モニタ用のカメラと兼用されることがある。
ヘッドアップディスプレイシステムに使用されるカメラは、眼の位置を検出する性能が高いことが好ましい。
本開示に係るカメラは、撮像素子と、信号処理部と、出力部とを備える。前記撮像素子は、ヘッドアップディスプレイの利用者の眼を含む被写体の第1画像を取得するように構成される。前記信号処理部は、前記第1画像のうち、前記利用者の眼が前記ヘッドアップディスプレイの表示する虚像を視認可能な領域であるアイボックスに含まれない領域の解像度を低下させた第2画像を生成するように構成される。前記出力部は、前記第2画像を、前記ヘッドアップディスプレイに出力するように構成される。
本開示に係るヘッドアップディスプレイシステムは、カメラと、ヘッドアップディスプレイとを備える。前記カメラは、撮像素子と、信号処理部と、出力部とを含む。前記撮像素子は、前記ヘッドアップディスプレイの利用者の眼を含む被写体の第1画像を取得するように構成される。前記信号処理部は、前記第1画像のうち、前記利用者の眼が前記ヘッドアップディスプレイの表示する虚像を視認可能な領域であるアイボックスに含まれない領域の解像度を低下させた第2画像を生成するように構成される。前記出力部は、前記第2画像を、前記ヘッドアップディスプレイに出力するように構成される。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、光学系と、受信部と、プロセッサとを含む。前記表示パネルは、表示画像を表示するように構成される。前記光学素子は、前記表示パネルから射出された画像光の伝播方向を規定するように構成される。前記光学系は、前記光学素子により伝播方向を規定された前記画像光を前記利用者の眼の方向に向け伝播させ、前記利用者の視野内に前記表示画像の虚像を投影するように構成される。前記受信部は、前記出力部から出力された前記第2画像を受信するように構成される。前記プロセッサは、前記表示パネルに互いに視差を有する第1表示画像と第2表示画像とを含む前記表示画像を表示させるように構成される。前記プロセッサは、前記カメラから受信した前記第2画像により検出される前記利用者の眼の位置に基づいて、前記表示パネル上の前記第1表示画像が表示される領域と、前記第2表示画像が表示される領域とを、変更可能に構成される。
本開示に係る移動体は、ヘッドアップディスプレイシステムを備える。ヘッドアップディスプレイシステムは、カメラと、ヘッドアップディスプレイとを含む。前記カメラは、撮像素子と、信号処理部と、出力部とを有する。前記撮像素子は、前記ヘッドアップディスプレイの利用者の眼を含む被写体の第1画像を取得するように構成される。前記信号処理部は、前記第1画像のうち、前記利用者の眼が前記ヘッドアップディスプレイの表示する虚像を視認可能な領域であるアイボックスに含まれない領域の解像度を低下させた第2画像を生成するように構成される。前記出力部は、前記第2画像を、前記ヘッドアップディスプレイに出力するように構成される。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、光学系と、受信部と、プロセッサとを有する。前記表示パネルは、表示画像を表示するように構成される。前記光学素子は、前記表示パネルから射出された画像光の伝播方向を規定するように構成される。前記光学系は、前記光学素子により伝播方向を規定された前記画像光を前記利用者の眼の方向に向け伝播させ、前記利用者の視野内に前記表示画像の虚像を投影するように構成される。前記受信部は、前記出力部から出力された前記第2画像を受信するように構成される。前記プロセッサは、前記表示パネルに互いに視差を有する第1表示画像と第2表示画像とを含む前記表示画像を表示させるように構成される。前記プロセッサは、前記カメラから受信した前記第2画像により検出される前記利用者の眼の位置に基づいて、前記表示パネル上の前記第1表示画像が表示される領域と、前記第2表示画像が表示される領域とを、変更可能に構成される。
本開示の実施形態によれば、眼の位置を検出する性能を向上したカメラ、ヘッドアップディスプレイシステム、及び、前記ヘッドアップディスプレイシステムを備えた移動体を提供することができる。
移動体に搭載されたヘッドアップディスプレイシステムの一例を示す図である。 図1に示すカメラの概略構成を示す図である。 図2に示すデジタル信号処理部の行う処理のフローチャートである。 カメラにより撮像される画像を説明する図である 図1に示すヘッドアップディスプレイの概略構成を示す図である。 図5に示す表示パネルを奥行方向から見た例を示す図である。 図5に示すパララックスバリアを奥行方向から見た例を示す図である。 図1に示す虚像と利用者の眼との関係を説明するための図である。 表示パネルの虚像におけるサブピクセルの表示例を説明する図である。 表示パネルの虚像におけるサブピクセルの表示例を説明する図である。 ヘッドアップディスプレイシステムの他の一例を示す図である。 図11に示すカメラの概略構成を示す図である。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法、比率等は現実のものとは必ずしも一致しない。
[ヘッドアップディスプレイシステムの概要]
本開示の一実施形態に係るヘッドアップディスプレイシステム100は、図1に示すように、カメラ10と、ヘッドアップディスプレイ(HUD:Head Up Display)20とを含む。ヘッドアップディスプレイシステム100は、移動体30に搭載されてよい。
ヘッドアップディスプレイシステム100は、以下に詳細に説明するように、HUD20の表示装置23から射出される画像光を、利用者31の複数の眼32に向けて伝播させる。これにより、ヘッドアップディスプレイシステム100は、利用者31の視野内に虚像を表示する。ヘッドアップディスプレイシステム100には、利用者31の眼がHUD20の表示する虚像を視認可能な領域がある。利用者31の眼がHUD20の表示する虚像を視認可能な領域は、アイボックス33と呼ばれる。利用者31の複数の眼32がアイボックス33の外にあるとき、利用者31は、HUD20の表示する虚像を見ることができない。
図1及び後述する図8において、利用者31の左眼32l及び右眼32rを通る直線の方向である眼間方向はu軸方向として表される。利用者31の前後方向はw軸方向として表される。u軸方向及びw軸方向に垂直な高さ方向はv軸方向として表される。
(カメラ)
ヘッドアップディスプレイシステム100は、カメラ10を使用して、3次元画像を観察する利用者31の複数の眼32の位置を検出するように構成される。利用者31の複数の眼32は、利用者31の左眼32l(第1眼)及び右眼32r(第2眼)を含む。本願において、利用者31の左眼32lと右眼32rとを特に区別せずに、左眼32l及び右眼32rは、纏めて複数の眼32と記載されることがある。カメラ10は、利用者31の複数の眼32を含む画像をHUD20に対して出力するように構成される。ヘッドアップディスプレイシステム100が車両である移動体30に搭載される場合、利用者31は移動体30の運転者であってよい。
ヘッドアップディスプレイシステム100が車両である移動体30に搭載される場合、カメラ10は、ルームミラーに取り付けられてよい。カメラ10は、インスツルメントパネル内の、例えばクラスターに取り付けられてよい。カメラ10は、センターパネルに取り付けられてよい。カメラ10は、ステアリングホイールの中心に配置された、該ステアリングホイールの支持部に取り付けられてよい。カメラ10は、ダッシュボード上に取付けられてよい。
図2に示すように、一実施形態において、カメラ10は、レンズ11、撮像素子12、アナログ信号処理部13、A/D変換部14、デジタル信号処理部15、出力部16、及びカメラ制御部17を含む。アナログ信号処理部13、A/D変換部14、デジタル信号処理部15、及びカメラ制御部17は、纏めて信号処理部18とも呼ばれる。アナログ信号処理部13、A/D変換部14、デジタル信号処理部15、及びカメラ制御部17の各部が行う処理は、信号処理部18が行う処理と言い換えることができる。信号処理部18は、信号処理回路と言い換えることができる。
レンズ11は、HUD20の利用者31の複数の眼32を含む被写体の像を撮像素子12の受光面上に結像させるように構成される。レンズ11は、1つ以上のレンズを含んでよい。
撮像素子12は、受光面に結像した被写体の像を、画素ごとに光電変換し各画素の信号を、第1画像として取得するように構成される。撮像素子12は、第1画像を電気信号として出力することができる。撮像素子12は、例えばCCD(Charge Coupled Device)撮像素子又はCMOS(Complementary Metal Oxide Semiconductor)撮像素子を含んでよい。第1画像は、利用者31の複数の眼32の瞳の位置を検出可能な解像度を有する。
アナログ信号処理部13は、アナログ信号処理回路を含む。アナログ信号処理部13は、撮像素子12が取得した第1画像を表すアナログ信号に対して、各種のアナログ信号処理を施すことができる。アナログ信号処理は、相関二重サンプリング処理、及び、増幅処理等を含む。
A/D変換部14は、アナログ信号処理部13によりアナログ信号処理が施されたアナログ信号をデジタル信号に変換するアナログ−デジタル変換回路により構成される。A/D変換部14から出力されるデジタル化された第1画像は、カメラ10に内蔵されるメモリに格納されてよい。アナログ信号処理部13及びA/D変換部14は、撮像素子12に内蔵されてよい。
デジタル信号処理部15は、DSP(Digital Signal Processor)等のデジタル信号処理用のプロセッサを含む。デジタル信号処理部15は、予め、3次元空間のアイボックス33をカメラ10により撮像される2次元座標の領域に変換した情報を記憶する。カメラ10により撮像される画像上にアイボックス33が変換された領域を、アイボックス33を含む領域と呼ぶ。デジタル信号処理部15は、アイボックス33を含む領域を記憶するメモリを有してよい。
デジタル信号処理部15の実行する処理の一例は、図3のフローチャートに示される。
デジタル信号処理部15は、A/D変換部14でデジタル信号に変換された第1画像を取得する(ステップS01)。
デジタル信号処理部15は、第1段階の処理において、予め設定されたアイボックス33を含まない領域の解像度を低下させる(ステップS02)。解像度を低下させる処理は、デジタル化された第1画像の画素の情報の一部を、所定の規則に従って間引くことにより行うことができる。デジタル信号処理部15は、第1画像のアイボックス33を含む領域の解像度を変化させない。
デジタル信号処理部15は、第2段階の処理において、アイボックス33を含まない領域の解像度を低下させた画像に対して、各種の画像処理を施し、第2画像を生成する(ステップS03)。画像処理は、色補間処理、色補正処理、明るさ補正処理、ノイズ除去処理等を含む。
デジタル信号処理部15は、第2画像を出力部16に引き渡す(ステップS04)。
デジタル信号処理部15は、ステップS02の第1段階の処理において、第1画像のアイボックス33を含まない領域の画像の解像度を低下させたので、ステップS03の第2段階の処理を高速化させることができる。デジタル信号処理部15は、アイボックス33を含まない領域の画像の解像度を低下させたので、これによって得られた第2画像の全体の情報量を低減させることができる。
出力部16は、有線及び/又は無線通信に対応した通信用LSI等の通信用の回路、コネクタ、及び/又は、アンテナ等を含むカメラ10の出力インタフェースである。出力部16は、デジタル信号処理部15で画像処理を施された第2画像の画像信号を、HUD20に出力するように構成される。出力部16は、HUD20に出力される画像信号に対して、HUD20との間で通信を行うためのプロトコル処理を施すように構成される。出力部16は、HUD20に対して画像信号を、有線、無線、及びCAN(Controller Area Network)等の通信ネットワークを介して出力してよい。
カメラ制御部17は、撮像素子12、アナログ信号処理部13、A/D変換部14、デジタル信号処理部15及び出力部16の各部を制御することができる。カメラ制御部17は、一つ以上のプロセッサにより構成される。
図4に示すように、カメラ10が出力する第2画像40は、高解像度領域41と低解像度領域42とを含む。高解像度領域41は、HUD20の表示する虚像を視認可能な領域であるアイボックス33を含む領域である。低解像度領域42は、アイボックス33が含まれていない領域である。カメラ10の第2画像40における高解像度領域41は、カメラ10とHUD20との位置関係に基づいて予め決定される。
(ヘッドアップディスプレイ)
一実施形態に係るHUD20は、反射器21、光学部材22及び表示装置23を含む。反射器21と光学部材22とは、HUD20の光学系を構成する。HUD20の光学系は、反射器21及び光学部材22以外に、レンズ及びミラー等の光学素子を含んでよい。他の実施形態において、HUD20の光学系は、反射器21を用いず、レンズのみにより構成することも可能である。
反射器21は、表示装置23から射出された画像光を、光学部材22の所定領域に向けて反射させるように構成される。所定領域は、該所定領域で反射した画像光が利用者31の眼32の方に向かう領域である。所定領域は、光学部材22に対する利用者31の複数の眼32の方向、及び光学部材22への画像光の入射方向によって定まりうる。反射器21は、凹面鏡であってよい。反射器21を含む光学系は、正の屈折率を有してよい。
光学部材22は、表示装置23から射出され、反射器21によって反射された画像光を、利用者31の左眼32l及び右眼32rに向けて反射させるように構成される。例えば、移動体30のウインドシールドは、光学部材22として兼用されてよい。光学部材22として、コンバイナと呼ばれるヘッドアップディスプレイ用の板状の部材がウインドシールドの内側に位置してよい。HUD20は、光路Pに沿って、表示装置23から射出された光を、利用者31の左眼32l及び右眼32rまで進行させる。利用者31は、光路Pに沿って到達した光を虚像として視認しうる。
(表示装置)
図5に示すように、表示装置23は、入力部24と、照射器25と、表示パネル26と、光学素子としてのパララックスバリア27と、コントローラ28と、メモリ29とを含むことができる。
入力部24は、カメラ10から第2画像40を受信するように構成される。入力部24は、カメラ10との間の通信方式に従う通信機能を有する。入力部24は、有線及び/又は無線通信のインタフェースを備える。入力部24は、通信用の回路を含んでよい。通信用の回路には、通信用のLSIを含む。入力部24は、有線通信に対応した、電気コネクタ及び光コネクタ等のコネクタを含みうる。入力部24は、無線通信に対応したアンテナを含みうる。
照射器25は、表示パネル26を面的に照射しうるように構成される。照射器25は、光源、導光板、拡散板、拡散シート等を含んでよい。照射器25は、光源により照射光を出射し、導光板、拡散板、拡散シート等により照射光を表示パネル26の面方向に均一化する。そして、照射器25は均一化された光を表示パネル26の方に出射しうる。
表示パネル26は、例えば透過型の液晶表示パネルなどの表示パネルを採用しうる。表示パネル26としては、透過型の液晶パネルに限られず、有機EL等他の表示パネルを使用しうる。表示パネル26として、自発光型の表示パネルを使用した場合、表示装置23は照射器25を備えなくてよい。
図6に示すように、表示パネル26は、面状に形成されたアクティブエリアA上に複数の区画領域を有する。アクティブエリアAは、視差画像を表示することができる。視差画像は、後述する左眼画像と左眼画像に対して視差を有する右眼画像とを含む。本実施形態において、左眼画像は、第1表示画像である。右眼画像は、第2表示画像である。区画領域は、第1方向及び第1方向に直交する第2方向に区画された領域である。第1方向及び第2方向に直交する方向は第3方向と称される。第1方向は水平方向と称されてよい。第2方向は鉛直方向と称されてよい。第3方向は奥行方向と称されてよい。しかし、第1方向、第2方向、及び第3方向はそれぞれこれらに限られない。図5から図7において、第1方向はx軸方向として表される。第2方向はy軸方向として表される。第3方向はz軸方向として表される。
区画領域の各々には、1つのサブピクセルが対応する。したがって、アクティブエリアAは、水平方向及び鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。
各サブピクセルは、R(Red),G(Green),B(Blue)のいずれかの色に対応し、R,G,Bの3つのサブピクセルを一組として1ピクセルを構成することができる。1ピクセルは、1画素と称されうる。水平方向は、例えば、1ピクセルを構成する複数のサブピクセルが並ぶ方向である。鉛直方向は、例えば、同じ色の複数のサブピクセルが並ぶ方向である。
アクティブエリアAに配列された複数のサブピクセルは、コントローラ28の制御により、サブピクセル群Pgを構成する。複数のサブピクセル群Pgは、水平方向に繰り返して配列される。複数のサブピクセル群Pgは、鉛直方向に同じ位置に配列すること、及び、ずらして配列することができる。例えば、複数のサブピクセル群Pgは、鉛直方向においては、水平方向に1サブピクセル分ずれた位置に隣接して繰り返して配列することができる。それぞれのサブピクセル群Pgは、所定の行数及び列数の複数のサブピクセルを含む。具体的には、それぞれのサブピクセル群Pgは、鉛直方向にb個(b行)、水平方向に2×n個(2×n列)、連続して配列された(2×n×b)個の複数のサブピクセルP1〜PN(N=2×n×b)を含む。図6に示す例では、n=6、b=1である。アクティブエリアAには、鉛直方向に1個、水平方向に12個、連続して配列された12個のサブピクセルP1〜P12を含む複数のサブピクセル群Pgが配置される。図6に示す例では、一部のサブピクセル群Pgに符号を付している。
サブピクセル群Pgは、コントローラ28が画像を表示するための制御を行う最小単位である。それぞれのサブピクセル群Pgに含まれる各サブピクセルは、識別情報P1〜PN(N=2×n×b)で識別される。全てのサブピクセル群Pgの同じ識別情報を有する複数のサブピクセルP1〜PN(N=2×n×b)は、コントローラ28によって同時に制御される。例えば、コントローラ28は、複数のサブピクセルP1に表示させる画像を左眼画像から右眼画像に切り替える場合、全ての複数のサブピクセル群PgにおけるそれぞれのサブピクセルP1に表示させる画像を左眼画像から右眼画像に同時的に切り替えることができる。
パララックスバリア27は、図5に示したように、アクティブエリアAに沿う平面により形成され、アクティブエリアAから所定距離(ギャップ)g、離れて配置される。パララックスバリア27は、表示パネル26に対して照射器25の反対側に位置してよい。パララックスバリア27は、表示パネル26の照射器25側に位置してよい。
パララックスバリア27は、図7に示すように、面内の所定方向に伸びる複数の帯状領域である透光領域271ごとに、サブピクセルから射出される画像光の伝播方向を規定するように構成される。具体的には、パララックスバリア27は、複数の、画像光を減光させる減光領域272を有する。複数の減光領域272は、互いに隣接する該減光領域272の間の複数の透光領域271を画定する。複数の透光領域271は、複数の減光領域272に比べて光透過率が高い。複数の透光領域271の光透過率は、複数の減光領域272の光透過率の10倍以上、好適には100倍以上、より好適には1000倍以上とし得る。複数の減光領域272は、複数の透光領域271に比べて光透過率が低い。複数の減光領域272は、画像光を遮光してよい。
複数の透光領域271と複数の減光領域272とは、アクティブエリアAに沿う所定方向に延び、所定方向と直交する方向に繰り返し交互に配列される。所定方向は、例えば、表示パネル26とパララックスバリア27とを奥行方向(z軸方向)から見たとき、サブピクセルの対角線に沿う方向である。所定方向は、例えば、表示パネル26とパララックスバリア27とを奥行方向(z軸方向)から見たとき、x軸方向にs個のサブピクセルを横切る間に、y軸方向にt個のサブピクセルを横切る方向(s,tは互いの素の正の整数)としうる。所定方向は、y軸方向としてもよい。所定方向は、サブピクセル群Pgの配列される方向に対応する方向である。例えば、図6の例において、サブピクセル群Pgは、第2方向に1行ずれると、第1方向に1列ずれるので、s=1,t=1である。
パララックスバリア27は、フィルム又は板状部材で構成されてよい。この場合、複数の減光領域272は、当該フィルム又は板状部材で構成される。複数の透光領域271は、フィルム又は板状部材に設けられた開口部であってよい。フィルムは、樹脂で構成されてよいし、他の材料で構成されてよい。板状部材は、樹脂又は金属等で構成されてよいし、他の材料で構成されてよい。パララックスバリア27は、フィルム又は板状部材に限られず、他の種類の部材で構成されてよい。パララックスバリア27は、遮光性を有する基材で構成されてよい。パララックスバリア27は、遮光性を有する添加物を含有する基材で構成されてよい。
パララックスバリア27は、液晶シャッタで構成することもできる。液晶シャッタは、印加する電圧に応じて光の透過率を制御しうる。液晶シャッタは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッタによる複数の透光領域271及び複数の減光領域272は、液晶シャッタの画素の配置に対応した領域となる。パララックスバリア27が液晶シャッタで構成される場合、透光領域271と減光領域272との境界は、画素の形状に対応して階段状となりうる。
表示パネル26のアクティブエリアAから射出された画像光の一部は、透光領域271を透過し、反射器21を介して光学部材22に到達する。光学部材22に到達した画像光は光学部材22に反射されて利用者31の眼32に到達する。これにより、利用者31の眼32は光学部材22の前方にアクティブエリアAに表示された画像の虚像である第1虚像V1を認識することができる。第1虚像V1が投影される面を虚像面Svとよぶ。本願において前方は、利用者31からみて光学部材22の方向である。前方は、移動体30の通常移動する方向である。図8に示すように、利用者31は、見かけ上、パララックスバリア27の虚像である第2虚像V2が、第1虚像V1からの画像光の方向を規定しているかのごとく、画像を認識する。
このように、利用者31は、見かけ上、第2虚像V2を介して第1虚像V1を視認するかのごとく画像を認識している。実際にはパララックスバリア27の虚像である第2虚像V2は、視認されない。しかし、以降においては、第2虚像V2は、見かけ上、パララックスバリア27の虚像が形成される位置にあり、第1虚像V1からの画像光の伝播方向を規定するとみなされるものとして説明される。以降において、利用者31の複数の眼32の位置に伝播する画像光によって利用者31が視認しうる第1虚像V1内の領域は可視領域Vaと称される。利用者31の左眼32lの位置に伝播する画像光によって利用者31が視認しうる第1虚像V1内の領域は左可視領域VaLと称される。利用者31の右眼32rの位置に伝播する画像光によって利用者31が視認しうる第1虚像V1内の領域は右可視領域VaRと称される。
図8に示される虚像バリアピッチVBp及び虚像ギャップVgは、適視距離Vdを用いた次の式(1)及び式(2)が成り立つように規定される。
E:Vd=(n×VHp):Vg 式(1)
Vd:VBp=(Vdv+Vg):(2×n×VHp) 式(2)
虚像バリアピッチVBpは、第2虚像V2として投影された減光領域272のu軸方向に対応する方向の配置間隔である。虚像ギャップVgは、第2虚像V2と第1虚像V1との間の距離である。適視距離Vdは、カメラ10から取得した位置情報が示す利用者31の左眼32l及び右眼32rそれぞれの位置とパララックスバリア27の虚像V2との間の距離である。眼間距離Eは、左眼32lと右眼32rとの間の距離である。眼間距離Eは、例えば、産業技術総合研究所の研究によって算出された値である61.1mm〜64.4mmであってよい。VHpは、サブピクセルの虚像の水平方向の長さである。VHpは、第1虚像V1におけるサブピクセルの虚像の、第1方向に対応する方向の長さである。
図8に示す左可視領域VaLは、上述のように、パララックスバリア27の透光領域271を透過した画像光が利用者31の左眼32lに到達することによって、利用者31の左眼32lが視認する虚像面Svの領域である。右可視領域VaRは、上述のように、パララックスバリア27の透光領域271を透過した画像光が利用者31の右眼32rに到達することによって、利用者31の右眼32rが視認する虚像面Svの領域である。
一例として、パララックスバリア27の開口率が50%の場合、利用者31の左眼32l及び右眼32rから見た第1虚像V1のサブピクセルの配置を図9に示す。開口率が50%のとき、パララックスバリア27の透光領域271と減光領域272とは、等しい眼間方向(x軸方向)の幅を有する。図9において、一点鎖線は、パララックスバリア27の透光領域271と減光領域272との境界の虚像を示す。左眼32lから視認可能な左可視領域VaL及び右眼32rから視認可能な右可視領域VaRは、それぞれ二点鎖線の間に位置するx及びy方向に斜め方向に延びる領域である。右可視領域VaRは、左眼32lからは見えない。左可視領域VaLは、右眼32rからは見えない。
図9の例では、左可視領域VaLには、アクティブエリアAに配列されたサブピクセルP2からP5の全体とサブピクセルP1及びP6の大部分の虚像が含まれる。利用者31の左眼32lは、アクティブエリアAに配列されたサブピクセルP7からP12の虚像を視認し難い。右可視領域VaRには、アクティブエリアAに配列されたサブピクセルP8からP11の全体とサブピクセルP7及びP12の大部分の虚像が含まれる。利用者31の右眼32rは、アクティブエリアAに配列されたサブピクセルP1からP6の虚像を視認し難い。コントローラ28は、サブピクセルP1からP6に左眼画像を表示することができる。コントローラ28は、サブピクセルP7からP12に右眼画像を表示することができる。このようにすることによって、利用者31の左眼32lが主に左可視領域VaLの左眼画像の虚像を視認し、右眼32rが主に右可視領域VaRの右眼画像の虚像を視認する。上述したように、左眼画像及び右眼画像は互いに視差を有する視差画像である。そのため、利用者31は、左眼画像及び右眼画像を3次元画像として視認する。
コントローラ28は、ヘッドアップディスプレイシステム100の各構成要素に接続され、各構成要素を制御しうる。コントローラ28によって制御される構成要素は、カメラ10及び表示パネル26を含む。コントローラ28は、例えばプロセッサとして構成される。コントローラ28は、1以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC:Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD:Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。コントローラ28は、1つ又は複数のプロセッサが協働するSoC(System-on-a-Chip)、及びSiP(System In a Package)のいずれかであってよい。コントローラ28は、記憶部を備え、記憶部に各種情報、又はヘッドアップディスプレイシステム100の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。記憶部は、コントローラ28のワークメモリとして機能してよい。
メモリ29は、例えばRAM(Random Access Memory)及びROM(Read Only Memory)など、任意の記憶デバイスにより構成される。メモリ29は、入力部24によって受け付けられた情報、及びコントローラ28によって変換された情報等を記憶する。
(表示パネルの表示する画像の制御)
コントローラ28は、入力部24を介してカメラ10から取得した第2画像40に基づいて、利用者31の左眼32l及び右眼32rの位置を検出することができる。コントローラ28は、以下に説明するように、左眼32l及び右眼32rの位置の情報に基づいて、互いに視差を有する右眼画像及び左眼画像を表示パネル26に表示させる。コントローラ28は、表示パネル26の各サブピクセルが表示する画像を、右眼画像と左眼画像との間で切り替えて制御する。
前述のように、コントローラ28は、利用者31の左眼32lから見える第1虚像V1の左可視領域VaLが、図9の位置にあるとき、サブピクセルP1からP6に左眼画像を表示させることができる。コントローラ28は、利用者31の右眼32rから見える第1虚像V1の右可視領域VaRが、図9の位置にあるときサブピクセルP7からP12に右眼画像を表示させることができる。なお、他の実施形態において、コントローラ28は、サブピクセルP2からP5に左眼画像を表示させ、サブピクセルP8からP11に右眼画像を表示させ、その他のサブピクセルP1、P6、P7及びP12に0の輝度値を持つ黒表示をさせることができる。その場合、クロストークの発生を特に低減することができる。
利用者31の複数の眼32の位置が変化すると、利用者31の左眼32l及び右眼32rから虚像を視認することができるサブピクセルP1からP12の範囲が変化する。コントローラ28は、利用者31の複数の眼32の位置に応じて、それぞれのサブピクセル群PgのサブピクセルP1からP12の中から左眼画像を表示するサブピクセルと、右眼画像を表示するサブピクセルとを決定する。コントローラ28は、左眼画像を表示すると決定されたサブピクセルに、左眼画像を表示させる。コントローラ28は、右眼画像を表示すると決定されたサブピクセルに、右眼画像を表示させる。
例えば、図9に示すように第1虚像V1を観察している状態において、利用者31の複数の眼32が相対的に左に移動した場合、パララックスバリア27の虚像である第2虚像V2は、右へ移動する。例えば、利用者31から見たパララックスバリア27の透光領域271と減光領域272との境界の虚像が、図10のように右に移動した場合、左可視領域VaL及び右可視領域VaRも右に移動する。図10の場合、サブピクセルP3からP6の全体とサブピクセルP2及びP7の大部分が、左可視領域VaLに含まれる。サブピクセルP9からP12の全部とサブピクセルP8及びP1の大部分が、右可視領域VaRに含まれる。このため、コントローラ28は、表示パネル26のサブピクセルP2からP7に左眼画像を表示させることができる。コントローラ28は、表示パネル26のサブピクセルP1及びP8からP12に右眼画像を表示させることができる。すなわち、利用者31の複数の眼32の位置が移動したことにより、サブピクセルP1の表示する画像が左眼画像から右眼画像に切り替えられる。同じく、サブピクセルP7の表示する画像が右眼画像から左眼画像に切り替えられる。
コントローラ28は、左眼画像と右眼画像とが利用者31の視野内に3次元画像として投影されるように、表示パネル26を制御する。コントローラ28は、左眼画像と右眼画像に含まれる表示対象の立体物の画像が、所望の視差を有するように、コントローラ28に表示させる。コントローラ28は、予めメモリ29に記憶された視差を有する画像を、表示パネル26に表示させてよい。コントローラ28は、リアルタイムで3次元画像において表示しようとする立体物の距離に応じて視差を計算し、表示パネル26に表示する左眼画像及び右眼画像を生成してよい。
図1に示したアイボックス33は、表示装置23の位置、左眼画像及び右眼画像の画像光を射出する向き、反射器21の形状、位置及び向き、並びに、光学部材22の形状、位置及び向き等によって決定される。アイボックス33は、表示装置23から出射した左眼画像及び右眼画像の画像光が到達可能であり、且つ、第2虚像V2からの距離が数式(1)及び(2)を満たす適視距離Vdの近傍にある領域である。利用者31の複数の眼32がアイボックス33の中にあるとき、利用者31は、HUD20により3次元画像を視認することができる。
表示装置23のコントローラ28が、利用者31の複数の眼32の位置を検出するとき、コントローラ28は、アイボックス33が含まれる高解像度領域41から利用者31の複数の眼32の瞳位置を検出する。HUD20では、上述のように利用者31の瞳の位置に基づいて、サブピクセル単位の画像の切り替えを行うために、瞳位置を検出可能な高解像度の画像を必要とする。
車両に搭載されるカメラ10は、画像情報をHUD20以外の装置にも出力するように構成されうる。HUD20以外の装置には、運転者の運転状況を監視する運転者モニタが含まれる。運転者モニタは、運転者の頭または瞼の動き等を監視して、利用者31が眠気を感じている等の危険な運転状態を検知したとき、音または振動等を用いて警告をすることができる。運転者モニタでは、利用者31の眠気を判定するため、アイボックス33のみならずアイボックス33に含まれない領域の画像を必要とする。運転者モニタでは、利用者31の複数の眼32の瞳を検知するほどの高解像度の画像は必要とされない。
本実施形態によれば、第2画像40のアイボックス33を含まない領域を低解像度領域42としたので、カメラ10の出力部16から表示装置23の入力部24に送信する画像情報の情報量を低減することができる。これにより、画像情報の通信に係る遅延時間、すなわち、レイテンシーを低減することができる。したがって、ヘッドアップディスプレイシステム100は、カメラ10により眼の位置を高精度で検出しながら、処理の遅れを低減させることができる。よって、複数の眼32の位置を検出する性能が、向上する。
本実施形態によれば、カメラ10のデジタル信号処理部15は、第2段階の各種の画像処理を行う前に、第1段階として第1画像のアイボックス33を含まない領域の解像度を低下させた。これにより、色補間処理、色補正処理、明るさ補正処理、ノイズ除去処理等を含む第2段階の画像処理を高速化することができる。
本実施形態によれば、同一のカメラ10をHUD20とHUD20以外の装置に利用する場合において、HUD20用には画像全体の一部に限定された高解像度領域41についてのみ、利用者31の複数の眼32の検出が行われる。利用者31の高解像度の画像を必要としないHUD20以外の用途には、解像度を低下させた低解像度領域42を含む第2画像40の全体が使用される。これにより、ヘッドアップディスプレイシステム100を含むシステム全体として、処理の遅れが低減され、性能が改善する。
[ヘッドアップディスプレイシステムの他の構成例]
上記実施形態において、アイボックス33は、予め設定された領域に固定されている。この場合、アイボックス33は、利用者31の座高及び運転姿勢等の違いに対応して、複数の眼32の位置する可能性がある広い領域に設定される必要がある。アイボックス33は、HUD20の光学系の配置等の制約等により、広い領域に設定できないことがある。そのような場合、HUD20は、利用者31の複数の眼32の位置に応じてアイボックス33の位置を調整する構成を有することも可能である。
本開示の他の実施形態に係るヘッドアップディスプレイシステム110が図11に示される。図11では、図1のヘッドアップディスプレイシステム100の構成要素と同一又は類似の構成要素は、図1の対応する構成要素と同一の名称及び参照符号を付している。特に説明しない限り、図1と同じ参照符号が付された構成要素は、図1の対応する構成要素と同じ構成及び機能を有する。
ヘッドアップディスプレイシステム110の反射器21は、位置及び向きの少なくとも一方を、利用者31の複数の眼32の位置に応じて調整可能に構成される。HUD20は、反射器21の位置及び向きの少なくとも一方を調整するための、調整機構51を有する。調整機構51は、駆動装置を含む。駆動装置は、例えば、ステッピングモータを採用しうる。調整機構51は、利用者31の手動による操作により駆動されてよい。調整機構51は、表示装置23がカメラ10から取得した複数の眼32の位置に基づいて、コントローラ28が制御してよい。HUD20は、アイボックス33の位置に関する情報をカメラ10に対して出力するための送信部52を有してよい。アイボックス33の位置に関する情報は、例えば、調整機構51による反射器21の駆動情報である。送信部52は、有線又は無線によりカメラ10に対して情報を送信する通信インタフェースを含む。
図12に示すように、カメラ10は、アイボックス33の位置に関する情報を取得する取得部53を備える。取得部53は、送信部52の伝送方式に対応する通信インタフェースを含む。カメラ制御部17は、取得部53を介して取得したアイボックス33の位置に関する情報に基づいて、デジタル信号処理部15の有するアイボックス33を含む領域の情報を更新する。デジタル信号処理部15は、取得部53から取得したアイボックス33の位置に関する情報に基づいて、アイボックス33を含まない領域の解像度を低下させた第2画像を生成する。
以上のような構成により、利用者31の座高の位置及び運転姿勢の違いによらず、適切な位置にアイボックス33を設定することができる。これにより、デジタル信号処理部15は、設定されたアイボックス33を含む領域を高解像度領域41とし、アイボックス33を含まない領域を低解像度領域42とする第2画像40を生成することができる。したがって、図1に示した実施形態と同様に、ヘッドアップディスプレイシステム110は、カメラ10により眼の位置を高精度で検出しながら、処理の遅れを低減させることができる。
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車及び産業車両を含むが、これに限られず、鉄道車両及び生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
本開示において「第1」及び「第2」等の記載は、当該構成を区別するための識別子である。本開示における「第1」及び「第2」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1レンズは、第2レンズと識別子である「第1」と「第2」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第1」及び「第2」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
本開示において、x軸方向、y軸方向、及び、z軸方向は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、x軸方向、y軸方向、及び、z軸方向を各軸とする直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。u軸方向、v軸方向及びw軸方向についても同様である。
上記実施形態において、画像光の伝播方向を規定する光学素子はパララックスバリアであるとした。しかし、光学素子はこれに限られない。光学素子として、レンチキュラレンズを用いる構成も可能である。
上記実施形態において、利用者31の複数の眼32の位置は、表示装置23のコントローラ28において、第2画像40に基づいて検出された。利用者31の複数の眼32の位置は、デジタル信号処理部15で生成される第2画像40に基づいて、カメラ10において検出してよい。例えば、カメラ10は、所定の位置を原点とし、原点からの複数の眼32の位置の変位方向及び変位量を検出してよい。カメラ10において利用者31の複数の眼32の位置を検出する場合、カメラ10出力部16から表示装置23の入力部24に対して、複数の眼32の位置を示す情報が送信される。コントローラ28は、取得した複数の眼32の位置を示す情報にしたがって、表示パネル26を制御することができる。
10 カメラ
11 レンズ
12 撮像素子
13 アナログ信号処理部
14 A/D変換部
15 デジタル信号処理部
16 出力部
17 カメラ制御部
18 信号処理部
20 ヘッドアップディスプレイ(HUD)
21 反射器(光学系)
22 光学部材(光学系)
23 表示装置
24 入力部
25 照射器
26 表示パネル
27 パララックスバリア
28 コントローラ
29 メモリ
30 移動体
31 利用者
32 眼
32l 左眼(第1眼)
32r 右眼(第2眼)
33 アイボックス
40 カメラ画像
41 高解像度領域
42 低解像度領域
51 調整機構
52 送信部
53 取得部
100、110 ヘッドアップディスプレイシステム
271 透光領域
272 減光領域
A アクティブエリア
Is 立体物像
Sv 虚像面
V1 第1虚像
V2 第2虚像
VaL 左可視領域
VaR 右可視領域

Claims (7)

  1. ヘッドアップディスプレイの利用者の眼を含む被写体の第1画像を取得するように構成される撮像素子と、
    前記第1画像のうち、前記利用者の眼が前記ヘッドアップディスプレイの表示する虚像を視認可能な領域であるアイボックスに含まれない領域の解像度を低下させた第2画像を生成するように構成される信号処理部と、
    前記第2画像を、前記ヘッドアップディスプレイに出力するように構成される出力部と、
    を備えたカメラ。
  2. 前記信号処理部は、前記第1画像の前記アイボックスに含まれない領域の解像度を低下させた後、少なくとも1つの画像処理を行って前記第2画像を生成する請求項1に記載のカメラ。
  3. 前記出力部は、前記第2画像を前記ヘッドアップディスプレイ以外の装置に出力するように構成される請求項1または2に記載のカメラ。
  4. 前記第1画像は、前記利用者の眼の瞳の位置を検出可能な解像度を有する請求項1から3の何れか一項に記載のカメラ。
  5. 前記アイボックスの位置に関する情報を取得可能に構成される取得部を備え、前記信号処理部は、前記取得部から取得した前記アイボックスの位置に関する情報に基づいて、前記第2画像を生成する請求項1から4の何れか一項に記載のカメラ。
  6. カメラと、
    ヘッドアップディスプレイと、
    を備え、
    前記カメラは、
    前記ヘッドアップディスプレイの利用者の眼を含む被写体の第1画像を取得するように構成される撮像素子と、
    前記第1画像のうち、前記利用者の眼が前記ヘッドアップディスプレイの表示する虚像を視認可能な領域であるアイボックスに含まれない領域の解像度を低下させた第2画像を生成するように構成される信号処理部と、
    前記第2画像を、前記ヘッドアップディスプレイに出力するように構成される出力部と、
    を含み、
    前記ヘッドアップディスプレイは、
    表示画像を表示するように構成される表示パネルと、
    前記表示パネルから射出された画像光の伝播方向を規定するように構成される光学素子と、
    前記光学素子により伝播方向を規定された前記画像光を前記利用者の眼の方向に向け伝播させ、前記利用者の視野内に前記表示画像の虚像を投影するように構成される光学系と、
    前記出力部から出力された前記第2画像を受信するように構成される受信部と、
    前記表示パネルに互いに視差を有する第1表示画像と第2表示画像とを含む前記表示画像を表示させるように構成されるプロセッサと
    を含み、
    前記プロセッサは、前記カメラから受信した前記第2画像により検出される前記利用者の眼の位置に基づいて、前記表示パネル上の前記第1表示画像が表示される領域と、前記第2表示画像が表示される領域とを、変更可能に構成される、
    ヘッドアップディスプレイシステム。
  7. カメラと、ヘッドアップディスプレイとを含み、前記カメラは、前記ヘッドアップディスプレイの利用者の眼を含む被写体の第1画像を取得するように構成される撮像素子と、前記第1画像のうち、前記利用者の眼が前記ヘッドアップディスプレイの表示する虚像を視認可能な領域であるアイボックスに含まれない領域の解像度を低下させた第2画像を生成するように構成される信号処理部と、前記第2画像を、前記ヘッドアップディスプレイに出力するように構成される出力部と、を有し、前記ヘッドアップディスプレイは、表示画像を表示するように構成される表示パネルと、前記表示パネルから射出された画像光の伝播方向を規定するように構成される光学素子と、前記光学素子により伝播方向を規定された前記画像光を前記利用者の眼の方向に向け伝播させ、前記利用者の視野内に前記表示画像の虚像を投影するように構成される光学系と、前記出力部から出力された前記第2画像を受信するように構成される受信部と、前記表示パネルに互いに視差を有する第1表示画像と第2表示画像とを含む前記表示画像を表示させるように構成されるプロセッサとを有し、前記プロセッサは、前記カメラから受信した前記第2画像により検出される前記利用者の眼の位置に基づいて、前記表示パネル上の前記第1表示画像が表示される領域と、前記第2表示画像が表示される領域とを、変更可能に構成される、ヘッドアップディスプレイシステムを備える移動体。
JP2019179694A 2019-09-30 2019-09-30 カメラ、ヘッドアップディスプレイシステム、及び移動体 Active JP7274392B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019179694A JP7274392B2 (ja) 2019-09-30 2019-09-30 カメラ、ヘッドアップディスプレイシステム、及び移動体
US17/764,524 US20220353485A1 (en) 2019-09-30 2020-09-11 Camera, head-up display system, and movable object
EP20871316.4A EP4040788A4 (en) 2019-09-30 2020-09-11 CAMERA, HEAD-UP DISPLAY SYSTEM, AND MOVING BODY
PCT/JP2020/034565 WO2021065427A1 (ja) 2019-09-30 2020-09-11 カメラ、ヘッドアップディスプレイシステム、及び移動体
CN202080068262.5A CN114450942A (zh) 2019-09-30 2020-09-11 摄像机、平视显示器系统以及移动体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019179694A JP7274392B2 (ja) 2019-09-30 2019-09-30 カメラ、ヘッドアップディスプレイシステム、及び移動体

Publications (2)

Publication Number Publication Date
JP2021057780A true JP2021057780A (ja) 2021-04-08
JP7274392B2 JP7274392B2 (ja) 2023-05-16

Family

ID=75271243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019179694A Active JP7274392B2 (ja) 2019-09-30 2019-09-30 カメラ、ヘッドアップディスプレイシステム、及び移動体

Country Status (5)

Country Link
US (1) US20220353485A1 (ja)
EP (1) EP4040788A4 (ja)
JP (1) JP7274392B2 (ja)
CN (1) CN114450942A (ja)
WO (1) WO2021065427A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7225272B2 (ja) * 2021-01-12 2023-02-20 矢崎総業株式会社 車両用表示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185439A (ja) * 2017-04-26 2018-11-22 京セラ株式会社 表示装置、表示システム、および移動体
JP2019015823A (ja) * 2017-07-05 2019-01-31 京セラ株式会社 3次元投影装置、3次元投影システム、および移動体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3832902B2 (ja) * 1996-08-30 2006-10-11 本田技研工業株式会社 半導体イメージセンサ
WO2013052773A1 (en) * 2011-10-05 2013-04-11 L-3 Communications Mobilevision Inc. Multiple resolution camera system for automated license plate recognition and event recording
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
GB2534151A (en) * 2015-01-14 2016-07-20 Jaguar Land Rover Ltd Head-up display apparatus
DE102015222844A1 (de) * 2015-11-19 2017-05-24 Robert Bosch Gmbh Verfahren und Steuergerät zum Betreiben eines Sichtfeldanzeigegeräts für ein Fahrzeug
DE102015226428A1 (de) * 2015-12-22 2017-07-06 Robert Bosch Gmbh Verfahren und Steuergerät zum Betreiben einer Intensitätsregelung eines Sichtfeldanzeigegeräts
CN109791300B (zh) * 2016-10-24 2021-04-30 麦克赛尔株式会社 平视显示器系统
GB201620351D0 (en) * 2016-11-30 2017-01-11 Jaguar Land Rover Ltd And Cambridge Entpr Ltd Multi-dimensional display
EP3554069B1 (en) * 2016-12-07 2021-09-15 Kyocera Corporation Image projection device, image display device, and moving body
US10698221B2 (en) * 2017-01-05 2020-06-30 Lusospace, Projectos Engenharia Lda Display device with a collimated light beam
WO2018142610A1 (ja) 2017-02-06 2018-08-09 三菱電機株式会社 立体表示装置およびヘッドアップディスプレイ
JP6873850B2 (ja) * 2017-07-07 2021-05-19 京セラ株式会社 画像投影装置及び移動体
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN108305326A (zh) * 2018-01-22 2018-07-20 中国人民解放军陆军航空兵学院 一种混合虚拟现实的方法
CN209311783U (zh) * 2018-04-25 2019-08-27 苹果公司 头戴式设备
CN109766011A (zh) * 2019-01-16 2019-05-17 北京七鑫易维信息技术有限公司 一种图像渲染方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185439A (ja) * 2017-04-26 2018-11-22 京セラ株式会社 表示装置、表示システム、および移動体
JP2019015823A (ja) * 2017-07-05 2019-01-31 京セラ株式会社 3次元投影装置、3次元投影システム、および移動体

Also Published As

Publication number Publication date
EP4040788A1 (en) 2022-08-10
EP4040788A4 (en) 2023-11-01
CN114450942A (zh) 2022-05-06
JP7274392B2 (ja) 2023-05-16
US20220353485A1 (en) 2022-11-03
WO2021065427A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
JP6924637B2 (ja) 3次元表示装置、3次元表示システム、移動体、および3次元表示方法
JP7207954B2 (ja) 3次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム
WO2021066110A1 (ja) 3次元表示装置、コントローラ、3次元表示方法、3次元表示システム、及び、移動体
WO2021065427A1 (ja) カメラ、ヘッドアップディスプレイシステム、及び移動体
WO2021059997A1 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、移動体及びヘッドアップディスプレイの設計方法
WO2021106688A1 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
WO2021106689A1 (ja) ヘッドアップディスプレイシステム及び移動体
JP2019148638A (ja) 画像表示装置、ヘッドアップディスプレイシステム、および移動体
JP7336782B2 (ja) 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、及び移動体
WO2020090712A1 (ja) 3次元表示装置、ヘッドアップディスプレイ、移動体、およびプログラム
WO2021090956A1 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
WO2021106665A1 (ja) ヘッドアップディスプレイシステムおよび移動体
WO2020256154A1 (ja) 3次元表示装置、3次元表示システム、および移動体
WO2021106663A1 (ja) ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
WO2022149599A1 (ja) 3次元表示装置
WO2021106664A1 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
JP7105174B2 (ja) 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム
JP7034052B2 (ja) 無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム
JP2021056255A (ja) パララックスバリア、3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体
JP2021057844A (ja) 3次元表示装置、3次元表示システム及び移動体

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230501

R150 Certificate of patent or registration of utility model

Ref document number: 7274392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150