JP6617734B2 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP6617734B2
JP6617734B2 JP2017031371A JP2017031371A JP6617734B2 JP 6617734 B2 JP6617734 B2 JP 6617734B2 JP 2017031371 A JP2017031371 A JP 2017031371A JP 2017031371 A JP2017031371 A JP 2017031371A JP 6617734 B2 JP6617734 B2 JP 6617734B2
Authority
JP
Japan
Prior art keywords
pixel value
display
value
correction
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017031371A
Other languages
English (en)
Other versions
JP2018135009A (ja
Inventor
洋一 成瀬
洋一 成瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017031371A priority Critical patent/JP6617734B2/ja
Priority to CN201880012630.7A priority patent/CN110312631B/zh
Priority to DE112018000952.1T priority patent/DE112018000952T5/de
Priority to PCT/JP2018/001852 priority patent/WO2018155040A1/ja
Publication of JP2018135009A publication Critical patent/JP2018135009A/ja
Priority to US16/541,059 priority patent/US11009703B2/en
Application granted granted Critical
Publication of JP6617734B2 publication Critical patent/JP6617734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/31Virtual images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/349Adjustment of brightness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/797Instrument locations other than the dashboard at the vehicle exterior
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、外界風景を透過する投影部材へ表示画像を投影することで、表示画像を車室内の視認領域にて視認可能に虚像表示する車両用表示装置に、関する。
従来、投影部材へ投影する表示画像を、ヘッドアップディスプレイ(HUD:Head Up Display)により発光形成する車両用表示装置は、広く知られている。
このような車両用表示装置の一種として特許文献1に開示されるものでは、表示画像の背景となる外界風景を外界カメラにより撮像することで、外界風景の外界明るさを表した背景輝度を特定可能に、カメラ画像が取得されるようになっている。こうしてカメラ画像から特定される背景輝度は、HUDにより表示画像を虚像表示させる虚像表示輝度の制御にて利用されることで、表示画像の視認性低下を抑制することが可能となっている。
特開2014−136520号公報
さて、カメラ画像を適切に取得するために一般に外界カメラでは、例えば露出制御やゲイン制御等のフィルタリング処理を外界明るさに応じて行う必要がある。そのため、外界明るさの異なる昼と夜とであるにも拘わらず、カメラ画像を構成する撮像画素値がフィルタリング処理によっては同一値又は近接値となることで、特許文献1の開示装置では、特定される背景輝度が実際の外界明るさを反映し得なくなってしまう。その結果、外界風景に対する表示画像のコントラストが不足又は過多となるコントラスト不良が生じて、視認性低下を抑制することが困難となるおそれがあった。
本発明は、以上説明した問題に鑑みてなされたものであって、その目的は、表示画像の視認性を確保する車両用表示装置を、提供することにある。
以下、課題を達成するための発明の技術的手段について、説明する。尚、発明の技術的手段を開示する特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、発明の技術的範囲を限定するものではない。
上述の課題を解決するために開示された第一発明は、
外界風景(8)の撮像によりカメラ画像(33)を取得する外界カメラ(30a)と、外界風景の外界明るさ(Lo)を検知する明るさセンサ(40a)とを搭載した車両(2)において、外界風景を透過する投影部材(21)へ表示画像(56)を投影することにより、表示画像を車室(2a)内の視認領域(7)にて視認可能に虚像表示する車両用表示装置(5)であって、
表示画像を発光形成するHUD(50)と、
カメラ画像を構成する撮像画素値(Tc)から外界明るさに応じた補正により変換させる補正画素値(Tr)の撮像画素値に対する相関を、補正データ(Dr)として記憶するメモリ(54b)と、
メモリに記憶された補正データに基づき、外界カメラにより取得されたカメラ画像の撮像画素値を、明るさセンサにより検知された外界明るさに応じて補正画素値に変換する変換ブロック(S104,S2104,S3104,S4104)と、
変換ブロックにより撮像画素値から変換された補正画素値に対応させて、HUDにより表示画像を発光させる光源輝度値(Sd)を制御する表示制御ブロック(S105,S5105)とを、備える。
第一発明では、外界カメラにより取得されたカメラ画像の撮像画素値から変換される補正画素値は、その撮像画素値に対する相関としてメモリに記憶された補正データに基づき、補正された値となる。このとき補正画素値は、明るさセンサにより検知された外界風景の外界明るさに応じて撮像画素値から変換されるので、実際の外界明るさを正確に反映し易い。故に、虚像表示輝度を決める光源輝度値が補正画素値に対応して制御される表示画像では、外界風景に対するコントラスト不良が生じ難くなるので、視認性を確保することが可能である。
また、開示された第二発明によると、
HUDにより表示画像が虚像表示される表示領域(Ad)は、外界カメラの撮像領域(Ac)と明るさセンサの検知領域(Al)とに包含される。
第二発明のように、表示領域を包含する外界カメラの撮像領域では、HUDにより表示領域に虚像表示される表示画像の実際の背景が、外界風景として撮像されることとなる。故に、補正画素値及びそれに対応して制御される光源輝度値は、そうした実際の背景の撮像画素値を反映できる。それと共に第二発明のように、表示領域を包含する明るさセンサの検知領域では、HUDにより表示領域に虚像表示される表示画像の実際の背景にて、外界明るさが検知されることとなる。故に、補正画素値及びそれに対応して制御される光源輝度値は、そうした実際の背景の外界明るさを反映できる。したがって、以上の如き反映作用によれば、コントラスト不良を確実に生じ難くして、視認性確保効果の信頼性を高めることが可能となる。
第一実施形態による車両用表示装置を搭載した自車両の車室内を示す内観図である。 第一実施形態による車両用表示装置を示すブロック図である。 第一実施形態によるカメラ画像を示すイメージ図である。 第一実施形態によるHUDの構成を示すブロック図である。 第一実施形態による表示画像の虚像表示状態を示す正面図である。 第一実施形態によるカメラ画像の撮像画素値を示すイメージ図である。 第一実施形態による表示制御フローを示すフローチャートである。 第一実施形態による補正データを示すイメージ図である。 第一実施形態による光源輝度値の初期設定値との相関を示すグラフである。 第一実施形態による輝度値制御データを示すイメージ図である。 第二実施形態による表示制御フローを示すフローチャートである。 第二実施形態によるカメラ画像の撮像画素値を示すイメージ図である。 第三実施形態による表示制御フローを示すフローチャートである。 第三実施形態によるカメラ画像の撮像画素値を示すイメージ図である。 第四実施形態による表示制御フローを示すフローチャートである。 第四実施形態によるカメラ画像の撮像画素値を示すイメージ図である。 第五実施形態による表示制御フローを示すフローチャートである。 第五実施形態による光源輝度値の初期設定値との相関(a)及び表示画素値の初期設定値との相関(b)を示すグラフである。 第五実施形態による輝度値制御データ(a)及び画素値制御データ(b)を示すイメージ図である。 図2の変形例による車両用表示装置を示すブロック図である。 図6の変形例によるカメラ画像の撮像画素値を示すイメージ図である。 図8の変形例による補正データを示すイメージ図である。
以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
(第一実施形態)
本発明の第一実施形態による運転支援システム1は、図1,2に示すように車両2に搭載される。運転支援システム1は、周辺監視系3、車両制御系4及び車両用表示装置5を含んで構成されている。これらの各要素3,4,5は、例えばLAN(Local Area Network)等の車内ネットワーク6を介して互いに接続されている。
図2に示すように周辺監視系3は、周辺センサ30及び周辺監視ECU(Electronic Control Unit)31を備えている。周辺センサ30は、例えば車両2の外界において衝突の可能性がある他車両、人工構造物、人間及び動物といった障害物、並びに車両2の外界(即ち車室2a外)に存在する速度標識及び各種警告標識といった交通標識等を、検知する。周辺センサ30は、例えば外界カメラ30a、ソナー、レーダ及びLIDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)等のうち、外界カメラ30aを少なくとも含んだ一種類又は複数種類である。
ここで、車両2に汎用的に搭載される外界カメラ30aは、図3に示す車両2の外界にて車室2aの前方に存在する外界風景8の所定範囲を撮像することで、カメラ画像33を取得する。外界カメラ30aは、例えば単眼式若しくは複眼式等であり、図1,4に示す車両2のバンパー23又はルームミラー24等に搭載される。これにより外界風景8のうち、車室2a内にて運転席20上の乗員が車両2のフロントウインドシールド21を通して視認可能な範囲に、図5に示す外界カメラ30aの撮像領域Acが設定されている。
このような外界カメラ30aによって取得されるカメラ画像33は、図6に示すように、複数色の撮像画素値Tcから構成される。そこで本実施形態の撮像画素値Tcは、赤(R)、緑(G)及び青(B)の色毎に外界カメラ30aの各画素にて感知した階調値を、0〜255の256段階で表す。即ち、本実施形態の外界カメラ30aは、各画素の撮像画素値TcをRGBデータフォーマットにて生成する。
図2に示す周辺監視ECU31は、プロセッサ及びメモリを有するマイクロコンピュータを主体として構成され、周辺センサ30と車内ネットワーク6とに接続されている。周辺監視ECU31は、例えば障害物情報及び交通標識情報等を、周辺センサ30の出力信号に基づき取得する。
車両制御系4は、車両関連センサ40、乗員関連センサ41及び車両制御ECU42を備えている。車両関連センサ40は、車内ネットワーク6に接続されている。車両関連センサ40は、例えば車両2の運転状態情報、ナビゲーション情報、交通標識情報及び走行環境情報等を取得する。車両関連センサ40は、例えば明るさセンサ40a、車速センサ、回転数センサ、舵角センサ、燃料センサ、水温センサ及び通信機等のうち、明るさセンサ40aを少なくとも含んだ一種類又は複数種類である。
ここで、車両2に汎用的に搭載される明るさセンサ40aは、図1,5に示す車両2の外界にて車室2aの前方に存在する外界風景8の所定範囲の照度又は輝度を、外界明るさLoとして検知する。明るさセンサ40aは、例えばフォトトランジスタ若しくはフォトダイオード等であり、図1,4に示す車両2のインストルメントパネル22又はルームミラー24等に搭載される。これにより外界風景8のうち、乗員がフロントウインドシールド21を通して視認可能な範囲であって、外界カメラ30aの撮像領域Acに包含される範囲に、図5に示す明るさセンサ40aの検知領域Alが設定されている。
図2に示すように乗員関連センサ41は、車内ネットワーク6に接続されている。乗員関連センサ41は、車両2の車室2a内に搭乗した乗員の状態又は操作を検知する。乗員関連センサ41は、例えばパワースイッチ41a、表示設定スイッチ、乗員状態モニタ及びターンスイッチ等のうち、パワースイッチ41aを少なくとも含んだ一種類又は複数種類である。
ここでパワースイッチ41aは、車両2の内燃機関又はモータジェネレータを始動させるために車室2a内外にて乗員により操作されることで、当該操作を検知する。パワースイッチ41aは、例えば乗員による回転操作式及びプッシュ操作式、並びに電子キーによる遠隔操作式等のうち、一種類又は複数種類である。
車両制御ECU42は、プロセッサ及びメモリを有するマイクロコンピュータを主体として構成され、車内ネットワーク6に接続されている。車両制御ECU42は、エンジン制御ECU、モータ制御ECU、ブレーキ制御ECU、ステアリング制御ECU及び統合制御ECU等のうち、一種類又は複数種類である。
図1,2,4に示すように車両用表示装置5は、車室2a内にて表示画像56を虚像表示するために、HUD50及びHCU(HMI(Human Machine Interface) Control Unit)54を備えている。
HUD50は、車室2a内にてインストルメントパネル22に設置されている。HUD50は、プロジェクタ51によりカラーの表示画像56を発光形成する。そこで本実施形態のプロジェクタ51は、図2,4に示すように、表示ユニット51aと光源ユニット51bとを組み合わせて構成されている。ここで表示ユニット51aは、例えばドットマトリクス型TFT液晶パネル等を主体として構成されている。表示ユニット51aは、HCU54の制御する表示画素値Tdに従って各画素を駆動されることで、表示画像56を形成する。一方で光源ユニット51bは、例えばLED(Light Emitting Diode)を主体として構成されている。光源ユニット51bは、HCU54の制御する光源輝度値Sdに従って通電されることで、表示ユニット51aを照明して表示画像56を発光させる。以上の構成から、表示ユニット51aに形成される表示画像56の各画素の表示画素値Tdと、表示画像56を発光させる光源ユニット51bの光源輝度値Sdとの組み合わせにより、図5に示す表示画像56全体の虚像表示輝度Ldが決まることとなる。
このようなプロジェクタ51によって発光状態に形成される表示画像56は、車室2a内の乗員に報知する各種情報を、表す。具体的に表示画像56は、例えば図1,5に示す車速情報及びエンジン回転数情報といった運転状態情報の他に、経路案内情報及び渋滞情報といったナビゲーション情報、速度標識情報といった交通標識情報、並びに天候情報及び路面情報といった走行環境情報等を表す。尚、これらの情報以外にも表示画像56は、例えば車室2a内に提供される音楽情報、映像情報及びモバイル通信情報等を表してもよい。
こうして所定情報を表すようにプロジェクタ51によって形成された表示画像56の光束は、図1,4の如く例えば凹面鏡等の光学系52により導光されることで、「投影部材」としてのフロントウインドシールド21に投影される。このとき、透光性ガラスにより形成されるフロントウインドシールド21は、外界風景8から光束を透過させる。これらの結果、フロントウインドシールド21にて反射した表示画像56の光束と、同シールド21を透過した外界風景8からの光束とは、車室2a内にて運転席20上の乗員に知覚される。
以上により表示画像56は、フロントウインドシールド21よりも前方にて結像される虚像として、外界風景8と重畳表示されることで、車室2a内の視認領域7にて乗員により視認可能となる。そこで、図5に示すように表示画像56の虚像表示される表示領域Adは、乗員がフロントウインドシールド21を通して視認可能な範囲であって、外界カメラ30aの撮像領域Acにも明るさセンサ40aの検知領域Alにも包含される範囲に、設定されている。
図2に示すようにHCU54は、プロセッサ54a及びメモリ54bを有するマイクロコンピュータを主体として構成され、HUD50と車内ネットワーク6とに接続されている。HCU54は、HUD50による表示画像56の虚像表示を制御する。このときHCU54は、例えばECU31,42及びセンサ40,41により取得又は検知の情報、並びにメモリ54bの記憶情報等に基づき、表示制御を実行する。尚、HCU54のメモリ54b及び他の各種ECUのメモリは、例えば半導体メモリ、磁気媒体若しくは光学媒体等といった記憶媒体を、一つ又は複数利用してそれぞれ構成される。
ここでHCU54は、予めメモリ54bに記憶された表示画像56を読み出して、当該HUD50による表示画像56の虚像表示状態を制御する。そのためにHCU54は、予めメモリ54bに記憶された表示制御プログラムをプロセッサ54aにより実行することで、図7に示す表示制御フローの各ステップを機能的に実現する。尚、この表示制御フローは、パワースイッチ41aのオン操作に応じて開始され、同スイッチ41aのオフ操作に応じて終了する。また、表示制御フロー中の「S」とは、各ステップを意味する。
図7に示すように表示制御フローのS101では、外界風景8の撮像領域Acを外界カメラ30aに撮像させる。これによりS101では、図6に示すように各画素における色毎の撮像画素値Tcから構成されるカメラ画像33を、取得する。
続くS102では、外界風景8の外界明るさLoを明るさセンサ40aに検知させる。これによりS102では、外界風景8のうち撮像領域Acと重畳した検知領域Alにおける照度又は輝度を、図5に示す現在の外界明るさLoとして取得する。
また続くS103では、S101により取得されたカメラ画像33における各画素の撮像画素値Tcから、補正の変換元とする撮像画素値Tcを、特定色について決定する。ここで特定色は、本実施形態では色Gに予め設定されるが、他の色R又はBに予め設定されてもよい。
具体的に、S103ではまずS103aにて、カメラ画像33のうち、図3,5に示す消失点Hp及び地平線Hlの少なくとも一方よりも手前側(即ち車両2側)の外界風景8に限定して、表示領域Adと重畳する箇所を撮像した複数画素部分を、特定画素部分Pcとして選定する。このとき本実施形態では、図3の如く縦横に連続する複数画素部分に予め設定された固定の画素エリアであって、外界風景8にて明るさセンサ40aの検知領域Alに包含され且つ表示領域Adを包含する範囲を撮像した画素エリアを、特定画素部分Pcに選定する。次にS103では図7のS103bにて、S103aにより選定された特定画素部分Pcを構成する複数画素部分の特定色の撮像画素値Tcを平均することで、補正の変換元とする撮像画素値Tcとしての平均画素値Tcaveを算出する。尚、こうしたS103にて撮像画素値Tcを平均する特定画素部分Pcの選定位置の基準となる消失点Hp及び地平線Hlについては、その少なくとも一方がカメラ画像33の画像処理により、又は外界カメラ30aの搭載位置に応じた固定箇所にて、抽出される。
さらに続くS104では、特定色の撮像画素値TcとしてS103により算出された平均画素値Tcaveをそれぞれ、S102により検知された外界明るさLoに応じて、図8に示すように補正画素値Trへと変換する。具体的に補正画素値Trは、外界カメラ30a若しくはECU31でのフィルタリング処理の如何に拘わらず実際の外界明るさLoを反映可能となるよう、外界明るさLoに応じた補正により撮像画素値Tcから変換させる階調値を、0〜255の256段階で表す。そこで本実施形態の補正画素値Trについては、特定色の撮像画素値Tcとの相関が規定されて、補正データDrとして予めメモリ54bに記憶されている。
このように補正画素値Trの撮像画素値Tcに対する相関を規定した補正データDrは、所定の外界明るさLo(図8の例では所定の照度)毎にテーブルの形態にて用意されている。但し、メモリ54bの記憶容量低減のため、用意された外界明るさLo間の補正データDrは、用意された外界明るさLoの補正データDrから内挿補間又は外挿補間される。尚、説明の理解を容易にするために図8では、三つの外界明るさLo毎の相関を示す補正データDrとそれらの間の補間とを示しているが、実際はさらに細かく分けた外界明るさLo毎の相関を示す補正データDrとそれらの間の補間とが実現される。また補正データDrは、補間を不要とする演算式の形態にて用意されていてもよい。
以上よりS104では、S102により検知された外界明るさLoと対応する補正データDrに基づくことで、S103により算出された特定色の平均画素値Tcaveに対応する補正画素値Trを、決定する。
またさらに図7に示すように、S104に続くS105では、S104により変換された補正画素値Trに対応させて、表示画像56を発光させる光源ユニット51bの光源輝度値Sdを制御する。具体的に光源輝度値Sdは、光源ユニット51bにて予め設定される光源輝度値Sdの初期設定値Sd0と、補正画素値Tr及びその最大値Trmax(ここでは255)とを用いて、下記式1により表される。図9は、式1に従って初期設定値Sd0と光源輝度値Sdとの間に現出する相関につき、補正画素値Trと最大値Trmaxとの比Tr/Trmaxが0.4となる場合を例にとって、実線グラフで示している。そこで、こうした相関に基づき光源輝度値Sdを決定するために本実施形態では、式1に従う輝度値制御データDcsが図10に示すようなテーブルの形態にて用意され、予めメモリ54bに記憶されている。尚、輝度値制御データDcsは、式1を表す演算式の形態にて用意されていてもよい。
Sd=Sd0・Tr/Trmax …(式1)
このようにメモリ54bに記憶された輝度値制御データDcsに基づくことでS105では、S104により変換された補正画素値Trに対応する光源輝度値Sdを、決定する。その結果、決定された光源輝度値Sdに従って光源ユニット51bが通電されることで、表示画像56の虚像表示輝度Ldが調整される。このとき本実施形態では、表示ユニット51aの従う表示画素値Tdを、固定値に維持設定する。故に、図5に示す表示画像56の虚像表示輝度Ldは、決定された光源輝度値Sdに追従して変化することとなる。尚、こうしたS105は補正の有効時間だけ継続され、当該有効時間が経過すると、S101へ戻る。
ここまでの説明から第一実施形態では、HCU54のS103bを実行する機能部分が「平均ブロック」に相当する。それと共に第一実施形態では、HCU54のS104を実行する機能部分が「変換ブロック」に相当し、HCU54のS105を実行する機能部分が「表示制御ブロック」に相当する。
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
第一実施形態では、外界カメラ30aにより取得されたカメラ画像33の撮像画素値Tcから変換される補正画素値Trは、その撮像画素値Tcに対する相関としてメモリ54bに記憶された補正データDrに基づき、補正された値となる。このとき補正画素値Trは、明るさセンサ40aにより検知された外界風景8の外界明るさLoに応じて撮像画素値Tcから変換されるので、実際の外界明るさLoを正確に反映し易い。故に、虚像表示輝度Ldを決める光源輝度値Sdが補正画素値Trに対応して制御される表示画像56では、外界風景8に対するコントラスト不良が生じ難くなるので、視認性を確保することが可能である。
さらに第一実施形態のように、表示領域Adを包含する外界カメラ30aの撮像領域Acでは、HUD50により表示領域Adに虚像表示される表示画像56の実際の背景が、外界風景8として撮像されることとなる。故に、補正画素値Tr及びそれに対応して制御される光源輝度値Sdは、そうした実際の背景の撮像画素値Tcを反映できる。それと共に第一実施形態のように、表示領域Adを包含する明るさセンサ40aの検知領域Alでは、HUD50により表示領域Adに虚像表示される表示画像56の実際の背景にて、外界明るさLoが検知されることとなる。故に、補正画素値Tr及びそれに対応して制御される光源輝度値Sdは、そうした実際の背景の外界明るさLoを反映できる。したがって、以上の如き反映作用によれば、コントラスト不良を確実に生じ難くして、視認性確保効果の信頼性を高めることが可能となる。
またさらに第一実施形態では、カメラ画像33のうち複数画素部分である特定画素部分Pcの撮像画素値Tcを平均して算出された平均画素値Tcaveから、補正画素値Trが変換される。このような複数画素部分の平均画素値Tcaveによれば、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減できる。その結果、補正画素値Trに対応して制御される光源輝度値Sdは、そうした撮像画素値Tcの変動誤差に起因するコントラスト不良を招き難くなるので、視認性確保効果の信頼性を高めることが可能である。
(第二実施形態)
本発明の第二実施形態は、第一実施形態の変形例である。図11に示すように、第二実施形態による表示制御フローのS103ではS103aに続くS2103bにて、特定画素部分Pcを構成する複数画素部分の各画素の撮像画素値Tcを、特定色(第二実施形態では色G)について比較する。これによりS2103bでは、図12に示すように特定色において同一値又は同一範囲内の撮像画素値Tcを与える画素数が最多となる最多画素部分Pcmから、当該同一値又は同一範囲内の撮像画素値Tcを抽出する。ここで図12は、同一値の撮像画素値Tcを与える画素数が最多となる最多画素部分Pcmを、示している。また一方で図示はしないが、同一範囲内の撮像画素値Tcとは、撮像画素値Tcが設定量ずつ増加する毎に予め区切られる複数範囲のうち、特定画素部分Pcの各撮像画素値Tcがそれぞれ該当する範囲の同じもの同士を、意味する。
図11に示すように第二実施形態では、こうしたS103からS2104に移行する。このS2104では、S2103bにより特定色について抽出された最多画素部分Pcmの撮像画素値Tcを、S102により検知された外界明るさLoに応じて、補正画素値Trへと変換する。このときの変換は、第一実施形態に準じて実行される。即ち、S102により検知された外界明るさLoと対応する補正データDrに基づくことで、S2103bにより抽出された最多画素部分Pcmの撮像画素値Tcと対応する補正画素値Trを、決定する。
ここまでの説明から第二実施形態では、HCU54のS2103bを実行する機能部分が「抽出ブロック」に相当する。それと共に第二実施形態では、HCU54のS2104を実行する機能部分が「変換ブロック」に相当する。
以上より第二実施形態では、カメラ画像33のうち複数画素部分である特定画素部分Pcの撮像画素値Tcが比較されることで、同一値又は同一範囲内の撮像画素値Tcを与える画素数が最多となる最多画素部分Pcmの当該撮像画素値Tcから、補正画素値Trが変換される。このような最多画素部分Pcmの撮像画素値Tcによれば、同値Tcの局所的且つ偶発的な変動による誤差を低減できる。その結果、補正画素値Trに対応して制御される光源輝度値Sdは、そうした撮像画素値Tcの変動誤差に起因するコントラスト不良を招き難くなるので、視認性確保効果の信頼性を高めることが可能である。
(第三実施形態)
本発明の第三実施形態は、第一実施形態の変形例である。図13に示すように、第三実施形態による表示制御フローのS103では、S3103a,S3103bを実行する。
まずS3103aでは、図14に示すカメラ画像33のうち消失点Hp及び地平線Hlの少なくとも一方よりも手前側の外界風景8に限定して、表示領域Adと重畳する箇所を撮像した単一画素部分を、特定画素部分Pcとして選定する。このとき第三実施形態では、図14の如く予め設定された固定の単一画素部分を、特定画素部分Pcに選定する。またこのとき第三実施形態では、選定した特定画素部分Pcを構成する単一画素部分の特定色(第三実施形態では色G)の撮像画素値Tcを、抽出してメモリ54bに記憶する。尚、特定画素部分Pcとしての単一画素部分は、例えばカメラ画像33において表示領域Adの中心と対応する画素等に、固定される。
次に、図13に示すようにS3103bでは、過去複数回のS3103aにより抽出されてメモリ54bに記憶された特定色の撮像画素値Tcを平均することで、補正の変換元とする平均画素値Tcaveを算出する。このとき、平均画素値Tcaveの算出における撮像画素値Tcの使用数は、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減可能な値に、設定される。そのため、パワースイッチ41aのオン操作に応じた表示制御フローの開始から、S3103aによる撮像画素値Tcの抽出回数がS3103bによる撮像画素値Tcの使用数よりも少なくなる間は、図示は省略するが、S3103b以降を実行しないでS101へ戻る。
第三実施形態では、こうしたS103からS3104に移行する。このS3104では、S3103bにより算出された特定色の平均画素値Tcaveをそれぞれ、S102により検知された外界明るさLoに応じて、補正画素値Trへと変換する。このときの変換は、第一実施形態に準じて実行される。即ち、S102により検知された外界明るさLoと対応する補正データDrに基づくことで、S3103bにより算出された平均画素値Tcaveと対応する補正画素値Trを、決定する。
ここまでの説明から第三実施形態では、HCU54のS3103aを実行する機能部分が「抽出ブロック」に相当し、HCU54のS3103bを実行する機能部分が「平均ブロック」に相当する。それと共に第三実施形態では、HCU54のS3104を実行する機能部分が「変換ブロック」に相当する。
以上より第三実施形態では、カメラ画像33のうち単一画素部分である特定画素部分Pcの撮像画素値Tcを複数回抽出して平均により算出された平均画素値Tcaveから、補正画素値Trが変換される。このような複数回抽出の平均画素値Tcaveによれば、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減できる。その結果、補正画素値Trに対応して制御される光源輝度値Sdは、そうした撮像画素値Tcの変動誤差に起因するコントラスト不良を招き難くなるので、視認性確保効果の信頼性を高めることが可能である。
(第四実施形態)
本発明の第四実施形態は、第一実施形態の変形例である。図15に示すように、第四実施形態による表示制御フローのS103ではS103aに続くS4103bにて、特定画素部分Pcを構成する複数画素部分の各画素の撮像画素値Tcを、特定色(第四実施形態では色G)について比較する。これによりS4103bでは、図16に示すように、最大の撮像画素値Tcを与える最大値画素部分Pclの当該最大の撮像画素値Tcを、特定色について抽出する。このとき第四実施形態では、抽出した撮像画素値Tcをメモリ54bに記憶する。
また、第四実施形態による表示制御フローのS103では、図15に示すようにS4103bからS4103cに移行する。このS4103cでは、過去複数回のS4103bにより抽出されてメモリ54bに記憶された最大値画素部分Pclの撮像画素値Tcを特定色について平均することで、補正の変換元とする平均画素値Tcaveを算出する。このとき、平均画素値Tcaveの算出における撮像画素値Tcの使用数は、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減可能な値に、設定される。そのため、パワースイッチ41aのオン操作に応じた表示制御フローの開始から、S4103bによる撮像画素値Tcの抽出回数がS4103cによる撮像画素値Tcの使用数よりも少なくなる間は、図示は省略するが、S4103c以降を実行しないでS101へ戻る。
第四実施形態では、こうしたS103からS4104に移行する。このS4104では、S4103cにより算出された特定色の平均画素値Tcaveをそれぞれ、S102により検知された外界明るさLoに応じて、補正画素値Trへと変換する。このときの変換は、第一実施形態に準じて実行される。即ち、S102により検知された外界明るさLoと対応する補正データDrに基づくことで、S4103cにより算出された平均画素値Tcaveと対応する補正画素値Trを、決定する。
ここまでの説明から第四実施形態では、HCU54のS4103bを実行する機能部分が「抽出ブロック」に相当し、HCU54のS4103cを実行する機能部分が「平均ブロック」に相当する。それと共に第四実施形態では、HCU54のS4104を実行する機能部分が「変換ブロック」に相当する。
以上より第四実施形態では、カメラ画像33のうち複数画素部分である特定画素部分Pcの撮像画素値Tcが比較されることで、最大の撮像画素値Tcを与える最大値画素部分Pclの当該撮像画素値Tcが抽出される。そこで、最大値画素部分Pclの撮像画素値Tcを複数回抽出して平均により算出された平均画素値Tcaveから、補正画素値Trが変換される。このような複数回抽出の平均画素値Tcaveによれば、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減できる。その結果、補正画素値Trに対応して制御される光源輝度値Sdは、そうした撮像画素値Tcの変動誤差に起因するコントラスト不良を招き難くなるので、視認性確保効果の信頼性を高めることが可能である。
(第五実施形態)
本発明の第五実施形態は、第一実施形態の変形例である。図17に示すように、第五実施形態による表示制御フローのS5105では、S104により変換された特定色の補正画素値Trに対応させると共に、対象重み付けデータDwoにも対応させて、光源ユニット51bの光源輝度値Sdを制御する。それと共にS5105では、S104により変換された特定色を含む色毎の補正画素値Trに対応させると共に、対象重み付けデータDwoにも対応させて、表示画像56における各画素の表示画素値Tdを制御する。尚、このような第五実施形態では、S103にて色毎に算出することとなる撮像画素値Tcの平均画素値Tcaveを、S104にて色毎に当該平均画素値Tcaveと対応させた補正画素値Trにそれぞれ変換することとなる。
ここで対象重み付けデータDwoは、表示画素値Tdよりも光源輝度値Sdに補正の重みを付けるための数値である。そこで対象重み付けデータDwoは、表示画素値Tdを重み付ける値と、光源輝度値Sdを重み付ける値とを、前者よりも後者にて大きく且つ前者と後者との和が1となるように、それぞれ設定されて予めメモリ54bに記憶されている。例えば対象重み付けデータDwoは、表示画素値Tdの場合は0.5よりも小さな0.25等に、また光源輝度値Sdの場合は0.5よりも大きな0.75等に、それぞれ設定される。
光源輝度値Sdは、こうした対象重み付けデータDwoと、光源ユニット51bにて予め設定される光源輝度値Sdの初期設定値Sd0と、補正画素値Tr及びその最大値Trmaxとを用いて、下記式2により表される。図18(a)は、式2に従って初期設定値Sd0と光源輝度値Sdとの間に現出する相関につき、補正画素値Trと最大値Trmaxとの比Tr/Trmaxが0.4となる場合を例にとって、実線グラフで示している。そこで、こうした相関に基づき光源輝度値Sdを決定するために第五実施形態では、式2に従う輝度値制御データDcsが図19(a)に示すようなテーブルの形態にて用意され、予めメモリ54bに記憶されている。尚、輝度値制御データDcsは、式2を表す演算式の形態にて用意されていてもよい。
Sd=Dwo・Sd0・Tr/Trmax …(式2)
一方で表示画素値Tdは、対象重み付けデータDwoと、表示ユニット51aにて表示画像56の各画素に予め設定される表示画素値Tdの初期設定値Td0と、色毎の補正画素値Tr及びその最大値Trmaxとを用いて、下記式3により色毎に表される。図18(b)は、式3に従って初期設定値Td0と表示画素値Tdとの間に色毎に現出する相関につき、補正画素値Trと最大値Trmaxとの比Tr/Trmaxが0.4となる場合を例にとって、実線グラフで示している。そこで、こうした相関に基づき表示画素値Tdを色毎に決定するために第五実施形態では、式3に従う画素値制御データDctが図19(b)に示すようなテーブルの形態にて用意され、予めメモリ54bに記憶されている。尚、画素値制御データDctは、式3を表す演算式の形態にて用意されていてもよい。
Td=Dwo・Td0・Tr/Trmax …(式3)
このような第五実施形態において、メモリ54bに記憶された輝度値制御データDcsに基づくことでS5105では、S104により変換された特定色の補正画素値Trに対応するだけでなく、輝度値制御データDcs中の対象重み付けデータDwoにも対応する光源輝度値Sdを、決定する。それと共に、メモリ54bに記憶された画素値制御データDctに基づくことでS5105では、S104により変換された色毎の補正画素値Trに対応するだけでなく、画素値制御データDct中の対象重み付けデータDwoにも対応する色毎の表示画素値Tdを、決定する。これらにより表示画像56の虚像表示輝度Ldは、決定された光源輝度値Sd及び色毎の表示画素値Tdに追従して変化することとなる。尚、こうしたS5105は補正の有効時間だけ継続され、当該有効時間が経過すると、S101へ戻る。
ここまでの説明から第五実施形態では、HCU54のS5105を実行する機能部分が「表示制御ブロック」に相当する。
以上より第五実施形態では、実際の外界明るさLoを正確に反映する補正画素値Trに対応して、光源輝度値Sdだけでなく、表示画素値Tdも制御される。このとき、それら制御対象が対応させられる対象重み付けデータDwoによると、表示画素値Tdよりも光源輝度値Sdに補正の重みが付けられる。これによれば、優先的な制御対象となる光源輝度値Sdに、補助的な制御対象となる表示画素値Tdを組み合わせることで、虚像表示輝度Ldの分解能を細かく設定してコントラスト不良を抑制できるので、視認性確保効果の信頼性を高めることが可能となる。
(他の実施形態)
以上、本発明の複数の実施形態について説明したが、本発明は、それらの実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
第一〜第五実施形態に関する変形例1では、HCU54に加えて又は代えて、車両2の他の表示要素を制御するECUと、ECU31,42とのうち一種類又は複数種類との共同により、表示制御フローの少なくとも一部を機能的(即ち、ソフトウェア的)に実現してもよい。第一〜第五実施形態に関する変形例2では、表示制御フローの少なくとも一部を、HCU54等により機能的に実現する代わりに、一つ又は複数のIC等によりハードウェア的に実現してもよい。
第一〜第五実施形態に関する変形例3では、HUD50若しくは車両2の他の表示要素に内蔵されたメモリ、又は当該内蔵メモリとメモリ54bとの共同により、表示画像56の記憶を実現していてもよい。第一〜第五実施形態に関する変形例4では、HUD50若しくは車両2の他の表示要素に内蔵されたメモリ、又は当該内蔵メモリとメモリ54bとの共同により、データDr,Dcs,Dwo,Dctのうち少なくとも一種類の記憶を実現していてもよい。
第一〜第五実施形態に関する変形例5では、例えば時間又は車速等に応じて変化する画素部分を、特定画素部分Pcとして選定してもよい。第一、第二、第四及び第五実施形態に関する変形例6では、縦横に連続する複数画素部分のうち不連続な所定数画素部分を、特定画素部分Pcとして選定してもよい。
第一〜第五実施形態に関する変形例7では、カメラ画像33のうち、外界風景8にて消失点Hp及び地平線Hlの少なくとも一方を含む(即ち、上下に跨ぐ)箇所を撮像した画素部分を、特定画素部分Pcとして選定してもよい。第一〜第五実施形態に関する変形例8では、カメラ画像33のうち、外界風景8にて消失点Hp及び地平線Hlの少なくとも一方よりも上側の箇所を撮像した画素部分を、特定画素部分Pcとして選定してもよい。
第一〜第五実施形態に関する変形例9では、表示領域Adの一部又は全体が外界カメラ30aの撮像領域Acから外れていてもよい。この変形例9の場合には、車室2aの前方以外に撮像領域Acを設定してもよい。第一〜第五実施形態に関する変形例10では、表示領域Adの一部又は全体が明るさセンサ40aの検知領域Alから外れていてもよい。この変形例10の場合には、車室2aの前方以外に検知領域Alを設定してもよい。
第一〜第五実施形態に関する変形例11では、図20に示すように、外界カメラ30a及び明るさセンサ40aの少なくとも一方を、HUD50に専用に設けてもよい。尚、図19は、外界カメラ30a及び明るさセンサ40aの双方をHUD50に専用に設けた変形例11を、示している。
第一〜第五実施形態に関する変形例12では、図21に示すように撮像画素値Tcは、輝度(Y)、YとBとの色差(U)、並びにYとRとの色差(V)についての階調値を、表すものであってもよい。即ち変形例12では、外界カメラ30aにより各画素の撮像画素値TcがYUVデータフォーマットにて生成され、図22に示すように補正データDrがY,U,V毎に用意される。そこで、この変形例12の場合には、「特定色」及び「色毎」をそれぞれ、「Y,U,Vのうち特定一つ(図22の例ではY)」及び「Y,U,V毎」と読み替えることで、第一〜第五実施形態の実現が可能となる。
第三実施形態に関する変形例13では、第一実施形態に準じて複数画素部分の撮像画素値Tcを平均した値を複数回抽出して、当該複数回の抽出値をさらに平均した平均画素値Tcaveから、補正画素値Trの変換を実行してもよい。第三実施形態に関する変形例14では、第二実施形態に準じて最多画素部分Pcmの撮像画素値Tcを複数回抽出して、当該複数回の抽出値を平均した平均画素値Tcaveから、補正画素値Trの変換を実行してもよい。
第五実施形態に関する変形例15では、第二実施形態に準じて、特定画素部分Pcにおける最多画素部分Pcmの撮像画素値Tcから、補正画素値Trの変換を実行してもよい。第五実施形態に関する変形例16では、第三実施形態に準じて、特定画素部分Pcにおいて複数回抽出された単一画素部分の撮像画素値Tcを平均した平均画素値Tcaveから、補正画素値Trへの変換を実行してもよい。第五実施形態に関する変形例17では、第四実施形態に準じて、特定画素部分Pcにおいて複数回抽出された最大値画素部分Pclの撮像画素値Tcを平均した平均画素値Tcaveから、補正画素値Trへの変換を実行してもよい。
第五実施形態に関する変形例18では、対象重み付けデータDwoを、輝度値制御データDcs及び画素値制御データDctがそれぞれ従う式2,3に反映させる代わりに、補正データDrにおける補正画素値Trに反映させてもよい。この変形例18の場合には、光源輝度値Sdを対応させる補正画素値Trとして、第一実施形態で説明した補正画素値Trに対象重み付けデータDwoを乗算した値を、Dwo=1とした式2(即ち式1)に導入することとなる。またこの変形例18の場合には、表示画素値Tdを対応させる補正画素値Trとして、第五実施形態で説明した補正画素値Trに対象重み付けデータDwoを乗算した値を、Dwo=1とした式3に導入することとなる。
第五実施形態に関する変形例19では、光源輝度値Sdよりも表示画素値Tdに補正の重みを付けるための対象重み付けデータDwoを、採用してもよい。この変形例19は、光源輝度値Sdの重みが0の場合を含むことで、表示画素値Tdのみを補正画素値Trに対応させて制御することも可能となる。
1 運転支援システム、2 車両、2a 車室、5 車両用表示装置、7 視認領域、8 外界風景、21 フロントウインドシールド、30a 外界カメラ、33 カメラ画像、40a 明るさセンサ、50 HUD、51 プロジェクタ、51a 表示ユニット、51b 光源ユニット、54 HCU、54a プロセッサ、54b メモリ、56 表示画像、Ac 撮像領域、Ad 表示領域、Al 検知領域、Dcs 輝度値制御データ、Dct 画素値制御データ、Dr 補正データ、Dwo 対象重み付けデータ、Hl 地平線、Hp 消失点Ld 虚像表示輝度、Lo 外界明るさ、Pc 特定画素部分、Pcl 最大値画素部分、Pcm 最多画素部分、Sd 光源輝度値、Tc 撮像画素値、Tcave 平均画素値、Td 表示画素値、Tr 補正画素値

Claims (7)

  1. 外界風景(8)の撮像によりカメラ画像(33)を取得する外界カメラ(30a)と、前記外界風景の外界明るさ(Lo)を検知する明るさセンサ(40a)とを搭載した車両(2)において、前記外界風景を透過する投影部材(21)へ表示画像(56)を投影することにより、前記表示画像を車室(2a)内の視認領域(7)にて視認可能に虚像表示する車両用表示装置(5)であって、
    前記表示画像を発光形成するヘッドアップディスプレイ(50)と、
    前記カメラ画像を構成する撮像画素値(Tc)から前記外界明るさに応じた補正により変換させる補正画素値(Tr)の前記撮像画素値に対する相関を、補正データ(Dr)として記憶するメモリ(54b)と、
    前記メモリに記憶された前記補正データに基づき、前記外界カメラにより取得された前記カメラ画像の前記撮像画素値を、前記明るさセンサにより検知された前記外界明るさに応じて前記補正画素値に変換する変換ブロック(S104,S2104,S3104,S4104)と、
    前記変換ブロックにより前記撮像画素値から変換された前記補正画素値に対応させて、前記ヘッドアップディスプレイにより前記表示画像を発光させる光源輝度値(Sd)を制御する表示制御ブロック(S105,S5105)とを、備える車両用表示装置。
  2. 前記ヘッドアップディスプレイにより前記表示画像が虚像表示される表示領域(Ad)は、前記外界カメラの撮像領域(Ac)と前記明るさセンサの検知領域(Al)とに包含される請求項1に記載の車両用表示装置。
  3. 前記外界カメラにより取得された前記カメラ画像のうち複数画素部分の前記撮像画素値を平均することにより、平均画素値(Tcave)を算出する平均ブロック(S103b)を、さらに備え、
    前記変換ブロック(S104)は、前記平均ブロックにより算出された前記平均画素値を、前記補正画素値に変換する請求項1又は2に記載の車両用表示装置。
  4. 前記外界カメラにより取得された前記カメラ画像のうち複数画素部分の前記撮像画素値を比較することにより、同一値又は同一範囲内の前記撮像画素値を与える画素数が最多となる最多画素部分(Pcm)の当該撮像画素値を抽出する抽出ブロック(S2103b)を、さらに備え、
    前記変換ブロック(S2104)は、前記抽出ブロックにより抽出された前記最多画素部分の前記撮像画素値を、前記補正画素値に変換する請求項1又は2に記載の車両用表示装置。
  5. 前記外界カメラにより取得された前記カメラ画像のうち単一画素部分の前記撮像画素値を抽出する抽出ブロック(S3103a)と、
    前記抽出ブロックにより複数回抽出された前記単一画素部分の前記撮像画素値を平均することにより、平均画素値(Tcave)を算出する平均ブロック(S3103b)とを、さらに備え、
    前記変換ブロック(S3104)は、前記平均ブロックにより算出された前記平均画素値を、前記補正画素値に変換する請求項1又は2に記載の車両用表示装置。
  6. 前記外界カメラにより取得された前記カメラ画像のうち複数画素部分の前記撮像画素値を比較することにより、最大の前記撮像画素値を与える最大値画素部分(Pcl)の当該撮像画素値を抽出する抽出ブロック(S4103b)と、
    前記抽出ブロックにより複数回抽出された前記最大値画素部分の前記撮像画素値を平均することにより、平均画素値(Tcave)を算出する平均ブロック(S4103c)とを、さらに備え、
    前記変換ブロック(S4104)は、前記平均ブロックにより算出された前記平均画素値を、前記補正画素値に変換する請求項1又は2に記載の車両用表示装置。
  7. 前記メモリは、前記ヘッドアップディスプレイにより形成される前記表示画像の表示画素値(Td)よりも前記光源輝度値に補正の重みを付ける対象重み付けデータ(Dwo)を、記憶し、
    前記表示制御ブロック(S5105)は、前記変換ブロックにより前記撮像画素値から変換された前記補正画素値に対応させると共に、前記メモリに記憶された前記対象重み付けデータに対応させて、前記光源輝度値及び前記表示画素値を制御する請求項1〜6のいずれか一項に記載の車両用表示装置。
JP2017031371A 2017-02-22 2017-02-22 車両用表示装置 Active JP6617734B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017031371A JP6617734B2 (ja) 2017-02-22 2017-02-22 車両用表示装置
CN201880012630.7A CN110312631B (zh) 2017-02-22 2018-01-23 车辆用显示装置
DE112018000952.1T DE112018000952T5 (de) 2017-02-22 2018-01-23 Fahrzeuganzeigevorrichtung
PCT/JP2018/001852 WO2018155040A1 (ja) 2017-02-22 2018-01-23 車両用表示装置
US16/541,059 US11009703B2 (en) 2017-02-22 2019-08-14 Vehicle display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017031371A JP6617734B2 (ja) 2017-02-22 2017-02-22 車両用表示装置

Publications (2)

Publication Number Publication Date
JP2018135009A JP2018135009A (ja) 2018-08-30
JP6617734B2 true JP6617734B2 (ja) 2019-12-11

Family

ID=63253750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017031371A Active JP6617734B2 (ja) 2017-02-22 2017-02-22 車両用表示装置

Country Status (5)

Country Link
US (1) US11009703B2 (ja)
JP (1) JP6617734B2 (ja)
CN (1) CN110312631B (ja)
DE (1) DE112018000952T5 (ja)
WO (1) WO2018155040A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018118580A (ja) * 2017-01-24 2018-08-02 株式会社デンソー 車両用表示装置
US11682357B1 (en) * 2022-02-18 2023-06-20 Harman International Industries, Incorporated Heads up display
CN114820608B (zh) * 2022-06-28 2022-10-21 泽景(西安)汽车电子有限责任公司 成像效果检测方法、装置、车辆及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006036166A (ja) * 2004-07-30 2006-02-09 Nippon Seiki Co Ltd 車両用表示装置
JP2008001182A (ja) 2006-06-21 2008-01-10 Nissan Motor Co Ltd 車両用視覚情報呈示装置及び車両用視覚情報呈示方法
JP5135990B2 (ja) * 2006-11-27 2013-02-06 株式会社デンソー 車両用表示装置
JP2010072365A (ja) * 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
US8363131B2 (en) * 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
JP5136442B2 (ja) * 2009-01-27 2013-02-06 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
JP5466571B2 (ja) * 2010-04-27 2014-04-09 本田技研工業株式会社 車両用表示装置
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
JP2014136520A (ja) 2013-01-17 2014-07-28 Denso Corp ヘッドアップディスプレイ装置
JP6056692B2 (ja) * 2013-07-16 2017-01-11 株式会社デンソー 検査装置
FR3015700A1 (fr) * 2013-12-20 2015-06-26 Valeo Etudes Electroniques Systeme et procede de commande de luminosite d'un afficheur tete haute et afficheur utilisant ledit systeme
JP2016097818A (ja) * 2014-11-21 2016-05-30 日本精機株式会社 ヘッドアップディスプレイ装置
JP2017031371A (ja) 2015-08-05 2017-02-09 京セラ株式会社 半導体封止用樹脂組成物および半導体装置
JP6828266B2 (ja) * 2016-04-18 2021-02-10 ソニー株式会社 画像表示装置及び画像表示装置、並びに移動体
JP7160301B2 (ja) * 2018-01-17 2022-10-25 株式会社ジャパンディスプレイ モニター表示システム及びその表示方法

Also Published As

Publication number Publication date
JP2018135009A (ja) 2018-08-30
US20190369394A1 (en) 2019-12-05
CN110312631B (zh) 2022-05-10
CN110312631A (zh) 2019-10-08
WO2018155040A1 (ja) 2018-08-30
DE112018000952T5 (de) 2019-12-12
US11009703B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
JP6617735B2 (ja) 車両用表示装置
JP4389173B2 (ja) 車両用表示装置
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
WO2018139139A1 (ja) 車両用表示装置
JP4611899B2 (ja) カメラのレンズ汚れ検出装置及び画像表示システム
US10609339B2 (en) System for and method of dynamically displaying images on a vehicle electronic display
US20160110618A1 (en) Information processing device, approaching object notification method, and program
US20180015879A1 (en) Side-view mirror camera system for vehicle
US20120320213A1 (en) Image display device
JP4943367B2 (ja) 車両用情報表示装置
JP2011098634A (ja) ヘッドアップディスプレイ装置
US11009703B2 (en) Vehicle display device
JP6705335B2 (ja) 車両用表示制御装置及び車両運転アシストシステム
CN109074685B (zh) 用于调整图像的方法、设备、系统和计算机可读存储介质
US11007874B2 (en) Vehicle display device
JPWO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP3961969B2 (ja) 車両周辺画像処理システム
US10915287B2 (en) Display device for a vehicle having migration of image display
JP2019001226A (ja) 電子ミラー装置
JP2018090219A (ja) 車両用表示制御装置及び車両用表示システム
JP6607128B2 (ja) 虚像表示装置、虚像表示方法および制御プログラム
JP2014021543A (ja) 車両用視界支援装置および車両用視界支援プログラム
JP2019001293A (ja) 車載用表示装置
JP6951909B2 (ja) 表示装置
JP2024029820A (ja) ヘッドアップディスプレイ装置および映像データの処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191028

R151 Written notification of patent or utility model registration

Ref document number: 6617734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250