JP2018135008A - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP2018135008A
JP2018135008A JP2017031370A JP2017031370A JP2018135008A JP 2018135008 A JP2018135008 A JP 2018135008A JP 2017031370 A JP2017031370 A JP 2017031370A JP 2017031370 A JP2017031370 A JP 2017031370A JP 2018135008 A JP2018135008 A JP 2018135008A
Authority
JP
Japan
Prior art keywords
pixel value
display
pixel
imaging
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017031370A
Other languages
English (en)
Other versions
JP6617733B2 (ja
Inventor
洋一 成瀬
Yoichi Naruse
洋一 成瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017031370A priority Critical patent/JP6617733B2/ja
Priority to CN201880012631.1A priority patent/CN110312632B/zh
Priority to PCT/JP2018/001851 priority patent/WO2018155039A1/ja
Priority to DE112018000948.3T priority patent/DE112018000948T5/de
Publication of JP2018135008A publication Critical patent/JP2018135008A/ja
Priority to US16/541,042 priority patent/US11007874B2/en
Application granted granted Critical
Publication of JP6617733B2 publication Critical patent/JP6617733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F21/00Mobile visual advertising
    • G09F21/04Mobile visual advertising by land vehicles
    • G09F21/049Mobile visual advertising by land vehicles giving information to passengers inside the vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • G09F27/005Signs associated with a sensor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/349Adjustment of brightness
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】表示画像の視認性を確保する車両用表示装置の提供。
【解決手段】カメラ画像33を構成する撮像画素値から外界明るさに応じた補正により変換させる補正画素値の撮像画素値に対する相関を、補正データとして記憶するメモリと、メモリに記憶された補正データに基づき、外界カメラにより取得されたカメラ画像33のうち消失点Hp及び地平線Hlの少なくとも一方よりも手前側を撮像した特定画素部分Pcの撮像画素値を、明るさセンサにより検知された外界明るさに応じて補正画素値に変換する変換ブロックと、変換ブロックにより変換された補正画素値に対応させて、ヘッドアップディスプレイにより形成される表示画像の虚像表示輝度を制御する表示制御ブロックとを、備える。
【選択図】図3

Description

本発明は、外界風景を透過する投影部材へ表示画像を投影することで、表示画像を車室内の視認領域にて視認可能に虚像表示する車両用表示装置に、関する。
従来、投影部材へ投影する表示画像を、ヘッドアップディスプレイ(HUD:Head Up Display)により発光形成する車両用表示装置は、広く知られている。
このような車両用表示装置の一種として特許文献1に開示されるものでは、表示画像の背景となる外界風景を外界カメラにより撮像することで、外界風景の外界明るさを表した背景輝度を特定可能に、カメラ画像が取得されるようになっている。こうしてカメラ画像から特定される背景輝度は、HUDにより表示画像を虚像表示させる虚像表示輝度の制御にて利用されることで、表示画像の視認性低下を抑制することが可能となっている。
特開2014−136520号公報
さて、カメラ画像を適切に取得するために一般に外界カメラでは、例えば露出制御やゲイン制御等のフィルタリング処理を外界明るさに応じて行う必要がある。そのため、外界明るさの異なる昼と夜とであるにも拘わらず、カメラ画像を構成する撮像画素値がフィルタリング処理によっては同一値又は近接値となることで、特許文献1の開示装置では、特定される背景輝度が実際の外界明るさを反映し得なくなってしまう。その結果、外界風景に対する表示画像のコントラストが不足又は過多となるコントラスト不良が生じて、視認性低下を抑制することが困難となるおそれがあった。
本発明は、以上説明した問題に鑑みてなされたものであって、その目的は、表示画像の視認性を確保する車両用表示装置を、提供することにある。
以下、課題を達成するための発明の技術的手段について、説明する。尚、発明の技術的手段を開示する特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、発明の技術的範囲を限定するものではない。
上述の課題を解決するために開示された発明は、
外界風景(8)の撮像によりカメラ画像(33)を取得する外界カメラ(30a)と、外界風景の外界明るさ(Lo)を検知する明るさセンサ(40a)とを搭載した車両(2)において、外界風景を透過する投影部材(21)へ表示画像(56)を投影することにより、表示画像を車室(2a)内の視認領域(7)にて視認可能に虚像表示する車両用表示装置(5)であって、
表示画像を発光形成するHUD(50)と、
カメラ画像を構成する撮像画素値(Tc)から外界明るさに応じた補正により変換させる補正画素値(Tr)の撮像画素値に対する相関を、補正データ(Dr)として記憶するメモリ(54b)と、
メモリに記憶された補正データに基づき、外界カメラにより取得されたカメラ画像のうち消失点及び地平線の少なくとも一方よりも手前側を撮像した特定画素部分(Pc)の撮像画素値を、明るさセンサにより検知された外界明るさに応じて補正画素値に変換する変換ブロック(S104,S2104,S3104,S4104,S5104)と、
変換ブロックにより撮像画素値から変換された補正画素値に対応させて、HUDによる表示画像の虚像表示輝度(Ld)を制御する表示制御ブロック(S105,S5105,S6105,S7105)とを、備える。
このような発明では、外界カメラにより取得されたカメラ画像の撮像画素値から変換される補正画素値は、その撮像画素値に対する相関としてメモリに記憶された補正データに基づき、補正された値となる。このとき補正画素値は、明るさセンサにより検知された外界風景の外界明るさに応じて撮像画素値から変換されるので、実際の外界明るさを正確に反映し易い。しかも補正画素値は、カメラ画像のうち消失点及び地平線の少なくとも一方よりも手前側を撮像した特定画素部分の撮像画素値から変換されるので、当該少なくとも一方よりも上側からの太陽光の影響を低減できる。これらのことから、補正画素値に対応して虚像表示輝度の制御される表示画像では、外界風景に対するコントラスト不良が生じ難くなるので、視認性を確保することが可能である。
第一実施形態による車両用表示装置を搭載した自車両の車室内を示す内観図である。 第一実施形態による車両用表示装置を示すブロック図である。 第一実施形態によるカメラ画像を示すイメージ図である。 第一実施形態によるHUDの構成を示すブロック図である。 第一実施形態による表示画像の虚像表示状態を示す正面図である。 第一実施形態によるカメラ画像の撮像画素値を示すイメージ図である。 第一実施形態による表示制御フローを示すフローチャートである。 第一実施形態による補正データを示すイメージ図である。 第一実施形態による表示画素値の初期設定値との相関を示すグラフである。 第一実施形態による画素値制御データを示すイメージ図である。 第二実施形態による表示制御フローを示すフローチャートである。 第二実施形態によるカメラ画像の撮像画素値を示すイメージ図である。 第三実施形態による表示制御フローを示すフローチャートである。 第三実施形態によるカメラ画像の撮像画素値を示すイメージ図である。 第四実施形態による表示制御フローを示すフローチャートである。 第四実施形態によるカメラ画像の撮像画素値を示すイメージ図である。 第五実施形態による表示制御フローを示すフローチャートである。 第五実施形態によるカメラ画像を示すイメージ図である。 第五実施形態による表示画像の虚像表示状態を示す正面図である。 第六実施形態による表示制御フローを示すフローチャートである。 第六実施形態による表示画素値の初期設定値との相関を示すグラフである。 第六実施形態による輝度値制御データを示すイメージ図である。 第七実施形態による表示制御フローを示すフローチャートである。 第七実施形態による表示画素値の初期設定値との相関(a)及び光源輝度値の初期設定値との相関(b)を示すグラフである。 第七実施形態による画素値制御データ(a)及び輝度値制御データ(b)を示すイメージ図である。 図2の変形例による車両用表示装置を示すブロック図である。 図6の変形例によるカメラ画像の撮像画素値を示すイメージ図である。 図8の変形例による補正データを示すイメージ図である。
以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
(第一実施形態)
本発明の第一実施形態による運転支援システム1は、図1,2に示すように車両2に搭載される。運転支援システム1は、周辺監視系3、車両制御系4及び車両用表示装置5を含んで構成されている。これらの各要素3,4,5は、例えばLAN(Local Area Network)等の車内ネットワーク6を介して互いに接続されている。
図2に示すように周辺監視系3は、周辺センサ30及び周辺監視ECU(Electronic Control Unit)31を備えている。周辺センサ30は、例えば車両2の外界において衝突の可能性がある他車両、人工構造物、人間及び動物といった障害物、並びに車両2の外界(即ち車室2a外)に存在する速度標識及び各種警告標識といった交通標識等を、検知する。周辺センサ30は、例えば外界カメラ30a、ソナー、レーダ及びLIDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)等のうち、外界カメラ30aを少なくとも含んだ一種類又は複数種類である。
ここで、車両2に汎用的に搭載される外界カメラ30aは、図3に示す車両2の外界にて車室2aの前方に存在する外界風景8の所定範囲を撮像することで、カメラ画像33を取得する。外界カメラ30aは、例えば単眼式若しくは複眼式等であり、図1,4に示す車両2のバンパー23又はルームミラー24等に搭載される。これにより外界風景8のうち、車室2a内にて運転席20上の乗員が車両2のフロントウインドシールド21を通して視認可能な範囲に、図5に示す外界カメラ30aの撮像領域Acが設定されている。
このような外界カメラ30aによって取得されるカメラ画像33は、図6に示すように、複数色の撮像画素値Tcから構成される。そこで本実施形態の撮像画素値Tcは、赤(R)、緑(G)及び青(B)の色毎に外界カメラ30aの各画素にて感知した階調値を、0〜255の256段階で表す。即ち、本実施形態の外界カメラ30aは、各画素の撮像画素値TcをRGBデータフォーマットにて生成する。
図2に示す周辺監視ECU31は、プロセッサ及びメモリを有するマイクロコンピュータを主体として構成され、周辺センサ30と車内ネットワーク6とに接続されている。周辺監視ECU31は、例えば障害物情報及び交通標識情報等を、周辺センサ30の出力信号に基づき取得する。
車両制御系4は、車両関連センサ40、乗員関連センサ41及び車両制御ECU42を備えている。車両関連センサ40は、車内ネットワーク6に接続されている。車両関連センサ40は、例えば車両2の運転状態情報、ナビゲーション情報、交通標識情報及び走行環境情報等を取得する。車両関連センサ40は、例えば明るさセンサ40a、車速センサ、回転数センサ、舵角センサ、燃料センサ、水温センサ及び通信機等のうち、明るさセンサ40aを少なくとも含んだ一種類又は複数種類である。
ここで、車両2に汎用的に搭載される明るさセンサ40aは、図1,5に示す車両2の外界にて車室2aの前方に存在する外界風景8の所定範囲の照度又は輝度を、外界明るさLoとして検知する。明るさセンサ40aは、例えばフォトトランジスタ若しくはフォトダイオード等であり、図1,4に示す車両2のインストルメントパネル22又はルームミラー24等に搭載される。これにより外界風景8のうち、乗員がフロントウインドシールド21を通して視認可能な範囲であって、外界カメラ30aの撮像領域Acに包含される範囲に、図5に示す明るさセンサ40aの検知領域Alが設定されている。
図2に示すように乗員関連センサ41は、車内ネットワーク6に接続されている。乗員関連センサ41は、車両2の車室2a内に搭乗した乗員の状態又は操作を検知する。乗員関連センサ41は、例えばパワースイッチ41a、表示設定スイッチ、乗員状態モニタ及びターンスイッチ等のうち、パワースイッチ41aを少なくとも含んだ一種類又は複数種類である。
ここでパワースイッチ41aは、車両2の内燃機関又はモータジェネレータを始動させるために車室2a内外にて乗員により操作されることで、当該操作を検知する。パワースイッチ41aは、例えば乗員による回転操作式及びプッシュ操作式、並びに電子キーによる遠隔操作式等のうち、一種類又は複数種類である。
車両制御ECU42は、プロセッサ及びメモリを有するマイクロコンピュータを主体として構成され、車内ネットワーク6に接続されている。車両制御ECU42は、エンジン制御ECU、モータ制御ECU、ブレーキ制御ECU、ステアリング制御ECU及び統合制御ECU等のうち、一種類又は複数種類である。
図1,2,4に示すように車両用表示装置5は、車室2a内にて表示画像56を虚像表示するために、HUD50及びHCU(HMI(Human Machine Interface) Control Unit)54を備えている。
HUD50は、車室2a内にてインストルメントパネル22に設置されている。HUD50は、プロジェクタ51によりカラーの表示画像56を発光形成する。そこで本実施形態のプロジェクタ51は、図2,4に示すように、表示ユニット51aと光源ユニット51bとを組み合わせて構成されている。ここで表示ユニット51aは、例えばドットマトリクス型TFT液晶パネル等を主体として構成されている。表示ユニット51aは、HCU54の制御する表示画素値Tdに従って各画素を駆動されることで、表示画像56を形成する。一方で光源ユニット51bは、例えばLED(Light Emitting Diode)を主体として構成されている。光源ユニット51bは、HCU54の制御する光源輝度値Sdに従って通電されることで、表示ユニット51aを照明して表示画像56を発光させる。以上の構成から、表示ユニット51aに形成される表示画像56の各画素の表示画素値Tdと、表示画像56を発光させる光源ユニット51bの光源輝度値Sdとの組み合わせにより、図5に示す表示画像56全体の虚像表示輝度Ldが決まることとなる。
このようなプロジェクタ51によって発光状態に形成される表示画像56は、車室2a内の乗員に報知する各種情報を、表す。具体的に表示画像56は、例えば図1,5に示す車速情報及びエンジン回転数情報といった運転状態情報の他に、経路案内情報及び渋滞情報といったナビゲーション情報、速度標識情報といった交通標識情報、並びに天候情報及び路面情報といった走行環境情報等を表す。尚、これらの情報以外にも表示画像56は、例えば車室2a内に提供される音楽情報、映像情報及びモバイル通信情報等を表してもよい。
こうして所定情報を表すようにプロジェクタ51によって形成された表示画像56の光束は、図1,4の如く例えば凹面鏡等の光学系52により導光されることで、「投影部材」としてのフロントウインドシールド21に投影される。このとき、透光性ガラスにより形成されるフロントウインドシールド21は、外界風景8から光束を透過させる。これらの結果、フロントウインドシールド21にて反射した表示画像56の光束と、同シールド21を透過した外界風景8からの光束とは、車室2a内にて運転席20上の乗員に知覚される。
以上により表示画像56は、フロントウインドシールド21よりも前方にて結像される虚像として、外界風景8と重畳表示されることで、車室2a内の視認領域7にて乗員により視認可能となる。そこで、図5に示すように表示画像56の虚像表示される表示領域Adは、乗員がフロントウインドシールド21を通して視認可能な範囲であって、外界カメラ30aの撮像領域Acにも明るさセンサ40aの検知領域Alにも包含される範囲に、設定されている。
図2に示すようにHCU54は、プロセッサ54a及びメモリ54bを有するマイクロコンピュータを主体として構成され、HUD50と車内ネットワーク6とに接続されている。HCU54は、HUD50による表示画像56の虚像表示を制御する。このときHCU54は、例えばECU31,42及びセンサ40,41により取得又は検知の情報、並びにメモリ54bの記憶情報等に基づき、表示制御を実行する。尚、HCU54のメモリ54b及び他の各種ECUのメモリは、例えば半導体メモリ、磁気媒体若しくは光学媒体等といった記憶媒体を、一つ又は複数利用してそれぞれ構成される。
ここでHCU54は、予めメモリ54bに記憶された表示画像56を読み出して、当該HUD50による表示画像56の虚像表示状態を制御する。そのためにHCU54は、予めメモリ54bに記憶された表示制御プログラムをプロセッサ54aにより実行することで、図7に示す表示制御フローの各ステップを機能的に実現する。尚、この表示制御フローは、パワースイッチ41aのオン操作に応じて開始され、同スイッチ41aのオフ操作に応じて終了する。また、表示制御フロー中の「S」とは、各ステップを意味する。
図7に示すように表示制御フローのS101では、外界風景8の撮像領域Acを外界カメラ30aに撮像させる。これによりS101では、図6に示すように各画素における色毎の撮像画素値Tcから構成されるカメラ画像33を、取得する。
続くS102では、外界風景8の外界明るさLoを明るさセンサ40aに検知させる。これによりS102では、外界風景8のうち撮像領域Acと重畳した検知領域Alにおける照度又は輝度を、図5に示す現在の外界明るさLoとして取得する。
また続くS103では、S101により取得されたカメラ画像33における各画素の撮像画素値Tcから、補正の変換元とする撮像画素値Tcを色毎に決定する。具体的に、S103ではまずS103aにて、カメラ画像33のうち、図3,5に示す消失点Hp及び地平線Hlの少なくとも一方よりも手前側(即ち車両2側)の外界風景8に限定して、表示領域Adと重畳する箇所を撮像した複数画素部分を、特定画素部分Pcとして選定する。このとき本実施形態では、図3の如く縦横に連続する複数画素部分に予め設定された固定の画素エリアであって、外界風景8にて明るさセンサ40aの検知領域Alに包含され且つ表示領域Adを包含する範囲を撮像した画素エリアを、特定画素部分Pcに選定する。次にS103では図7のS103bにて、S103aにより選定された特定画素部分Pcを構成する複数画素部分の撮像画素値Tcを色毎に平均することで、補正の変換元とする撮像画素値Tcとしての平均画素値Tcaveを色毎に算出する。尚、こうしたS103にて撮像画素値Tcを平均する特定画素部分Pcの選定位置の基準となる消失点Hp及び地平線Hlについては、その少なくとも一方がカメラ画像33の画像処理により、又は外界カメラ30aの搭載位置に応じた固定箇所にて、抽出される。
さらに続くS104では、色毎の撮像画素値TcとしてS103により算出された平均画素値Tcaveをそれぞれ、S102により検知された外界明るさLoに応じて、図8に示すように色毎の補正画素値Trへと変換する。具体的に補正画素値Trは、外界カメラ30a若しくはECU31でのフィルタリング処理の如何に拘わらず実際の外界明るさLoを反映可能となるよう、外界明るさLoに応じた補正により撮像画素値Tcから変換させる階調値を、0〜255の256段階で表す。そこで本実施形態の補正画素値Trについては、撮像画素値Tcとの相関が色毎に規定されて、補正データDrとして予めメモリ54bに記憶されている。尚、図8は、撮像画素値Tcと補正画素値Trとの色毎の相関が互いに同一に規定されることで、特に本実施形態では全色に共通化された補正データDrを、示している。
このように補正画素値Trの撮像画素値Tcに対する相関を規定した補正データDrは、所定の外界明るさLo(図8の例では所定の照度)毎にテーブルの形態にて用意されている。但し、メモリ54bの記憶容量低減のため、用意された外界明るさLo間の補正データDrは、用意された外界明るさLoの補正データDrから内挿補間又は外挿補間される。尚、説明の理解を容易にするために図8では、三つの外界明るさLo毎の相関を示す補正データDrとそれらの間の補間とを示しているが、実際はさらに細かく分けた外界明るさLo毎の相関を示す補正データDrとそれらの間の補間とが実現される。また補正データDrは、補間を不要とする演算式の形態にて用意されていてもよい。
以上よりS104では、S102により検知された外界明るさLoと対応する補正データDrに基づくことで、S103により算出された平均画素値Tcaveと対応する補正画素値Trを、色毎に決定する。
またさらに図7に示すように、S104に続くS105では、S104により変換された色毎の補正画素値Trに個別に対応させて、表示画像56における各画素の表示画素値Tdを色毎に調整する。具体的にいずれの色の表示画素値Tdについても、表示ユニット51aにて表示画像56の各画素に予め設定される表示画素値Tdの初期設定値Td0と、色毎の補正画素値Tr及びその最大値Trmax(ここでは255)とを用いて、下記式1により表される。図9は、式1に従って初期設定値Td0と表示画素値Tdとの間に現出する色毎の相関につき、補正画素値Trと最大値Trmaxとの比Tr/Trmaxが0.4となる場合を例にとって、実線グラフで示している。そこで、こうした相関に基づき表示画素値Tdを決定するために本実施形態では、式1に従う画素値制御データDctが図10に示すようなテーブルの形態にて用意され、予めメモリ54bに記憶されている。尚、画素値制御データDctは、式1を表す演算式の形態にて用意されていてもよい。
Td=Td0・Tr/Trmax …(式1)
このようにメモリ54bに記憶された画素値制御データDctに基づくことでS105では、S104により変換された補正画素値Trに対応する表示画素値Tdを、色毎に決定する。その結果、決定された色毎の表示画素値Tdに従って表示ユニット51aが画素駆動されることで、表示画像56の虚像表示輝度Ldが制御される。このとき本実施形態では、光源ユニット51bの従う光源輝度値Sdを、固定値に維持設定する。故に、図5に示す表示画像56の虚像表示輝度Ldは、決定された色毎の表示画素値Tdに追従することで、S104により変換された補正画素値Trに対応して制御されることとなる。尚、こうしたS105は補正の有効時間だけ継続され、当該有効時間が経過すると、S101へ戻る。
ここまでの説明から第一実施形態では、HCU54のS103bを実行する機能部分が「平均ブロック」に相当する。それと共に第一実施形態では、HCU54のS104を実行する機能部分が「変換ブロック」に相当し、HCU54のS105を実行する機能部分が「表示制御ブロック」に相当する。
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
第一実施形態では、外界カメラ30aにより取得されたカメラ画像33の撮像画素値Tcから変換される補正画素値Trは、その撮像画素値Tcに対する相関としてメモリ54bに記憶された補正データDrに基づき、補正された値となる。このとき補正画素値Trは、明るさセンサ40aにより検知された外界風景8の外界明るさLoに応じて撮像画素値Tcから変換されるので、実際の外界明るさLoを正確に反映し易い。しかも補正画素値Trは、カメラ画像33のうち消失点Hp及び地平線Hlの少なくとも一方よりも手前側を撮像した特定画素部分Pcの撮像画素値Tcから変換されるので、当該少なくとも一方よりも上側からの太陽光の影響を低減できる。これらのことから、補正画素値Trに対応して虚像表示輝度Ldの制御される表示画像56では、外界風景8に対するコントラスト不良が生じ難くなるので、視認性を確保することが可能である。
さらに第一実施形態のように、表示領域Adを包含する外界カメラ30aの撮像領域Acでは、HUD50により表示領域Adに虚像表示される表示画像56の実際の背景が、外界風景8として撮像されることとなる。故に、補正画素値Tr及びそれに対応して制御される虚像表示輝度Ldは、そうした実際の背景の撮像画素値Tcを反映できる。それと共に第一実施形態のように、表示領域Adを包含する明るさセンサ40aの検知領域Alでは、HUD50により表示領域Adに虚像表示される表示画像56の実際の背景にて、外界明るさLoが検知されることとなる。故に、補正画素値Tr及びそれに対応して制御される虚像表示輝度Ldは、そうした実際の背景の外界明るさLoを反映できる。したがって、以上の如き反映作用によれば、コントラスト不良を確実に生じ難くして、視認性確保効果の信頼性を高めることが可能となる。
またさらに第一実施形態では、カメラ画像33のうち複数画素部分である特定画素部分Pcの撮像画素値Tcを平均して算出された平均画素値Tcaveから、補正画素値Trが変換される。このような複数画素部分の平均画素値Tcaveによれば、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減できる。その結果、補正画素値Trに対応して制御される虚像表示輝度Ldは、そうした撮像画素値Tcの変動誤差に起因するコントラスト不良を招き難くなるので、視認性確保効果の信頼性を高めることが可能である。
加えて第一実施形態によると、特定画素部分Pcの撮像画素値Tcから変換されて実際の外界明るさLoを正確に反映する補正画素値Trと対応するように、表示画素値Tdが調整されることとなる。故に表示画像56において、そうした補正画素値Trと対応する表示画素値Tdから決まる虚像表示輝度Ldによれば、視認性低下を招くようなコントラスト不良を抑制することが可能となる。
(第二実施形態)
本発明の第二実施形態は、第一実施形態の変形例である。図11に示すように、第二実施形態による表示制御フローのS103ではS103aに続くS2103bにて、特定画素部分Pcを構成する複数画素部分の各画素の撮像画素値Tcを、色毎に比較する。これによりS2103bでは、図12に示すように同一値又は同一範囲内の撮像画素値Tcを与える画素数が最多となる最多画素部分Pcmから、当該同一値又は同一範囲内の撮像画素値Tcを色毎に抽出する。ここで図12は、同一値の撮像画素値Tcを与える画素数が最多となる最多画素部分Pcmを、示している。また一方で図示はしないが、同一範囲内の撮像画素値Tcとは、撮像画素値Tcが設定量ずつ増加する毎に予め区切られる複数範囲のうち、特定画素部分Pcの各撮像画素値Tcがそれぞれ該当する範囲の同じもの同士を、意味する。
図11に示すように第二実施形態では、こうしたS103からS2104に移行する。このS2104では、S2103bにより抽出された最多画素部分Pcmの色毎の撮像画素値Tcをそれぞれ、S102により検知された外界明るさLoに応じて、色毎の補正画素値Trへと変換する。このときの変換は、第一実施形態に準じて実行される。即ち、S102により検知された外界明るさLoと対応する補正データDrに基づくことで、S2103bにより抽出された最多画素部分Pcmの撮像画素値Tcと対応する補正画素値Trを、色毎に決定する。
ここまでの説明から第二実施形態では、HCU54のS2103bを実行する機能部分が「抽出ブロック」に相当する。それと共に第二実施形態では、HCU54のS2104を実行する機能部分が「変換ブロック」に相当する。
以上より第二実施形態では、カメラ画像33のうち複数画素部分である特定画素部分Pcの撮像画素値Tcが比較されることで、同一値又は同一範囲内の撮像画素値Tcを与える画素数が最多となる最多画素部分Pcmの当該撮像画素値Tcから、補正画素値Trが変換される。このような最多画素部分Pcmの撮像画素値Tcによれば、同値Tcの局所的且つ偶発的な変動による誤差を低減できる。その結果、補正画素値Trに対応して制御される虚像表示輝度Ldは、そうした撮像画素値Tcの変動誤差に起因するコントラスト不良を招き難くなるので、視認性確保効果の信頼性を高めることが可能である。
(第三実施形態)
本発明の第三実施形態は、第一実施形態の変形例である。図13に示すように、第三実施形態による表示制御フローのS103では、S3103a,S3103bを実行する。
まずS3103aでは、図14に示すカメラ画像33のうち消失点Hp及び地平線Hlの少なくとも一方よりも手前側の外界風景8に限定して、表示領域Adと重畳する箇所を撮像した単一画素部分を、特定画素部分Pcとして選定する。このとき第三実施形態では、図14の如く予め設定された固定の単一画素部分を、特定画素部分Pcに選定する。またこのとき第三実施形態では、選定した特定画素部分Pcを構成する単一画素部分の撮像画素値Tcを、色毎に抽出してメモリ54bに記憶する。尚、特定画素部分Pcとしての単一画素部分は、例えばカメラ画像33において表示領域Adの中心と対応する画素等に、固定される。
次に、図13に示すようにS3103bでは、過去複数回のS3103aにより抽出されてメモリ54bに記憶された撮像画素値Tcを色毎に平均することで、補正の変換元とする平均画素値Tcaveを色毎に算出する。このとき、平均画素値Tcaveの算出における撮像画素値Tcの使用数は、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減可能な値に、設定される。そのため、パワースイッチ41aのオン操作に応じた表示制御フローの開始から、S3103aによる撮像画素値Tcの抽出回数がS3103bによる撮像画素値Tcの使用数よりも少なくなる間は、図示は省略するが、S3103b以降を実行しないでS101へ戻る。
第三実施形態では、こうしたS103からS3104に移行する。このS3104では、S3103bにより算出された色毎の平均画素値Tcaveをそれぞれ、S102により検知された外界明るさLoに応じて、色毎の補正画素値Trへと変換する。このときの変換は、第一実施形態に準じて実行される。即ち、S102により検知された外界明るさLoと対応する補正データDrに基づくことで、S3103bにより算出された平均画素値Tcaveと対応する補正画素値Trを、色毎に決定する。
ここまでの説明から第三実施形態では、HCU54のS3103aを実行する機能部分が「抽出ブロック」に相当し、HCU54のS3103bを実行する機能部分が「平均ブロック」に相当する。それと共に第三実施形態では、HCU54のS3104を実行する機能部分が「変換ブロック」に相当する。
以上より第三実施形態では、カメラ画像33のうち単一画素部分である特定画素部分Pcの撮像画素値Tcを複数回抽出して平均により算出された平均画素値Tcaveから、補正画素値Trが変換される。このような複数回抽出の平均画素値Tcaveによれば、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減できる。その結果、補正画素値Trに対応して制御される虚像表示輝度Ldは、そうした撮像画素値Tcの変動誤差に起因するコントラスト不良を招き難くなるので、視認性確保効果の信頼性を高めることが可能である。
(第四実施形態)
本発明の第四実施形態は、第一実施形態の変形例である。図15に示すように、第四実施形態による表示制御フローのS103ではS103aに続くS4103bにて、特定画素部分Pcを構成する複数画素部分の各画素の撮像画素値Tcを、色毎に比較する。これによりS4103bでは、図16に示すように、色毎に最大の撮像画素値Tcを与える最大値画素部分Pclの当該最大の撮像画素値Tcを抽出する。このとき第四実施形態では、抽出した色毎の撮像画素値Tcをメモリ54bに記憶する。
また、第四実施形態による表示制御フローのS103では、図15に示すようにS4103bからS4103cに移行する。このS4103cでは、過去複数回のS4103bにより抽出されてメモリ54bに記憶された最大値画素部分Pclの撮像画素値Tcを色毎に平均することで、補正の変換元とする平均画素値Tcaveを色毎に算出する。このとき、平均画素値Tcaveの算出における撮像画素値Tcの使用数は、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減可能な値に、設定される。そのため、パワースイッチ41aのオン操作に応じた表示制御フローの開始から、S4103bによる撮像画素値Tcの抽出回数がS4103cによる撮像画素値Tcの使用数よりも少なくなる間は、図示は省略するが、S4103c以降を実行しないでS101へ戻る。
第四実施形態では、こうしたS103からS4104に移行する。このS4104では、S4103cにより算出された色毎の平均画素値Tcaveをそれぞれ、S102により検知された外界明るさLoに応じて、色毎の補正画素値Trへと変換する。このときの変換は、第一実施形態に準じて実行される。即ち、S102により検知された外界明るさLoと対応する補正データDrに基づくことで、S4103cにより算出された平均画素値Tcaveと対応する補正画素値Trを、色毎に決定する。
ここまでの説明から第四実施形態では、HCU54のS4103bを実行する機能部分が「抽出ブロック」に相当し、HCU54のS4103cを実行する機能部分が「平均ブロック」に相当する。それと共に第四実施形態では、HCU54のS4104を実行する機能部分が「変換ブロック」に相当する。
以上より第四実施形態では、カメラ画像33のうち複数画素部分である特定画素部分Pcの撮像画素値Tcが比較されることで、最大の撮像画素値Tcを与える最大値画素部分Pclの当該撮像画素値Tcが抽出される。そこで、最大値画素部分Pclの撮像画素値Tcを複数回抽出して平均により算出された平均画素値Tcaveから、補正画素値Trが変換される。このような複数回抽出の平均画素値Tcaveによれば、撮像画素値Tcの局所的且つ偶発的な変動による誤差を低減できる。その結果、補正画素値Trに対応して制御される虚像表示輝度Ldは、そうした撮像画素値Tcの変動誤差に起因するコントラスト不良を招き難くなるので、視認性確保効果の信頼性を高めることが可能である。
(第五実施形態)
本発明の第五実施形態は、第一実施形態の変形例である。図17に示すように、第五実施形態による表示制御フローのS103ではS103aに続くS5103bにて、図18に示すカメラ画像33の特定画素部分Pcと、図19に示す表示領域Adとを、互いに対応する複数の画素エリアPdに分割する。このとき図18,19の例では、縦横に連続する複数画素部分を一つの画素エリアPdとして、当該画素エリアPdが縦横二つずつ並ぶように、特定画素部分Pc及び表示領域Adを分割する。
また、第五実施形態による表示制御フローのS103では、図17に示すようにS5103bからS5103cに移行する。このS5103cでは、S5103cにより分割されたカメラ画像33における各画素の撮像画素値Tcを各画素エリアPdの色毎に平均することで、補正の変換元とする平均画素値Tcaveを各画素エリアPdの色毎に算出する。
第五実施形態では、こうしたS103からS5104に移行する。このS5104では、S5103cにより算出された各画素エリアPdの色毎の平均画素値Tcaveをそれぞれ、S102により検知された外界明るさLoに応じて、各画素エリアPdの色毎の補正画素値Trへと変換する。このときの変換は、第一実施形態に準じて実行される。即ち、S102により検知された外界明るさLoと対応する補正データDrに基づくことで、S5103cにより算出された平均画素値Tcaveと対応する補正画素値Trを、各画素エリアPdの色毎に決定する。
さらに、第五実施形態ではS5104からS5105に移行することで、S5104により変換された各画素エリアPdの色毎の補正画素値Trに個別に対応させて、表示画像56における各画素エリアPdの各画素の表示画素値Tdを色毎に調整する。このときの調整は、第一実施形態に準じて実行される。即ち、メモリ54bに記憶された画素値制御データDctに基づくことで、S5104により変換された各画素エリアPdの補正画素値Trと対応する表示画素値Tdを、色毎に決定する。さらにこのとき、光源ユニット51bの光源輝度値Sdを、第一実施形態に準じて固定値に維持設定する。これらにより、各画素エリアPdにおける表示画像56の虚像表示輝度Ldは、決定された表示画素値Tdに追従することで、S5104により変換された各画素エリアPdでの補正画素値Trに個別に対応して制御されることとなる。尚、こうしたS5105は補正の有効時間だけ継続され、当該有効時間が経過すると、S101へ戻る。
ここまでの説明から第五実施形態では、HCU54のS5103bを実行する機能部分が「分割ブロック」に相当し、HCU54のS5103cを実行する機能部分が「平均ブロック」に相当する。それと共に第五実施形態では、HCU54のS5104を実行する機能部分が「変換ブロック」に相当し、HCU54のS5105を実行する機能部分が「表示制御ブロック」に相当する。
以上より第五実施形態では、カメラ画像33の特定画素部分Pcにて複数に分割された各画素エリアPdの撮像画素値Tcとしての平均画素値Tcaveからそれぞれ、それら各画素エリアPdの補正画素値Trが変換されることとなる。これによれば、カメラ画像33と対応して分割される表示領域Adの各画素エリアPdにて、実際の外界明るさLoを正確に反映する補正画素値Trと対応した虚像表示輝度Ldを、コントラスト不良を抑制する値へと個別に制御し得る。故に、視認性確保の効果自体を向上させることが可能となる。
(第六実施形態)
本発明の第六実施形態は、第一実施形態の変形例である。図20に示すように、第六実施形態による表示制御フローのS6105では、S104により変換された色毎の補正画素値Trのうち特定色の補正画素値Trに対応させて、光源ユニット51bの光源輝度値Sdを調整する。尚、第六実施形態のS104では特定色のみ補正画素値Trへの変換を実行することで、S6105ではその変換された特定色の補正画素値Trに光源輝度値Sdを対応させて調整してもよい。ここで特定色は、第六実施形態では色Gに予め設定されるが、他の色R又はBに予め設定されてもよい。
具体的に光源輝度値Sdは、光源ユニット51bにて予め設定される光源輝度値Sdの初期設定値Sd0と、特定色の補正画素値Tr及びその最大値Trmaxとを用いて、下記式2により表される。図21は、式2に従って初期設定値Sd0と光源輝度値Sdとの間に現出する相関につき、補正画素値Trと最大値Trmaxとの比Tr/Trmaxが0.4となる場合を例にとって、実線グラフで示している。そこで、こうした相関に基づき光源輝度値Sdを決定するために第六実施形態では、式2に従う輝度値制御データDcsが図22に示すようなテーブルの形態にて用意され、予めメモリ54bに記憶されている。尚、輝度値制御データDcsは、式2を表す演算式の形態にて用意されていてもよい。
Sd=Sd0・Tr/Trmax …(式2)
このようにメモリ54bに記憶された輝度値制御データDcsに基づくことでS6105では、S104により変換された特定色の補正画素値Trに対応する光源輝度値Sdを、決定する。このとき第六実施形態では、表示ユニット51aの従う表示画素値Tdを、固定値に維持設定する。故に、表示画像56の虚像表示輝度Ldは、決定された光源輝度値Sdに追従することで、S104により変換された補正画素値Trに対応して制御されることとなる。尚、こうしたS6105は補正の有効時間だけ継続され、当該有効時間が経過すると、S101へ戻る。
ここまでの説明から第六実施形態では、HCU54のS6105を実行する機能部分が「表示制御ブロック」に相当する。
以上より第六実施形態では、特定画素部分Pcの撮像画素値Tcから変換されて実際の外界明るさLoを正確に反映する補正画素値Trと対応するように、光源輝度値Sdが調整されることとなる。故に表示画像56において、そうした補正画素値Trと対応する光源輝度値Sdから決まる虚像表示輝度Ldによれば、視認性低下を招くようなコントラスト不良を抑制することが可能となる。
(第七実施形態)
本発明の第七実施形態は、第一実施形態の変形例である。図23に示すように、第七実施形態による表示制御フローのS7105では、S104により変換された色毎の補正画素値Trに個別に対応させると共に、対象重み付けデータDwoにも対応させて、表示画像56における各画素の色毎の表示画素値Tdを制御する。それと共にS7105では、S104により変換された色毎の補正画素値Trのうち特定色の補正画素値Trに対応させると共に、対象重み付けデータDwoにも対応させて、光源ユニット51bの光源輝度値Sdを制御する。ここで特定色は、第七実施形態では色Gに予め設定されるが、他の色R又はBに予め設定されてもよい。
具体的に対象重み付けデータDwoは、光源輝度値Sdよりも表示画素値Tdに補正の重みを付けるための数値である。そこで対象重み付けデータDwoは、光源輝度値Sdを重み付ける値と、表示画素値Tdを重み付ける値とを、前者よりも後者にて大きく且つ前者と後者との和が1となるように、それぞれ設定されて予めメモリ54bに記憶されている。例えば対象重み付けデータDwoは、光源輝度値Sdの場合は0.5よりも小さな0.25等に、また表示画素値Tdの場合は0.5よりも大きな0.75等に、それぞれ設定される。
色毎の表示画素値Tdは、こうした対象重み付けデータDwoと、表示画素値Tdの初期設定値Td0と、色毎の補正画素値Tr及びその最大値Trmaxとを用いて、下記式3により表される。図24(a)は、式3に従って初期設定値Td0と表示画素値Tdとの間に現出する色毎の相関につき、補正画素値Trと最大値Trmaxとの比Tr/Trmaxが0.4となる場合を例にとって、実線グラフで示している。そこで、こうした相関に基づき表示画素値Tdを決定するために第七実施形態では、式3に従う画素値制御データDctが図25(a)に示すようなテーブルの形態にて用意され、予めメモリ54bに記憶されている。尚、画素値制御データDctは、式3を表す演算式の形態にて用意されていてもよい。
Td=Dwo・Td0・Tr/Trmax …(式3)
一方で光源輝度値Sdは、対象重み付けデータDwoと、光源ユニット51bにて予め設定される光源輝度値Sdの初期設定値Sd0と、特定色の補正画素値Tr及びその最大値Trmaxとを用いて、下記式4により表される。図24(b)は、式4に従って初期設定値Sd0と光源輝度値Sdとの間に現出する相関につき、補正画素値Trと最大値Trmaxとの比Tr/Trmaxが0.4となる場合を例にとって、実線グラフで示している。そこで、こうした相関に基づき光源輝度値Sdを決定するために第七実施形態では、式4に従う輝度値制御データDcsが図25(b)に示すようなテーブルの形態にて用意され、予めメモリ54bに記憶されている。尚、輝度値制御データDcsは、式4を表す演算式の形態にて用意されていてもよい。
Sd=Dwo・Sd0・Tr/Trmax …(式4)
このような第七実施形態において、メモリ54bに記憶された画素値制御データDctに基づくことでS7105では、S104により変換された色毎の補正画素値Trに対応するだけでなく、画素値制御データDct中の対象重み付けデータDwoにも対応する色毎の表示画素値Tdを、決定する。それと共に、メモリ54bに記憶された輝度値制御データDcsに基づくことでS7105では、S104により変換された特定色の補正画素値Trに対応するだけでなく、輝度値制御データDcs中の対象重み付けデータDwoにも対応する光源輝度値Sdを、決定する。これらにより表示画像56の虚像表示輝度Ldは、決定された色毎の表示画素値Td及び光源輝度値Sdに追従することで、S104により変換された補正画素値Trに対応して制御されることとなる。尚、こうしたS7105は補正の有効時間だけ継続され、当該有効時間が経過すると、S101へ戻る。
ここまでの説明から第七実施形態では、HCU54のS7105を実行する機能部分が「表示制御ブロック」に相当する。
以上より第七実施形態では、特定画素部分Pcの撮像画素値Tcから変換されて実際の外界明るさLoを正確に反映する補正画素値Trと対応するように、表示画素値Tdと光源輝度値Sdとが調整されることとなる。このとき、これらの調整対象が対応させられる対象重み付けデータDwoによると、表示画素値Tdと光源輝度値Sdとの一方である前者に、他方である後者よりも補正の重みが付けられる。これによれば、優先的な調整対象となる一方に、補助的な調整対象となる他方を組み合わせることで、虚像表示輝度Ldの分解能を細かく設定してコントラスト不良を抑制できるので、視認性確保効果の信頼性を高めることが可能となる。
(他の実施形態)
以上、本発明の複数の実施形態について説明したが、本発明は、それらの実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
第一〜第七実施形態に関する変形例1では、HCU54に加えて又は代えて、車両2の他の表示要素を制御するECUと、ECU31,42とのうち一種類又は複数種類との共同により、表示制御フローの少なくとも一部を機能的(即ち、ソフトウェア的)に実現してもよい。第一〜第七実施形態に関する変形例2では、表示制御フローの少なくとも一部を、HCU54等により機能的に実現する代わりに、一つ又は複数のIC等によりハードウェア的に実現してもよい。
第一〜第七実施形態に関する変形例3では、HUD50若しくは車両2の他の表示要素に内蔵されたメモリ、又は当該内蔵メモリとメモリ54bとの共同により、表示画像56の記憶を実現していてもよい。第一〜第七実施形態に関する変形例4では、HUD50若しくは車両2の他の表示要素に内蔵されたメモリ、又は当該内蔵メモリとメモリ54bとの共同により、データDr,Dct,Dwc,Dwo,Dcsのうち少なくとも一種類の記憶を実現していてもよい。
第一〜第七実施形態に関する変形例5では、例えば時間又は車速等に応じて変化する画素部分を、特定画素部分Pcとして選定してもよい。第一、第二、第四〜第七実施形態に関する変形例6では、縦横に連続する複数画素部分のうち不連続な所定数画素部分を、特定画素部分Pc又は画素エリアPdとして選定してもよい。
第一〜第七実施形態に関する変形例7では、カメラ画像33のうち、外界風景8にて消失点Hpを含む(即ち、上下に跨ぐ)箇所を撮像した画素部分を、特定画素部分Pcとして選定してもよい。第一〜第七実施形態に関する変形例8では、カメラ画像33のうち、外界風景8にて地平線Hlを含む(即ち、上下に跨ぐ)箇所を撮像した画素部分を、特定画素部分Pcとして選定してもよい。
第一〜第七実施形態に関する変形例9では、表示領域Adの一部又は全体が外界カメラ30aの撮像領域Acから外れていてもよい。この変形例9の場合には、車室2aの前方以外に撮像領域Acを設定してもよい。第一〜第七実施形態に関する変形例10では、表示領域Adの一部又は全体が明るさセンサ40aの検知領域Alから外れていてもよい。この変形例10の場合には、車室2aの前方以外に検知領域Alを設定してもよい。
第一〜第七実施形態に関する変形例11では、図26に示すように、外界カメラ30a及び明るさセンサ40aの少なくとも一方を、HUD50に専用に設けてもよい。尚、図25は、外界カメラ30a及び明るさセンサ40aの双方をHUD50に専用に設けた変形例11を、示している。
第一〜第七実施形態に関する変形例12では、図27に示すように撮像画素値Tcは、輝度(Y)、YとBとの色差(U)、並びにYとRとの色差(V)についての階調値を、表すものであってもよい。即ち変形例12では、外界カメラ30aにより各画素の撮像画素値TcがYUVデータフォーマットにて生成され、図28に示すように補正データDrがY,U,V毎に用意される。そこで、この変形例12の場合には、「色毎」及び「特定色」をそれぞれ、「Y,U,V毎」及び「Y,U,Vのうち特定一つ(図28の例ではY)」と読み替えることで、第一〜第七実施形態の実現が可能となる。
第一〜第七実施形態に関する変形例13では、撮像画素値Tcと補正画素値Trとの色毎の相関を相異ならせることで、色毎に個別の補正データDrをメモリ54bに記憶させてもよい。第三実施形態に関する変形例14では、第一実施形態に準じて複数画素部分の撮像画素値Tcを平均した値を複数回抽出して、当該複数回の抽出値をさらに平均した平均画素値Tcaveから、補正画素値Trの変換を実行してもよい。第三実施形態に関する変形例15では、第二実施形態に準じて最多画素部分Pcmの撮像画素値Tcを複数回抽出して、当該複数回の抽出値を平均した平均画素値Tcaveから、補正画素値Trの変換を実行してもよい。
第五〜第七実施形態に関する変形例16では、第二実施形態に準じて、各画素エリアPd又は特定画素部分Pcにおける最多画素部分Pcmの撮像画素値Tcから、補正画素値Trの変換を実行してもよい。第五〜第七実施形態に関する変形例17では、第三実施形態に準じて、各画素エリアPd又は特定画素部分Pcにおいて複数回抽出された単一画素部分の撮像画素値Tcを平均した平均画素値Tcaveから、補正画素値Trへの変換を実行してもよい。第五〜第七実施形態に関する変形例18では、第四実施形態に準じて、各画素エリアPd又は特定画素部分Pcにおいて複数回抽出された最大値画素部分Pclの撮像画素値Tcを平均した平均画素値Tcaveから、補正画素値Trへの変換を実行してもよい。
第七実施形態に関する変形例19では、対象重み付けデータDwoを、画素値制御データDct及び輝度値制御データDcsがそれぞれ従う式3,4に反映させる代わりに、補正データDrにおける色毎の補正画素値Trに反映させてもよい。この変形例19の場合には、表示画素値Tdを対応させる補正画素値Trとして、第一実施形態で説明した色毎の補正画素値Trにそれぞれ対象重み付けデータDwoを乗算した値を、Dwo=1とした式3(即ち式1)に導入することとなる。またこの変形例19の場合には、光源輝度値Sdを対応させる補正画素値Trとして、第七実施形態で説明した特定色の補正画素値Trに対象重み付けデータDwoを乗算した値を、Dwo=1とした式4(即ち式2)に導入することとなる。
変形例20では第七実施形態を、第五実施形態と組み合わせて実施してもよい。第七実施形態に関する変形例21では、表示画素値Tdよりも光源輝度値Sdに補正の重みを付けるための対象重み付けデータDwoを、採用してもよい。第一〜第五実施形態に関する変形例22では、レーザ走査式のプロジェクタ51を採用してもよい。この変形例22の場合にプロジェクタ51は、HCU54の制御する表示画素値Tdに従って複数色のレーザ光強度を調整することで、表示画像56を形成することとなる。
1 運転支援システム、2 車両、2a 車室、5 車両用表示装置、7 視認領域、8 外界風景、21 フロントウインドシールド、30a 外界カメラ、33 カメラ画像、40a 明るさセンサ、50 HUD、51 プロジェクタ、51a 表示ユニット、51b 光源ユニット、54 HCU、54a プロセッサ、54b メモリ、56 表示画像、Ac 撮像領域、Ad 表示領域、Al 検知領域、Dcs 輝度値制御データ、Dct 画素値制御データ、Dr 補正データ、Dwo 対象重み付けデータ、Hl 地平線、Hp 消失点Ld 虚像表示輝度、Lo 外界明るさ、Pc 特定画素部分、Pcl 最大値画素部分、Pcm 最多画素部分、Pd 画素エリア、Sd 光源輝度値、Tc 撮像画素値、Tcave 平均画素値、Td 表示画素値、Tr 補正画素値

Claims (10)

  1. 外界風景(8)の撮像によりカメラ画像(33)を取得する外界カメラ(30a)と、前記外界風景の外界明るさ(Lo)を検知する明るさセンサ(40a)とを搭載した車両(2)において、前記外界風景を透過する投影部材(21)へ表示画像(56)を投影することにより、前記表示画像を車室(2a)内の視認領域(7)にて視認可能に虚像表示する車両用表示装置(5)であって、
    前記表示画像を発光形成するヘッドアップディスプレイ(50)と、
    前記カメラ画像を構成する撮像画素値(Tc)から前記外界明るさに応じた補正により変換させる補正画素値(Tr)の前記撮像画素値に対する相関を、補正データ(Dr)として記憶するメモリ(54b)と、
    前記メモリに記憶された前記補正データに基づき、前記外界カメラにより取得された前記カメラ画像のうち消失点及び地平線の少なくとも一方よりも手前側を撮像した特定画素部分(Pc)の前記撮像画素値を、前記明るさセンサにより検知された前記外界明るさに応じて前記補正画素値に変換する変換ブロック(S104,S2104,S3104,S4104,S5104)と、
    前記変換ブロックにより前記撮像画素値から変換された前記補正画素値に対応させて、前記ヘッドアップディスプレイによる前記表示画像の虚像表示輝度(Ld)を制御する表示制御ブロック(S105,S5105,S6105,S7105)とを、備える車両用表示装置。
  2. 前記ヘッドアップディスプレイにより前記表示画像が虚像表示される表示領域(Ad)は、前記外界カメラの撮像領域(Ac)と前記明るさセンサの検知領域(Al)とに包含される請求項1に記載の車両用表示装置。
  3. 前記外界カメラにより取得された前記カメラ画像のうち前記特定画素部分としての複数画素部分の前記撮像画素値を平均することにより、平均画素値(Tcave)を算出する平均ブロック(S103b,S5103c)を、さらに備え、
    前記変換ブロック(S104,S5104)は、前記平均ブロックにより算出された前記平均画素値を、前記補正画素値に変換する請求項1又は2に記載の車両用表示装置。
  4. 前記外界カメラにより取得された前記カメラ画像のうち前記特定画素部分としての複数画素部分の前記撮像画素値を比較することにより、同一値又は同一範囲内の前記撮像画素値を与える画素数が最多となる最多画素部分(Pcm)の当該撮像画素値を抽出する抽出ブロック(S2103b)を、さらに備え、
    前記変換ブロック(S2104)は、前記抽出ブロックにより抽出された前記最多画素部分の前記撮像画素値を、前記補正画素値に変換する請求項1又は2に記載の車両用表示装置。
  5. 前記外界カメラにより取得された前記カメラ画像のうち前記特定画素部分としての単一画素部分の前記撮像画素値を抽出する抽出ブロック(S3103a)と、
    前記抽出ブロックにより複数回抽出された前記単一画素部分の前記撮像画素値を平均することにより、平均画素値(Tcave)を算出する平均ブロック(S3103b)とを、さらに備え、
    前記変換ブロック(S3104)は、前記平均ブロックにより算出された前記平均画素値を、前記補正画素値に変換する請求項1又は2に記載の車両用表示装置。
  6. 前記外界カメラにより取得された前記カメラ画像のうち前記特定画素部分としての複数画素部分の前記撮像画素値を比較することにより、最大の前記撮像画素値を与える最大値画素部分(Pcl)の当該撮像画素値を抽出する抽出ブロック(S4103b)と、
    前記抽出ブロックにより複数回抽出された前記最大値画素部分の前記撮像画素値を平均することにより、平均画素値(Tcave)を算出する平均ブロック(S4103c)とを、さらに備え、
    前記変換ブロック(S4104)は、前記平均ブロックにより算出された前記平均画素値を、前記補正画素値に変換する請求項1又は2に記載の車両用表示装置。
  7. 前記外界カメラにより取得された前記カメラ画像の前記特定画素部分と、前記ヘッドアップディスプレイにより前記表示画像が虚像表示される表示領域(Ad)とを、互いに対応する複数の画素エリア(Pd)に分割する分割ブロック(S5103b)を、さらに備え、
    前記変換ブロック(S5104)は、前記分割ブロックにより分割された前記特定画素部分の各前記画素エリアの前記撮像画素値をそれぞれ、前記補正画素値に変換し、
    前記表示制御ブロック(S5105)は、前記変換ブロックにより前記撮像画素値から変換された前記特定画素部分の各前記画素エリアの前記補正画素値に個別に対応させて、前記ヘッドアップディスプレイによる前記表示画像の各前記画素エリアの前記虚像表示輝度を制御する請求項1〜6のいずれか一項に記載の車両用表示装置。
  8. 前記表示制御ブロック(S105,S5105,S7105)は、
    前記変換ブロックにより前記特定画素部分の前記撮像画素値から変換された前記補正画素値に対応させて、前記ヘッドアップディスプレイにより形成される前記表示画像の表示画素値(Td)を調整する請求項1〜7のいずれか一項に記載の車両用表示装置。
  9. 前記表示制御ブロック(S6105,S7105)は、
    前記変換ブロックにより前記特定画素部分の前記撮像画素値から変換された前記補正画素値に対応させて、前記ヘッドアップディスプレイにより前記表示画像を発光させる光源輝度値(Sd)を調整する請求項1〜7のいずれか一項に記載の車両用表示装置。
  10. 前記メモリは、前記ヘッドアップディスプレイにより形成される前記表示画像の表示画素値(Td)と、前記ヘッドアップディスプレイにより前記表示画像を発光させる光源輝度値(Sd)との一方に、他方よりも補正の重みを付ける対象重み付けデータ(Dwo)を、記憶し、
    前記表示制御ブロック(S7105)は、前記変換ブロックにより前記特定画素部分の前記撮像画素値から変換された前記補正画素値に対応させると共に、前記メモリに記憶された前記対象重み付けデータに対応させて、前記表示画素値及び前記光源輝度値を調整する請求項1〜7のいずれか一項に記載の車両用表示装置。
JP2017031370A 2017-02-22 2017-02-22 車両用表示装置 Active JP6617733B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017031370A JP6617733B2 (ja) 2017-02-22 2017-02-22 車両用表示装置
CN201880012631.1A CN110312632B (zh) 2017-02-22 2018-01-23 车辆用显示装置
PCT/JP2018/001851 WO2018155039A1 (ja) 2017-02-22 2018-01-23 車両用表示装置
DE112018000948.3T DE112018000948T5 (de) 2017-02-22 2018-01-23 Fahrzeuganzeigevorrichtung
US16/541,042 US11007874B2 (en) 2017-02-22 2019-08-14 Vehicle display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017031370A JP6617733B2 (ja) 2017-02-22 2017-02-22 車両用表示装置

Publications (2)

Publication Number Publication Date
JP2018135008A true JP2018135008A (ja) 2018-08-30
JP6617733B2 JP6617733B2 (ja) 2019-12-11

Family

ID=63253704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017031370A Active JP6617733B2 (ja) 2017-02-22 2017-02-22 車両用表示装置

Country Status (5)

Country Link
US (1) US11007874B2 (ja)
JP (1) JP6617733B2 (ja)
CN (1) CN110312632B (ja)
DE (1) DE112018000948T5 (ja)
WO (1) WO2018155039A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018118580A (ja) * 2017-01-24 2018-08-02 株式会社デンソー 車両用表示装置
DE102021209616B3 (de) 2021-09-01 2022-07-07 Continental Automotive Gmbh Head-Up-Display mit reduzierter Verdeckung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006036166A (ja) * 2004-07-30 2006-02-09 Nippon Seiki Co Ltd 車両用表示装置
JP2010072365A (ja) * 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
JP2010177788A (ja) * 2009-01-27 2010-08-12 Brother Ind Ltd ヘッドマウントディスプレイ
JP2015022013A (ja) * 2013-07-16 2015-02-02 株式会社デンソー 検査装置
JP2016097818A (ja) * 2014-11-21 2016-05-30 日本精機株式会社 ヘッドアップディスプレイ装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008001182A (ja) 2006-06-21 2008-01-10 Nissan Motor Co Ltd 車両用視覚情報呈示装置及び車両用視覚情報呈示方法
US8363131B2 (en) * 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
US9214112B2 (en) * 2009-09-29 2015-12-15 Panasonic Intellectual Property Management Co., Ltd. Display device and display method
JP6076017B2 (ja) * 2012-09-28 2017-02-08 矢崎総業株式会社 車両用表示装置
JP2014136520A (ja) 2013-01-17 2014-07-28 Denso Corp ヘッドアップディスプレイ装置
CN104966485B (zh) * 2015-07-17 2018-05-22 上海酷驾智能技术有限公司 一种背光可调的抬头显示器
JP6608213B2 (ja) 2015-08-05 2019-11-20 横浜ゴム株式会社 変性ポリマーの製造方法
JP6828266B2 (ja) * 2016-04-18 2021-02-10 ソニー株式会社 画像表示装置及び画像表示装置、並びに移動体
JP7160301B2 (ja) * 2018-01-17 2022-10-25 株式会社ジャパンディスプレイ モニター表示システム及びその表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006036166A (ja) * 2004-07-30 2006-02-09 Nippon Seiki Co Ltd 車両用表示装置
JP2010072365A (ja) * 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
JP2010177788A (ja) * 2009-01-27 2010-08-12 Brother Ind Ltd ヘッドマウントディスプレイ
JP2015022013A (ja) * 2013-07-16 2015-02-02 株式会社デンソー 検査装置
JP2016097818A (ja) * 2014-11-21 2016-05-30 日本精機株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
WO2018155039A1 (ja) 2018-08-30
US20190381885A1 (en) 2019-12-19
DE112018000948T5 (de) 2019-12-12
JP6617733B2 (ja) 2019-12-11
CN110312632A (zh) 2019-10-08
CN110312632B (zh) 2022-06-21
US11007874B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
JP6617735B2 (ja) 車両用表示装置
US10754153B2 (en) Vehicle display apparatus
CN104512411B (zh) 车辆控制系统及图像传感器
JP5056831B2 (ja) ヘッドアップディスプレイ装置
JP4389173B2 (ja) 車両用表示装置
US20180015879A1 (en) Side-view mirror camera system for vehicle
JP4611899B2 (ja) カメラのレンズ汚れ検出装置及び画像表示システム
US10609339B2 (en) System for and method of dynamically displaying images on a vehicle electronic display
US20120320213A1 (en) Image display device
JP4622740B2 (ja) 車両用表示制御装置
US11009703B2 (en) Vehicle display device
JP6705335B2 (ja) 車両用表示制御装置及び車両運転アシストシステム
US11007874B2 (en) Vehicle display device
KR20150079004A (ko) 차량용 표시 장치 및 그 제어 방법
JP3961969B2 (ja) 車両周辺画像処理システム
JP2019001226A (ja) 電子ミラー装置
JP2018090219A (ja) 車両用表示制御装置及び車両用表示システム
JP6607128B2 (ja) 虚像表示装置、虚像表示方法および制御プログラム
JP2020083071A (ja) 車載装置
JP2014021543A (ja) 車両用視界支援装置および車両用視界支援プログラム
JP2019001293A (ja) 車載用表示装置
JP6951909B2 (ja) 表示装置
JP2024021119A (ja) 制御装置、後方確認装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191028

R151 Written notification of patent or utility model registration

Ref document number: 6617733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250