JP2018144554A - 車両用ヘッドアップディスプレイ装置 - Google Patents

車両用ヘッドアップディスプレイ装置 Download PDF

Info

Publication number
JP2018144554A
JP2018144554A JP2017039590A JP2017039590A JP2018144554A JP 2018144554 A JP2018144554 A JP 2018144554A JP 2017039590 A JP2017039590 A JP 2017039590A JP 2017039590 A JP2017039590 A JP 2017039590A JP 2018144554 A JP2018144554 A JP 2018144554A
Authority
JP
Japan
Prior art keywords
display
display device
vehicle
information
composite image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017039590A
Other languages
English (en)
Inventor
康次 桑原
Koji Kuwabara
康次 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marelli Corp
Original Assignee
Calsonic Kansei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Calsonic Kansei Corp filed Critical Calsonic Kansei Corp
Priority to JP2017039590A priority Critical patent/JP2018144554A/ja
Priority to US15/902,000 priority patent/US20180253904A1/en
Publication of JP2018144554A publication Critical patent/JP2018144554A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/31Virtual images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】主に、直感的に判かり易い表示を、より簡易な装置構成で行い得るようにする。【解決手段】運転を支援する情報をフロントウィンドウ11に対して反射表示可能な表示装置4と、表示装置4の表示を制御する表示制御装置9を有するヘッドアップディスプレイ装置2に関する。表示制御装置9が、表示が必要な情報21と、カメラ22で撮影した実写映像23を合成して、合成した合成画像24を表示装置4の画面の全部または一部に表示可能な合成画像生成部25を備えるようにしている。【選択図】図2

Description

この発明は、車両用ヘッドアップディスプレイ装置に関するものである。
自動車などの車両に対し、ヘッドアップディスプレイ装置(車両用ヘッドアップディスプレイ装置)を設置したものが存在している(例えば、特許文献1参照)。このヘッドアップディスプレイ装置は、運転を支援する情報をフロントウィンドウに対して反射表示可能な表示装置を備えている。
特開2005−313772号公報
上記特許文献1の車両用ヘッドアップディスプレイ装置では、乗員の体格や動きなどに合わせてフロントウィンドウから見える風景(特に運転者注視物体など)に車両用ヘッドアップディスプレイ装置の表示が重なるように、表示の位置を制御するようにしていた。そのため、例えば、運転者を映すカメラが必要になるなどにより、装置構成が複雑で大掛かりなものとなっていた。
そこで、本発明は、上記した問題点を解決することを、主な目的としている。
上記課題を解決するために、本発明は、
運転を支援する情報をフロントウィンドウに対して反射表示可能な表示装置と、
前記表示装置の表示を制御する表示制御装置を有する車両用ヘッドアップディスプレイ装置において、
前記表示制御装置が、表示が必要な情報と、カメラで撮影した実写映像を合成して、合成した合成画像を表示装置の画面の全部または一部に表示可能な合成画像生成部を備えたことを特徴とする。
本発明によれば、上記構成によって、直感的に判かり易い表示を、簡易な装置構成で行うことなどができる。
本実施の形態にかかる車両用ヘッドアップディスプレイ装置の構成図である。 図1の表示制御装置の構成図である。 図1の車両用ヘッドアップディスプレイ装置の先行車両検知時の表示例(状態表示)を示す図である。 図3Aと同様の割込み車両検知時の表示例(警告表示)を示す図である。 図1の車両用ヘッドアップディスプレイ装置の車線検知時の表示例(状態表示)を示す図である。 図4Aと同様の車線逸脱時の表示例(警告表示)を示す図である。 車両用ヘッドアップディスプレイ装置における合成画像の表示位置を示す図である。 車両用ヘッドアップディスプレイ装置における合成画像の表示位置の別の例を示す図である。 実写映像をトリミングする状態を示す図である。このうち、(a)は1:1の縦横比でトリミングする場合、(b)は3:5の縦横比でトリミングする場合である。 合成画像のサイズを示す図であり、(a)は縦横比が1:1のもの、(b)は縦横比が3:5のものである。 表示制御装置の基本的なフローチャートである。 サイズや表示位置を変更し得るようにした場合のフローチャートである。
以下、本実施の形態を、図面を用いて詳細に説明する。
図1〜図10は、この実施の形態を説明するためのものである。
<構成>以下、この実施例の構成について説明する。
図1に示すように、自動車などの車両1に対し、ヘッドアップディスプレイ装置2(車両用ヘッドアップディスプレイ装置)を設置する。このヘッドアップディスプレイ装置2は、運転を支援する情報をフロントウィンドウ11に対して反射表示可能な表示装置4を備えている。
また、ヘッドアップディスプレイ装置2は、表示装置4の表示を制御する表示制御装置9(図2参照)を有している。
ここで、運転を支援する情報は、例えば、速度情報や経路情報などの一般的なもの(通常の表示)とすることができる。表示装置4は、液晶や有機ELなどの表示パネルや、プロジェクターの映像を表示するスクリーンなどとすることができる。
この実施例では、ヘッドアップディスプレイ装置2は、車両1に設けたインストルメントパネル12の部分に取付けるものとしている。即ち、インストルメントパネル12の内部に設置した表示装置4の画像5を、インストルメントパネル12に設けた開口部13を通してフロントウィンドウ11で反射するものとなっている。フロントウィンドウ11は、例えば、楔形状断面のガラスを用いることなどによって表示装置4の表示を反射できるようになる。そして、このヘッドアップディスプレイ装置2では、フロントウィンドウ11の前方に虚像7を表示するようになっている。この虚像7は、運転席6に着座している乗員がフロントウィンドウ11を通して見る外部の風景に重ねて、または、外部の風景に並べて表示される。
なお、インストルメントパネル12の内部における、表示装置4とフロントウィンドウ11との間の位置には、表示装置4の表示をフロントウィンドウ11へ導く反射鏡や、表示装置4の表示を拡大しながらフロントウィンドウ11へ導く拡大鏡などの光学部品14を単数または複数設置しても良い。但し、ヘッドアップディスプレイ装置2の具体的な構成は、上記に限るものではない。
以上のような基本的な構成に対し、この実施例では、以下のような構成を備えるようにしている。
(1)図2に示すように、表示制御装置9が、表示が必要な情報21と、カメラ22で撮影した実写映像23を合成して、合成した合成画像24(図3A(〜図4Bなど)にフロントウィンドウ11に対する表示例として示したものを参照)を、表示装置4の画面の全部または一部(図5、図6参照)に表示可能な合成画像生成部25を備えるようにする。
ここで、表示が必要な情報21は、上記した速度情報や経路情報などのような通常の表示に関するものであっても良いが、この場合には、通常の表示以外の特別な情報としている。この表示が必要な情報21は、例えば、走行中に突発的、偶発的、または、非周期的、非定常的に発生した事象やイベントなどのような特別に表示が必要になった情報、或いは、走行中の特定の場面で表示の必要性が発生したような特定の情報などのことである(以下、必要に応じて、要表示情報21という)。
実写映像23を撮影するカメラ22は、車両1に取付けられている各種のカメラ22のうち、主に、車両1の前方を撮影するカメラ22のことである。但し、前方を撮影するカメラ22以外のカメラ22を用いることもできる。
合成画像24は、実写映像23の全部または一部に対し、要表示情報21を、意味を分かり易く図形化または記号化して重ねたものとなる。
(2)合成画像生成部25は、走行中に要表示情報21ありと判断した時にカメラ22からの実写映像23を取得して、合成画像24を生成し、表示装置4の画面へ割り込み表示ができるように構成しても良い。
ここで、上記カメラ22を車両1に搭載した別の装置(例えば、自動ブレーキシステムや車線検知システムや自動運転システムなど)が別の目的で使用しているような場合には、合成画像生成部25は、上記した別の装置から処理に必要な分だけ実写映像23を取り込むようにする。割り込み前の表示装置4の画面は、例えば、速度情報や経路情報などの運転を支援する情報を表示する通常の表示となっている。割り込みは、合成画像24を、通常の表示に替えて表示するか、または、通常の表示に重ねて表示する。割り込みを行っている間、通常の表示は、合成画像24以外の空いている領域に位置を移動して表示するようにしても良い。合成画像24の割り込みは、一時的に(即ち、運転者が認識するのに必要な時間だけ)行うようにする。必要な時間は、例えば、数秒〜10数秒程度の比較的短い時間を想定している。なお、割り込み後には、通常の表示に戻すようにする。
(3)合成画像生成部25は、表示が必要な情報21の重要度に応じて合成画像24の表示位置を変えられるようにしても良い。
ここで、表示が必要な情報21の重要度は、少なくとも、車両1の状態や走行の状態や運転者の状態などを表示する状態表示(例えば、図3A、図4A参照)と、危険回避などのために警告を行う警告表示(例えば、図3B、図4B参照)の2段階に分けることができる(重要度:状態表示<警告表示)。但し、情報の重要度は、3段階以上に分けるようにしても良い。
合成画像24の表示位置は、例えば、図5に示すように、表示装置4の画面の中央領域Cと、右側領域Rと、左側領域Lの3箇所のうちのいずれかとすることができる。また、例えば、図6に示すように、中央領域Cと右側領域Rと左側領域Lの3つの領域を上下に分けた6つの領域(上側の中央領域C1および下側の中央領域C2、上側の右側領域R1および下側の右側領域R2、上側の左側領域L1および下側の左側領域L2)のうちのいずれかとすることができる。
そして、例えば、重要度の高い情報については、運転者の視線がどこにあっても目に付き易い位置(例えば、中央領域Cや、上側の中央領域C1や、下側の中央領域C2など)を指定位置として表示し、また、重要度の低い情報については、その情報に関連する位置(例えば、中央領域Cや右側領域Rや左側領域Lや、上記した6つの領域のうちのいずれか)やその他の空いている位置などに表示することができる。
なお、表示位置4からフロントウィンドウ11までの光路の構成によっては、表示位置4の画像5が上下反転してフロントウィンドウ11に投影されることになるので、図5、図6の表示位置は、フロントウィンドウ11に写った状態を基準としている。
(4)合成画像生成部25は、表示が必要な情報21の対象物41に応じて合成画像24のサイズを変えられるようにしても良い。
ここで、図7(a)(b)に示すように、カメラ22で撮影した実写映像23は、必要な部分をトリミングして使うようにするのが好ましい(トリミング画像23a)。トリミングは、対象物41の大きさや形状などに合わせて自動的に行う。
対象物41は、状態表示や警告表示を行う対象となる物のことであり、例えば、対象物41は、要表示情報21の内容に応じて、先行車両(例えば、車両42)や、車線の境界線43R,43Lや、歩行者や、車線上の障害物などに自動的に変化する。
合成画像24のサイズは、カメラ22の実写映像23からトリミングして使用する部分のサイズ(大きさおよび縦横比)のことである。同じ実写映像23からであっても、表示する対象物41によって合成画像24のサイズは異なるものになる。
例えば、対象物41が先行車両(例えば、車両42)の場合、実写映像23から先行車両(例えば、車両42)または先行車両(例えば、車両42)よりも一回り大きい範囲の部分をトリミングすると、図8(a)に示すような、縦横比が1:1の正方形状のサイズとなる。
また、対象物41が車線の場合、実写映像23から走行中の車線の両側の境界線43R,43Lを含む所要範囲の部分をトリミングすると、図8(b)に示すような、縦横比が3:5の横長のサイズとなる。
1:1の縦横比でトリミングした画像(トリミング画像23a)は、中央領域Cと、右側領域Rと、左側領域Lの3つの領域のいずれかに表示するのが好ましいものとなる。
また、3:5の縦横比でトリミングした画像(トリミング画像23a)は、上記した6つの領域(上側の中央領域C1および下側の中央領域C2、上側の右側領域R1および下側の右側領域R2、上側の左側領域L1および下側の左側領域L2)のいずれかに表示するのが好ましいものとなる。
なお、上記では、合成画像24は、1:1の縦横比のものと、3:5の縦横比のものとの2種類のサイズを選べるようにしているが、これに限るものではなく、更に多くのサイズを選べるようにしても良い。
(5)そして、図2に示すように、合成画像生成部25は、車速信号51およびセンサー52からの検知信号53を処理する検知処理回路部54と、カメラ22からの実写映像23を取得する画像取り込み回路部55と、検知処理回路部54および画像取り込み回路部55からの信号を合成する画像合成処理回路部57を備えたものとしても良い。
ここで、検知処理回路部54は、車速信号51や、その他の車両制御信号や、車両1に取付けられた各種のセンサー52などからの情報を入力して、必要な情報処理を行うことで、表示が必要な情報21であるかどうか(または、「要表示情報21あり」かどうか)を判断するものである。要表示情報21ありの判断は、既存の画像処理技術や制御技術を用いて行ったり、人工知能によって行ったりすることができる。
センサー52は、車両1に設置された各種のものを使用することができる。センサー52には、例えば、自動ブレーキシステムや車線検知システムや自動運転システムなどの別の装置に用いられるもの(例えば、ミリ波レーダーや赤外線レーザーレーダーやカメラ22(ステレオカメラやシングルカメラ))などを使うことができる。また、車両1に取付けられた各種のカメラ22についてもセンサー52として広く使用することができる。
また、検知処理回路部54は、情報の重要度を判定する重要度判定部54aを有しても良い。情報の重要度の判定は、予め、要表示情報21と成り得る事象をピックアップして状態表示か警告表示かを分類した判断テーブル54bなどを用いて行うことができる。
重要度判定部54aは、予め定めた閾値や判断回数のカウント値などに基づいて、状態表示から警告表示への重要度の変化(重要度アップ)や、警告表示から状態表示への重要度の変化(重要度ダウン)を判断できるようにしても良い。そして、重要度の変化に合わせて、表示位置を変化させるようにしても良い。要表示情報21と成り得る事象のうち、重要度が高いものとしては、例えば、衝突回避警告や、アクセル踏み間違い警告や、居眠り警告や、よそ見警告や、体調不良検知および警告などがある。なお、検知処理回路部54の機能の少なくとも一部は、上記した別の装置によって代行しても良い。
画像取り込み回路部55は、カメラ22からの実写映像23を常時撮影しているものとしても良いし、または、必要な時に必要な長さだけ撮影するものとしても良い。
画像合成処理回路部57は、カメラ22からの実写映像23の必要部分を必要なサイズにトリミングするトリミング部57aと、トリミング部57aでトリミングした実写映像23に要表示情報21を示す図形や記号を合成して合成画像24を作成する合成実行部57bと、合成画像24の表示位置を決めて割り込み表示を行う割り込み処理部57cを有するようにしても良い。
(6)より具体的には、ヘッドアップディスプレイ装置2は、
少なくとも、図3A、図3Bに示すように、表示が必要な情報21を先行車両検知情報とし、実写映像23を先行車両(車両42または(割込み)車両45)とした合成画像24、または、図4A、図4Bに示すように、表示が必要な情報21を車線検知情報とし、実写映像23を車線(の境界線43Rまたは43L)とした合成画像24を表示することができるようにしても良い。
<作用>以下、この実施例の作用について説明する。
まず、基本的な処理の流れを、図9を用いて説明する。
制御が開始されると、ステップS1では、検知処理回路部54が、車速信号51により、「車速あり」かどうか(即ち、走行中かどうか)を判断する。Yes(車速あり=走行中)の場合にはステップS2へ進み、No(車速なし=停車中)の場合にはステップS1をループして走行中になるまで待機する。
ステップS2では、検知処理回路部54が、センサー52からの検知信号53により、「要表示情報21あり」かどうかを判断する。Yes(要表示情報21あり)の場合にはステップS3へ進み、No(要表示情報21なし)の場合にはステップS4へ進んで通常の表示(通常の表示)を行い、1回の処理を終了する。
ステップS3では、画像取り込み回路部55が、カメラ22からの実写映像23を取得する。その後、ステップS5へ進む。
ステップS5では、画像合成処理回路部57が、表示が必要な情報21と、カメラ22で撮影した実写映像23を合成して合成画像24を作成する。その後、ステップS6へ進む。
ステップS6では、画像合成処理回路部57が、通常の表示に割り込みをかけて、表示装置4に合成画像24を表示する。以上で1回の処理が終了する。その後、上記処理を繰り返す。
次に、合成画像24のサイズや表示位置を変更する場合の処理の流れを、図10を用いて説明する。
この場合には、ステップS4までは、図9と同じであるので説明を省略する。そして、ステップS3で、画像取り込み回路部55が、カメラ22からの実写映像23を取得した後は、ステップS51へ進む。
ステップS51では、画像合成処理回路部57が、カメラ22からの実写映像23における表示に必要な部分(表示範囲)のサイズ(アスペクト比)を選定し、実写映像23を選定したサイズにトリミングして表示が必要な情報21を合成し、合成画像24を作成する。その後、ステップS52へ進む。
ステップS52では、画像合成処理回路部57が、表示が必要な情報21の重要度を判定する。
Yesの場合(即ち、表示が必要な情報21の重要度が高い場合)には、ステップS61へ進んで、指定位置(中央領域C)に合成画像24を割り込み表示して1回の処理を終了する。
Noの場合(即ち、表示が必要な情報21の重要度が低い場合)には、ステップS62へ進んで、表示が必要な情報21の実写映像23での関連位置を判断する(例えば、部位は右か?など)
Yesの場合(即ち、部位が右の場合)には、ステップS63へ進んで、右側の指定位置(右側領域R,右側領域R1,右側領域R2)に合成画像24を割り込み表示して1回の処理を終了する。
Noの場合(即ち、部位が左の場合)には、ステップS63へ進んで、左側の指定位置(左側領域L,左側領域L1,左側領域L2)に合成画像24を割り込み表示して1回の処理を終了する。その後、上記処理を繰り返す。
<効果>この実施例によれば、以下のような効果を得ることができる。
(効果1)表示が必要な情報21と、カメラ22で撮影した実写映像23を合成して、合成した合成画像24を表示装置4の画面の全部または一部に表示するようにした。これにより、直感的に判かり易い表示を行うことができる。また、合成画像24を表示装置4の画面の全部または一部にそのまま表示する構成としたことで、前方の決まった位置での表示となる。そのため、例えば、乗員の体格や動きなどに合わせてフロントウィンドウ11からの風景とヘッドアップディスプレイ装置2の表示が重なるように表示の位置を制御する必要がなくなり、風景と表示がズレるなどの不具合をなくすことができる。しかも、装置構成を無用に複雑化しなくても上記したような直感的に判かり易い表示を行うことができるので、既存の装置構成を使って簡易且つ安価に実現することができる。
(効果2)合成画像生成部25は、走行中に要表示情報21ありと判断した時にカメラ22からの実写映像23(の必要部分)を取得して、合成画像24を生成し、表示装置4の画面に合成画像24の割り込み表示を行うことができるようにしている。これにより、運転中の状況に応じて、必要な時に必要な表示を生成して表示することができるようになる。よって、乗員は煩わしさを感じることなく必要な情報を効率的に得ることができると共に、合成画像生成部25は、処理負担を軽減することができる。
(効果3)合成画像生成部25を、表示が必要な情報21の重要度に応じて合成画像24の表示位置を変えられるようにしても良い。これにより、表示が必要な情報21の重要度に応じた最適な注意喚起を行うことができる。よって、表示の見易さや分かり易さを向上することができる。
例えば、図3Aの場合、先行車検知の状態表示であるため、図5における右側領域R(や中央領域Cや左側領域L)などに表示することができる。図3Bの場合、割込み車両車検知の警告表示であるため、図5における中央領域Cに表示することができる。図4Aの場合、車線検知の状態表示であるため、図6における上側の左側領域L1などに表示することができる。図4Bの場合、車線逸脱の警告表示であるため、図6における上側の中央領域C1に表示することができる。
(効果4)合成画像生成部25を、表示が必要な情報21の対象物41に応じて合成画像24のサイズを変えられるようにしても良い。これにより、表示が必要な情報21の対象物41に応じた最適な表示を行うことができる。よって、表示の見易さや分かり易さを向上することができる。
例えば、図3A、図3Bのように、1:1の縦横比のものとすることができる。また、図4A、図4Bのように、3:5の縦横比のものとすることができる。
(効果5)合成画像生成部25が、車速信号51およびセンサー52からの検知信号53を処理する検知処理回路部54と、カメラ22からの実写映像23を取得する画像取り込み回路部55と、検知処理回路部54および画像取り込み回路部55からの信号を合成する画像合成処理回路部57を備えるようにした。上記構成とすることにより、実施可能な具体的な装置構成を得ることができる。
(効果6)図3Aに示すように、要表示情報21を先行車両検知情報とし、実写映像23を先行車両(車両42)とした合成画像24の表示を行うことができる。これにより、現在、自車両1がどの車両42を先行車両として検知中であるのかを乗員に報知することができる(状態表示)。
例えば、自動運転モードで車線の前を走っている車両42を先行車両として検知しながら走行している時に、自車線内へ隣接車線から別の車両45(図3B参照)が入り込んで来たような場合などに、自車が現在検知している先行車両が、従前の車両42のままなのか、それとも車線に横から入り込んで来た車両45へ移ったのかが分からないと、運転者は自動運転に対して不安を感じることになる。このような場合に、従前の車両42から入り込んで来た車両45へと検知対象車(先行車両)が切り替わったことが明確に分かれば、運転者は安心して自動運転を続けることができる。
よって、検知対象車が切り替わるような場面で状態表示を適切に行えば、分かり易く効果的な表示となる。この場合、従前の車両42に対する先行車両検知情報の表示と入り込んで来た車両45に対する先行車両検知情報の表示との両方を順番に切り替えて表示することで先行車両の切り替えのタイミングを明確に報知することが可能である。または、入り込んで来た車両45に対する先行車両検知情報の表示のみを(車両45の車線変更に合わせて表示位置を変えながら)行うようにしても、現在検出中の先行車両を明確に報知することが可能である。
なお、上記した別の車両45が割り込むようにして急に車線内に入り込んで来たような場合には、図3Bに示すような警告表示にしても良い。
また、図4Aに示すように、要表示情報21を車線検知情報とし、実写映像23を車線(の境界線境界線43R,43L)とした合成画像24の表示を行うことができる。これにより、現在の走行状態(車線逸脱の状況)を分かり易く表示することができる(状態表示)。
また、車線の逸脱の程度が予め設定した閾値よりも大きくなった場合や、車線の逸脱が頻繁に繰り返されるような場合などには、図4Bに示すように、状態表示から警告表示に切り替えても良い。この場合には、車線の左側の境界線43Lを自車が越えているので、警告表示は左側の境界線43Lになっている。なお、車線の右側の境界線43Rを自車が越えた場合には、警告表示は右側の境界線43Rになる。即ち、重要度の変化に応じた表示を行っても良い。
2 ヘッドアップディスプレイ装置
4 表示装置
5 画像
6 運転席
7 虚像
9 表示制御装置
11 フロントウィンドウ
21 要表示情報
22 カメラ
23 実写映像
24 合成画像
25 合成画像生成部
41 対象物(車線)
42 車両(先行車両)
45 車両(割込み車両)
51 車速信号
52 センサー
53 検知信号
54 検知処理回路部
55 画像取り込み回路部
57 画像合成処理回路部

Claims (6)

  1. 運転を支援する情報をフロントウィンドウに対して反射表示可能な表示装置と、
    前記表示装置の表示を制御する表示制御装置を有する車両用ヘッドアップディスプレイ装置において、
    前記表示制御装置が、表示が必要な情報と、カメラで撮影した実写映像を合成して、合成した合成画像を表示装置の画面の全部または一部に表示可能な合成画像生成部を備えたことを特徴とする車両用ヘッドアップディスプレイ装置。
  2. 請求項1に記載の車両用ヘッドアップディスプレイ装置であって、
    前記合成画像生成部は、走行中に要表示情報ありと判断した時に前記カメラからの実写映像を取得して、前記合成画像を生成し、前記表示装置の画面へ割り込み表示ができるように構成したことを特徴とする車両用ヘッドアップディスプレイ装置。
  3. 請求項1または請求項2に記載の車両用ヘッドアップディスプレイ装置であって、
    前記合成画像生成部は、表示が必要な情報の重要度に応じて合成画像の表示位置を変更可能なことを特徴とする車両用ヘッドアップディスプレイ装置。
  4. 請求項1ないし請求項3のいずれか1項に記載の車両用ヘッドアップディスプレイ装置であって、
    前記合成画像生成部は、表示が必要な情報の対象物に応じて合成画像のサイズを変更可能なことを特徴とする車両用ヘッドアップディスプレイ装置。
  5. 請求項1ないし請求項4のいずれか1項に記載の車両用ヘッドアップディスプレイ装置であって、
    前記合成画像生成部は、車速信号および前記センサーからの検知信号を処理する検知処理回路部と、前記カメラからの実写映像を取得する画像取り込み回路部と、前記検知処理回路部および前記画像取り込み回路部からの信号を合成する画像合成処理回路部を備えていることを特徴とする車両用ヘッドアップディスプレイ装置。
  6. 請求項1ないし請求項5のいずれか1項に記載の車両用ヘッドアップディスプレイ装置であって、
    少なくとも、前記表示が必要な情報を先行車両検知情報とし、前記実写映像を先行車両とした合成画像、または、前記表示が必要な情報を車線検知情報とし、前記実写映像を車線とした合成画像を表示可能なことを特徴とする車両用ヘッドアップディスプレイ装置。
JP2017039590A 2017-03-02 2017-03-02 車両用ヘッドアップディスプレイ装置 Pending JP2018144554A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017039590A JP2018144554A (ja) 2017-03-02 2017-03-02 車両用ヘッドアップディスプレイ装置
US15/902,000 US20180253904A1 (en) 2017-03-02 2018-02-22 Vehicle head-up display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017039590A JP2018144554A (ja) 2017-03-02 2017-03-02 車両用ヘッドアップディスプレイ装置

Publications (1)

Publication Number Publication Date
JP2018144554A true JP2018144554A (ja) 2018-09-20

Family

ID=63357372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017039590A Pending JP2018144554A (ja) 2017-03-02 2017-03-02 車両用ヘッドアップディスプレイ装置

Country Status (2)

Country Link
US (1) US20180253904A1 (ja)
JP (1) JP2018144554A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027158A1 (ja) 2018-07-31 2020-02-06 住友金属鉱山株式会社 リチウムイオン二次電池用正極活物質、リチウムイオン二次電池用正極活物質の製造方法、リチウムイオン二次電池

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139584B (zh) * 2015-10-15 2020-08-28 麦克赛尔株式会社 信息显示装置
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
KR20210026248A (ko) * 2019-08-29 2021-03-10 현대자동차주식회사 차량 사고 통보 장치, 그를 포함한 시스템 및 그 방법
JP7440235B2 (ja) * 2019-09-26 2024-02-28 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027158A1 (ja) 2018-07-31 2020-02-06 住友金属鉱山株式会社 リチウムイオン二次電池用正極活物質、リチウムイオン二次電池用正極活物質の製造方法、リチウムイオン二次電池

Also Published As

Publication number Publication date
US20180253904A1 (en) 2018-09-06

Similar Documents

Publication Publication Date Title
JP6413207B2 (ja) 車両用表示装置
JP4935571B2 (ja) 運転支援装置
JP6148887B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP2018144554A (ja) 車両用ヘッドアップディスプレイ装置
US20150191118A1 (en) Vehicular visibility support apparatus
JP6516642B2 (ja) 電子装置、画像表示方法および画像表示プログラム
JP5555526B2 (ja) 車両用ディスプレイ装置
JP6836206B2 (ja) 表示制御装置、及び表示制御プログラム
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
WO2019008764A1 (ja) 駐車支援方法及び駐車支援装置
JP4238429B2 (ja) 移動体の走行支援装置
JP6865006B2 (ja) 車両用表示装置
JP2005309812A (ja) 車両周辺表示制御装置
JP6939264B2 (ja) 車載表示装置
US20200051529A1 (en) Display device, display control method, and storage medium
US10971116B2 (en) Display device, control method for placement of a virtual image on a projection surface of a vehicle, and storage medium
JP2008018760A (ja) 運転支援装置
JP2005186648A (ja) 車両用周囲視認装置および表示制御装置
JP6825433B2 (ja) 虚像表示装置及びコンピュータプログラム
JP6867913B2 (ja) 車載システム及びヘッドアップディスプレイ装置
JP2014072604A (ja) 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
JP2019116220A (ja) 車両用視認装置
WO2020148957A1 (ja) 車両制御装置及び方法
JP6102628B2 (ja) ヘッドアップディスプレイ装置
JP2018087852A (ja) 虚像表示装置