JP2021135933A - 表示方法、表示装置及び表示システム - Google Patents

表示方法、表示装置及び表示システム Download PDF

Info

Publication number
JP2021135933A
JP2021135933A JP2020033779A JP2020033779A JP2021135933A JP 2021135933 A JP2021135933 A JP 2021135933A JP 2020033779 A JP2020033779 A JP 2020033779A JP 2020033779 A JP2020033779 A JP 2020033779A JP 2021135933 A JP2021135933 A JP 2021135933A
Authority
JP
Japan
Prior art keywords
image
display
gaze target
target object
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020033779A
Other languages
English (en)
Other versions
JP7402083B2 (ja
Inventor
美咲 浅見
Misaki Asami
美咲 浅見
雅紀 丸山
Masaki Maruyama
雅紀 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020033779A priority Critical patent/JP7402083B2/ja
Priority to US17/184,018 priority patent/US20210268961A1/en
Priority to CN202110219853.4A priority patent/CN113320473B/zh
Publication of JP2021135933A publication Critical patent/JP2021135933A/ja
Application granted granted Critical
Publication of JP7402083B2 publication Critical patent/JP7402083B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】文字や記号等の警告表示や、例えば注視対象である交通参加者に応じた画像の表示等をするよりも、煩わしさがなく、且つ、上記交通参加者の速度把握、リスク把握を早期に行うことができる表示方法、表示装置及び表示システムを提供する。【解決手段】少なくとも他の移動体(対向車152等)、及び固定物(街路樹170等)を含む物体を検知し、この検知された物体の周囲に、又は重畳して画像を表示する表示装置(虚像表示装置52)を備えた移動体(実施例:車両10)における表示方法において、他の移動体を検知した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して、表示装置に表示する。【選択図】図5

Description

本発明は、表示方法、表示装置及び表示システムに関し、例えば移動体に適用して好適な表示方法、表示装置及び表示システムに関する。
特許文献1記載の画像表示装置は、車両の進行方向に存在する対象物を検出し、運転者が容易且つ確実に周辺状況を把握できるようにすることを課題としている。
当該課題を解決するため、特許文献1に係る画像表示装置は、車両に搭載されたカメラ(1R、1L)により得られる画像から車両の進行方向に存在する対象物を抽出し、その位置を検出する。ヘッドアップディスプレイの表示画面(41)を3つの領域に分割する。中央領域(41a)に、カメラにより得られる画像及び車両の進行方向に設定される接近判定領域内に存在する対象物の強調画像を表示する。右領域(41b)及び左領域(41c)に、接近判定領域より外側に設定される侵入判定領域内に存在する対象物に対応するアイコン(ICR、ICL)を表示する。
特許文献2記載の車両用表示装置は、目標物が接近するかどうかを運転者が容易に把握することができる車両用表示装置を提供することを課題としている。
当該課題を解決するため、特許文献2に係る画像表示装置は、車両用表示装置(1)に、ヘッドアップディスプレイ(14)と、目標物画像を取得する先行車画像取得装置(11)と、自車両(100)から目標物までの車間距離を測定する車間距離センサ(10)と、当該測定された車間距離と相対速度に基づいて、目標物が自車両(100)に接近するかどうかを判定する接近判定部(12)とを設置する。そして、目標物が自車両(100)に接近すると判定された場合には、当該取得された目標物画像に基づいて、運転者により視認される目標物の実像が拡大されて描かれた拡大画像(15)を生成する。当該生成された拡大画像(15)を、当該実像に重畳させて、意識的な知覚限界値よりも低く、無意識的な知覚の範囲内でヘッドアップディスプレイ(14)に表示させる表示制御部(13)とを備える。
特開2001−23091号公報 特開2005−75190号公報
ところで、移動している直近のもの(車両を含む移動体、歩行者等)や、比較的近くに存在しているもの等よりも、比較的遠方に見えるもの(車両を含む移動体)で、相対速度が速く衝突リスクがある状況においては、当該「衝突リスク」がある「交通参加者」の速度を、より早く知覚させたい場合がある。
本発明はこのような課題を考慮してなされたものであり、文字や記号等の警告表示や、例えば注視対象である交通参加者に応じた画像の表示等をするよりも、煩わしさがなく、且つ、上記交通参加者の速度把握、リスク把握を早期に行うことができる表示方法、表示装置及び表示システムを提供することを目的とする。
本発明の一態様による表示方法は、少なくとも他の移動体、及び固定物を含む物体を検知し、この検知された物体の周囲に、又は重畳して画像を表示する表示装置を備えた移動体(実施例:車両)における表示方法において、前記他の移動体を検知した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して、前記表示装置に表示する。
本発明の他の態様による表示装置は、少なくとも他の移動体、及び固定物を含む物体を認識する周辺物体認識部と、該周辺物体認識部により認識された物体の周囲に、又は重畳して画像を表示する表示装置において、前記周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える。
本発明の他の態様による表示システムは、自車両の周辺の他の移動体、及び固定物を含む物体を検知する対象物の位置を認識する周辺物体認識部と、前記自車両に備えられた表示装置への画像表示を制御し、前記周辺物体認識部により認識された前記物体の位置に基づいて、前記物体に対応した画像を、該虚像が該物体の周囲に、又は重畳して、前記自車両の運転者に視認されるように、前記表示装置により表示する表示システムにおいて、前記周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える。
本発明によれば、文字や記号等の警告表示や、例えば注視対象である交通参加者に応じた画像の表示等をするよりも、煩わしさがなく、且つ、上記交通参加者の速度把握、リスク把握を早期に行うことができる表示方法、表示装置及び表示システムを提供することができる。
一実施形態による表示方法、表示装置及び表示システムが適用される車両を示すブロック図である。 虚像表示装置の一例であるヘッドアップディスプレイ(HUD)の一例を示す構成図である。 虚像表示装置の一例であるヘッドマウントディスプレイ(HMD)の一例を示す構成図である。 交差点において、前方に対向車(注視対象物体)が近づいている状況を示す表示例を示す図である。 図5Aは、注視対象物体である対向車が走行する移動経路上の車線を太くした画像を表示した例を示す説明図であり、図5Bは、注視対象物体である対向車が走行する移動経路に沿った周辺物体、例えば街路樹の個数を多くした画像を表示した例を示す説明図である。 図5Aに示す表示処理の一例を示すフローチャートである。 図5Bに示す表示処理の一例を示すフローチャートである。 図8Aは、注視対象物体である対向車が走行する移動経路上に、見掛け上の仮想画像(バーチャル・アイコン)を表示した例を示す説明図であり、図8Bは、注視対象物体である対向車が走行する移動経路上に、サイズの大きな車両の画像を表示した例を示す説明図である。 図8Aに示す表示処理の一例を示すフローチャートである。 図8Bに示す表示処理の一例を示すフローチャートである。 図11Aは、注視対象物体である対向車が走行する道路を暗色(輝度を極端に下げる)にする誇張表現を表示した例を示す説明図であり、図11Bは、注視対象物体である人が横断する道路を暗色(輝度を極端に下げる)にする誇張表現を表示した例を示す説明図である。 図11Aに示す表示処理の一例を示すフローチャートである。 図13Aは、注視対象物体である対向車が走行する道路を暗色にする誇張表現と、輝度コントラストの高いマーカーを強調表示した例を示す説明図であり、図13Bは、注視対象物体である人が横断する道路を暗色(輝度を極端に下げる)にする誇張表現と、輝度コントラストの高いマーカーを強調表示した例を示す説明図である。 図13Aに示す表示処理の一例を示すフローチャートである。
本発明による表示方法、表示装置及び表示システムについて、好適な実施形態を挙げ、添付の図面を参照して以下に詳細に説明する。
発明者らは、生物学上のヒトの速度知覚の特性として、以下の(A)、(B)、(C)という特性を活用した。
(A) 注視すべき対象の周囲において、周囲の物体の密集度が高いほど、注視対象の物体の速度を速く感じる。
(B) 注視すべき対象のサイズが比較的大きいものと、比較的小さいものとでは、サイズが比較的小さいものの方が、移動の速度が速く感じられる。
(C) 注視すべき移動対象が、背景に対して高い輝度コントラストを有する場合、低い輝度コントラストの場合に比べ、移動速度を過小評価されない。
本実施形態は、上述した(A)、(B)、(C)の特性に基づいて構成したものである。例えば車両に乗車しているユーザ(主に運転者)に注視させたい「注視対象や交通参加者」(具体的には、衝突リスクの高い対向車や歩行者等)の周辺にある物体について、当該「周辺物体」に重畳的に、当該「周辺物体」に対応した画像を誇張表現して、ヘッドアップディスプレイ等に表示する。このとき、上記「注視対象や交通参加者」に応じた画像を重畳表示しない。
誇張表現としては、以下の(1)〜(6)等に示す画像を後述するヘッドアップディスプレイ等に表示することが挙げられる。
(1)対向車線の車線を太くする。
(2)沿道にある街路樹(樹木)・建物・人等の画像を多く配置する。
(3)直近の対向車について見かけよりも大きい「アイコン」画像をゆっくり動かす。
(4)直近の対向車を示す「バーチャルアイコン」画像をゆっくり動かす。
(5)直近の対向車又は横断歩行者の輝度コントラストが高くなるよう、背景の路面の輝度を暗色にする。
(6)直近の対向車又は横断歩行者の接地位置に、路面との輝度コントラストの高いマーカーを表示する。
次に、本実施形態に係る表示方法、表示装置及び表示システムが適用される車両10について、図1〜図3を参照しながら説明する。
車両10は、図1に示すように、表示制御装置(表示システム)12が備えられている。ここでは、表示制御装置12がナビゲーション装置を兼ねている場合を例に説明するが、これに限定されるものではない。表示制御装置12とナビゲーション装置とが別個に設けられていてもよい。
図1に示すように、表示制御装置12には、演算部20と、記憶部22とが備えられている。演算部20は、例えば1つ以上のプロセッサによって構成される。かかるプロセッサとしては、例えば、CPU(Central Processing Unit)等が挙げられる。
記憶部22は、揮発性メモリ24Aと、不揮発性メモリ24Bとを含む。揮発性メモリ24Aとしては、例えばRAM(Random Access Memory)等が挙げられる。不揮発性メモリ24Bとしては、例えばROM(Read Only Memory)、フラッシュメモリ等が挙げられる。プログラム、マップ等が、例えば不揮発性メモリ24Bに記憶される。記憶部22は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等を更に含んでもよい。記憶部22には、例えば地図情報データベース26と、学習コンテンツデータベース28Aとが備えられる。
表示制御装置12には、例えば測位部30と、HMI(ヒューマン・マシン・インタフェース)32と、走行支援部34と、通信部36とが接続される。
測位部30には、GNSS(Global Navigation Satellite System、全地球航法衛星システム)センサ40が備えられている。測位部30には、IMU(Inertial Measurement Unit、慣性計測装置)42と、地図情報データベース44とが更に備えられている。測位部30は、GNSSセンサ40によって得られる情報と、IMU42によって得られる情報と、地図情報データベース26に記憶された地図情報とを適宜用いて、車両10の位置を特定し得る。測位部30は、車両10の位置、即ち、現在位置を示す情報を表示制御装置12に供給する。
HMI32は、ユーザ(乗員)による操作入力を受け付けると共に、各種情報をユーザに提供する。HMI32には、例えば、表示部50と、虚像表示装置52と、操作部54と、誇張表現処理部56等が備えられている。虚像表示装置52としては、ヘッドアップディスプレイ(以下、「HUD」と記す)58や光学透過式ヘッドマウント拡張現実ゴーグル、即ち、ヘッドマウントディスプレイ(以下、「HMD」と記す)60等が挙げられる。
表示部50は、地図や外部との通信に関する各種情報を視覚的にユーザに提供する。表示部50としては、例えば、液晶ディスプレイ、有機ELディスプレイ等を用い得るが、これに限定されるものではない。
虚像表示装置52は、誇張表現処理部56からの情報、即ち、上述した誇張表現による画像(虚像)を例えばフロントパネルに向かって表示する。虚像表示装置52の代表例であるHUD58、HMD60の構成例については、後述する。
操作部54は、ユーザによる操作入力を受け付ける。表示部50にタッチパネルが備えられている場合には、当該タッチパネルは操作部54として機能する。操作部54は、ユーザによる操作入力に応じた情報を、表示制御装置12に供給する。
走行支援部34は、車両10の周辺を撮像する複数のカメラ62と、車両10の周辺に存在する物体を検知する複数のレーダ64等を有する。
通信部36は、外部機器との間で無線通信を行う。外部機器には、例えば、サーバ(外部サーバ)70等が含まれる。サーバ70には、例えば、学習コンテンツデータベース28Bが備えられる。通信部36とサーバ70との間の通信は、インターネット等のネットワーク72を介して行われる。
表示制御装置12の演算部20には、制御部80と、目的地設定部82と、走行経路設定部84と、周辺物体認識部86と、学習コンテンツ取得部88とが備えられている。これら制御部80と、目的地設定部82と、走行経路設定部84と、周辺物体認識部86と、学習コンテンツ取得部88は、記憶部22に記憶されているプログラムが演算部20によって実行されることによって実現される。
制御部80は、表示制御装置12の全体の制御を司る。目的地設定部82は、操作部54等を介して行われるユーザによる操作に基づいて、目的地を設定する。
走行経路設定部84は、現在位置に対応する地図情報を、測位部30に記憶された地図情報データベース44から読み出す。なお、現在位置、即ち、車両10の位置を示す情報は、上述したように、測位部30から供給される。走行経路設定部84は、地図情報を用い、現在位置から目的地までの目標経路、即ち、車両10の走行経路を決定する。
周辺物体認識部86は、走行支援部34のカメラ62やレーダ64からの情報に基づいて、周辺に存在する物体(周辺物体)を認識する。即ち、周辺物体認識部86は、周辺物体が何であるのかを認識する。具体的には、周辺物体認識部86は、主にカメラ62やレーダ64からの情報に基づいて、揮発性メモリ24Aのうちの画像メモリ(便宜的に「第1画像メモリ90A」と記す)に、撮像した周辺物体の画像を記録する。周辺物体認識部86は、記録された画像に基づいて、周辺物体が車線、街路樹、沿道に居る人、建物等であるかを認識する。
周辺物体認識部86での周辺物体の認識は、学習コンテンツ取得部88によって取得された記憶部22の学習コンテンツデータベース28Aやサーバ70の学習コンテンツデータベース28Bに蓄積された様々な周辺物体の情報を教師データとして学習した、学習済み「ニューラルネットワーク」を使用することができる。
また、周辺物体認識部86は、認識した1つ以上の周辺物体の種類と、第1画像メモリ90A上の1つ以上の周辺物体の位置(例えばアドレス等)とを、記憶部22の情報テーブル92に記録する。
一方、HUD58は、図2に示すように、車室100の前部と車両10の外部との間にはフロントウインドウが設けられ、そのフロントウインドウ上にフロントパネル102が配置される。フロントパネル102の上端部はルーフ104に接続される。ルーフ104は、互いの前端が接合されるルーフパネル106及びフロントルーフレール108と、ルーフ104の車室100側に位置する内装部材110と、を有する。内装部材110の前部にはサンバイザ112が取り付けられる。一方、フロントパネル102の下部は車室100内のダッシュボード114と対向する。車室100内であってフロントパネル102の周辺にはHUD58が設けられる。
HUD58は、ダッシュボード114の内側に設けられるHUDユニット120と、ルーフ104におけるフロントパネル102の近傍に配置される第2反射器122Bと、フロントパネル102の一部である結像部124と、を備える。
HUDユニット120は、運転席の正面に配置され、樹脂製の筐体126に収容される投影器128と第1反射器122Aと第3反射器122Cとを有する。筐体126には、内部から外部への光の通過、又は、外部から内部への光の通過を許容する透明の窓130が設けられる。
図2に示されるように、本実施形態では、投影器128から結像部124まで投影光P(P1、P2、P3、P4)が伝搬し、結像部124で画像が表示される。
ここで、投影光Pの光路上に配置される各光学機器について順に説明する。投影器128は、画像を表示する第1表示パネル132Aと、第1表示パネル132Aを照明する照明部134と、を有する。第1表示パネル132Aは例えば液晶パネルであり、制御装置(不図示)から出力される指令に応じて画面を表示する。照明部134は例えばLEDやプロジェクタである。照明部134が第1表示パネル132Aを照明することにより、第1表示パネル132Aに表示される画像を含む投影光P(P1)が投影器128から出射される。
第1反射器122Aは、投影器128から出射される投影光P(P1)の光路上に配置される。第1反射器122Aは、入射する投影光P(P1)を車両10の幅方向に拡大して反射させる凸面鏡である。
第2反射器122Bは、筐体126の外部に配置され、且つ、第1反射器122Aで反射される投影光P(P2)の光路上に配置される。第2反射器122Bは、フロントルーフレール108、更に具体的にはフロントルーフレール108の前端部に配置される。第2反射器122Bは、入射する投影光P(P2)を車両10の幅方向に拡大して反射させる凸面鏡である。
第3反射器122Cは、第2反射器122Bで反射される投影光P(P3)の光路上に配置される。第3反射器122Cは、入射する投影光P(P3)を車両10の長さ方向及び/又は高さ方向に拡大して反射させる凹面鏡である。
結像部124は、第3反射器122Cで反射される投影光P(P4)の光路上に配置され、入射する投影光P(P4)に含まれる画像を車両10の乗員に視認可能に結像するフロントパネル102である。
HUD58によると、投影器128から出射された投影光P(P1)は、第1反射器122Aでルーフ104の方向に反射し、窓130を透過して、筐体126の外部に伝搬する。その後、投影光P(P2)は、第2反射器122BでHUDユニット120の方向に反射し、窓130を透過して、再び筐体126の内部に伝搬する。その後、投影光P(P3)は、第3反射器122Cで反射し、窓130を透過して、結像部124に達する。投影光P(P4)に含まれる画像が結像部124で結像されると、運転者の目Eは、光路の長さに応じた遠方に虚像Vを認識する。
そして、誇張表現処理部56は、HUD58によって虚像Vとして運転者に認識され得る象徴画像を、第1表示パネル132Aの画像メモリ(便宜的に「第2画像メモリ90B」と記す。)上、情報テーブル92に記録された周辺物体の位置(アドレス)の近傍に描画する。例えば周辺物体が対向車の周辺にある複数の街路樹であれば、例えば各街路樹の画像の間に、象徴画像としての街路樹の画像を描画する。この象徴画像としての街路樹の画像は、上述したように、例えばHUD58によって、虚像Vとして運転者に認識され得る。
一方、光学透過式HMD60は、図3に示すように、ゴーグル内に設置された第2表示パネル132Bと、該第2表示パネル132Bの背面側に設置され、第2表示パネル132Bに照明光を照射する照明部134と、光学透過式の反射ミラー136と、第2表示パネル132Bと反射ミラー136の間に設置された投影レンズ138とを有する。反射ミラー136は、例えば光を半分反射させて半分透過させるため、外の景色が見える。
そして、照明部134から出射された光を第2表示パネル132Bを通して、投影レンズ138及び反射ミラー136を介して運転者の目Eに出射することで、第2表示パネル132Bに表示された像が運転者の網膜に直接結像される。これにより、運転者の目Eは、光路の長さに応じた遠方に虚像Vを認識する。
従って、誇張表現処理部56は、HMD60によって虚像Vとして運転者に認識され得る象徴画像を、第2表示パネル132Bの画像メモリ(便宜的に「第3画像メモリ90C」と記す。)上、情報テーブル92に記録された周辺物体の位置(アドレス)の近傍に描画する。これにより、上述したHUD58の場合と同様に、第2表示パネル132Bに、各街路樹の画像の間に、象徴画像としての例えば街路樹の画像を描画することで、この象徴画像としての街路樹の画像は、虚像Vとして運転者に認識され得る。
次に、誇張表現処理部56による様々な象徴画像の表示形態(第1表示形態〜第6表示形態)を図4〜図14を参照しながら説明する。一例として、図4に示すように、交差点150において、前方に対向車152が近づいている場合を想定している。
[第1表示形態]
第1表示形態は、図5Aに示すように、注視対象物体である対向車152が走行する移動経路154上の車線156を太くした画像を表示する。この場合、道路が狭く感じられ、注視すべき対象の周囲において、物体の密集度が高いため、注視対象の物体、この例では対向車152の速度が速く感じられる。
この表示処理の一例を図6のフローチャートを参照しながら説明する。
先ず、ステップS1において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
前方に対向車152が存在する場合は、ステップS2に進み、周辺物体認識部86は、対向車152の移動経路上の車線156(図4参照)を認識する。
ステップS3において、誇張表現処理部56は、図5Aに示すように、対向車152の移動経路上の車線156を太くした画像を作成して、虚像表示装置52(HUD58又はHMD60)に出力する。
ステップS4において、虚像表示装置52(HUD又はHMD)は、誇張表現処理部56からの画像を、車両10のフロントパネル102(図2参照)に向かって出力する。これにより、図5Aに示すように、対向車152が走行する移動経路154上の車線156に重畳して、該車線を太くした虚像162が表示される。
ステップS5において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS1以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
[第2表示形態]
第2表示形態は、図5Bに示すように、注視対象物体である対向車152が走行する移動経路154に沿った周辺物体、例えば街路樹170の個数を多くした画像を表示する。この例では、対向車152の周辺にある複数の街路樹170の画像の間に、象徴画像としての街路樹170aの画像を描画する。この場合、対向車152が移動する移動経路154(道路)に沿って存在する周辺物体(この例では街路樹170)の個数を多く誇張表現した画像を表示することで、道路154が狭く感じられ、注視すべき対象(対向車152)の周囲において物体の密集度が高いため、注視物対象である対向車152の速度が速く感じられる。
この表示処理の一例を図7のフローチャートを参照しながら説明する。
先ず、ステップS101において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
前方に対向車152が存在する場合は、ステップS102に進み、周辺物体認識部86は、対向車152の沿道にある街路樹170を認識する。
ステップS103において、誇張表現処理部56は、各街路樹の画像の間に、象徴画像としての街路樹の画像を作成して、虚像表示装置52(HUD58又はHMD60)に出力する。
ステップS104において、虚像表示装置52(HUD又はHMD)は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、図5Bに示すように、対向車152が走行する移動経路154の沿道にある街路樹170の間に、それぞれ街路樹170aの虚像が表示される。
ステップS105において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS101以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
[第3表示形態]
第3表示形態は、図8Aに示すように、注視対象物体である対向車152が走行する移動経路154上に、対向車152についての見掛け上の大きさを違えた他の交通参加者の仮想画像180(例えば注視対象物体である対向車152よりもサイズの大きなバーチャル・アイコン)を、対向車152の速度よりもゆっくりな速度で移動する表示を行う。この場合、仮想画像180の速度がゼロ、即ち、停止状態であってもよい。図8Aでは、バーチャル・アイコン180として、▽記号を表示した例を示したが、これに限らない。
この表示処理の一例を図9のフローチャートを参照しながら説明する。
先ず、ステップS301において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
前方に対向車152が存在する場合は、ステップS302に進み、誇張表現処理部56は、移動する対向車152の前方から、対向車152の進行方向に、仮想画像(バーチャル・アイコン180)が移動する画像を作成して、虚像表示装置52(HUD58又はHMD60)に出力する。この場合、バーチャル・アイコン180がゆっくり移動したり、点滅して移動する画像を作成して虚像表示装置52に出力してもよい。また、上記バーチャル・アイコン180が対向車152の前方あるいは後方で停止した画像を作成して虚像表示装置52に出力してもよい。
ステップS303において、虚像表示装置52は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、図8Aに示すように、対向車152の進行方向に、バーチャル・アイコン180がゆっくり移動したり、停止したり、点滅しながら移動する虚像が表示される。
ステップS304において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS301以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
[第4表示形態]
第4表示形態は、図8Bに示すように、注視対象物体である対向車152が走行する移動経路154上の周囲物体、例えば直近の対向車152についての見掛け上の大きさを大きく(誇張表現)した仮想画像182(例えば注視対象物体である対向車152よりもサイズの大きな車両の画像)を表示する。
この表示処理の一例を図10のフローチャートを参照しながら説明する。
先ず、ステップS401において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
前方に対向車152が存在する場合は、ステップS402に進み、誇張表現処理部56は、移動する対向車152の前方から、対向車152の進行方向に、対向車152についての見掛け上の大きさを大きくした仮想画像182が移動する画像を作成して、虚像表示装置52(HUD58又はHMD60)に出力する。この場合、仮想画像182がゆっくり移動する画像を作成して虚像表示装置52に出力してもよい。また、上記仮想画像182が対向車152の前方あるいは後方で停止した画像を作成して虚像表示装置52に出力してもよい。
ステップS403において、虚像表示装置52は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、図8Bに示すように、対向車152の進行方向に、サイズの大きい仮想画像182がゆっくり移動したり、停止したりする虚像が表示される。
ステップS404において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS401以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
[第5表示形態]
第5表示形態は、図11Aに示すように、注視対象物体である対向車152が走行する移動経路154上の周囲物体、例えば直近の対向車152側の道路を暗色(輝度を極端に下げる)にする誇張表現を行う。
この表示処理の一例を図12のフローチャートを参照しながら説明する。
先ず、ステップS501において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
前方に対向車152が存在する場合は、ステップS502に進み、誇張表現処理部56は、対向車152が走行する道路を暗色(輝度を極端に下げる)にした誇張表現画像を作成する。
その後、ステップS503において、誇張表現処理部56は、上記誇張表現画像を虚像表示装置52(HUD58又はHMD60)に出力する。虚像表示装置52は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、図11Aに示すように、対向車152が走行する道路が暗色とされた虚像が表示される。
ステップS504において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS501以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
なお、上述の処理は、図11Bに示すように、前方を注視対象物体である人190や動物等が横断する場合も同様で、道路を暗色(輝度を極端に下げる)にする誇張表現を行ってもよい。
[第6表示形態]
第6表示形態は、図13Aに示すように、上述した第5表示形態と同様に、注視対象物体である対向車152が走行する移動経路154上の周囲物体、例えば直近の対向車152側の道路を暗色(輝度を極端に下げる)にする誇張表現を行う。更に、対向車152の接地路面中、対向車152に近接した位置に、輝度コントラストの高い(輝度が比較的高い)マーカー192を強調表示する。
この表示処理の一例を図14のフローチャートを参照しながら説明する。
先ず、ステップS601において、車両10は、カメラやレーダ等によって、前方に対向車152が存在するか否かを判別する。
前方に対向車152が存在する場合は、ステップS602に進み、誇張表現処理部56は、対向車152が走行する道路154を暗色(輝度を極端に下げる)にした誇張表現画像を作成する。
また、誇張表現処理部56は、ステップS603において、対向車152の接地路面中、対向車152に近接した位置に、輝度コントラストの高い(輝度が比較的高い)マーカー192を描画した強調表現画像を作成する。
その後、ステップS604において、誇張表現処理部56は、上記強調表示画像を含む誇張表現画像を虚像表示装置52(HUD58又はHMD60)に出力する。
このステップS604において、虚像表示装置52は、誇張表現処理部56からの画像を、車両10のフロントパネル102に向かって出力する。これにより、図13Aに示すように、対向車152が走行する道路154が暗色とされ、更に、対向車152の接地路面中、対向車152に近接した位置に、輝度コントラストの高い(輝度が比較的高い)マーカー192が描画された虚像が表示される。
ステップS605において、終了要求(車両10の停止等)であるかを判別し、終了要求でなければステップS601以降の処理を繰り返し、終了要求であれば、当該表示処理を終了する。
なお、上述の処理は、図13Bに示すように、前方を注視対象物体である人190や動物等が横断する場合も同様で、道路154を暗色(輝度を極端に下げる)にした誇張表現を行い、人190や動物等に近接した位置に、輝度コントラストの高い(輝度が比較的高い)マーカー192を表示した強調表現を行ってもよい。
[実施形態のまとめ]
[1] 本実施形態に係る表示方法は、少なくとも他の移動体(対向車152等)、及び固定物(街路樹170等)を含む物体を検知し、この検知された物体の周囲に、又は重畳して画像を表示する表示装置(虚像表示装置52)を備えた移動体(実施例:車両10)における表示方法において、他の移動体を検知した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して、表示装置に表示する。
一般に、移動している直近のもの(車両を含む移動体、歩行者等)や、比較的近くに存在しているもの等よりも、比較的遠方に見えるもの(車両を含む移動体、歩行者)で、相対速度が速く衝突リスクがある状況においては、当該「衝突リスク」がある「交通参加者」の速度を、より早く知覚させたいときがある。
本実施形態に係る表示方法は、上述の方法により、「ヒトの速度知覚の特性」を利用するので、速度把握、リスク把握を素早くすることができる。文字や記号等の警告表示(「注視対象・交通参加者」に応じた画像表示)をするよりも、煩わしさがなく、且つ、速度把握、リスク把握を素早く行うことができるようになる。
[2] 上記表示方法において、当該衝突リスクが高い他の交通参加者を注視対象物体として、該注視対象物体の実像の周囲に、又は重畳して当該注視対象物体に対応した画像を虚像表示しない。
これにより、ユーザに注視させたい「注視対象・交通参加者」(車両を含む移動体・歩行者)について、該「注視対象・交通参加者」に応じた画像を、実際の「注視対象・交通参加者」(例:衝突リスクの高い対向車)に重畳表示することがないため、煩わしさを少なくすることができる。
[3] 上記表示方法において、誇張表現は、注視対象物体が移動する移動経路上の車線を太くした画像を表示する。
注視対象物体が移動する移動経路(道路)上の車線(周辺物体)を太くした画像を表示すると、道路が狭く感じられ、注視すべき対象の周囲において物体の密集度が高いので、注視対象の物体の速度が速く感じられる。
[4] 上記表示方法において、誇張表現は、注視対象物体が移動する移動経路に沿った周辺物体の個数を多くした画像を表示する。
注視対象物体が移動する移動経路(道路)に沿って存在する周辺物体(街路樹(樹木)、建物、人等)の個数を多く(誇張表現)した画像を表示することで、道路が狭く感じられ、注視すべき対象の周囲において物体の密集度が高いので、注視対象の物体の速度が速く感じられる。
[5] 上記表示方法において、誇張表現は、注視対象物体が移動する移動経路上の周囲物体(直近の対向車等)について、実際の見掛け上の大きさよりも大きくした画像を表示する。
注視対象物体が移動する移動経路上の周辺物体について実際の見掛け上の大きさよりも大きく(誇張表現)した画像を表示すると、道路が狭く感じられ、注視すべき対象の周囲において、物体の密集度が高いので、注視対象の物体の速度が速く感じられる。
[6] 上記表示方法において、誇張表現は、注視対象物体が移動する移動経路上に、当該注視対象物体について見掛け上の大きさを違えた他の交通参加者の仮想画像を表示する。
注視対象物体が移動する移動経路上に、当該注視対象物体についての見掛け上の大きさを違えた他の交通参加者の仮想画像(注視対象物体よりも大きなバーチャル・アイコン)を、当該注視対象物体の速度よりもゆっくりな速度(速度ゼロ:即ち、停止状態も含む)で動くように表示すると、注視対象物体の速度が速く感じられる。
[7] 表示方法において、前記誇張表現は、前記注視対象物体が移動する移動経路上に、当該注視対象物体に対して輝度に違いがある路面の仮想画像を表示する。移動する注視対象物体と背景の路面との輝度コントラストが高くなるよう、背景の路面の輝度を暗色にすると、低いコントラストの場合に生じることが知られている、移動速度を過小に感じる現象を回避できる。
[8] 表示方法において、前記誇張表現は、前記注視対象物体が移動する移動経路上に、当該注視対象物体に対して輝度に違いがある路面の仮想画像を表示するものであり、更に、前記注視対象物体に対応した画像として、前記路面の仮想画像に対して輝度に違いがあり、当該注視対象物体と共に移動するマーキング画像を表示する。注視対象物体と共に移動する、背景の路面との輝度コントラストの高いマーカーを接地面に表示すると、正確に知覚したマーカーの移動速度を参照し、注視対象物の移動速度を過小に感じる現象を回避できる。
[9] 本実施形態に係る表示装置は、少なくとも他の移動体、及び固定物を含む物体を認識する周辺物体認識部と、該周辺物体認識部により認識された物体の周囲に、又は重畳して画像を表示する表示装置において、周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える。
これにより、従来から実施されていた「強調表示」と上述した「誇張表示」とを、同時に実施することができ、煩わしさが比較的少なく、且つ、注視対象物体の速度把握、リスク把握を早期に、即ち、素早く行うことができる。
[10] 本実施形態に係る表示システムは、自車両の周辺の他の移動体、及び固定物を含む物体を検知する対象物の位置を認識する周辺物体認識部と、前記自車両に備えられた表示装置への画像表示を制御し、前記周辺物体認識部により認識された前記物体の位置に基づいて、前記物体に対応した画像を、該虚像が該物体の周囲に、又は重畳して、前記自車両の運転者に視認されるように、前記表示装置により表示する表示システムにおいて、前記周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える。
これにより、従来から実施されていた「強調表示」と上述した「誇張表示」とを、同時に実施することができ、煩わしさが比較的少なく、且つ、注視対象物体の速度把握、リスク把握を早期に、即ち、素早く行うことができる。
本発明についての好適な実施形態を上述したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の改変が可能である。
10…車両 12…表示制御装置
20…演算部 22…記憶部
24A…揮発性メモリ 24B…不揮発性メモリ
32…HMI(ヒューマン・マシン・インタフェース)
34…走行支援部 36…通信部
50…表示部 52…虚像表示装置
54…操作部 56…誇張表現処理部
58…HUD 60…HMD
62…カメラ 64…レーダ
70…サーバ 72…ネットワーク
80…制御部 90A…第1画像メモリ
90B…第2画像メモリ 90C…第3画像メモリ
92…情報テーブル 150…交差点
152…対向車 154…移動経路
156…車線 170、170a…街路樹
180…バーチャル・アイコン 182…仮想画像
190…人や動物等 192…マーカー

Claims (10)

  1. 少なくとも他の移動体、及び固定物を含む物体を検知し、この検知された物体の周囲に、又は重畳して画像を表示する表示装置を備えた移動体における表示方法において、
    前記他の移動体を検知した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して、前記表示装置に表示する、表示方法。
  2. 請求項1記載の表示方法において、
    当該衝突リスクが高い他の交通参加者を注視対象物体として、該注視対象物体の実像の周囲に、又は重畳して当該注視対象物体に対応した画像を虚像表示しない、表示方法。
  3. 請求項1又は2記載の表示方法において、
    前記誇張表現は、前記注視対象物体が移動する移動経路上の車線を太くした画像を表示する、表示方法。
  4. 請求項1又は2記載の表示方法において、
    前記誇張表現は、前記注視対象物体が移動する移動経路に沿った前記周辺物体の個数を多くした画像を表示する、表示方法。
  5. 請求項1又は2記載の表示方法において、
    前記誇張表現は、前記注視対象物体が移動する移動経路上の周囲物体について、実際の見掛け上の大きさよりも大きくした画像を表示する、表示方法。
  6. 請求項1又は2記載の表示方法において、
    前記誇張表現は、前記注視対象物体が移動する移動経路上に、当該注視対象物体について見掛け上の大きさを違えた他の交通参加者の仮想画像を表示する、表示方法。
  7. 請求項1又は2記載の表示方法において、
    前記誇張表現は、前記注視対象物体が移動する移動経路上に、当該注視対象物体に対して輝度に違いがある路面の仮想画像を表示する、表示方法。
  8. 請求項1又は2記載の表示方法において、
    前記誇張表現は、前記注視対象物体が移動する移動経路上に、当該注視対象物体に対して輝度に違いがある路面の仮想画像を表示するものであり、更に、
    前記注視対象物体に対応した画像として、前記路面の仮想画像に対して輝度に違いがあり、当該注視対象物体と共に移動するマーキング画像を表示する、表示方法。
  9. 少なくとも他の移動体、及び固定物を含む物体を認識する周辺物体認識部と、該周辺物体認識部により認識された物体の周囲に、又は重畳して画像を表示する表示装置において、
    前記周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える、表示装置。
  10. 自車両の周辺の他の移動体、及び固定物を含む物体を検知する対象物の位置を認識する周辺物体認識部と、前記自車両に備えられた表示装置への画像表示を制御し、前記周辺物体認識部により認識された前記物体の位置に基づいて、前記物体に対応した画像を、該虚像が該物体の周囲に、又は重畳して、前記自車両の運転者に視認されるように、前記表示装置により表示する表示システムにおいて、
    前記周辺物体認識部で他の移動体を認識した際には、当該他の移動体を注視対象物体として、該注視対象物体の周辺にある周辺物体に重畳的に、当該周辺物体に対応した画像を誇張表現して表示させる誇張表現処理部を備える、表示システム。
JP2020033779A 2020-02-28 2020-02-28 表示方法、表示装置及び表示システム Active JP7402083B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020033779A JP7402083B2 (ja) 2020-02-28 2020-02-28 表示方法、表示装置及び表示システム
US17/184,018 US20210268961A1 (en) 2020-02-28 2021-02-24 Display method, display device, and display system
CN202110219853.4A CN113320473B (zh) 2020-02-28 2021-02-26 显示方法、显示装置及显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020033779A JP7402083B2 (ja) 2020-02-28 2020-02-28 表示方法、表示装置及び表示システム

Publications (2)

Publication Number Publication Date
JP2021135933A true JP2021135933A (ja) 2021-09-13
JP7402083B2 JP7402083B2 (ja) 2023-12-20

Family

ID=77414470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020033779A Active JP7402083B2 (ja) 2020-02-28 2020-02-28 表示方法、表示装置及び表示システム

Country Status (3)

Country Link
US (1) US20210268961A1 (ja)
JP (1) JP7402083B2 (ja)
CN (1) CN113320473B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220242234A1 (en) * 2020-09-11 2022-08-04 Stephen Favis System integrating autonomous driving information into head up display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019012237A (ja) * 2017-06-30 2019-01-24 パナソニックIpマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP2019075150A (ja) * 2014-03-31 2019-05-16 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP2019163037A (ja) * 2014-12-01 2019-09-26 株式会社デンソー 画像処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN115447474A (zh) * 2015-01-13 2022-12-09 麦克赛尔株式会社 图像投影装置和图像投影方法
JP6703747B2 (ja) * 2015-09-18 2020-06-03 株式会社リコー 情報表示装置、情報提供システム、移動体装置、情報表示方法及びプログラム
KR102064223B1 (ko) * 2017-07-12 2020-02-11 엘지전자 주식회사 차량용 주행 시스템 및 차량
KR102018554B1 (ko) * 2018-01-18 2019-09-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
JP7345128B2 (ja) * 2019-05-20 2023-09-15 パナソニックIpマネジメント株式会社 歩行者装置および交通安全支援方法
WO2020261781A1 (ja) * 2019-06-27 2020-12-30 株式会社デンソー 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075150A (ja) * 2014-03-31 2019-05-16 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP2019163037A (ja) * 2014-12-01 2019-09-26 株式会社デンソー 画像処理装置
JP2019012237A (ja) * 2017-06-30 2019-01-24 パナソニックIpマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体

Also Published As

Publication number Publication date
CN113320473A (zh) 2021-08-31
CN113320473B (zh) 2024-07-19
JP7402083B2 (ja) 2023-12-20
US20210268961A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
JP6717856B2 (ja) ヘッドアップディスプレイ装置
JP6485732B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
US9400385B2 (en) Volumetric heads-up display with dynamic focal plane
US9393870B2 (en) Volumetric heads-up display with dynamic focal plane
JPWO2017138527A1 (ja) 情報提供装置
JP6883759B2 (ja) 表示システム、表示システムの制御方法、プログラム、及び移動体
DE102014219575A1 (de) Verbesserte 3-Dimensionale (3-D) Navigation
JP6504431B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
JP7111582B2 (ja) ヘッドアップディスプレイシステム
JP7300112B2 (ja) 制御装置、画像表示方法及びプログラム
JP2019095215A (ja) 重畳画像表示装置及びコンピュータプログラム
JP2017030600A (ja) ヘッドアップディスプレイ装置
JP2016107947A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2019116229A (ja) 表示システム
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2023017641A (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
JP7402083B2 (ja) 表示方法、表示装置及び表示システム
JP2022084266A (ja) 表示制御装置、表示装置、及び画像の表示制御方法
KR20210045896A (ko) 윈드실드 불가시 처리장치 및 방법
JP6814416B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2021037916A (ja) 表示制御装置及び表示制御プログラム
JP7429875B2 (ja) 表示制御装置、表示装置、表示制御方法、及びプログラム
JP7516954B2 (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム
JP6726412B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231208

R150 Certificate of patent or registration of utility model

Ref document number: 7402083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150