JP2022516849A - ヘッドアップディスプレイシステム、方法、データキャリア、処理システム及び車両 - Google Patents

ヘッドアップディスプレイシステム、方法、データキャリア、処理システム及び車両 Download PDF

Info

Publication number
JP2022516849A
JP2022516849A JP2021535973A JP2021535973A JP2022516849A JP 2022516849 A JP2022516849 A JP 2022516849A JP 2021535973 A JP2021535973 A JP 2021535973A JP 2021535973 A JP2021535973 A JP 2021535973A JP 2022516849 A JP2022516849 A JP 2022516849A
Authority
JP
Japan
Prior art keywords
road
camera
head
course
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021535973A
Other languages
English (en)
Inventor
ムハメット クサト サリアスラン,
Original Assignee
ベステル エレクトロニク サナイー ベ ティカレト エー.エス.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベステル エレクトロニク サナイー ベ ティカレト エー.エス. filed Critical ベステル エレクトロニク サナイー ベ ティカレト エー.エス.
Publication of JP2022516849A publication Critical patent/JP2022516849A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3652Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)

Abstract

【課題】車両用ヘッドアップディスプレイシステム(100)が、運転者に見えない道路の一部に関する情報を識別して表示するためのヘッドアップディスプレイシステムおよびヘッドアップディスプレイシステムを含む方法について説明する。運転者の視野にあり、道路コースに関する情報を透明な平面(105)に投影するように構成されたプロジェクタ(104)及び前記透明な平面(105)と、プロセッサ(103)と、を含み、前記プロセッサ(103)は、カメラ(101)によって提供された車両の前方の道路の画像を分析し、前記カメラ(101)の入力に基づいて前記道路コースを決定するように構成され、前記道路を含む地図上の前記車両の位置に関するナビゲーション情報を分析し、当該ナビゲーション情報はナビゲーションシステム(102)によって提供され、当該ナビゲーションシステム(102)の前記入力に基づいて前記道路コースを決定し、前記カメラ(101)の前記入力によって決定された前記道路コースと、前記ナビゲーションシステム(102)の前記入力によって決定された前記道路コースとを照合し、前記ナビゲーションシステム(102)の前記入力によって決定された前記道路コースのうち、前記カメラ(101)によって撮影されていない部分を決定し、前記カメラ(101)によって撮影されていない前方の前記道路コースの部分に関するグラフィック情報(306)を算出し、前記カメラ(101)によって撮影されていない前方の前記道路コースの部分に関する、前記算出されたグラフィック情報(306)を、前記カメラ(101)によって撮影されていない前方の前記道路コースの端部から前記プロジェクタ(104)を介して投影することにより、前方の前記道路の見えない部分に関するグラフィック情報(306)を前記透明な平面(105)に提供する。【選択図】図4

Description

本発明は、運転者に見えない道路の一部に関する情報を識別して表示するためのヘッドアップディスプレイシステム100およびヘッドアップディスプレイシステム100を含む方法に関するものである。
目に見える形で指示を出す現在のナビゲーションシステムは、通常、別のパネルを介して情報を表示するか、ヘッドアップディスプレイを使用する。ヘッドアップディスプレイに表示される情報は、通常、かなり限定されたものであり、運転者にナビゲーション情報を提供するための単純なアイコン、簡潔なテキスト情報、及び/又は矢印で構成されている。ナビゲーションシステム100の別パネルに表示されるナビゲーション情報を見ると、運転者は少なくとも一瞬は前方の道路状況から注意をそらすことになり、危険な状況に陥る可能性がある。したがって、潜在的に危険な状況、及び/又は正確な今後の道路コースについて、改善された方法で運転者に通知されることが望ましい。
したがって、本開示の目的は、先行技術の欠点を克服する改良されたシステムを提供することである。
その目的は、添付された特許請求の範囲で定義されたものによって解決される。
車両用ヘッドアップディスプレイシステム100が開示されており、車両用ヘッドアップディスプレイシステム100は、運転者の視野にあり、道路のコースに関する情報を透明な平面105に投影するように構成されたプロジェクタ104及び透明な平面105と、プロセッサ103と、を含み、
プロセッサ103は、
カメラ101によって提供された車両の前方の道路の画像を分析し、カメラ101の入力に基づいて道路コースを決定するように構成され、
道路を含む地図上の車両の位置に関するナビゲーション情報を分析し、当該ナビゲーション情報はナビゲーションシステム102によって提供され、当該ナビゲーションシステム102の入力に基づいて道路コースを決定し、
カメラ101の入力によって決定された道路コースと、ナビゲーションシステム102の入力によって決定された道路コースとを照合し、
ナビゲーションシステム102の入力によって決定された道路コースのうち、カメラ101によって撮影されていない部分を決定し、
カメラ101によって撮影されていない前方の道路コースの部分に関するグラフィック情報306を算出し、
算出されたカメラ101によって撮影されていない前方の道路コースの部分に関するグラフィック情報306を、カメラ101によって撮影されていない前方の道路コースの端部からプロジェクタ104を介して投影することにより、前方の道路の見えない部分に関するグラフィック情報306を透明な平面105に提供する。
カメラ101の入力に基づいて決定された道路コースや、ナビゲーションシステム102の入力に基づいて決定された道路コースは、道路の路側帯、車両が使用する道路の車線304、及び/又は道路の中央分離帯303に関する情報を構成してもよい。
投影されたグラフィック情報306は、道路の道端を示す連続的または非連続的な線の形態であってもよいし、道路または道路の車線304を示す帯の形態であってもよい。
投影されたグラフィック情報306は、運転者の視野で見える色とは異なる色であってもよい。
プロセッサ103は、カメラ101によって撮影されていない前方の道路の部分に危険要因が含まれていると判断し、運転者に警報を提供するようにさらに構成されてもよい。
危険要因は、鋭くまたは急な曲がり角、信号機、及び/又は道路の狭小化であってもよい。
警報は、可視的、触覚的または音響的な警報であってもよい。
警報は、所定の色及び/又は投影されたグラフィック情報306の点滅によって示されてもよい。
システム100は、車両の前方の道路の画像を撮影するように構成されたカメラ101をさらに備えてもよい。
システム100は、道路レーン304を構成する地図上の車両の位置を決定するように構成されたナビゲーションシステム102をさらに備えてもよい。
また、上述のヘッドディスプレイシステム100を用いて、運転者の視野に前方の道路の見えない部分に関するグラフィック情報306を提供するためのコンピュータで実施される方法も開示されており、
当該方法は、
カメラ101によって提供された画像であって車両の前方の道路の画像を分析し、道路コースを決定し、
道路を含む地図上の車両の位置に関し、ナビゲーションシステム102によって提供されるナビゲーション情報を分析し、道路コースを決定し、
カメラ101の入力で決定された道路コースと、ナビゲーションシステム102の入力で決定された道路コースの道筋を照合し、
ナビゲーションシステム102の入力で決定された道路コースのうち、カメラ101で撮影されていない部分を決定し、
カメラ101で撮影されていない道路の先の部分と、カメラ101で撮影されていない道路の先の部分を起点とした道筋に関するグラフィック情報306を算出し、
前方の道路のコースのうち、カメラ101で撮影されていない部分に関して算出されたグラフィック情報306を、カメラ101で撮影されていない前方の道路の端から順に、プロジェクタ104を介して透明な平面105に投影する。
また、処理システム100のための命令を含むデータキャリアも開示されており、この命令は、処理システム100によって実行されると、コンピュータに、コンピュータで実行される上述の方法を実行させる。
また、上述のデータキャリアを含む処理システム100も開示されている。
処理システム100は、Application-Specific Integrated Circuit(ASIC)、Field-Programmable Gate Arrays(FPGA)、または汎用コンピュータであってもよい。
また、上述したヘッドアップディスプレイシステム100または処理システム100も開示されている。
図1は、本開示に記載されているヘッドディスプレイシステム100を示す。 図2は、本開示に記載の方法を説明する図である。 図3は、本開示のシステム100を使用しない場合において、前方の道路の全コースのうち一部を妨げる障害物305を含む道路のコース上のドライバーの視野を示す図である。 図4は、本開示のシステム100を使用しない場合において、前方の道路の全コースのうち一部を妨げる障害物305を含む道路のコース上のドライバーの視野を示す図である。システム100は、道路の見えない部分のグラフィック情報306をドライバーに提供する。
図1に示されているような車両のためのシステム100が開示されている。図3は、図1のシステム100を使用していない状態で、フロントガラス越しに見た車両の運転者の視野を示す図である。
図4は、図1のシステム100を使用した状態で、フロントガラス越しに見た車両の運転者の視野を示す図である。システム100は、運転者の視野に投影されるグラフィック情報306を計算することにより、運転者の視点からは見えない道路やトラックの一部を、すなわち運転者の視野で、例えば、車両のフロントガラスに組み込まれた、またはフロントガラスの前に配置された運転者の視野の透明な平面105に投影することにより、視覚化するという利点を有する。
システム100は、ヘッドアップディスプレイシステム100またはヘッドアップディスプレイシステム100に統合されたシステム100であると考えることができる。プロセッサ103によるシステム100は、カメラ101によって受信され、提供された入力を分析する。入力は、カメラ101による少なくとも1つの画像である。カメラ101は、車両が走行している方向、すなわち通常は車の前進方向に見える視野の画像を撮影することができるが、カメラ101が車の前進方向と逆の方向に少なくとも1つの画像を撮影することもできる。入力は、少なくとも1つの画像または(連続した)一連の画像で構成することができる。一連の画像をキャプチャすることで、計算されたグラフィック情報306を継続的に更新することができる。自車の前方の道路の少なくとも1つの画像を分析した後のプロセッサ103は、カメラ101に見える道路コースを特定し、ドライバーに見える道路の部分を特定する。
カメラ101が受信した画像に対して物体認識分析を行い、道路の存在とコースを判断することができる。例えば、プロセッサ103は、道路とその周囲との間の色の遷移、道路の左側及び/又は右側のガイドポスト、車線、及び/又は中央線、によって道路を検出するように構成されてもよい。
カメラ101は、車両と前方の道路との間の距離、すなわち三次元空間における道路のコースに関する情報を提供するために、レーザー探知測距(LIDAR)及び/又は無線探知測距(RADAR)システム100に置き換えられてもよく、補完されてもよい。また、カメラ101は、車両と前方の道路との間の距離、すなわち3次元空間における道路のコースに関する情報を提供するために、車両の前方の道路の3次元画像を決定するためのステレオカメラ101で構成されてもよい。車両と道路との距離の知識に基づいて、道路コースの3次元表現を決定することができる。
好ましくは同時に、システム100は、地図上の車両の位置に関するナビゲーション情報も受け取るように構成される。電子メモリに格納され、道路またはトラックのコース上の2次元または3次元形式の少なくとも位置データからなる地図は、ナビゲーションシステム100に格納された道路コースの情報を提供し、車両がどの道路を走行しているか、この道路がどのコースを有しているかを特定することができる。
システム100は、さらにカメラ101-入力から決定された道路コースを、ナビゲーションシステム100の入力から決定された道路コースとマッチングさせるように構成される。可視対象を位置データと一致させることは、拡張現実の分野では既知の技術であり、このタスクを達成するために任意の適切なアルゴリズムを使用することができる。例えば、このタスクでは、両方の入力が、分析された画像の空間参照システム100、ナビゲーションシステム100によって提供される空間参照システム100、又は第3の参照システム100などの同じ空間参照システム100に変換される。ナビゲーション入力は、3次元空間データの形で既に提供されているか、システム100によって3次元空間データの形に変換されている。
システム100はさらに、ナビゲーションシステム100の入力から決定された道路コースのうち、カメラ101で撮影されていない部分を決定するように構成されている。これは、カメラ101やドライバーにとって見えない道路の部分である。カーブの手前にある木、丘、山、建物、トンネルなどの物体に遮られて見えない場合がある。また、車両が丘の上に近づいているため、道路の一部が見えない場合もある。
システム100はさらに、ナビゲーションシステム100の入力から決定された道路コースのうち、カメラ101によって撮影されていない部分を、透明な平面105に投影することができるシステム100のグラフィック情報306を計算するように構成される(図4参照)。言い換えれば、システム100は(プロセッサ103を介して)、カメラ101の視野の透明な平面105に投影することができ、ドライバーに見えない道路コースの表示を計算するように構成されている。このようにして、ドライバーの視野には、可視の道路に並ぶ道路の見えない部分の描写が重ねて表示される。
道路コースの見えない部分のグラフィック情報は、可視の道路と前方の見えない道路の描写をシームレスに、またはほぼシームレスに接続することができる。また、道路の見えない部分の限られた部分のみが表示されるように、すなわち、現実の道路の部分の長さに対応する長さが、10km、5km、3km、2km、1km、500m、200m未満になるように、システムを構成することもできる。
カメラ101の入力から決定された道路コースおよびナビゲーションシステム102からの道路コースは、道路の路側帯、車両が使用する道路の車線304、及び/又は道路の中央分離帯303の情報を含むことができる。したがって、目に見えない道路の前方の描写は、これらの情報を含むこともできる。
したがって、投影されたグラフィック情報306は、道路の道端を示す連続的または非連続的な線、または道路を示す帯、または道路の車線304の形とすることができる。
投影されたグラフィック情報306は、運転者の視野で見える色とは異なる色であってもよい。このようにすることで、運転者が周囲に対して道路の見えない部分を識別することが容易になる。しかし、重ね合わせられたグラフィカル情報306によって運転者が道路から気を取られることを避けるために、グラフィカル情報306が道路と同じまたはほぼ同じ色及び/又はテクスチャで提供されることも考慮されている。
プロセッサ103は、カメラ101によって撮影されていない前方の道路の部分に危険要因が含まれていると判断し、ドライバーに警報を提供するようにさらに構成することができる。
危険要因は、急な曲がり角、信号機、または、道路の狭小化などである。システム100は、ナビゲーションシステム102から提供されたデータ入力によって、危険要因を特定してもよい。例えば、システム100は、曲がり角度が100°、90°、80°以下のような所定の値を下回る場合や、可視道路の幅と比較して見えない道路の幅が可視道路の幅の90%、80%、70%以下のような所定の値を下回る場合に、鋭利または急激な関係(terming)または狭窄と判断するように構成されていてもよい。
警報は、可視的、触覚的、または音響的な警報であってもよい。
特に、警報は、投影されたグラフィック情報306の色及び/又は点滅によって示すことができる。例えば、投影されたグラフィック情報306は、通常は黄色や青などのデフォルト色であり、赤などの警報色に切り替わり、追加的または代替的に点滅を開始してもよい。
システム100は、カメラ101及び/又は車両の前方の道路の画像をキャプチャするように構成されたLIDARまたはRADARのような任意の他の形態の画像キャプチャデバイスをさらに含んでもよい。
システム100は、道路レーン304を構成する地図上の車両の位置を決定するように構成されたナビゲーションシステム102をさらに備えてもよい。
また、(図2に示す)方法、特に、上述のヘッドディスプレイシステム100を用いて、運転者の視野にある前方の道路の見えない部分に関するグラフィック情報306を提供するためのコンピュータで実施される方法が開示されており、
当該方法は、
カメラ101によって提供される車両前方の道路の画像を分析S1して、カメラ101ベースの道路のコースを決定し、
道路を構成する地図上の車両の位置に関し、ナビゲーションシステム102によって提供されるナビゲーション情報を分析S2して、ナビゲーションシステム102ベースの道路のコースを決定し、
カメラ101ベースの道路のコースと、ナビゲーションシステム102ベースの道路のコースと、を照合S3し、
ナビゲーションシステム102ベースの道路のコースのうち、カメラ101が撮影していない前方の部分を決定S4し、
前方の道路のコースのうち、カメラ101で撮影されていない部分で、カメラ101で撮影されていない前方の道路の端を起点として、ヘッドアップディスプレイ用のグラフィック情報306を算出S5し、
算出されたグラフィック情報306を、カメラ101で撮影されていない前方の道路の端を起点として、プロジェクタ104を介して、カメラ101で撮影されていない前方の道路のコースの一部に投影S6する。
また、処理システム100のための命令を含むデータキャリアも開示されており、この命令は、処理システム100によって実行されると、コンピュータに上述の方法を実行させる。
システム100は、上述のデータキャリアを構成する処理システムに実装されてもよい。
処理システム100は、特に限定されるものではなく、Application-Specific Integrated Circuit(ASIC)、Field-Programmable Gate Array(FPGA)、または汎用コンピュータであってもよい。
また、上述のシステム100または上述の処理システム100を搭載した車両も開示されている。
このように、ヘッドアップディスプレイシステムおよびヘッドアップディスプレイシステムを含む方法は、運転者に見えない道路の一部に関する情報を特定して表示するために記載されており、車両用ヘッドアップディスプレイシステム100は、
運転者の視野にあり、道路のコースに関する情報を透明な平面105に投影するように構成されたプロジェクタ104及び透明な平面105と、プロセッサ103と、を含み、
プロセッサ103は、
車両前方の道路の画像をカメラ101で分析し、カメラ101の入力に基づいて道路コースを決定するように構成され、
道路を構成する地図上の車両の位置に関するナビゲーション情報を分析し、
当該ナビゲーション情報はナビゲーションシステム102によって提供され、
当該ナビゲーションシステム102の入力に基づいて道路コースを決定し、
カメラ101の入力によって決定された道路コースと、ナビゲーションシステム102の入力によって決定された道路コースとを照合し、
ナビゲーションシステム102の入力によって決定された道路コースのうち、カメラ101によって撮影されていない部分を決定し、
カメラ101によって撮影されていない前方の道路コースの部分に関するグラフィック情報306を算出し、
算出されたカメラ101によって撮影されていない前方の道路コースの部分に関するグラフィック情報306を、カメラ101によって撮影されていない前方の道路コースの端部からプロジェクタ104を介して投影することにより、前方の道路の見えない部分に関するグラフィック情報306を透明な平面105に提供する。
100 (ヘッドアップディスプレイ)システム
101 カメラ
102 ナビゲーションシステム
103 プロセッサ
104 プロジェクタ
105 透明な平面
301 道路の左側
302 道路の右側
303 中央分離帯
304 車線
305 障害物
306 グラフィック情報
S1-S6 方法ステップ
目に見える形で指示を出す現在のナビゲーションシステムは、通常、別のパネルを介して情報を表示するか、ヘッドアップディスプレイを使用する。ヘッドアップディスプレイに表示される情報は、通常、かなり限定されたものであり、運転者にナビゲーション情報を提供するための単純なアイコン、簡潔なテキスト情報、及び/又は矢印で構成されている。ナビゲーションシステム100の別パネルに表示されるナビゲーション情報を見ると、運転者は少なくとも一瞬は前方の道路状況から注意をそらすことになり、危険な状況に陥る可能性がある。したがって、潜在的に危険な状況、及び/又は正確な今後の道路コースについて、改善された方法で運転者に通知されることが望ましい。
文献独国特許出願公開第102004048347号明細書は、自動車の運転支援装置を開示している。この装置は、ナビゲーション装置と、撮像センサーと、画像再生装置と、コントローラとを備え、少なくともナビゲーション装置、撮像センサー及び画像再生装置がコントローラに接続されている。制御装置は、撮像センサーで記録された画像を処理して車道と道路の軌跡を認識し、ナビゲーション装置に提供された道路地図データから、撮像センサーの視野外にある少なくとも後続の道路の軌跡を判断し、両情報を統合して画像再生装置に位置精度の高い表示を行うことで、道路の軌跡の予測を行う。前記表示は、運転者に見える交通・運転状況の景色に、位置的にも視点的にも正確に重ねて表示することができる。
文献米国特許出願公開第2016/003636号明細書は、現在の走行車線の第1の境界線、第2の境界線、および中心線を決定する車線マーキングマネージャを含むシステムを開示している。また、このシステムは、第1の境界線に第1の信頼度を、第2の境界線に第2の信頼度を、中心線に第3の信頼度を割り当てる信頼度決定器を含む。さらに、システムは、第1の信頼度、第2の信頼度、および第3の信頼度に少なくとも部分的に基づいて、第1の境界線、第2の境界線、および中心線の表現を出力するユーザインターフェースを含む。
文献米国特許出願公開第2018/089899号明細書は、事前に生成された世界の3Dモデルを活用して、シーンのARビュー、例えば、動いている車両の前にある世界のARビューに対する3Dグラフィックスコンテンツのレンダリングを向上させるARシステムを開示している。ARシステムは、事前に生成された3Dモデルを活用することで、様々な技術を用いてシステムのレンダリング能力を向上させている。ARシステムは、事前に生成された3Dデータ(例えば、3Dタイル)をリモートソース(例えば、クラウドベースのストレージ)から取得し、この事前に生成された3Dデータ(例えば、3Dメッシュ、テクスチャ、およびその他のジオメトリ情報の組み合わせ)を使用して、ローカルデータ(例えば、車両センサーによって収集されたデータの点群)を補強し、ローカルデータから得られるよりもはるかに多くのシーンに関する情報(シーンのオクルージョンまたは遠方の領域に関する情報を含む)を決定する。

Claims (15)

  1. 車両用ヘッドアップディスプレイシステム(100)であって、
    車両用ヘッドアップディスプレイシステム(100)は、運転者の視野にあり、道路コースに関する情報を透明な平面(105)に投影するように構成されたプロジェクタ(104)及び前記透明な平面(105)と、プロセッサ(103)と、を含み、
    前記プロセッサ(103)は、
    カメラ(101)によって提供された車両の前方の道路の画像を分析し、前記カメラ(101)の入力に基づいて前記道路コースを決定するように構成され、
    前記道路を含む地図上の前記車両の位置に関するナビゲーション情報を分析し、当該ナビゲーション情報はナビゲーションシステム(102)によって提供され、当該ナビゲーションシステム(102)の前記入力に基づいて前記道路コースを決定し、
    前記カメラ(101)の前記入力によって決定された前記道路コースと、前記ナビゲーションシステム(102)の前記入力によって決定された前記道路コースとを照合し、
    前記ナビゲーションシステム(102)の前記入力によって決定された前記道路コースのうち、前記カメラ(101)によって撮影されていない部分を決定し、
    前記カメラ(101)によって撮影されていない前方の前記道路コースの部分に関するグラフィック情報(306)を算出し、
    前記カメラ(101)によって撮影されていない前方の前記道路コースの部分に関する、前記算出されたグラフィック情報(306)を、前記カメラ(101)によって撮影されていない前方の前記道路コースの端部から前記プロジェクタ(104)を介して投影することにより、前方の前記道路の見えない部分に関するグラフィック情報(306)を前記透明な平面(105)に提供する、車両用ヘッドアップディスプレイシステム(100)。
  2. 前記カメラ(101)の前記入力によって決定された前記道路コース、及び前記ナビゲーションシステム(102)の前記入力によって決定された前記道路コースは、前記道路の路側帯、前記車両が使用する前記道路の車線(304)、及び/又は前記道路の中央分離帯(303)に関する情報を含む、請求項1に記載のヘッドアップディスプレイシステム(100)。
  3. 投影された前記グラフィック情報(306)は、前記道路の道端を示す連続的もしくは非連続的な線、又は前記道路もしくは前記道路の車線(304)を示す帯の形態である、請求項2に記載のヘッドアップディスプレイシステム(100)。
  4. 投影された前記グラフィック情報(306)は、前記運転者の視野で見える色とは異なる色である、請求項1乃至3のいずれか一に記載のヘッドアップディスプレイシステム(100)。
  5. 前記プロセッサ(103)は、さらに前記カメラ(101)によって撮影されていない前方の前記道路の部分に危険要因が含まれていると判断し、前記運転者に警報を提供する、請求項1乃至4のいずれか一に記載のヘッドアップディスプレイシステム(100)。
  6. 前記危険要因は、鋭くまたは急な曲がり角、信号機、及び/又は前記道路の狭小化である、請求項5に記載のヘッドアップディスプレイシステム(100)。
  7. 前記警報は、可視的、触覚的または音響的な警報である、請求項5又は6に記載のヘッドアップディスプレイシステム(100)。
  8. 前記警報は、所定の色及び/又は投影された前記グラフィック情報(306)の点滅によって示される、請求項5乃至7のいずれか一に記載の用ヘッドアップディスプレイシステム(100)。
  9. 前記システム(100)は、車両の前方の道路の画像を撮影するように構成された前記カメラ(101)をさらに備える、請求項1乃至8のいずれか一に記載のヘッドアップディスプレイシステム(100)。
  10. 前記システム(100)は、前記ナビゲーションシステム(102)をさらに備える、請求項1乃至9のいずれか一に記載のヘッドアップディスプレイシステム(100)。
  11. 請求項1乃至10のいずれか一に記載の前記ヘッドディスプレイシステム(100)を用いて、前記運転者の視野に前方の前記道路の見えない部分のグラフィック情報(306)を提供するためにコンピュータで実施される方法であって、
    カメラ(101)によって提供された車両の前方の道路の画像を分析し、前記道路コースを決定し、
    前記道路を含む地図上の前記車両の前記位置に関し、ナビゲーションシステム(102)によって提供されるナビゲーション情報を分析し、前記道路コースを決定し、
    前記カメラ(101)の前記入力によって決定された前記道路コースと、前記ナビゲーションシステム(102)の前記入力によって決定された前記道路コースと、を照合し、
    前記ナビゲーションシステム(102)の前記入力によって決定された前記道路コースのうち、前記カメラ(101)によって撮影されていない部分を決定し、
    前記カメラ(101)で撮影されていない前記道路の先の部分と、前記カメラ(101)で撮影されていない前記道路の先の部分を起点としたものに関するヘッドアップディスプレイのグラフィック情報(306)を算出し、
    前記カメラ(101)によって撮影されていない前方の前記道路コースの部分に関する、前記算出されたグラフィック情報(306)を、前記カメラ(101)によって撮影されていない前方の前記道路コースの端部から前記プロジェクタ(104)を介して投影することにより、前方の道路の見えない部分に関する前記グラフィック情報(306)を前記透明な平面(105)に提供する方法。
  12. 処理システム(100)のための命令を含むデータキャリアであって、前記処理システム(100)によって実行されると、コンピュータに、請求項11に記載のコンピュータで実施される方法を実行させるデータキャリア。
  13. 請求項12に記載の前記データキャリアを含む処理システム(100)。
  14. 前記処理システム(100)は、Application-Specific Integrated Circuit(ASIC)、Field-Programmable Gate Arrays(FPGA)、または汎用コンピュータである、請求項13に記載の処理システム(100)。
  15. 請求項1乃至10のいずれか一に記載の前記ヘッドアップディスプレイシステム(100)または請求項13または14に記載の処理システム(100)を含む車両。

JP2021535973A 2019-01-18 2019-01-18 ヘッドアップディスプレイシステム、方法、データキャリア、処理システム及び車両 Pending JP2022516849A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/051229 WO2020147962A1 (en) 2019-01-18 2019-01-18 Head-up display system

Publications (1)

Publication Number Publication Date
JP2022516849A true JP2022516849A (ja) 2022-03-03

Family

ID=65324327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021535973A Pending JP2022516849A (ja) 2019-01-18 2019-01-18 ヘッドアップディスプレイシステム、方法、データキャリア、処理システム及び車両

Country Status (6)

Country Link
US (1) US20220065649A1 (ja)
EP (1) EP3911921A1 (ja)
JP (1) JP2022516849A (ja)
KR (1) KR20210113661A (ja)
CN (1) CN113396314A (ja)
WO (1) WO2020147962A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115424435B (zh) * 2022-08-10 2024-01-23 阿里巴巴(中国)有限公司 一种跨link道路识别网络的训练方法、识别跨link道路的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10185597A (ja) * 1996-10-25 1998-07-14 Toyota Motor Corp 車両用情報提供装置
JP2005214730A (ja) * 2004-01-28 2005-08-11 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
DE102004048347A1 (de) * 2004-10-01 2006-04-20 Daimlerchrysler Ag Fahrassistenzvorrichtung zur gegenüber dem Sichtfeld des Fahrers eines Kraftfahrzeugs positionsrichtigen Darstellung des weiteren Straßenverlaufs auf einem Fahrzeugdisplay
JP2006163942A (ja) * 2004-12-08 2006-06-22 Nissan Motor Co Ltd 車両走行状況提示装置及び車両走行状況提示方法
JP2009139994A (ja) * 2007-12-03 2009-06-25 Denso Corp 信号機表示報知装置および信号機表示報知装置用のプログラム
JP2015022759A (ja) * 2013-07-16 2015-02-02 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH 車両におけるレーン割り付けについての方法
JP2017068589A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報端末、及び、情報処理方法
JP2018055296A (ja) * 2016-09-28 2018-04-05 損害保険ジャパン日本興亜株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2018066710A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
CN202686359U (zh) * 2011-11-30 2013-01-23 富士重工业株式会社 狭窄道路检测装置
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
EP2848891B1 (en) * 2013-09-13 2017-03-15 Elektrobit Automotive GmbH Technique for providing travel information
CN106462727B (zh) * 2014-01-30 2020-02-11 移动眼视力科技有限公司 车辆、车道终止检测系统和方法
US9676386B2 (en) * 2015-06-03 2017-06-13 Ford Global Technologies, Llc System and method for controlling vehicle components based on camera-obtained image information
US10444763B2 (en) * 2016-03-21 2019-10-15 Ford Global Technologies, Llc Systems, methods, and devices for fusion of predicted path attributes and drive history
EP3485465A1 (en) * 2016-09-23 2019-05-22 Apple Inc. Augmented reality display
KR20180090610A (ko) * 2017-02-03 2018-08-13 삼성전자주식회사 차선 정보를 출력하는 방법 및 장치.
WO2018211591A1 (ja) * 2017-05-16 2018-11-22 三菱電機株式会社 表示制御装置および表示制御方法
EP3888965B1 (en) * 2018-11-30 2023-09-13 Koito Manufacturing Co., Ltd. Head-up display, vehicle display system, and vehicle display method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10185597A (ja) * 1996-10-25 1998-07-14 Toyota Motor Corp 車両用情報提供装置
JP2005214730A (ja) * 2004-01-28 2005-08-11 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
DE102004048347A1 (de) * 2004-10-01 2006-04-20 Daimlerchrysler Ag Fahrassistenzvorrichtung zur gegenüber dem Sichtfeld des Fahrers eines Kraftfahrzeugs positionsrichtigen Darstellung des weiteren Straßenverlaufs auf einem Fahrzeugdisplay
JP2006163942A (ja) * 2004-12-08 2006-06-22 Nissan Motor Co Ltd 車両走行状況提示装置及び車両走行状況提示方法
JP2009139994A (ja) * 2007-12-03 2009-06-25 Denso Corp 信号機表示報知装置および信号機表示報知装置用のプログラム
JP2015022759A (ja) * 2013-07-16 2015-02-02 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH 車両におけるレーン割り付けについての方法
JP2017068589A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報端末、及び、情報処理方法
JP2018055296A (ja) * 2016-09-28 2018-04-05 損害保険ジャパン日本興亜株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2018066710A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム

Also Published As

Publication number Publication date
EP3911921A1 (en) 2021-11-24
WO2020147962A1 (en) 2020-07-23
CN113396314A (zh) 2021-09-14
KR20210113661A (ko) 2021-09-16
US20220065649A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
CN111247575B (zh) 车辆驾驶辅助系统、方法及计算机可读取的存储介质
US11535155B2 (en) Superimposed-image display device and computer program
US10410423B2 (en) Display control device for controlling stereoscopic display of superimposed display object, display system, display control method and computer readable medium
CN107848416B (zh) 显示控制装置、显示装置及显示控制方法
US11377025B2 (en) Blocked information displaying method and system for use in autonomous vehicle
JP5962594B2 (ja) 車載表示装置およびプログラム
WO2015163205A1 (ja) 車両用表示システム
JP2006284458A (ja) 運転支援情報表示システム
US20200320676A1 (en) Virtual overlay system and method for occluded objects
WO2017056210A1 (ja) 車両用表示装置
CN111595357B (zh) 可视化界面的显示方法、装置、电子设备和存储介质
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
US20230135641A1 (en) Superimposed image display device
US10946744B2 (en) Vehicular projection control device and head-up display device
US11493357B2 (en) Superimposed image display device, superimposed image drawing method, and computer program
WO2017162812A1 (en) Adaptive display for low visibility
EP3859390A1 (en) Method and system for rendering a representation of an evinronment of a vehicle
JP2019027996A (ja) 車両用表示方法及び車両用表示装置
CN113602282A (zh) 车辆驾驶和监测系统及将情境意识维持在足够水平的方法
US11697346B1 (en) Lane position in augmented reality head-up display system
JP6625480B2 (ja) 表示システム
JP4986070B2 (ja) 車両用周囲監視装置
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
JP2022516849A (ja) ヘッドアップディスプレイシステム、方法、データキャリア、処理システム及び車両

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230524

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230720

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231024