JP2006242859A - Information display device for vehicle - Google Patents

Information display device for vehicle Download PDF

Info

Publication number
JP2006242859A
JP2006242859A JP2005061264A JP2005061264A JP2006242859A JP 2006242859 A JP2006242859 A JP 2006242859A JP 2005061264 A JP2005061264 A JP 2005061264A JP 2005061264 A JP2005061264 A JP 2005061264A JP 2006242859 A JP2006242859 A JP 2006242859A
Authority
JP
Japan
Prior art keywords
building
scene image
vehicle
driver
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005061264A
Other languages
Japanese (ja)
Other versions
JP4366716B2 (en
Inventor
Eiben Tokari
英勉 戸苅
Ichiro Yoshida
一郎 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005061264A priority Critical patent/JP4366716B2/en
Publication of JP2006242859A publication Critical patent/JP2006242859A/en
Application granted granted Critical
Publication of JP4366716B2 publication Critical patent/JP4366716B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information display device for a vehicle, enabling a driver to recognize safely and easily a building outside the vehicle. <P>SOLUTION: A navigation device 1 for the vehicle is mounted on the vehicle C and displays a building information display DI on a windshield WS by a windshield display device 8 for making the driver DR to recognize the building BL safely and easily. The building information display DI includes, for example, a building BL name, and is displayed in a domain of the windshield WS close to the building BL as a view from the driver DR. Hereby, the driver DR can grasp easily the position of the building BL and its information (name or the like), without taking the eyes off the direction that should be watched. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、運転者から見える建物の情報を表示する車両用情報表示装置に関する。   The present invention relates to an information display device for a vehicle that displays building information visible to a driver.

車両用ナビゲーション装置では、運転者に対して経路案内を行う場合に、目立つ建物(ランドマーク)を目印として案内する方法が用いられている。例えば、ダッシュボード付近に設置されたディスプレイ上の地図にランドマークを表示するとともに、該当するランドマークに近づいていることを音声で運転者に伝達することで案内を行う。   In the vehicle navigation apparatus, a method of guiding a conspicuous building (landmark) as a landmark when performing route guidance to a driver is used. For example, a landmark is displayed on a map on a display installed in the vicinity of the dashboard, and guidance is given by transmitting to the driver by voice that the landmark is approaching.

特開2004−037260号公報JP 2004-037260 A 特開平7−257228号公報Japanese Patent Laid-Open No. 7-257228

しかし、そのような案内(報知)の仕方は、運転者がランドマークを知っている場合は良いが、ランドマークを知らない場合には、まずディスプレイからランドマークの位置と特徴を短時間で認識し、その後ランドマークを車外の景色から探し出すことが必要となる。この動作は、運転者の視線を色々な方向に移動させることになるため、安全運転に支障が生じる。   However, such guidance (notification) is good when the driver knows the landmark, but when the driver does not know the landmark, the position and characteristics of the landmark are first recognized from the display in a short time. After that, it is necessary to find the landmark from the scenery outside the car. This operation causes the driver's line of sight to move in various directions, which causes an obstacle to safe driving.

また、特許文献1では、運転者の視線を検出し、運転者が視認している建物の情報を音声で通知する技術が開示されているが、音声で通知するだけでは、どの建物が対象となる建物(ランドマーク)であるかを容易に認識することができない。   Moreover, in patent document 1, although the technique of detecting a driver | operator's eyes | visual_axis and notifying the information of the building which the driver | operator is visually recognizing by audio | voice is disclosed, only what is notified by audio | voice is made into object. It cannot be easily recognized whether it is a building (landmark).

本発明は、上記問題を鑑みて為されたものであり、車外の建物を運転者に安全かつ容易に認識させることが可能な車両用情報表示装置を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle information display device that allows a driver to recognize a building outside the vehicle safely and easily.

課題を解決するための手段及び発明の効果Means for Solving the Problems and Effects of the Invention

上記課題を解決するため、請求項1の車両用情報表示装置は、3次元地図データを記憶する地図データ記憶手段と、3次元地図データに含まれる建物に関する建物情報を記憶する建物情報記憶手段と、車両の現在位置を検出する位置検出手段と、車両の進行方位を検出する方位検出手段と、車両の現在位置及び進行方位に基づき3次元地図データから運転者が見ていると想定される模擬情景画像を算出し、且つ、当該模擬情景画像に含まれる建物を特定する模擬情景画像計算部と、模擬情景画像に含まれる建物に関する建物情報を建物情報記憶手段から取得する建物情報取得部と、車両のウインドシールドに映像を表示するウインドシールド表示手段と、模擬情景画像に含まれる建物に関する建物情報を、運転者から見て当該建物の近傍となるウインドシールドの領域に表示するようにウインドシールド表示手段を制御する表示制御部とを備えることを特徴とする。   In order to solve the above-described problem, the vehicle information display device according to claim 1 includes map data storage means for storing 3D map data, and building information storage means for storing building information relating to a building included in the 3D map data. A position detection means for detecting the current position of the vehicle, an orientation detection means for detecting the traveling direction of the vehicle, and a simulation assumed that the driver is viewing from the three-dimensional map data based on the current position and the traveling direction of the vehicle A simulated scene image calculation unit that calculates a scene image and identifies a building included in the simulated scene image; a building information acquisition unit that acquires building information related to the building included in the simulated scene image from a building information storage unit; Windshield display means for displaying video on the windshield of the vehicle, and building information about the building included in the simulated scene image is in the vicinity of the building as seen from the driver Characterized in that it comprises a display control unit for controlling the windshield display means to display the area of the windshield.

本発明によると、3次元地図データから運転者が見ていると想定される模擬的な情景の画像(以下、模擬情景画像という)を算出し、それに基づいて、建物に関する建物情報を運転者から見て当該建物の近傍となるウインドシールドの領域に表示することで、運転者は運転中であっても注視すべき方向から視線を外すことなく安全かつ容易に建物を認識することができる。   According to the present invention, an image of a simulated scene assumed to be viewed by the driver from the three-dimensional map data (hereinafter referred to as a simulated scene image) is calculated, and based on this, building information about the building is obtained from the driver. By displaying in the windshield area in the vicinity of the building as seen, the driver can recognize the building safely and easily without removing his line of sight from the direction to watch even during driving.

請求項2の車両用情報表示装置は、請求項1に記載の車両用情報表示装置において、運転者の目を撮影する運転者撮像手段と、運転者撮像手段により得られる画像から運転者の視線方向を検出する視線方向検出部とを備え、模擬情景画像計算部は、車両の現在位置及び進行方位、運転者の視線方向に基づき3次元地図データから運転者が見ていると想定される模擬情景画像を算出し、且つ、当該模擬情景画像に含まれる建物を特定する。これによれば、検出した運転者の視線方向に基づいて模擬情景画像が算出されるので、建物情報の表示位置を精度良く設定できる。   The vehicle information display device according to claim 2 is the vehicle information display device according to claim 1, wherein the driver imaging means for photographing the eyes of the driver, and the driver's line of sight from the image obtained by the driver imaging means. A sight direction detection unit that detects a direction, and the simulated scene image calculation unit simulates that the driver is viewing from the three-dimensional map data based on the current position and traveling direction of the vehicle and the driver's sight direction. A scene image is calculated, and a building included in the simulated scene image is specified. According to this, since the simulated scene image is calculated based on the detected driver's line-of-sight direction, the display position of the building information can be set with high accuracy.

請求項3の車両用情報表示装置は、請求項1または2に記載の車両用情報表示装置において、車外を撮影する車外撮像手段と、視線方向検出部により得られる運転者の視線方向及び車外撮像手段により得られる画像から運転者が見ている実情景画像を特定する実情景画像特定部と、模擬情景画像と実情景画像とを照合して該模擬情景画像の位置補正を行う情景画像照合部とを備え、表示制御部は、該情景画像照合部により位置補正された模擬情景画像に基づいて表示制御を行う。これによれば、運転者が実際に見ている情景の画像(以下、実情景画像という)は車外を撮影する車外撮像手段によって得られることから、運転者が実際に見ている情景により近いものであり、これに模擬情景画像を照合させて位置補正を行うことで、建物情報の表示位置を精度良く設定できる。   The vehicle information display device according to claim 3 is the vehicle information display device according to claim 1 or 2, wherein the driver's line-of-sight direction and vehicle-side imaging obtained by the vehicle-side imaging means for photographing the outside of the vehicle and the line-of-sight detection unit. A real scene image specifying unit that specifies a real scene image viewed by the driver from an image obtained by the means, and a scene image verification unit that compares the simulated scene image with the real scene image and corrects the position of the simulated scene image The display control unit performs display control based on the simulated scene image whose position is corrected by the scene image matching unit. According to this, since the image of the scene that the driver actually sees (hereinafter referred to as the actual scene image) is obtained by the outside imaging means that captures the outside of the vehicle, it is closer to the scene that the driver actually sees. The display position of the building information can be accurately set by correcting the position by matching the simulated scene image.

請求項4の車両用情報表示装置では、請求項3に記載の車両用情報表示装置において、表示制御部は、実情景画像特定部により得られる実情景画像を、運転者から見た情景と重なるようにウインドシールドに表示させる。これによれば、運転者に建物をより認識させやすくすることができる。   In the vehicle information display device according to claim 4, in the vehicle information display device according to claim 3, the display control unit overlaps the scene viewed from the driver with the actual scene image obtained by the actual scene image specifying unit. To display on the windshield. This makes it easier for the driver to recognize the building.

請求項5の車両用情報表示装置では、請求項1ないし3のいずれか1項に記載の車両用情報表示装置において、表示制御部は、模擬情景画像計算部により得られる模擬情景画像を、運転者から見た情景と重なるようにウインドシールドに表示させる。これによれば、例えば雨天時や夜間などの視界の悪い状況でも運転者に建物をより認識させやすくすることができる。   The vehicle information display device according to claim 5 is the vehicle information display device according to any one of claims 1 to 3, wherein the display control unit drives the simulated scene image obtained by the simulated scene image calculation unit. Display on the windshield so that it overlaps the scene seen by the person. According to this, it is possible to make it easier for the driver to recognize the building even in a situation with poor visibility such as in the rain or at night.

請求項6の車両用情報表示装置は、請求項4または5に記載の車両用情報表示装置において、実情景画像または模擬情景画像を表示するか否かを選択する選択手段を備える。これによれば、運転者は、ウインドシールドへの実情景画像または模擬情景画像の表示を必要に応じて設定できる。   According to a sixth aspect of the present invention, there is provided the vehicle information display device according to the fourth or fifth aspect, further comprising selection means for selecting whether to display an actual scene image or a simulated scene image. According to this, the driver can set the display of the actual scene image or the simulated scene image on the windshield as necessary.

請求項7の車両用情報表示装置では、請求項1ないし6のいずれか1項に記載の車両用情報表示装置において、模擬情景画像計算部は、車両の現在位置から模擬情景画像に含まれる建物までの距離を特定し、表示制御部は、当該距離が所定値以下である場合に建物情報を非表示とする。これによれば、車両の現在位置から建物までの距離が余りにも近ければ建物情報に拠らなくても運転者が建物を認識でき、表示が却って邪魔になる場合もあるので、当該距離が所定値以下である場合に建物情報を表示させないことで、運転者にとっては、より安全であり、また表示を煩わしく思うこともない。   The vehicle information display device according to claim 7, wherein the simulated scene image calculation unit includes the building included in the simulated scene image from the current position of the vehicle. The display control unit hides the building information when the distance is equal to or less than a predetermined value. According to this, if the distance from the current position of the vehicle to the building is too close, the driver can recognize the building without depending on the building information, and the display may be in the way, so the distance is predetermined. If the building information is not displayed when the value is less than or equal to the value, it is safer for the driver and the display is not bothersome.

請求項8の車両用情報表示装置では、請求項1ないし7のいずれか1項に記載の車両用情報表示装置において、模擬情景画像計算部は、車両の現在位置から模擬情景画像に含まれる建物までの距離を特定し、表示制御部は、当該距離が所定値以上である場合に建物情報を非表示とする。これによれば、車両の現在位置から建物までの距離が余りにも遠ければ、そもそも運転者が建物を認識できる状態にないことや、またそのような状態で建物情報を表示すると却って邪魔になる場合もあるので、当該距離が所定値以上である場合に建物情報を表示させないことで、運転者は表示を煩わしく思うこともない。   The vehicle information display device according to claim 8, wherein the simulated scene image calculation unit includes a building included in the simulated scene image from the current position of the vehicle. The display control unit hides the building information when the distance is greater than or equal to a predetermined value. According to this, if the distance from the current position of the vehicle to the building is too far, the driver is not in a state where the building can be recognized in the first place, and if the building information is displayed in such a state, it will be in the way Therefore, when the distance is equal to or greater than the predetermined value, the driver does not bother to display the building information by not displaying the building information.

請求項9の車両用情報表示装置では、請求項1ないし6のいずれか1項に記載の車両用情報表示装置において、模擬情景画像計算部は、車両の現在位置から模擬情景画像に含まれる建物までの距離を特定し、表示制御部は、当該距離が所定範囲内にある場合にのみ建物情報を表示させる。これによれば、運転者が建物を容易に認識できる範囲等においてのみ建物情報を表示させることができる。   The vehicle information display device according to claim 9, wherein the simulated scene image calculation unit includes the building included in the simulated scene image from the current position of the vehicle. The display control unit displays building information only when the distance is within a predetermined range. According to this, building information can be displayed only in a range where the driver can easily recognize the building.

請求項10の車両用情報表示装置は、請求項7ないし9のいずれか1項に記載の車両用情報表示装置において、所定範囲または所定値を設定する設定手段を備える。これによれば、運転者は、建物情報を表示させる条件となる所定範囲または所定値を必要に応じて設定できる。   A vehicle information display device according to a tenth aspect is the vehicle information display device according to any one of the seventh to ninth aspects, further comprising setting means for setting a predetermined range or a predetermined value. According to this, the driver | operator can set the predetermined range or predetermined value used as the conditions for displaying building information as needed.

請求項11の車両用情報表示装置では、請求項1ないし10のいずれか1項に記載の車両用情報表示装置において、表示制御部は、運転者から見て空となるウインドシールドの領域に建物情報を表示させる。これによれば、建物情報が運転者から見て空となる領域に表示されるので、表示が運転者にとって運転の邪魔になることを防ぐことができる。   The vehicle information display device according to claim 11 is the vehicle information display device according to any one of claims 1 to 10, wherein the display control unit is located in a windshield area that is empty when viewed from the driver. Display information. According to this, since the building information is displayed in an area that is empty when viewed from the driver, it is possible to prevent the display from interfering with driving for the driver.

請求項12の車両用情報表示装置では、請求項1ないし11のいずれか1項に記載の車両用情報表示装置において、表示制御部は、建物情報を透過表示させる。これによれば、建物情報が透過表示されるので、表示が運転者にとって運転の邪魔になることを防ぐことができる。   In the vehicle information display device according to a twelfth aspect, in the vehicle information display device according to any one of the first to eleventh aspects, the display control unit transparently displays the building information. According to this, since the building information is transparently displayed, it is possible to prevent the display from obstructing driving for the driver.

請求項13の車両用情報表示装置では、請求項1ないし12のいずれか1項に記載の車両用情報表示装置において、表示制御部は、ウインドシールド外枠側を優先的に建物情報の表示位置とする。これによれば、建物情報が運転者の視界のより外側に表示されるので、表示が運転者にとって運転の邪魔になることを防ぐことができる。   In the vehicle information display device according to claim 13, in the vehicle information display device according to any one of claims 1 to 12, the display control unit preferentially displays the building information display position on the windshield outer frame side. And According to this, since the building information is displayed outside the driver's field of view, it is possible to prevent the display from interfering with driving for the driver.

請求項14の車両用情報表示装置では、請求項1ないし13のいずれか1項に記載の車両用情報表示装置において、模擬情景画像計算部は、車両の現在位置から模擬情景画像に含まれる建物までの距離を特定し、表示制御部は、当該距離に応じて建物情報の詳細度を変化させる。これによれば、例えば建物までの距離が短くなると詳細な建物情報を表示する等、運転者は距離に応じて必要な情報を得ることができる。   15. The vehicle information display device according to claim 14, wherein the simulated scene image calculation unit includes a building included in the simulated scene image from the current position of the vehicle. The display control unit changes the level of detail of the building information according to the distance. According to this, for example, when the distance to the building is shortened, the driver can obtain necessary information according to the distance, such as displaying detailed building information.

請求項15の車両用情報表示装置では、請求項1ないし14のいずれか1項に記載の車両用情報表示装置において、表示制御部は、模擬情景画像に含まれる建物内の個別施設及びその階数に係る情報を建物情報に含めて表示させる。これによれば、運転者は建物内の情報についても得ることができる。   The vehicle information display device according to claim 15, wherein the display control unit includes the individual facility in the building included in the simulated scene image and the number of floors in the vehicle information display device according to any one of claims 1 to 14. The information concerning is included and displayed in the building information. According to this, the driver can also obtain information on the building.

請求項16の車両用情報表示装置では、請求項1ないし15のいずれか1項に記載の車両用情報表示装置において、表示制御部は、模擬情景画像に含まれる建物が運転者から見て重なる場合に、近い側の建物に係る建物情報を優先的に表示させる。これによれば、運転者から見える建物に係る建物表示のみを運転者に認識させることができる。   In the vehicle information display device according to claim 16, in the vehicle information display device according to any one of claims 1 to 15, the display control unit overlaps the buildings included in the simulated scene image when viewed from the driver. In this case, the building information related to the building on the near side is preferentially displayed. According to this, it is possible to make the driver recognize only the building display relating to the building that is visible to the driver.

請求項17の車両用情報表示装置では、請求項1ないし16のいずれか1項に記載の車両用情報表示装置において、表示制御部は、建物情報の表示とともに、運転者から見て当該建物となるウインドシールドの領域にその輪郭を強調する輪郭強調表示を表示させる。これによれば、建物の輪郭が強調されるので、運転者は建物の認識がより容易となる。   In the vehicle information display device according to claim 17, in the vehicle information display device according to any one of claims 1 to 16, the display control unit is configured to display the building information and the building as viewed from the driver. A contour emphasis display for emphasizing the contour is displayed in the area of the windshield. According to this, since the outline of the building is emphasized, the driver can more easily recognize the building.

請求項18の車両用情報表示装置は、請求項1ないし17のいずれか1項に記載の車両用情報表示装置において、建物情報を表示するか否かを選択する選択手段を備える。これによれば、運転者は、ウインドシールドへの建物情報の表示を必要に応じて行うことができる。   The vehicle information display device according to claim 18 is the vehicle information display device according to any one of claims 1 to 17, further comprising selection means for selecting whether to display the building information. According to this, the driver can display the building information on the windshield as necessary.

(1)車両用情報表示装置
以下、本発明の車両用情報表示装置の一実施形態としての車両用ナビゲーション装置を、図面を参照しながら説明する。車両用ナビゲーション装置1(以下、単にナビゲーション装置1という)は、図1に示すように車両Cに取り付けられ、
運転者DRに対して建物BLを安全かつ容易に認識させるべく、ウインドシールド表示装置8によってウインドシールドWSに建物情報表示DIを表示する(図8参照)。以下、ナビゲーション装置1の詳細な構成及び作動について説明する。
(1) Vehicle Information Display Device Hereinafter, a vehicle navigation device as an embodiment of the vehicle information display device of the present invention will be described with reference to the drawings. A vehicle navigation device 1 (hereinafter simply referred to as a navigation device 1) is attached to a vehicle C as shown in FIG.
In order for the driver DR to recognize the building BL safely and easily, the building information display DI is displayed on the windshield WS by the windshield display device 8 (see FIG. 8). Hereinafter, a detailed configuration and operation of the navigation device 1 will be described.

(2)装置構成
ナビゲーション装置1の構成について説明する。図1は、車両Cに取り付けられた状態のナビゲーション装置1を概略的に表す図であり、図2は、ナビゲーション装置1の電気的ブロック図を示すものである。ナビゲーション装置1は、位置検出器2,車外カメラ61,視線カメラ62,操作スイッチ群41,リモコン端末43,リモコンセンサ42,表示装置51,音声出力装置52,ウインドシールド表示装置8,ハードディスク装置(HDD)3及びこれらが接続された制御回路10を備えている。
(2) Device Configuration A configuration of the navigation device 1 will be described. FIG. 1 is a diagram schematically illustrating the navigation device 1 attached to the vehicle C, and FIG. 2 is an electrical block diagram of the navigation device 1. The navigation device 1 includes a position detector 2, a camera outside the vehicle 61, a line-of-sight camera 62, an operation switch group 41, a remote control terminal 43, a remote control sensor 42, a display device 51, an audio output device 52, a windshield display device 8, a hard disk device (HDD). 3) and a control circuit 10 to which these are connected.

位置検出器2は、GPS衛星から送信されたGPS電波を受信し、その受信したGPS電波に格納されているパラメータを演算して位置データを取得するGPS受信機21、地磁気に基づいて方位を検出し、その検出した方位を表す方位データを取得する地磁気センサ22、角速度を検出することに基づいて方位を算出し、その算出した方位を示す方位データを取得するジャイロスコープ23、走行距離を検出し、その検出した距離を示す距離データを取得する距離センサ24を備えて構成され、各センサが取得した各データを相互補完することによって、自車の現在位置の検出(特定)と正確な走行距離の計測を行う。以上の構成によって、位置検出器2は、本発明の位置検出手段及び方位検出手段として機能する。具体的には、車両の現在位置は主にGPS受信器21によって検出され、車両の進行方位は地磁気センサ22及びジャイロスコープ23によって検出される。   The position detector 2 receives a GPS radio wave transmitted from a GPS satellite, calculates a parameter stored in the received GPS radio wave, acquires position data, and detects a direction based on geomagnetism. The geomagnetic sensor 22 that acquires the orientation data representing the detected orientation, calculates the orientation based on detecting the angular velocity, the gyroscope 23 that acquires the orientation data indicating the calculated orientation, detects the travel distance The distance sensor 24 is configured to acquire distance data indicating the detected distance, and each data acquired by the sensors is complemented to detect (specify) the current position of the vehicle and an accurate travel distance. Measure. With the above configuration, the position detector 2 functions as a position detection unit and an orientation detection unit of the present invention. Specifically, the current position of the vehicle is mainly detected by the GPS receiver 21, and the traveling direction of the vehicle is detected by the geomagnetic sensor 22 and the gyroscope 23.

車外カメラ61は、本発明の車外撮像手段として機能するものであり、CCDカメラで構成され、車外を撮影して、撮影した映像をビデオ信号として制御回路10に入力する。   The vehicle outside camera 61 functions as a vehicle outside imaging means of the present invention, and is constituted by a CCD camera. The vehicle outside camera 61 captures the outside of the vehicle and inputs the captured image to the control circuit 10 as a video signal.

視線カメラ62は、本発明の運転者撮像手段として機能するものであり、CCDカメラで構成され、運転者DRの目を撮影して、撮影した映像をビデオ信号として制御回路10に入力する。この画像を基に運転者DRの視線方向が検出される。   The line-of-sight camera 62 functions as the driver image pickup means of the present invention, and is composed of a CCD camera. The line-of-sight camera 62 captures the eyes of the driver DR and inputs the captured image to the control circuit 10 as a video signal. The line-of-sight direction of the driver DR is detected based on this image.

操作スイッチ群41は、例えば、表示装置51と一体になったタッチスイッチ若しくはメカニカルなスイッチ等が用いられる。タッチスイッチは、表示装置51の画面上に縦横に微細に配置された赤外線センサより構成されており、例えば指やタッチペンなどでその赤外線を遮断すると、その遮断した位置が次元座標値(X,Y)として検出される。あるいは、表示装置51の画面上に感圧式の抵抗膜を配置し、指等で押下すると、押下した位置が次元座標値(X,Y)として検出される。また、マウスやカーソル等のポインティングデバイスを用いてもよい。リモコン端末43も、この操作スイッチ群41と同等の機能を有して構成されている。以上の構成により、操作スイッチ群41及びリモコン端末43は本発明の選択手段及び設定手段として機能する。   As the operation switch group 41, for example, a touch switch or a mechanical switch integrated with the display device 51 is used. The touch switch is composed of infrared sensors finely arranged vertically and horizontally on the screen of the display device 51. For example, when the infrared ray is cut off with a finger or a touch pen, the cut-off position becomes a dimensional coordinate value (X, Y ) Is detected. Alternatively, when a pressure-sensitive resistive film is arranged on the screen of the display device 51 and pressed with a finger or the like, the pressed position is detected as a dimension coordinate value (X, Y). A pointing device such as a mouse or a cursor may be used. The remote control terminal 43 also has a function equivalent to that of the operation switch group 41. With the above configuration, the operation switch group 41 and the remote control terminal 43 function as selection means and setting means of the present invention.

表示装置51は、カラー液晶表示器により構成されており、その画面には位置検出器2から入力された車両現在位置マークと、HDD3から入力された地図データと、更に地図上に表示する誘導経路等付加データとを重ね合わせて表示するとともに、本画面に経路案内の設定及び経路誘導中の案内が表示される。また、音声出力装置52は、アンプやスピーカから構成され、目的地までの経路案内の実行時には案内のための合成音声を出力する。   The display device 51 is configured by a color liquid crystal display, and a vehicle current position mark input from the position detector 2, map data input from the HDD 3, and a guide route for displaying the map on the map. The additional data is superimposed and displayed, and route guidance settings and guidance during route guidance are displayed on this screen. The voice output device 52 includes an amplifier and a speaker, and outputs a synthesized voice for guidance when performing route guidance to a destination.

ウインドシールド表示装置8は、本発明のウインドシールド表示手段として機能するものであり、車両CのウインドシールドWSに映像を表示する(図1及び図14参照)。ウインドシールド表示装置8は、制御回路10から出力された表示命令に基づいてディスプレイ駆動回路81が液晶パネル82及びバックライト83を駆動する。具体的には、液晶パネル82及びバックライト83は、図14に示すように、ウインドシールドWSの下側から車両の内側へ延出するインストルメントパネルIPに配設されている。液晶パネル82は、インストルメントパネルIPの開口部分に支持されており、ディスプレイ駆動回路81により駆動するとともにバックライト83からの光を受けることで表示画像を表示する。そして、この表示画像は、表示光としてウインドシールドWSに入射され、運転席に着座した運転者DRの目に向けて反射されることで、虚像として運転者DRに捕らえられる。   The windshield display device 8 functions as the windshield display means of the present invention, and displays an image on the windshield WS of the vehicle C (see FIGS. 1 and 14). In the windshield display device 8, the display drive circuit 81 drives the liquid crystal panel 82 and the backlight 83 based on the display command output from the control circuit 10. Specifically, as shown in FIG. 14, the liquid crystal panel 82 and the backlight 83 are arranged on an instrument panel IP that extends from the lower side of the windshield WS to the inside of the vehicle. The liquid crystal panel 82 is supported by the opening portion of the instrument panel IP, and is driven by the display driving circuit 81 and displays a display image by receiving light from the backlight 83. The display image is incident on the windshield WS as display light and reflected toward the eyes of the driver DR seated on the driver's seat, thereby being captured by the driver DR as a virtual image.

ハードディスク装置(HDD)3は、制御回路10(CPU11)を作動させるためのナビゲーションプログラム(以下、ナビプログラムと称する)31pを記憶している。なお、ナビプログラム31pは、制御部10のROM12に格納されていてもよい。また、HDD3は、ナビプログラム31pの動作に必要な種々のデータ、すなわち、地図描画のための地図データ(地図データベース32d),位置検出精度向上のためのマップマッチング用データ,建物(施設)情報データ(建物情報データベース33d)等を記憶しており、要求に応じて制御部10にデータを入力する。なお、これらのデータは、例えばCD−ROM,DVD−ROM,メモリカードなどの情報記録媒体に記憶させ、データ入力器から制御部10に入力するようにしてもよい。以上の構成により、HDD3は、本発明の地図データ記憶手段及び建物情報記憶手段として機能する。   The hard disk device (HDD) 3 stores a navigation program (hereinafter referred to as a navigation program) 31p for operating the control circuit 10 (CPU 11). The navigation program 31p may be stored in the ROM 12 of the control unit 10. Further, the HDD 3 stores various data necessary for the operation of the navigation program 31p, that is, map data for map drawing (map database 32d), map matching data for improving position detection accuracy, and building (facility) information data. (Building information database 33d) and the like are stored, and data is input to the control unit 10 as required. These data may be stored in an information recording medium such as a CD-ROM, a DVD-ROM, or a memory card and input to the control unit 10 from a data input device. With the above configuration, the HDD 3 functions as the map data storage unit and the building information storage unit of the present invention.

HDD3に構築された地図データベース32d(地図データ記憶手段)は、表示装置51の画面に表示される2次元地図データ(2D地図データ)36と、3次元地図データ(3D地図データ)37とを記憶している。ここで、3次元地図データ37は、通常の地図情報に加えて、建物の形状データと高さ情報を有しており(図5に3次元地図データ37のイメージ図を示す)、後述する模擬情景画像SVS(図5及び図6参照)の計算に用いられる。   The map database 32d (map data storage means) built in the HDD 3 stores 2D map data (2D map data) 36 and 3D map data (3D map data) 37 displayed on the screen of the display device 51. is doing. Here, the three-dimensional map data 37 includes building shape data and height information in addition to normal map information (an image diagram of the three-dimensional map data 37 is shown in FIG. 5). It is used for the calculation of the image SVS (see FIGS. 5 and 6).

HDD3に構築された建物情報データベース33d(建物情報記憶手段)は、地図データ36,37に含まれる建物に関する建物情報を記憶している。すなわち、建物情報は、建物の名称や各建物についての詳細情報(例えば、各建物に含まれる施設の名称や建物内の階数、ジャンル等)などが地図データ36,37の地図上の位置と関連付けた状態で記憶されている。   The building information database 33d (building information storage means) built in the HDD 3 stores building information relating to buildings included in the map data 36 and 37. That is, the building information associates the name of the building and detailed information about each building (for example, the name of the facility included in each building, the number of floors in the building, the genre, etc.) with the position of the map data 36 and 37 on the map. It is memorized in the state.

制御回路10は、通常のコンピュータとして構成されており、周知のCPU11,ROM12,RAM13,入出力インターフェース(I/O)14及びこれらの構成を接続するバスライン15が備えられている。CPU11は、HDD3に記憶されたナビプログラム31p及び種々のデータにより制御を行う。このナビプログラム31pは、RAM13上にてナビプログラム用ワークメモリ13wを作業領域とする形で作動する。以上の構成によって、制御回路10は、CPU11によりナビプログラム31pが起動されると、本発明の視線方向検出部,模擬情景画像計算部,建物情報取得部,表示制御部,実情景画像特定部,情景画像照合部,として機能する。   The control circuit 10 is configured as a normal computer, and includes a known CPU 11, ROM 12, RAM 13, input / output interface (I / O) 14, and a bus line 15 for connecting these configurations. The CPU 11 controls the navigation program 31p stored in the HDD 3 and various data. The navigation program 31p operates on the RAM 13 with the navigation program work memory 13w as a work area. With the above configuration, when the navigation program 31p is started by the CPU 11, the control circuit 10 has a gaze direction detection unit, a simulated scene image calculation unit, a building information acquisition unit, a display control unit, a real scene image identification unit, It functions as a scene image matching unit.

(3)装置作動
次に、ナビゲーション装置1の作動について、図3及び図4を参照して説明する。ここで、図3は、ナビゲーション装置1のCPU11が実行するナビプログラム31pの建物情報表示ルーチンを機能ブロック図で示すものであり、図4は同処理をフローチャートで示すものである。
(3) Device Operation Next, the operation of the navigation device 1 will be described with reference to FIGS. 3 and 4. Here, FIG. 3 shows a building information display routine of the navigation program 31p executed by the CPU 11 of the navigation device 1 in a functional block diagram, and FIG. 4 shows the process in a flowchart.

(3−1)メインルーチン
ナビプログラム31pのメインルーチンについて説明する。メインルーチン(図示せず)では、目的地設定処理,経路探索処理,経路案内処理が順に行われる。まず、目的地設定処理では、CPU11は、表示装置51の画面に目的地設定のためのメニューを表示し、運転者に操作スイッチ群41による目的地の入力を促す。次に、経路探索処理では、CPU11は、運転者が操作スイッチ群41により目的地を入力したことを検知すると、位置検出器2から得られるデータにより自車両Cの現在位置を求め、該現在位置から目的地までの最適な経路を探索する。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。次に、経路案内処理では、経路探索処理で求めた経路を表示装置51の画面上の道路地図に重ねて表示し、運転者に適切な経路を案内する。また、表示装置51や音声出力装置52によって操作時のガイダンスや動作状態に応じたメッセージの報知を行う。
(3-1) Main Routine The main routine of the navigation program 31p will be described. In a main routine (not shown), destination setting processing, route search processing, and route guidance processing are performed in order. First, in the destination setting process, the CPU 11 displays a menu for setting the destination on the screen of the display device 51 and prompts the driver to input the destination by the operation switch group 41. Next, in the route search process, when the CPU 11 detects that the driver inputs a destination using the operation switch group 41, the CPU 11 obtains the current position of the host vehicle C from the data obtained from the position detector 2, and the current position Search for the optimal route from the destination to the destination. As a method for automatically setting an optimal route, a method such as the Dijkstra method is known. Next, in the route guidance process, the route obtained by the route search process is displayed so as to overlap the road map on the screen of the display device 51, and an appropriate route is guided to the driver. In addition, the display device 51 and the voice output device 52 provide guidance during operation and notification of messages according to the operation state.

(3−2)建物情報表示ルーチン
図3及び図4に示す建物情報表示ルーチンについて説明する。建物情報表示ルーチンは、上記メインルーチンの経路案内処理中において、CPU11が操作スイッチ群41等の操作を検知することで開始される。具体的には、運転者が車外の景色から案内されたランドマーク等の建物を発見できない場合などに、ウインドシールドWSへの建物情報の表示を希望し、その操作を操作スイッチ群41等によって開始すると、CPU11がそれを検知して建物情報表示ルーチンが開始される。
(3-2) Building Information Display Routine The building information display routine shown in FIGS. 3 and 4 will be described. The building information display routine is started when the CPU 11 detects an operation of the operation switch group 41 or the like during the route guidance process of the main routine. Specifically, when the driver cannot find a landmark or other building guided from the scenery outside the vehicle, he wishes to display the building information on the windshield WS and starts the operation with the operation switch group 41 or the like. Then, CPU11 detects it and a building information display routine is started.

建物情報表示ルーチンが開始されると、CPU11は、視線カメラ62(図1参照)により得られる画像から運転者DRの視線方向を検出する(ステップS1,視線方向検出部92)。具体的には、視線カメラ62は運転者DRの顔面付近を撮影しており、この画像データの入力を受けたCPU11は、顔面画像から眼球領域を特定するとともに、眼球形状の曲率から眼球中心座標を求める。その一方、眼球領域から黒目(瞳孔)領域を特定して黒目中心座標も求める。そして、眼球中心座標から黒目中心座標へと向かう方向を視線方向として定める。なお、視線方向の検出には、他にも赤外光を用いる角膜反射法や強膜反射法などを用いることができる。   When the building information display routine is started, the CPU 11 detects the line-of-sight direction of the driver DR from the image obtained by the line-of-sight camera 62 (see FIG. 1) (step S1, line-of-sight direction detection unit 92). Specifically, the line-of-sight camera 62 captures the vicinity of the face of the driver DR, and the CPU 11 receiving the input of the image data specifies the eyeball region from the face image and also determines the eyeball center coordinates from the curvature of the eyeball shape. Ask for. On the other hand, a black eye (pupil) region is specified from the eyeball region, and a black eye center coordinate is also obtained. Then, the direction from the eyeball center coordinates to the black eye center coordinates is determined as the line-of-sight direction. For the detection of the line-of-sight direction, other methods such as a corneal reflection method using infrared light and a scleral reflection method can be used.

次に、CPU11は、車両Cの現在位置及び進行方位を位置検出器2から取得する(ステップS2,模擬情景画像計算部91)。具体的には、車両Cの現在位置は主にGPS受信器21から、車両Cの進行方位は地磁気センサ22やジャイロスコープ23から取得できる。   Next, the CPU 11 obtains the current position and traveling direction of the vehicle C from the position detector 2 (step S2, simulated scene image calculation unit 91). Specifically, the current position of the vehicle C can be acquired mainly from the GPS receiver 21, and the traveling direction of the vehicle C can be acquired from the geomagnetic sensor 22 and the gyroscope 23.

次に、CPU11は、図5のイメージ図に示すように、地図データベース32d内の3次元地図データ37から車両Cの現在位置AL及び進行方位CD、運転者DRの視線方向LSに基づいて、運転者DRが見ていると想定される模擬情景画像SVS(図6参照)を算出する(ステップS3,模擬情景画像計算部91)。図6に示すような2次元的に表された模擬情景画像SVSは、3次元地図データ37からレイトレーシング法等の手法により得ることができる。模擬情景画像SVSとなる範囲は、図5に示すように、例えば、運転者DRの視線方向LSを中心として上下左右に所定角度広がった範囲とすることができる。また、奥行きは、運転者DRの視線方向LSに沿った所定の長さで区切ることができる。   Next, as shown in the image diagram of FIG. 5, the CPU 11 determines the driver based on the current position AL and traveling direction CD of the vehicle C, and the line-of-sight direction LS of the driver DR from the three-dimensional map data 37 in the map database 32d. A simulated scene image SVS (see FIG. 6) assumed to be viewed by the DR is calculated (step S3, simulated scene image calculation unit 91). A simulated scene image SVS represented two-dimensionally as shown in FIG. 6 can be obtained from the three-dimensional map data 37 by a method such as ray tracing. As shown in FIG. 5, the range that becomes the simulated scene image SVS can be, for example, a range that spreads by a predetermined angle in the vertical and horizontal directions around the line-of-sight direction LS of the driver DR. Further, the depth can be divided by a predetermined length along the line-of-sight direction LS of the driver DR.

また、CPU11は、模擬情景画像SVSを得るのと合わせて、模擬情景画像SVSに含まれる建物BLを特定する。具体的には、建物BLの地図上の位置や車両Cの現在位置から建物BLまでの距離が特定される。なお、ここでは、模擬情景画像SVSに含まれる全ての建物BLの特定を行ってもよいが、模擬情景画像SVSの中で所定の条件を満たす建物BLのみを特定するようにしてもよい。すなわち、例えば、ランドマークとなるような一定の高さ以上の建物BLのみを特定したり、経路案内において案内を行うべき建物BLのみを特定したりできる。   Further, the CPU 11 specifies the building BL included in the simulated scene image SVS together with obtaining the simulated scene image SVS. Specifically, the position on the map of the building BL and the distance from the current position of the vehicle C to the building BL are specified. Here, although all the buildings BL included in the simulated scene image SVS may be specified, only the buildings BL satisfying a predetermined condition in the simulated scene image SVS may be specified. That is, for example, it is possible to specify only a building BL that is a certain height or higher as a landmark, or specify only a building BL that should be guided in route guidance.

次に、CPU11は、特定された建物BLに関する建物情報を建物情報データベース33dから取得する(ステップS4,建物情報取得部94)。建物情報データベース33dでは、地図上の地点と関連付けた状態で建物情報が記憶されているので、上記ステップ3で特定された建物BLの地図上の位置を基に、建物BLの建物情報が取得できる。   Next, CPU11 acquires the building information regarding the specified building BL from the building information database 33d (step S4, building information acquisition part 94). In the building information database 33d, building information is stored in a state associated with points on the map, so that building information of the building BL can be acquired based on the position of the building BL on the map identified in step 3 above. .

一方、CPU11は、運転者DRの視線方向及び車外カメラ61により得られる画像から運転者DRが見ている実情景画像AVS(図7参照)を特定する(ステップS5,実情景画像特定部93)。すなわち、車外カメラ61の撮影により得られる画像のうち運転者DRの視線方向にある部分を、運転者DRが見ている実情景画像AVSとして特定する。   On the other hand, the CPU 11 specifies the actual scene image AVS (see FIG. 7) viewed by the driver DR from the line-of-sight direction of the driver DR and the image obtained by the outside camera 61 (step S5, actual scene image specifying unit 93). . That is, the part in the line-of-sight direction of the driver DR in the image obtained by photographing with the outside camera 61 is specified as the actual scene image AVS viewed by the driver DR.

そして、CPU11は、図7に示すように、模擬情景画像SVSと実情景画像AVSとを照合(パターンマッチング)させて模擬情景画像SVSの位置補正を行う(ステップS6,情景画像照合部95)。模擬情景画像SVSは、3次元地図データ37から生成しており、運転者DRが実際に見ている情景とはズレている場合があることから、運転者DRが見ている情景により近い実情景画像AVSに模擬情景画像SVSを合わせることで、後述するウインドシールドWSへの建物情報の表示位置を精度良くすることができる。   Then, as shown in FIG. 7, the CPU 11 corrects the position of the simulated scene image SVS by matching (pattern matching) the simulated scene image SVS and the actual scene image AVS (step S6, scene image matching unit 95). The simulated scene image SVS is generated from the three-dimensional map data 37 and may be different from the scene actually seen by the driver DR. Therefore, the simulated scene image SVS is closer to the scene seen by the driver DR. By matching the simulated scene image SVS with the image AVS, the display position of building information on the windshield WS, which will be described later, can be improved.

次に、CPU11は、車両Cの現在位置から建物BLまでの距離が所定範囲内にあるか否かを判定する(ステップS7,表示制御部96)。例えば、あまりにも距離が遠ければ運転者DRが建物BLを認識できない場合があるし、他方、あまりにも距離が近ければ建物情報に拠らなくても運転者DRが建物BLを認識でき、表示させることが却って邪魔になる場合もあるので、距離が所定範囲内にある場合に限って建物表示を表示する。なお、所定範囲は、操作スイッチ群41等により設定することができる。ここで、距離が所定範囲外であれば(ステップS7:No)、上述した模擬情景画像の計算(ステップS3)や実情景画像の取得(ステップS5)を継続する。   Next, the CPU 11 determines whether or not the distance from the current position of the vehicle C to the building BL is within a predetermined range (step S7, display control unit 96). For example, if the distance is too far, the driver DR may not be able to recognize the building BL. On the other hand, if the distance is too close, the driver DR can recognize and display the building BL without depending on the building information. However, the building display is displayed only when the distance is within a predetermined range. The predetermined range can be set by the operation switch group 41 or the like. If the distance is outside the predetermined range (step S7: No), the above-described simulation scene image calculation (step S3) and actual scene image acquisition (step S5) are continued.

車両Cの現在位置から建物BLまでの距離が所定範囲内であれば(ステップS7:Yes)、CPU11は、ディスプレイ駆動回路81に表示命令を出力し、図8に示すようにウインドシールドWSに建物情報表示DIを表示させる(ステップS8,表示制御部96)。建物情報表示DIは、例えば建物BLの名称を含み、運転者DRから見て建物BLの近傍となるウインドシールドWSの領域に表示される。これにより、運転者DRは、注視すべき方向から視線をそらさずに、建物BLの位置及びその情報(名称等)を容易に把握することができる。建物情報表示DIの表示位置は、模擬情景画像SVS(図6参照)において定められ、それがウインドシールドWS上に反映される。ここで、模擬情景画像SVSは、上述したように情景画像照合部95によって位置補正されているので(図7参照)、模擬情景画像SVSで定めた表示位置が運転者DRの実際に見ている情景とリンクする。   If the distance from the current position of the vehicle C to the building BL is within a predetermined range (step S7: Yes), the CPU 11 outputs a display command to the display driving circuit 81, and the building is applied to the windshield WS as shown in FIG. The information display DI is displayed (step S8, display control unit 96). The building information display DI includes, for example, the name of the building BL, and is displayed in the area of the windshield WS that is in the vicinity of the building BL when viewed from the driver DR. Accordingly, the driver DR can easily grasp the position of the building BL and its information (name, etc.) without diverting the line of sight from the direction to be watched. The display position of the building information display DI is determined in the simulated scene image SVS (see FIG. 6), and is reflected on the windshield WS. Here, since the position of the simulated scene image SVS is corrected by the scene image matching unit 95 as described above (see FIG. 7), the display position determined by the simulated scene image SVS is actually viewed by the driver DR. Link with the scene.

建物情報表示DIは、図8に示すように、運転者DRから見て空となるウインドシールドWSの領域(空領域BS)に表示される。空領域BSは、3次元地図データ37から得られる模擬情景画像SVSから特定することができる。例えば、模擬情景画像SVSをレイトレーシング法で得る場合において、建物BL等の物体から届く光線が存在しない領域を空領域BSとする。また、建物情報表示DIは、建物BLの近傍となる位置のうち、ウインドシールドWSの外枠側を優先的に表示位置とする。これは、例えば、運転者DRの視線方向を基に模擬情景画像SVSの中でのウインドシールドWSの範囲を特定することで、該範囲内の外縁側を表示位置として定めることができる。また、運転者DRの視線方向がウインドシールドWSの中心付近にあると仮定して、該中心(視線方向)からより遠い位置を表示位置として定めることもできる。このようにして建物情報表示DIが表示されることで、運転者DRの視界を塞いで運転の妨げになるような事態を避けることができる。なお、建物情報表示DIは、これらの表示形態に限らず、図9〜図12に示すような種々の表示形態が可能である。以下、各々について説明する。   As shown in FIG. 8, the building information display DI is displayed in an area of the windshield WS that is empty when viewed from the driver DR (empty area BS). The sky region BS can be specified from the simulated scene image SVS obtained from the three-dimensional map data 37. For example, when the simulated scene image SVS is obtained by the ray tracing method, an area where there is no light beam reaching from an object such as a building BL is defined as an empty area BS. Further, the building information display DI preferentially sets the outer frame side of the windshield WS as the display position among the positions near the building BL. For example, by specifying the range of the windshield WS in the simulated scene image SVS based on the line-of-sight direction of the driver DR, the outer edge side in the range can be determined as the display position. Further, assuming that the line-of-sight direction of the driver DR is near the center of the windshield WS, a position farther from the center (line-of-sight direction) can be determined as the display position. By displaying the building information display DI in this way, it is possible to avoid a situation where the driver DR is blocked and the driving is hindered. The building information display DI is not limited to these display forms, and various display forms as shown in FIGS. 9 to 12 are possible. Each will be described below.

建物情報表示DIは、図9に示すように、透過表示させることができる(透過建物情報表示CDI)。これは、ウインドシールドWSに表示される建物情報表示DIの透明度を上げることの他に、明度を下げることでも実現できる。例えば、高いビルに囲まれている等の状況ではウインドシールドWSの空領域BSが少なくなってその他の領域に表示を行う必要が生じるが、このような場合に透過建物情報表示CDIを用いることで、運転の妨げになるような事態を避けることができる。   As shown in FIG. 9, the building information display DI can be transparently displayed (transparent building information display CDI). This can be realized not only by increasing the transparency of the building information display DI displayed on the windshield WS but also by decreasing the brightness. For example, in a situation such as being surrounded by a tall building, the empty area BS of the windshield WS is reduced and it is necessary to display in other areas. In such a case, by using the transparent building information display CDI , Can avoid situations that hinder driving.

建物情報表示DIは、図10に示すように、複数表示させることができる。この際、建物BLが運転者から見て重なる場合があるので、近い側の建物に係る建物情報表示DIを優先的に表示させることで、運転者DRが見える建物BLに係る建物情報表示DIのみを運転者DRに認識させることができる。建物BLが運転者から見て重なるか否かは、3次元データ37における車両Cを基準とした建物同士の位置関係及び高さ関係等で判別できる。   A plurality of building information displays DI can be displayed as shown in FIG. At this time, since the building BL may overlap when viewed from the driver, only the building information display DI related to the building BL where the driver DR can be seen is displayed by preferentially displaying the building information display DI related to the near building. Can be recognized by the driver DR. Whether or not the building BL overlaps when viewed from the driver can be determined by the positional relationship and height relationship between the buildings based on the vehicle C in the three-dimensional data 37.

建物情報表示DIは、車両Cの現在位置から建物BLまでの距離に応じてその詳細度を変化させることができる。例えば、最初は図8に示すように建物名を含む建物情報表示DIを表示しておき、車両Cが所定の距離まで近付くと、建物情報データベース33dから建物BLの更なる詳細な情報(建物BL内の個別施設の名称やその階数を建物情報)を読み出し、これを含めて図11に示すような詳細建物情報表示DDIに切替える。これにより、運転者DRは段階的に詳細な建物情報を取得できる。   The building information display DI can change the level of detail according to the distance from the current position of the vehicle C to the building BL. For example, as shown in FIG. 8, a building information display DI including a building name is initially displayed, and when the vehicle C approaches a predetermined distance, further detailed information (building BL) of the building BL is obtained from the building information database 33d. The name of each individual facility and the number of floors thereof are read out, and the detailed building information display DDI as shown in FIG. Thereby, driver DR can acquire detailed building information in steps.

建物情報表示DIに加えて、図12に示すように、運転者DRから見て建物BLとなるウインドシールドWSの領域にその輪郭を強調する輪郭強調表示OEを表示させることもできる。3次元地図データ37から模擬情景画像SVSを得る際に、建物BLの領域とその他の領域とは区別されるので、その境界(すなわち建物BLの輪郭)に沿った領域に輪郭強調表示OEを表示することで、運転者DRがより建物BLを認識しやすくなる。   In addition to the building information display DI, as shown in FIG. 12, an outline emphasis display OE that emphasizes the outline can be displayed in the area of the windshield WS that becomes the building BL when viewed from the driver DR. When the simulated scene image SVS is obtained from the three-dimensional map data 37, the region of the building BL is distinguished from other regions, so that the contour emphasis display OE is displayed in the region along the boundary (that is, the contour of the building BL). This makes it easier for the driver DR to recognize the building BL.

ウインドシールドWSには、模擬情景画像SVS(図7参照)または実情景画像AVS(図7参照)を、運転者から見た情景と重なるように表示させることができる。重ね合わせる画像は、運転者DRの運転の邪魔とならないように、透明度や明度を調整して透過表示とすることが好ましい。図13に、模擬情景画像SVSを重ねて表示した場合を示す。これによれば、例えば夜間走行の場合等でも建物BLの認識が容易となる。なお、模擬情景画像SVSまたは実情景画像AVSを表示するか否かの選択は、操作スイッチ群41等の操作によって行うことができる。   On the windshield WS, the simulated scene image SVS (see FIG. 7) or the actual scene image AVS (see FIG. 7) can be displayed so as to overlap the scene viewed from the driver. It is preferable to adjust the transparency and brightness of the superimposed image so that it does not interfere with the driving of the driver DR. FIG. 13 shows a case where the simulated scene image SVS is displayed in an overlapping manner. This makes it easy to recognize the building BL even when traveling at night, for example. Note that whether or not to display the simulated scene image SVS or the actual scene image AVS can be selected by operating the operation switch group 41 or the like.

以上、本発明の実施形態について説明したが、本発明はこれらに限定されず、その要旨を逸脱しない範囲で適宜変更して実施し得るものである。   As mentioned above, although embodiment of this invention was described, this invention is not limited to these, In the range which does not deviate from the summary, it can change suitably and can implement.

車両に取り付けられた状態の本発明の車両用情報表示装置を概略的に表す図The figure which represents roughly the information display apparatus for vehicles of this invention of the state attached to the vehicle 本発明の車両用情報表示装置の電気的ブロック図Electrical block diagram of vehicle information display device of the present invention 本発明の車両用情報表示装置が行う処理を表す機能ブロック図The functional block diagram showing the process which the information display apparatus for vehicles of this invention performs 本発明の車両用情報表示装置が行う処理を表すフローチャートThe flowchart showing the process which the information display apparatus for vehicles of this invention performs. 3次元地図データの説明図Illustration of 3D map data 模擬情景画像の説明図Illustration of simulated scene image 模擬情景画像と実情景画像の照合に関する説明図Explanatory drawing about collation of simulated scene image and actual scene image ウインドシールドへの第1表示例を示す図The figure which shows the example of the 1st display to a windshield ウインドシールドへの第2表示例を示す図The figure which shows the 2nd example of a display to a windshield ウインドシールドへの第3表示例を示す図The figure which shows the 3rd example of a display to a windshield ウインドシールドへの第4表示例を示す図The figure which shows the 4th example of a display to a windshield ウインドシールドへの第5表示例を示す図The figure which shows the 5th example of a display to a windshield ウインドシールドへの第6表示例を示す図The figure which shows the 6th example of a display to a windshield ウインドシールド表示装置の説明図Illustration of windshield display device

符号の説明Explanation of symbols

1 車両用ナビゲーション装置(車両用情報表示装置)
2 位置検出器(位置検出手段,方位検出手段)
3 ハードディスク(地図データ記憶手段,建物情報記憶手段)
32d 地図データベース
33d 建物情報データベース
37 3次元地図データ
41 操作スイッチ群(選択手段,設定手段)
43 リモコン端末(選択手段,設定手段)
61 車外カメラ(車外撮像手段)
62 視線カメラ(運転者撮像手段)
8 ウインドシールド表示装置(ウインドシールド表示手段)
10 制御部(表示制御部,視線方向検出部,模擬情景画像計算部,建物情報取得部,実情景画像特定部,情景画像照合部)
1 Vehicle navigation device (vehicle information display device)
2 Position detector (position detection means, direction detection means)
3 Hard disks (map data storage means, building information storage means)
32d map database 33d building information database 37 3D map data 41 operation switch group (selection means, setting means)
43 Remote control terminal (selection means, setting means)
61 Outside-vehicle camera (outside-vehicle imaging means)
62 Line-of-sight camera (driver imaging means)
8 Windshield display device (windshield display means)
10 control unit (display control unit, gaze direction detection unit, simulated scene image calculation unit, building information acquisition unit, actual scene image identification unit, scene image verification unit)

Claims (18)

3次元地図データを記憶する地図データ記憶手段と、
前記3次元地図データに含まれる建物に関する建物情報を記憶する建物情報記憶手段と、
車両の現在位置を検出する位置検出手段と、
車両の進行方位を検出する方位検出手段と、
車両の現在位置及び進行方位に基づき前記3次元地図データから運転者が見ていると想定される模擬情景画像を算出し、且つ、当該模擬情景画像に含まれる建物を特定する模擬情景画像計算部と、
前記模擬情景画像に含まれる建物に関する建物情報を前記建物情報記憶手段から取得する建物情報取得部と、
車両のウインドシールドに映像を表示するウインドシールド表示手段と、
前記模擬情景画像に含まれる建物に関する建物情報を、運転者から見て当該建物の近傍となる前記ウインドシールドの領域に表示するように前記ウインドシールド表示手段を制御する表示制御部と、
を備えることを特徴とする車両用情報表示装置。
Map data storage means for storing three-dimensional map data;
Building information storage means for storing building information relating to a building included in the three-dimensional map data;
Position detecting means for detecting the current position of the vehicle;
Direction detection means for detecting the traveling direction of the vehicle;
A simulated scene image calculation unit that calculates a simulated scene image assumed to be viewed by the driver from the three-dimensional map data based on the current position and traveling direction of the vehicle, and identifies a building included in the simulated scene image When,
A building information acquisition unit that acquires building information about the building included in the simulated scene image from the building information storage unit;
Windshield display means for displaying images on the windshield of the vehicle;
A display control unit for controlling the windshield display means so as to display the building information related to the building included in the simulated scene image in the area of the windshield that is in the vicinity of the building when viewed from the driver;
A vehicle information display device comprising:
運転者の目を撮影する運転者撮像手段と、前記運転者撮像手段により得られる画像から運転者の視線方向を検出する視線方向検出部とを備え、
前記模擬情景画像計算部は、車両の現在位置及び進行方位、運転者の視線方向に基づき前記3次元地図データから運転者が見ていると想定される模擬情景画像を算出し、且つ、当該模擬情景画像に含まれる建物を特定する請求項1に記載の車両用情報表示装置。
Driver imaging means for photographing the eyes of the driver, and a gaze direction detection unit for detecting the gaze direction of the driver from the image obtained by the driver imaging means,
The simulated scene image calculation unit calculates a simulated scene image assumed to be viewed by the driver from the three-dimensional map data based on the current position and traveling direction of the vehicle, and the driver's line-of-sight direction, and the simulation The vehicle information display device according to claim 1, wherein a building included in the scene image is specified.
車外を撮影する車外撮像手段と、
前記視線方向検出部により得られる運転者の視線方向及び前記車外撮像手段により得られる画像から運転者が見ている実情景画像を特定する実情景画像特定部と、
前記模擬情景画像と前記実情景画像とを照合して該模擬情景画像の位置補正を行う情景画像照合部とを備え、
前記表示制御部は、該情景画像照合部により位置補正された前記模擬情景画像に基づいて表示制御を行う請求項1または2に記載の車両用情報表示装置。
Vehicle exterior imaging means for photographing outside the vehicle;
A real scene image specifying unit for specifying a driver's gaze direction obtained by the gaze direction detection unit and an actual scene image viewed by the driver from an image obtained by the outside imaging unit;
A scene image matching unit that matches the simulated scene image with the actual scene image and corrects the position of the simulated scene image;
The vehicle display apparatus according to claim 1, wherein the display control unit performs display control based on the simulated scene image whose position is corrected by the scene image matching unit.
前記表示制御部は、前記実情景画像特定部により得られる前記実情景画像を、運転者から見た情景と重なるように前記ウインドシールドに表示させる請求項3に記載の車両用情報表示装置。   4. The vehicle information display device according to claim 3, wherein the display control unit displays the actual scene image obtained by the actual scene image specifying unit on the windshield so as to overlap with a scene viewed from a driver. 前記表示制御部は、前記模擬情景画像計算部により得られる前記模擬情景画像を、運転者から見た情景と重なるように前記ウインドシールドに表示させる請求項1ないし3のいずれか1項に記載の車両用情報表示装置。   The said display control part displays the said simulated scene image obtained by the said simulated scene image calculation part on the said windshield so that it may overlap with the scene seen from the driver | operator. Vehicle information display device. 前記実情景画像または前記模擬情景画像を表示するか否かを選択する選択手段を備える請求項4または5に記載の車両用情報表示装置。   The vehicle information display device according to claim 4, further comprising selection means for selecting whether to display the actual scene image or the simulated scene image. 前記模擬情景画像計算部は、車両の現在位置から前記模擬情景画像に含まれる建物までの距離を特定し、前記表示制御部は、当該距離が所定値以下である場合に前記建物情報を非表示とする請求項1ないし6のいずれか1項に記載の車両用情報表示装置。   The simulated scene image calculation unit specifies a distance from a current position of the vehicle to a building included in the simulated scene image, and the display control unit does not display the building information when the distance is equal to or less than a predetermined value. The vehicle information display device according to any one of claims 1 to 6. 前記模擬情景画像計算部は、車両の現在位置から前記模擬情景画像に含まれる建物までの距離を特定し、前記表示制御部は、当該距離が所定値以上である場合に前記建物情報を非表示とする請求項1ないし7のいずれか1項に記載の車両用情報表示装置。   The simulated scene image calculation unit specifies a distance from a current position of the vehicle to a building included in the simulated scene image, and the display control unit does not display the building information when the distance is a predetermined value or more. The vehicle information display device according to any one of claims 1 to 7. 前記模擬情景画像計算部は、車両の現在位置から前記模擬情景画像に含まれる建物までの距離を特定し、前記表示制御部は、当該距離が所定範囲内にある場合にのみ前記建物情報を表示させる請求項1ないし6のいずれか1項に記載の車両用情報表示装置。   The simulated scene image calculation unit specifies a distance from a current position of the vehicle to a building included in the simulated scene image, and the display control unit displays the building information only when the distance is within a predetermined range. The vehicle information display device according to any one of claims 1 to 6. 前記所定範囲または前記所定値を設定する設定手段を備える請求項7ないし9のいずれか1項に記載の車両用情報表示装置。   The vehicle information display device according to claim 7, further comprising setting means for setting the predetermined range or the predetermined value. 前記表示制御部は、運転者から見て空となる前記ウインドシールドの領域に前記建物情報を表示させる請求項1ないし10のいずれか1項に記載の車両用情報表示装置。   11. The vehicle information display device according to claim 1, wherein the display control unit displays the building information in an area of the windshield that is empty when viewed from a driver. 前記表示制御部は、前記建物情報を透過表示させる請求項1ないし11のいずれか1項に記載の車両用情報表示装置。   The vehicle information display device according to claim 1, wherein the display control unit displays the building information in a transparent manner. 前記表示制御部は、前記ウインドシールド外枠側を優先的に前記建物情報の表示位置とする請求項1ないし12のいずれか1項に記載の車両用情報表示装置。   13. The vehicle information display device according to claim 1, wherein the display control unit preferentially uses the windshield outer frame side as a display position of the building information. 前記模擬情景画像計算部は、車両の現在位置から前記模擬情景画像に含まれる建物までの距離を特定し、前記表示制御部は、当該距離に応じて前記建物情報の詳細度を変化させる請求項1ないし13のいずれか1項に記載の車両用情報表示装置。   The simulated scene image calculation unit specifies a distance from a current position of a vehicle to a building included in the simulated scene image, and the display control unit changes the level of detail of the building information according to the distance. 14. The vehicle information display device according to any one of 1 to 13. 前記表示制御部は、前記模擬情景画像に含まれる建物内の個別施設及びその階数に係る情報を前記建物情報に含めて表示させる請求項1ないし14のいずれか1項に記載の車両用情報表示装置。   15. The vehicle information display according to any one of claims 1 to 14, wherein the display control unit displays information related to an individual facility in a building and its floor included in the simulated scene image in the building information. apparatus. 前記表示制御部は、前記模擬情景画像に含まれる建物が運転者から見て重なる場合に、近い側の建物に係る前記建物情報を優先的に表示させる請求項1ないし15のいずれか1項に記載の車両用情報表示装置。   The display control unit according to any one of claims 1 to 15, wherein when the buildings included in the simulated scene image overlap each other when viewed from the driver, the display information related to the building on the near side is preferentially displayed. The vehicle information display device described. 前記表示制御部は、前記建物情報の表示とともに、運転者から見て当該建物となる前記ウインドシールドの領域にその輪郭を強調する輪郭強調表示を表示させる請求項1ないし16のいずれか1項に記載の車両用情報表示装置。   17. The display control unit according to claim 1, wherein, together with the display of the building information, an outline emphasis display for emphasizing the outline is displayed in an area of the windshield that becomes the building when viewed from the driver. The vehicle information display device described. 前記建物情報を表示するか否かを選択する選択手段を備える請求項1ないし17のいずれか1項に記載の車両用情報表示装置。
The vehicle information display device according to any one of claims 1 to 17, further comprising selection means for selecting whether or not to display the building information.
JP2005061264A 2005-03-04 2005-03-04 Vehicle information display device Expired - Fee Related JP4366716B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005061264A JP4366716B2 (en) 2005-03-04 2005-03-04 Vehicle information display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005061264A JP4366716B2 (en) 2005-03-04 2005-03-04 Vehicle information display device

Publications (2)

Publication Number Publication Date
JP2006242859A true JP2006242859A (en) 2006-09-14
JP4366716B2 JP4366716B2 (en) 2009-11-18

Family

ID=37049418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005061264A Expired - Fee Related JP4366716B2 (en) 2005-03-04 2005-03-04 Vehicle information display device

Country Status (1)

Country Link
JP (1) JP4366716B2 (en)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008298521A (en) * 2007-05-30 2008-12-11 Aisin Aw Co Ltd Navigation apparatus, and method and program for retrieval of navigation apparatus
JP2008298522A (en) * 2007-05-30 2008-12-11 Aisin Aw Co Ltd Navigation apparatus, and method and program for retrieval of navigation apparatus
JP2009023565A (en) * 2007-07-20 2009-02-05 Denso It Laboratory Inc Drive assisting device and drive assisting method
JP2010234851A (en) * 2009-03-30 2010-10-21 Mazda Motor Corp Display device for vehicle
JP2010234959A (en) * 2009-03-31 2010-10-21 Equos Research Co Ltd Information display device
JP2011166629A (en) * 2010-02-12 2011-08-25 Kyocera Corp Portable electronic device
JP2013068620A (en) * 2011-09-23 2013-04-18 Visteon Global Technologies Inc Vehicle system and method for providing information concerned with external object noticed by driver
JP2014037172A (en) * 2012-08-13 2014-02-27 Alpine Electronics Inc Display controller and display control method for head-up display
JP2014120112A (en) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd Travel support system, travel support method, and computer program
JP2014120110A (en) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd Travel support system, travel support method, and computer program
CN104097587A (en) * 2013-04-15 2014-10-15 观致汽车有限公司 Driving prompting control device and method
WO2014196038A1 (en) * 2013-06-05 2014-12-11 三菱電機株式会社 Device for processing information through line-of-sight detection and information processing method
JP2015035808A (en) * 2014-08-26 2015-02-19 京セラ株式会社 Portable electronic device
JP2016212022A (en) * 2015-05-12 2016-12-15 富士通テン株式会社 Information display device and information display method
JP2018127204A (en) * 2017-02-08 2018-08-16 株式会社デンソー Display control unit for vehicle
WO2018147066A1 (en) * 2017-02-08 2018-08-16 株式会社デンソー Display control apparatus for vehicles
KR102084002B1 (en) * 2018-08-31 2020-03-03 노명진 Head up display device based on eye tracking
CN114296239A (en) * 2021-12-31 2022-04-08 合众新能源汽车有限公司 Image display method and device for vehicle window
JP7442933B2 (en) 2020-03-20 2024-03-05 アルパイン株式会社 Vehicle image processing device

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008298521A (en) * 2007-05-30 2008-12-11 Aisin Aw Co Ltd Navigation apparatus, and method and program for retrieval of navigation apparatus
JP2008298522A (en) * 2007-05-30 2008-12-11 Aisin Aw Co Ltd Navigation apparatus, and method and program for retrieval of navigation apparatus
JP2009023565A (en) * 2007-07-20 2009-02-05 Denso It Laboratory Inc Drive assisting device and drive assisting method
JP2010234851A (en) * 2009-03-30 2010-10-21 Mazda Motor Corp Display device for vehicle
JP2010234959A (en) * 2009-03-31 2010-10-21 Equos Research Co Ltd Information display device
JP2011166629A (en) * 2010-02-12 2011-08-25 Kyocera Corp Portable electronic device
JP2013068620A (en) * 2011-09-23 2013-04-18 Visteon Global Technologies Inc Vehicle system and method for providing information concerned with external object noticed by driver
JP2014037172A (en) * 2012-08-13 2014-02-27 Alpine Electronics Inc Display controller and display control method for head-up display
JP2014120112A (en) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd Travel support system, travel support method, and computer program
JP2014120110A (en) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd Travel support system, travel support method, and computer program
CN104097587A (en) * 2013-04-15 2014-10-15 观致汽车有限公司 Driving prompting control device and method
WO2014196038A1 (en) * 2013-06-05 2014-12-11 三菱電機株式会社 Device for processing information through line-of-sight detection and information processing method
JP2015035808A (en) * 2014-08-26 2015-02-19 京セラ株式会社 Portable electronic device
JP2016212022A (en) * 2015-05-12 2016-12-15 富士通テン株式会社 Information display device and information display method
JP2018127204A (en) * 2017-02-08 2018-08-16 株式会社デンソー Display control unit for vehicle
WO2018147066A1 (en) * 2017-02-08 2018-08-16 株式会社デンソー Display control apparatus for vehicles
US11220274B2 (en) 2017-02-08 2022-01-11 Denso Corporation Vehicle display control device
KR102084002B1 (en) * 2018-08-31 2020-03-03 노명진 Head up display device based on eye tracking
JP7442933B2 (en) 2020-03-20 2024-03-05 アルパイン株式会社 Vehicle image processing device
CN114296239A (en) * 2021-12-31 2022-04-08 合众新能源汽车有限公司 Image display method and device for vehicle window

Also Published As

Publication number Publication date
JP4366716B2 (en) 2009-11-18

Similar Documents

Publication Publication Date Title
JP4366716B2 (en) Vehicle information display device
WO2021197189A1 (en) Augmented reality-based information display method, system and apparatus, and projection device
US10029700B2 (en) Infotainment system with head-up display for symbol projection
KR102206272B1 (en) Parking assistance method and parking assistance device
CN103596812B (en) Parking aid
CN103140377B (en) For showing method and the driver assistance system of image on the display apparatus
US11511627B2 (en) Display device and computer program
KR101921969B1 (en) augmented reality head-up display apparatus and method for vehicles
US20070003162A1 (en) Image generation device, image generation method, and image generation program
JP6459205B2 (en) Vehicle display system
US20170309257A1 (en) Display control device
EP1878618A2 (en) Driving support method and apparatus
US20090262145A1 (en) Information display device
JP2004219664A (en) Information display system and information display method
US11525694B2 (en) Superimposed-image display device and computer program
US20120293659A1 (en) Parameter determining device, parameter determining system, parameter determining method, and recording medium
US10789744B2 (en) Method and apparatus for augmented reality display on vehicle windscreen
JP2007080060A (en) Object specification device
JP2005138755A (en) Device and program for displaying virtual images
CN210139859U (en) Automobile collision early warning system, navigation and automobile
JP4946682B2 (en) Vehicle travel support device
JP2008280026A (en) Driving assistance device
WO2021197190A1 (en) Information display method, system and apparatus based on augmented reality, and projection device
JP2010134639A (en) Visual support apparatus
JP2015226304A (en) Projection device for vehicle and head-up display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090816

R151 Written notification of patent or utility model registration

Ref document number: 4366716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees