JP2007087337A - Vehicle peripheral information display device - Google Patents

Vehicle peripheral information display device Download PDF

Info

Publication number
JP2007087337A
JP2007087337A JP2005278551A JP2005278551A JP2007087337A JP 2007087337 A JP2007087337 A JP 2007087337A JP 2005278551 A JP2005278551 A JP 2005278551A JP 2005278551 A JP2005278551 A JP 2005278551A JP 2007087337 A JP2007087337 A JP 2007087337A
Authority
JP
Japan
Prior art keywords
notification
notification target
information
target
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005278551A
Other languages
Japanese (ja)
Inventor
Shinya Kawamata
進也 川真田
Original Assignee
Toyota Motor Corp
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, トヨタ自動車株式会社 filed Critical Toyota Motor Corp
Priority to JP2005278551A priority Critical patent/JP2007087337A/en
Publication of JP2007087337A publication Critical patent/JP2007087337A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/10Input devices or features thereof
    • B60K2370/12Input devices or input features
    • B60K2370/149Input by detecting viewing direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/18Information management
    • B60K2370/191Highlight information

Abstract

<P>PROBLEM TO BE SOLVED: To clarify what a driver should be most notified of among a plurality of detected notification objects. <P>SOLUTION: A vehicle peripheral information display device is provided with a vehicle peripheral information acquiring means (visible image pickup means 10A, infrared image pickup means 10B) for acquiring vehicle peripheral information, a notification object detecting means 31 for detecting notification objects 71 and 72 to a driver in the periphery of a vehicle based on vehicle peripheral information from the vehicle peripheral information acquiring means (visible image pickup means 10A, infrared image pickup means 10B), a display means 40 for displaying the information of the detected notification objects 71 and 72, a notification significance setting means 32 for deciding the notification significance of the plurality of detected notification objects 71 and 72 and an announcement information generating means 33 for generating announcement information(notification object frames 81 and 82) to the driver relating to the notification objects 71 and 72. The announcement information generating means 33 generates announcement information(notification object frame 82) which easily stimulates the five senses of the driver for the notification object 72 whose notification significance is high as compared with the notification object 71 whose notification significance is low. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、車輌周囲に存在している物体や人間等の如き運転者に対する報知対象の存在を当該運転者に対して知らしめる車輌周囲情報表示装置に関する。   The present invention relates to a vehicle surrounding information display device that informs the driver of the presence of a notification target for a driver such as an object or a human being present around the vehicle.

車輌は、昼間等の視界の良好な環境下で使用される場合もあれば、夜間や悪天候時等の視界不良の環境下で使用される場合もある。これが為、運転者は、視界の良好な環境下であれば車輌周囲に存在している落下物等の物体や人間等を実景から自分の眼で認識することができるが、視界不良の環境下ではこれらの全てを実景から視認し難い。これが為、従来、車輌周囲に存在している物体や人間等の如き運転者に対する報知対象の存在を当該運転者に対して知らしめる車輌周囲情報表示装置が開発された。   The vehicle may be used in an environment with good visibility such as daytime, or may be used in an environment with poor visibility such as at night or in bad weather. For this reason, the driver can recognize objects such as falling objects and people around the vehicle with his / her eyes from the actual scene in an environment with good visibility. Then, it is difficult to see all of these from the actual scene. For this reason, conventionally, a vehicle surrounding information display device has been developed that informs the driver of the presence of an object to be notified to the driver, such as an object or a person existing around the vehicle.

例えば、この種の車輌周囲情報表示装置としては、フロントウインドシールドに車輌前方の景色を報知対象と共に虚像として表示する所謂ヘッドアップディスプレイ(HUD)があり、下記の特許文献1に開示されている。   For example, as this type of vehicle surrounding information display device, there is a so-called head-up display (HUD) that displays a scenery in front of the vehicle as a notification image as a virtual image on a front windshield, which is disclosed in Patent Document 1 below.

この特許文献1に開示された車輌周囲情報表示装置(ヘッドアップディスプレイ装置)は、車輌前方の報知対象を検出した際に、運転者に対する視覚刺激が強い情報(★)を表示し、更に、その場所から運転者の視線を誘導する情報(△)をヘッドアップディスプレイ上の報知対象に向けて移動させている。即ち、この特許文献1に開示された車輌周囲情報表示装置においては、報知対象の検出後に、運転者の視覚を刺激して視線を誘導する特性(換言すれば、誘目性)の高い情報を表示し、その報知対象の存在を運転者に対して知らしめている。   The vehicle surroundings information display device (head-up display device) disclosed in Patent Document 1 displays information (★) with a strong visual stimulus to the driver when a notification target in front of the vehicle is detected. Information (Δ) for guiding the driver's line of sight from the place is moved toward the notification target on the head-up display. That is, in the vehicle surrounding information display device disclosed in Patent Document 1, information with high characteristics (in other words, attractiveness) that stimulates the driver's vision and guides the line of sight after detection of the notification target is displayed. The driver is informed of the presence of the notification target.

また、そのような誘目性の高い情報を表示する同様の車輌周囲情報表示装置(ヘッドアップディスプレイ装置)としては、下記の特許文献2〜4にも開示されている。   Further, similar vehicle surrounding information display devices (head-up display devices) for displaying such highly attractive information are also disclosed in Patent Documents 2 to 4 below.

先ず、特許文献2に開示された車輌周囲情報表示装置は、運転者がヘッドアップディスプレイの表示を見ていないときに誘目性の高い情報を表示させる一方、そのヘッドアップディスプレイの表示を見たときに誘目性の低い情報を表示させている。   First, the vehicle surrounding information display device disclosed in Patent Document 2 displays highly attractive information when the driver is not looking at the display on the head-up display, while viewing the display on the head-up display. Displays information with low attraction.

また、特許文献3,4に開示された車輌周囲情報表示装置は、夫々に検出された報知対象の情報提供を必要に応じて抑制するものである。具体的に、その特許文献3の車輌周囲情報表示装置は、視認性や誘目性の高い報知対象に対する情報提供を抑制し、必要最小限の報知対象に係る情報を提供することによって、運転者に必要以上の情報が与えられることを防ぎ、その運転者の煩わしさを減少させるものである。一方、その特許文献4の車輌周囲情報表示装置は、運転者の注視点付近に存在している報知対象の情報について、その提供を抑制することによって、運転者に必要以上の情報が与えられることを防ぎ、その運転者の煩わしさを減少させるものである。   In addition, the vehicle surrounding information display devices disclosed in Patent Documents 3 and 4 suppress the provision of information on the respective notification targets detected as necessary. Specifically, the vehicle surrounding information display device of Patent Document 3 suppresses the provision of information to a notification target having high visibility and attractiveness, and provides the driver with information related to the minimum notification target. This prevents information more than necessary from being given and reduces the driver's annoyance. On the other hand, the vehicle surrounding information display device of Patent Document 4 provides the driver with more information than necessary by suppressing the provision of the information to be notified that exists near the driver's gazing point. This reduces the annoyance of the driver.

尚、下記の特許文献5には、検出された報知対象の視認性が悪いときに、良いときと比して警報が行われ易くなるよう構成された障害物検出装置が開示されている。   Patent Document 5 listed below discloses an obstacle detection device configured to make it easier to issue an alarm when the detected notification target is poor in visibility than when it is good.

特開2003−291688号公報JP 2003-291688 A 特開平7−61257号公報JP-A-7-61257 特開2004−30212号公報JP 2004-30212 A 特開2001−357498号公報JP 2001-357498 A 特開2000−251200号公報JP 2000-251200 A

しかしながら、上記何れに開示された車輌周囲情報表示装置においても、単一の報知対象を検出した際の技術にしか触れておらず、一般的な車輌の使用環境における状況,即ち、複数の報知対象が検出された場合について考慮されていない。   However, any of the vehicle surrounding information display devices disclosed above only touches on the technology when a single notification target is detected, and the situation in a general vehicle usage environment, that is, a plurality of notification targets. It is not taken into consideration when the is detected.

これが為、上述した従来の車輌周囲情報表示装置を複数の報知対象が検出された場合に適用したと仮定すると、その車輌周囲情報表示装置においては、どの報知対象について最も注意すべきであるのかをヘッドアップディスプレイの表示から判別することが容易でない。また、その車輌周囲情報表示装置において仮に報知対象毎の誘目性を変化させた場合には、誘目性を高く設定した報知対象のみに注意が向けられて、その他の報知対象に対する注意がおろそかになってしまう虞がある。そして、そのようなことにより、運転者が注意しなければならない報知対象を認識することができず又はその認識が遅れてしまい、本来であれば安全性の向上に寄与する本装置が、逆に安全性を低下させてしまう可能性がある。   For this reason, assuming that the conventional vehicle surrounding information display device described above is applied when a plurality of notification targets are detected, in the vehicle surrounding information display device, which notification target should be most carefully noted. It is not easy to discriminate from the display of the head-up display. In addition, if the attractiveness of each notification target is changed in the vehicle surrounding information display device, attention is directed only to the notification target set with high attraction, and attention to other notification targets is neglected. There is a risk that. And by such a thing, the information object which a driver should pay attention to cannot be recognized, or the recognition is delayed. There is a possibility of reducing safety.

そこで、本発明は、かかる従来例の有する不都合を改善し、検出された複数の報知対象の中で運転者に対して最も知らしめるべきものを明示し、更に、運転者が認識していない報知対象の存在についても認識させ得る車輌周囲情報表示装置を提供することを、その目的とする。   Therefore, the present invention improves the inconvenience of the conventional example, clearly indicates what should be informed to the driver among a plurality of detected notification objects, and further notifies that the driver does not recognize. It is an object of the present invention to provide a vehicle surrounding information display device that can recognize the presence of a target.

上記目的を達成する為、請求項1記載の発明では、車輌周囲の情報を取得する車輌周囲情報取得手段と、この車輌周囲情報取得手段からの車輌周囲情報に基づき車輌周囲における運転者への報知対象を検出する報知対象検出手段と、この報知対象検出手段により検出された報知対象の情報が表示される表示手段とを備えた車輌周囲情報表示装置において、その報知対象検出手段により検出された複数の報知対象の報知重要度を判定する報知重要度設定手段と、その報知対象に係る運転者への告知情報を生成する告知情報生成手段とを設け、この告知情報生成手段を、報知重要度が高い報知対象に対しては報知重要度の低い報知対象よりも運転者の五感を刺激し易い告知情報の生成を行うよう構成すること。   In order to achieve the above object, according to the first aspect of the present invention, vehicle surrounding information acquisition means for acquiring information around the vehicle, and notification to the driver around the vehicle based on the vehicle surrounding information from the vehicle surrounding information acquisition means. In a vehicle surrounding information display device comprising a notification target detection means for detecting a target and a display means for displaying information on a notification target detected by the notification target detection means, a plurality of information detected by the notification target detection means The notification importance setting means for determining the notification importance level of the notification target and the notification information generation means for generating notification information to the driver related to the notification target are provided, and the notification information generation means has the notification importance level. It is configured to generate notification information that is easier to stimulate the driver's senses than a notification target with a low notification importance for a high notification target.

この請求項1記載の車輌周囲情報表示装置によれば、検出された全ての報知対象の中でも報知重要度の高いもの,即ち、運転者に対して最も知らしめるべきものが明確に運転者へと示される。これが為、運転者は、検出された全ての報知対象の中からどの報知対象について最も注意して運転すべきかを認識することができる。   According to the vehicle surrounding information display device according to claim 1, among all detected notification objects, the one having the highest notification importance, that is, the one that should be most informed to the driver is clearly transmitted to the driver. Indicated. For this reason, the driver can recognize which notification target should be driven most carefully among all detected notification targets.

また、上記目的を達成する為、請求項2記載の発明では、上記請求項1記載の車輌周囲情報表示装置において、検出された夫々の報知対象に対して段階的に報知重要度の高低を設定するよう報知重要度設定手段を構成している。   In order to achieve the above object, in the invention described in claim 2, in the vehicle surrounding information display device described in claim 1, the level of notification importance is set stepwise for each detected notification target. The notification importance setting means is configured to do so.

この請求項2記載の車輌周囲情報表示装置によれば、夫々の報知対象が報知重要度によって順位付けされるので、各報知対象の中から運転者に対して知らしめるべき優先順位が明確になる。これが為、かかる報知重要度に基づいて告知情報を生成することにより、運転者は、検出された全ての報知対象の中からどの報知対象について最も注意して運転すべきかを更に容易に認識することができるようになる。   According to the vehicle surrounding information display device according to the second aspect, since the respective notification targets are ranked according to the notification importance, the priority order to be notified to the driver from among the notification targets becomes clear. . For this reason, by generating notification information based on such notification importance, the driver can more easily recognize which notification target should be driven most carefully among all detected notification targets. Will be able to.

また、上記目的を達成する為、請求項3記載の発明では、上記請求項1又は2に記載の車輌周囲情報表示装置において、表示手段に表示された報知対象を運転者が認識したか否か判定し、認識済と判定された報知対象を前記報知重要度設定手段の判定対象から除外する報知対象認識有無判定手段を設けている。   In order to achieve the above object, according to a third aspect of the present invention, in the vehicle surrounding information display device according to the first or second aspect, whether or not the driver has recognized the notification target displayed on the display means. A notification target recognition presence / absence determination unit is provided for determining and notifying the notification target determined to be recognized from the determination target of the notification importance setting unit.

この請求項3記載の車輌周囲情報表示装置によれば、運転者が認識していない報知対象に対して報知重要度の判定を行い、その中で報知重要度の高い報知対象を次に運転者に対して知らしめるべき重要なものとして明確に示すことができる。これが為、運転者は、未認識の報知対象について、その中で最も注意して運転すべきものを把握することができる。   According to the vehicle surrounding information display device according to the third aspect, the notification importance level is determined for the notification target that the driver does not recognize, and the notification target having the highest notification importance level is selected next. It can be clearly shown as an important thing to be informed about. For this reason, the driver can grasp what should be driven most carefully among the unrecognized notification targets.

ここで、請求項4記載の発明の如く、上記請求項3記載の車輌周囲情報表示装置において、前記報知対象認識有無判定手段により認識済と判定された報知対象に対しては未認識と判定された報知対象よりも五感を刺激し難い告知情報を生成するよう告知情報生成手段を構成する。これにより、未認識の報知対象が認識済のものよりも明確になり、例えば、未認識の報知対象が残り1つしかない場合には、これのみが運転者に対して最も知らしめるべきものとして明確に示される。これが為、運転者は、その残り1つの未認識の報知対象についても注意して運転することができる。   Here, as in the invention according to claim 4, in the vehicle surrounding information display device according to claim 3, the notification target determined to be recognized by the notification target recognition presence / absence determining means is determined to be unrecognized. The notification information generating means is configured to generate notification information that is less likely to stimulate the five senses than the notification target. As a result, the unrecognized notification target becomes clearer than the recognized one. For example, when there is only one remaining unrecognized notification target, this is the only thing that should be made most known to the driver. Clearly shown. For this reason, the driver can drive while paying attention to the remaining one unrecognized notification target.

また、上記目的を達成する為、請求項5記載の発明では、上記請求項1又は2に記載の車輌周囲情報表示装置において、表示手段に表示された報知対象を運転者が認識したか否か判定する報知対象認識有無判定手段を設け、報知対象認識有無判定手段により認識済と判定された報知対象に対しては未認識と判定された報知対象よりも五感を刺激し難い告知情報を生成するよう告知情報生成手段を構成している。   In order to achieve the above object, in the invention described in claim 5, in the vehicle surrounding information display device described in claim 1 or 2, whether or not the driver has recognized the notification target displayed on the display means. A notification target recognition presence / absence determination unit is provided for generating notification information that is less likely to stimulate the senses than a notification target determined to be unrecognized for a notification target determined to be recognized by the notification target recognition presence / absence determination unit. The notification information generating means is configured.

この請求項5記載の車輌周囲情報表示装置によれば、長期に渡り検出され続けている報知対象について一旦運転者が認識したとしても再び知らしめることができる。これが為、例えば、運転者が認識した報知対象に注意を払ったことで安心し、更に、他の報知対象について知らしめられたことによってその存在への注意が散漫になったとしても、再度の告知により再びその報知対象について注意して運転することができる。   According to the vehicle surrounding information display device of the fifth aspect, even if the driver once recognizes the notification target that has been detected for a long time, it can be notified again. For this reason, for example, the driver is relieved by paying attention to the notification target recognized by the driver, and even if the attention to the presence is distracted by being informed about other notification targets, It is possible to drive while paying attention to the notification target again by notification.

ここで、その告知情報生成手段が生成する告知情報としては、例えば、請求項6記載の発明の如く、表示手段に表示されて運転者の視覚に訴えるものを利用することができる。   Here, as the notification information generated by the notification information generation means, for example, information displayed on the display means and appealing to the driver's vision can be used as in the invention described in claim 6.

また、告知情報生成手段が報知重要度の高い報知対象に対して生成する告知情報としては、例えば、請求項7記載の発明の如く、表示手段に報知重要度の低い報知対象よりも高輝度で点灯表示されるもの又は表示手段に点滅表示されるものを利用することができる。   Further, as the notification information generated by the notification information generation means for the notification target having a high notification importance, for example, as shown in the seventh aspect of the invention, the display means has higher luminance than the notification target having a low notification importance. Those that are lit up or blinked on the display means can be used.

本発明に係る車輌周囲情報表示装置は、複数の報知対象を検出した際に、その中でも最も注意すべきものを明確に運転者に示すことができ、また、未だ運転者が認識していない報知対象についても運転者に知らしめることができるので、運転者による報知対象の認識漏れや認識遅れを防ぐことができ、本装置の本来的な目的である安全性を向上させることができる。   The vehicle surrounding information display device according to the present invention can clearly indicate to the driver what to be most careful of when detecting a plurality of notification targets, and is not yet recognized by the driver. Since the driver can be made aware of the above, it is possible to prevent the driver from recognizing or delaying recognition of the notification target, and to improve the safety that is the original purpose of the present apparatus.

以下に、本発明に係る車輌周囲情報表示装置の実施例を図面に基づいて詳細に説明する。尚、この実施例によりこの発明が限定されるものではない。   Embodiments of a vehicle surrounding information display device according to the present invention will be described below in detail with reference to the drawings. The present invention is not limited to the embodiments.

本発明に係る車輌周囲情報表示装置の実施例1を図1から図7に基づいて説明する。   A vehicle surrounding information display device according to a first embodiment of the present invention will be described with reference to FIGS.

最初に、本実施例1における車輌周囲情報表示装置の構成について図1を用いて説明する。   Initially, the structure of the vehicle surroundings information display apparatus in the present Example 1 is demonstrated using FIG.

本実施例1の車輌周囲情報表示装置は、車輌周囲の情報を取得する車輌周囲情報取得手段と、運転者の視線の動きを検知する視線検知手段20と、その車輌周囲情報取得手段が取得した車輌周囲情報や視線検知手段20が検知した運転者の視線情報を受信し、これらの車輌周囲情報や運転者の視線情報に基づいて下記の種々の演算処理を実行する制御手段(ECU)30と、この制御手段30の演算処理結果を表示する表示手段40とを備えている。   The vehicle surrounding information display device according to the first embodiment is obtained by a vehicle surrounding information acquisition unit that acquires vehicle surrounding information, a line-of-sight detection unit 20 that detects movement of a driver's line of sight, and the vehicle surrounding information acquisition unit. A control means (ECU) 30 for receiving vehicle surrounding information and driver's line-of-sight information detected by the line-of-sight detection means 20 and executing the following various calculation processes based on the vehicle surrounding information and the driver's line-of-sight information; And a display means 40 for displaying the calculation processing result of the control means 30.

この本実施例1における車輌周囲情報表示装置の制御手段30においては、その演算処理機能として、図1に示す如く、車輌周囲情報取得手段(ここでは、可視撮像手段10A及び赤外線撮像手段10B)から受信した車輌周囲情報に基づいて車輌周囲における物体や人間等の運転者への報知対象を検出する報知対象検出手段31と、この報知対象検出手段31が検出した報知対象についての運転者に対して報知すべき重要度(以下、「報知重要度」という。)を設定する報知重要度設定手段32と、検出された報知対象の存在を運転者に対して知らしめる為の情報(以下、「告知情報」という。)を生成する告知情報生成手段33と、報知対象の情報等を表示手段40に対して表示させる表示処理手段34と、視線検知手段20からの運転者の視線情報に基づいて当該運転者が表示手段40上の報知対象を視認したか否か判定する視線判定手段35とが設けられている。ここで、本実施例1にあっては告知情報生成手段33により生成される告知情報として後述するが如く視覚に訴えるものを例示するので、この告知情報についても表示処理手段34によって表示手段40に表示される。   In the control means 30 of the vehicle surrounding information display apparatus in the first embodiment, as its calculation processing function, as shown in FIG. 1, from the vehicle surrounding information acquisition means (here, visible imaging means 10A and infrared imaging means 10B). Based on the received vehicle surrounding information, notification target detection means 31 for detecting a notification target to a driver such as an object or a person around the vehicle, and a driver about the notification target detected by the notification target detection means 31 Notification importance level setting means 32 for setting the importance level to be notified (hereinafter referred to as “notification importance level”) and information for notifying the driver of the presence of the detected notification target (hereinafter referred to as “notification”). Notification information generating means 33 for generating information, display processing means 34 for displaying information to be notified on the display means 40, and driving from the line-of-sight detection means 20. And determining the line of sight determining unit 35 whether or not viewing the broadcast object on the driver's display unit 40 is provided on the basis of the viewing information. Here, in the first embodiment, the notification information generated by the notification information generation means 33 is exemplified by information visually appealing as will be described later. This display information is also displayed on the display means 40 by the display processing means 34. Is displayed.

以下、本実施例1における車輌周囲情報表示装置の具体的な一例について詳述する。例えば、ここでは、その車輌周囲情報取得手段として車輌周囲を撮像する可視カメラや赤外線カメラ等の撮像手段を用い、その撮像画像に基づいて車輌周囲の報知対象を運転者に告知する車輌周囲情報表示装置について例示する。より具体的には、その車輌周囲情報取得手段として車輌の前部(車室内の後写鏡の近傍やバンパー開口部等)に配備された撮像手段を利用し、その撮像画像に基づき夜間走行時や悪天候走行時等における車輌前方の物体や人間等の報知対象を運転者に知らしめて注意を喚起する車輌周囲情報表示装置について例示する。この車輌周囲情報表示装置においては、図1に示す如く、その車輌周囲情報取得手段として可視撮像手段(可視カメラ)10Aと赤外線撮像手段(赤外線カメラ)10Bの2種類の撮像手段を車輌における同等の位置に配備し、その2つの撮像画像を用いて後述するが如く報知対象の報知重要度を判定する。   Hereinafter, a specific example of the vehicle surrounding information display device according to the first embodiment will be described in detail. For example, here, an imaging means such as a visible camera or an infrared camera that images the surroundings of the vehicle is used as the vehicle surrounding information acquisition means, and the vehicle surrounding information display that notifies the driver of the notification target of the surroundings of the vehicle based on the captured image The apparatus will be exemplified. More specifically, as the vehicle surrounding information acquisition means, an imaging means provided in the front part of the vehicle (in the vicinity of the rear-view mirror in the vehicle interior, a bumper opening, etc.) is used. An example of a vehicle surrounding information display device that alerts the driver of an object to be notified, such as an object in front of the vehicle or a human being when driving in bad weather, or the like will be illustrated. In this vehicle surrounding information display device, as shown in FIG. 1, two types of imaging means, a visible imaging means (visible camera) 10A and an infrared imaging means (infrared camera) 10B, are used as vehicle surrounding information acquisition means. It arrange | positions to a position and the alerting | reporting importance of alerting | reporting object is determined as mentioned later using the two captured images.

かかる車輌周囲情報表示装置における制御手段30の報知対象検出手段31は、可視撮像手段10Aと赤外線撮像手段10Bから受信した例えばNTSC方式等の各々の映像信号に基づいて、車輌前方における運転者に対しての報知対象の検出処理を夫々に行うよう構成する。かかる報知対象の検出は、当該技術分野において周知の方法により行うことができる。   The notification target detection means 31 of the control means 30 in such a vehicle surrounding information display device is provided to the driver in front of the vehicle based on each video signal of, for example, the NTSC system received from the visible imaging means 10A and the infrared imaging means 10B. All notification target detection processes are performed. Such a notification target can be detected by a method well known in the art.

例えば、この報知対象検出手段31は、可視撮像手段10Aからの撮像画像を画像処理して物体や人間等を検知し、これが報知対象となり得るかを判定する。その際、この報知対象検出手段31は、歩行者等の人間であればその全てを報知対象として検出するよう構成してもよく、また、建物や障害物等の物体であれば当該物体との位置関係や車輌前方の道路形状を複合的に判断し、この物体が自車の走行路上に存在していれば、これを報知対象として検出するように構成してもよい。   For example, the notification target detection unit 31 performs image processing on the captured image from the visible imaging unit 10A to detect an object, a person, or the like, and determines whether this can be a notification target. In this case, the notification target detection means 31 may be configured to detect all of them as notification targets if they are humans such as pedestrians, and if the object is an object such as a building or an obstacle, The positional relationship and the road shape in front of the vehicle may be determined in combination, and if this object exists on the traveling road of the host vehicle, this may be detected as a notification target.

また、この車輌周囲情報表示装置においては赤外線撮像手段10Bが搭載されているので、この報知対象検出手段31は、その赤外線撮像手段10Bから受信した熱源分布の情報から報知対象たる人間や動物を検出することができる。   In addition, since this vehicle surrounding information display device is equipped with the infrared imaging means 10B, the notification target detection means 31 detects a human or animal that is a notification target from the information of the heat source distribution received from the infrared imaging means 10B. can do.

ここで、自車の走行路上に存在している物体としては、落下物や停車中の他車等もあれば、自車の前方を走行中の他車もある。これが為、この報知対象検出手段31は、逐次検出されている車速センサ51の車速情報と逐次受信している可視撮像手段10A及び赤外線撮像手段10Bの夫々の映像信号からの物体の位置の変移情報とに基づき自車と物体との相対速度を算出し、この相対速度と自車車速とを比較してその物体が報知対象となるか否かを判断させるよう構成する。尚、自車の走行路上に存在している落下物や停車中の他車等は当然の如く報知対象となり得るものであるが、前方を走行中の他車については、その相対速度如何で報知対象となる場合もあれば、報知対象とならない場合もある。   Here, as an object existing on the traveling path of the own vehicle, there are falling objects, other vehicles that are stopped, and other vehicles that are traveling in front of the own vehicle. For this reason, the notification target detection means 31 includes the vehicle speed information of the vehicle speed sensor 51 that is sequentially detected and the change information of the position of the object from the respective video signals of the visible imaging means 10A and the infrared imaging means 10B that are sequentially received. Based on the above, the relative speed between the vehicle and the object is calculated, and the relative speed and the vehicle speed are compared to determine whether or not the object is a notification target. Obviously, falling objects on the road of the vehicle and other vehicles that are stopped can be subject to notification, but other vehicles that are traveling in front will be notified by their relative speed. There are cases where it is a target and cases where it is not a notification target.

ところで、この報知対象検出手段31は、撮像画像内で報知対象になり得る人間や物体等と自車との距離情報及び車速センサ51から取得した車速情報を考慮して、その距離と車速との関係が所定の範囲内にあればその報知対象となり得る人間や物体等を報知対象として検出するよう構成してもよい。例えば、この報知対象検出手段31は、現在の車速に対して報知対象となり得る人間や物体等までの距離が所定の距離よりも遠ければ報知対象とせず、現在の車速に対するその距離が所定の距離以内であれば報知対象とするように構成してもよい。   By the way, this notification target detection means 31 takes into account the distance information between a person or an object that can be a notification target in the captured image and the own vehicle and the vehicle speed information acquired from the vehicle speed sensor 51, and calculates the distance and the vehicle speed. If the relationship is within a predetermined range, a person or an object that can be a notification target may be detected as the notification target. For example, the notification target detection unit 31 does not set a notification target if the distance to a person or an object that can be a notification target with respect to the current vehicle speed is longer than a predetermined distance, and the distance to the current vehicle speed is a predetermined distance. You may comprise so that it may become alerting | reporting object, if it is within.

続いて、この車輌周囲情報表示装置の制御手段30における報知重要度設定手段32について詳述する。   Next, the notification importance setting means 32 in the control means 30 of this vehicle surrounding information display device will be described in detail.

ここで、上述した報知対象検出手段31は、同時期に撮像された可視撮像手段10A及び赤外線撮像手段10Bの夫々の映像信号から同時に複数の報知対象を検出する場合がある。そして、その夫々は運転者に知らしめるべきものとして判断されたからこそ報知対象として検出されたのであり、その全ての存在について運転者に告知する必要があることは確かである。   Here, the notification target detection unit 31 described above may detect a plurality of notification targets at the same time from the respective video signals of the visible imaging unit 10A and the infrared imaging unit 10B captured at the same time. Each of them is detected as a notification target because it is determined that the driver should be informed, and it is certain that it is necessary to notify the driver of all the existences.

しかしながら、そのような複数の報知対象の中でも、その存在を運転者に対して即座に知らせる必要のあるものもあれば、そうでないものもあり、その全ての報知対象を同等の報知重要度を持つものとして扱うことは好ましくない。例えば、自車の走行路上を横切る人間や自車の走行路上の落下物等については運転者に対していち早く知らせるべき報知重要度の高いものであるが、これと比べれば、歩行者通行帯の歩行者等については早急に知らせる必要性が少なく報知重要度が低い。更に、例えば、自車の走行路上に複数の報知対象が存在している場合には、その報知重要度の高い中でも自車との距離が近い報知対象について優先的に知らせるべきである。   However, among such a plurality of notification targets, there are some that need to immediately notify the driver of the presence, and others that do not, and all the notification targets have the same level of notification importance. It is not preferable to treat it as a thing. For example, it is highly important to inform the driver about humans crossing the road of the vehicle and falling objects on the road of the vehicle, but compared to this, the pedestrian traffic zone For pedestrians, etc., there is little need to notify immediately and the importance of notification is low. Further, for example, when there are a plurality of notification objects on the traveling road of the own vehicle, the notification object having a short distance from the own vehicle should be preferentially notified even when the notification importance is high.

そこで、本実施例1にあっては、報知対象検出手段31により検出された複数の報知対象について夫々に報知重要度を設定する報知重要度設定手段32を設ける。ここでいう報知重要度とは、運転者に対して知らしめるべき報知対象の優先度合いを表したものである。例えば、本実施例1の報知重要度設定手段32は、その優先度合いに基づいて、検出された夫々の報知対象に対して段階的に各々異なる報知重要度の高低の設定を行うよう構成する。即ち、この本実施例1の報知重要度設定手段32とは、検出された複数の報知対象の中から運転者に対して優先的に知らしめるべきものの優先順位を特定する演算処理機能であるといえる。   Therefore, in the first embodiment, notification importance setting means 32 for setting the notification importance for each of the plurality of notification objects detected by the notification object detection means 31 is provided. The notification importance here refers to the priority of the notification target to be notified to the driver. For example, the notification importance level setting unit 32 according to the first embodiment is configured to set different levels of notification importance levels stepwise for each detected notification target based on the priority. That is, the notification importance setting means 32 of the first embodiment is an arithmetic processing function that specifies the priority order of items to be preferentially notified to the driver from among a plurality of detected notification targets. I can say that.

具体的に、この報知重要度設定手段32が報知重要度を設定する際の判定基準としては、車輌や使用環境等に応じて様々なものを設定することができる。   Specifically, various criteria can be set according to the vehicle, the usage environment, and the like as the determination criteria when the notification importance setting unit 32 sets the notification importance.

例えば、検出された複数の報知対象の中に自車の走行路上を横切る人間等と歩行者通行帯の歩行者等が混在している場合、その自車の走行路上を横切る人間等は歩行者通行帯の歩行者等よりも運転者に対して知らしめる必要性が高いので報知重要度「1」に設定し、その歩行者通行帯の歩行者等については報知重要度「2」に設定する。尚、ここでは、その設定された数字が小さいほど報知重要度が高いものとする。   For example, if a plurality of detected objects include a person who crosses the traveling road of the own vehicle and a pedestrian in a pedestrian zone, the person who crosses the traveling road of the own vehicle is a pedestrian. Since it is more necessary to inform the driver than pedestrians in the traffic zone, the notification importance level is set to “1”, and for the pedestrians in the pedestrian traffic zone, the notification importance level is set to “2”. . Here, the smaller the set number is, the higher the notification importance is.

また、検出された各報知対象については、運転者が実景から自分の眼で認識することができるものもあれば、夜間等の視界不良の環境下において自分の眼では認識できないものもある。これが為、そのような目視し得ない報知対象については、目視し得るものよりも優先的に運転者に対して知らせる方が好ましい場合もある。従って、本実施例1にあっては、検出された複数の報知対象の中でも目視し得ない報知対象について目視し得るものよりも報知重要度が高いものとして判定させる。   Some of the notification targets detected may be recognized by the driver with his / her eyes from the actual scene, while others may not be recognized with his / her eyes in an environment with poor visibility such as at night. For this reason, it may be preferable to inform the driver about such a notification object that cannot be visually observed rather than what can be visually observed. Therefore, in the first embodiment, it is determined that the notification importance degree is higher than that which can be visually observed for the notification target that cannot be visually recognized among the plurality of detected notification targets.

ところで、かかる判定を行う為には、検出された報知対象が運転者により目視し得るものであるのか、それとも目視し得ないものであるのかについて判別しなければならない。ここで、本実施例1の車輌においては、可視撮像手段10Aと赤外線撮像手段10Bの2種類の撮像手段が搭載されており、その可視撮像手段10Aは運転者が自身の眼で見ている実景と同等の撮像画像を撮影することができ、赤外線撮像手段10Bは運転者が夜間等の視認性の悪い環境下において自信の眼で認識することのできない物体や人等も撮影することができる。これが為、本実施例1の報知重要度設定手段32には、可視撮像手段10Aと赤外線撮像手段10Bの夫々の映像信号から検出された報知対象を比較させて、相互に一致する報知対象については運転者が目視し得るものであると判断させ、一方(具体的には、赤外線撮像手段10B)にしか検知されなかった報知対象については運転者が目視し得ないものであると判断させる。   By the way, in order to make such a determination, it is necessary to determine whether the detected notification object is visible to the driver or not. Here, in the vehicle of the first embodiment, two types of imaging means, that is, a visible imaging means 10A and an infrared imaging means 10B are mounted, and the visible imaging means 10A is a real scene that the driver sees with his / her own eyes. The infrared imaging means 10B can also capture an object or person that the driver cannot recognize with confidence in an environment with poor visibility such as at night. For this reason, the notification importance setting unit 32 of the first embodiment compares the notification targets detected from the video signals of the visible imaging unit 10A and the infrared imaging unit 10B, and the notification targets that match each other are compared. It is determined that the driver can visually recognize, and on the other hand (specifically, the infrared imaging means 10B), the notification target that is detected only by the driver is determined to be invisible to the driver.

ここで、検出された各報知対象の中に、目視し得ない報知対象と目視し得るが自車の走行路上を横切っている人間等の報知対象とが混在している場合も想定できる。かかる場合、双方とも報知重要度の高いものであるが、通常であればこれらに対して優劣を付けることが好ましい。これが為、かかる場合には、例えば、これらと自車との距離を演算し、その距離が近い方の報知対象について報知重要度が高いと判定させる。また、その距離が略同じであることも考えられ、その際には、目視し得ない報知対象の方を報知重要度が高いと判定させる。   Here, it is also possible to assume a case where, among the detected notification targets, a notification target that cannot be visually observed and a notification target such as a human who crosses the traveling path of the host vehicle are mixed. In such a case, both of them have high notification importance, but it is preferable to give superiority to inferiority to these. For this reason, in such a case, for example, the distance between the vehicle and the own vehicle is calculated, and it is determined that the notification importance is high for the notification target having the shorter distance. In addition, it is conceivable that the distances are substantially the same, and in this case, a notification target that cannot be visually observed is determined to have a higher notification importance.

また、この報知重要度設定手段32は、検出された報知対象の種別に応じて報知重要度を判定するよう構成してもよい。例えば、自車の走行路上を横切る人間等の如く運転者に対して知らしめる必要性が高いものは報知重要度「1」に設定し、歩行者通行帯の歩行者等の如く運転者に対して知らしめる必要性が低いものは報知重要度「2」に設定するよう予め定めておく。かかる場合、この報知重要度設定手段32は、同じ報知重要度「1」の複数の報知対象が検出された際に、その中で更に上述した自車との距離や視認性等を考量して報知重要度の高低を段階的に付けるように構成する。例えば、報知重要度「1」の各報知対象の中でも、自車との距離が近いものを報知重要度「1a」に設定し、これよりも自車との距離が遠いものを報知重要度「1b」に設定する。尚、ここでは、報知重要度「1a」,「1b」,「1c」,…の順に報知重要度が低くなるものとする。   Further, the notification importance level setting means 32 may be configured to determine the notification importance level according to the detected type of notification target. For example, if there is a high need to inform the driver such as a person crossing the road of his / her own vehicle, the notification importance level is set to “1”, and the driver such as a pedestrian in a pedestrian traffic zone is set. It is determined in advance that the information needing to be informed is set to the notification importance “2”. In such a case, when a plurality of notification targets having the same notification importance level “1” are detected, the notification importance level setting unit 32 further considers the distance from the above-described vehicle, visibility, and the like. It is configured so that the level of notification importance is gradually increased. For example, among the notification targets of the notification importance level “1”, the notification target level “1a” is set as the notification importance level “1a”, and the notification importance level “1” is set farther from the own vehicle. 1b ". Here, it is assumed that the notification importance is decreased in the order of notification importance “1a”, “1b”, “1c”,.

続いて、この車輌周囲情報表示装置の制御手段30における告知情報生成手段33について詳述する。この告知情報生成手段33は、検出された報知対象の存在を運転者に対して知らしめる告知情報の生成を行うよう構成したものである。   Next, the notification information generating means 33 in the control means 30 of this vehicle surrounding information display device will be described in detail. The notification information generation means 33 is configured to generate notification information that informs the driver of the presence of the detected notification target.

その告知情報としては運転者の五感を刺激し得る情報が一般的であり、本実施例1の車輌周囲情報表示装置においても、そのような五感を刺激し得る告知情報を生成するように告知情報生成手段33を構成する。   The notification information is generally information that can stimulate the driver's five senses, and the vehicle surrounding information display device according to the first embodiment also generates notification information that can generate such notification information that can stimulate the five senses. The generation means 33 is configured.

具体的に、本実施例1の告知情報生成手段33は、その告知情報として視覚に訴える情報を生成し、これを報知対象の映像を含む可視撮像手段10A及び赤外線撮像手段10Bの撮像画像と共に表示処理手段34によって後述する表示手段40のコンバイナ42に表示させるよう構成したものを例示する。より具体的に説明すると、本実施例1においては、検出された報知対象を囲む枠(以下、「報知対象枠」という。)を告知情報生成手段33に生成させ、この報知対象枠を表示処理手段34が告知情報としてコンバイナ42に表示させるよう構成する。これにより、その報知対象枠が運転者の視覚を刺激するので、該当する報知対象に対して運転者の視線を誘導することができる。即ち、その報知対象枠は、運転者の視覚を刺激して視線を誘導する特性(換言すれば、誘目性)を備えた告知情報として利用される。   Specifically, the notification information generating unit 33 according to the first embodiment generates visually appealing information as the notification information, and displays the information together with the captured images of the visible imaging unit 10A and the infrared imaging unit 10B including the video to be notified. An example is shown in which the processing means 34 is configured to display on the combiner 42 of the display means 40 described later. More specifically, in the first embodiment, the notification information generating means 33 generates a frame surrounding the detected notification target (hereinafter referred to as “notification target frame”), and the notification target frame is displayed. The means 34 is configured to be displayed on the combiner 42 as notification information. Thereby, since the notification target frame stimulates the driver's vision, the driver's line of sight can be guided to the corresponding notification target. In other words, the notification target frame is used as notification information having a characteristic (in other words, attractiveness) that stimulates the driver's vision to guide the line of sight.

ここで、同時に検出された全ての報知対象に対して上記の告知情報(報知対象枠)がコンバイナ42に表示されると、その報知対象の数量如何でコンバイナ42の画像が煩雑になるので、運転者は、煩わしさを感じるだけでなく、そのコンバイナ42の画像内における何れの報知対象に対して最も注目すれば良いのか判別し難くなってしまう。これが為、最悪の場合には運転者が注意しなければならない報知対象を認識することができず又はその認識が遅れてしまって、安全性を低下させてしまう可能性がある。   Here, when the notification information (notification target frame) is displayed on the combiner 42 for all the notification targets detected simultaneously, the image of the combiner 42 becomes complicated depending on the quantity of the notification target. The person not only feels annoyed, but also makes it difficult to determine which of the notification targets in the image of the combiner 42 should be noted most. For this reason, in the worst case, the notification target that the driver must be careful of cannot be recognized or the recognition may be delayed, which may reduce the safety.

一方、コンバイナ42の画像が煩雑になるからといってその一部の報知対象について告知情報を表示しないとすると、その非表示対象の報知対象については実景から得られる視認情報しか拠り所が無く、これにより、その非表示対象の報知対象を見逃してしまう又はその報知対象の認識が遅れてしまう虞があり、車輌前方の報知対象の存在を運転者に知らしめる本実施例1における車輌周囲情報表示装置の本来的な目的からして好ましいものではない。   On the other hand, if the notification information is not displayed for a part of the notification target because the image of the combiner 42 becomes complicated, there is only the visual information obtained from the actual scene for the notification target of the non-display target. Thus, there is a possibility that the non-display target notification target may be missed or recognition of the notification target may be delayed, and the vehicle surrounding information display device in the first embodiment that informs the driver of the presence of the notification target in front of the vehicle It is not preferable for the original purpose.

そこで、本実施例1の告知情報生成手段33については、報知重要度が高い報知対象に対しては報知重要度の低い報知対象よりも運転者の五感を刺激し易い告知情報の生成を行うよう構成する。具体的に、本実施例1の告知情報生成手段33は、その報知重要度の高い報知対象に対しての告知情報として、報知重要度の低い報知対象よりも運転者の視線を誘導させ易い目立つ(即ち、誘目性の高い)告知情報を生成させる。例えば、本実施例1にあっては、夫々の報知対象に対して生成される告知情報としての上述した報知対象枠を利用し、報知重要度の高い報知対象については、その報知対象枠の輝度を報知重要度の低い報知対象よりも高くする。これにより、その報知重要度の高い報知対象に係る報知対象枠が報知重要度の低い報知対象に係る報知対象枠に対して強調表示されるので、運転者は、その高輝度の報知対象枠(即ち、強調表示枠)に対して視線を奪われ、最も注意すべき報知対象をまず先に認識することができる。   Therefore, the notification information generating unit 33 according to the first embodiment generates notification information that is easier to stimulate the driver's five senses for a notification target having a high notification importance than for a notification target having a low notification importance. Constitute. Specifically, the notification information generation unit 33 of the first embodiment is conspicuous as the notification information with respect to the notification target having the high notification importance is more likely to guide the driver's line of sight than the notification target having the low notification importance. Announcement information is generated (that is, a high degree of attractiveness). For example, in the first embodiment, the above-described notification target frame is used as the notification information generated for each notification target, and for the notification target having a high notification importance, the luminance of the notification target frame. Is set higher than a notification target having a low notification importance. Accordingly, the notification target frame related to the notification target having the high notification importance is highlighted with respect to the notification target frame related to the notification target having the low notification importance, so that the driver can display the high-luminance notification target frame ( That is, the line of sight is taken away with respect to the highlighting frame), and the notification target to be most careful can be recognized first.

ここで、本実施例1の告知情報生成手段33においては、生成する報知対象枠の輝度が報知重要度毎に予め設定されているものとする。例えば、夫々の報知対象に対して生成される報知対象枠の色彩が同等のものであるとした場合に、その各報知対象の中で報知重要度「1」のものには輝度レベル「1」の報知対象枠を生成し、報知重要度「2」のものには輝度レベル「2」の報知対象枠を生成する。尚、ここでは、輝度レベルの数字が小さいほど高輝度の報知対象枠が生成されるものとする。   Here, in the notification information generation means 33 of the first embodiment, it is assumed that the brightness of the notification target frame to be generated is preset for each notification importance level. For example, when it is assumed that the color of the notification target frame generated for each notification target is the same, the luminance level “1” is set for the notification importance “1” among the notification targets. The notification target frame with the luminance level “2” is generated for the notification importance level “2”. Here, it is assumed that the notification target frame with higher luminance is generated as the luminance level number is smaller.

また、この告知情報生成手段33は、後述する視線判定手段(報知対象認識有無判定手段)35によってコンバイナ42に表示されている報知対象が認識されたと判定された場合に、その認識済の報知対象に対しては未認識の報知対象よりも五感を刺激し難い告知情報の生成を行うよう構成する。例えば、本実施例1の告知情報生成手段33は、その認識済の報知対象に係る報知対象枠の輝度を未認識の報知対象に係る報知対象枠の輝度よりも低くする。   In addition, the notification information generating unit 33, when it is determined that the notification target displayed on the combiner 42 is recognized by the line-of-sight determination unit (notification target recognition presence / absence determination unit) 35 described later, Is configured to generate notification information that is less likely to stimulate the five senses than an unrecognized notification target. For example, the notification information generation unit 33 of the first embodiment makes the luminance of the notification target frame related to the recognized notification target lower than the luminance of the notification target frame related to the unrecognized notification target.

ところで、強調表示との視点に立ち上記の告知情報について考えてみると、そのような輝度による差別化もあれば、点滅表示と点灯表示による差別化もある。これが為、本実施例1の告知情報生成手段33は、報知重要度の高い報知対象に対しては表示処理手段34により点滅表示させ得る告知情報(報知対象枠)を生成するよう構成してもよい。かかる場合においては、報知重要度に拘わらず全ての報知対象に係る報知対象枠を一定の輝度にしてもよく、上記と同様の輝度による差別化を併用してもよい。   By the way, considering the notice information from the viewpoint of emphasis display, there is differentiation by such brightness, and differentiation by blinking display and lighting display. For this reason, the notification information generating unit 33 according to the first embodiment may be configured to generate notification information (notification target frame) that can be blinked and displayed by the display processing unit 34 for a notification target having a high notification importance. Good. In such a case, the notification target frames related to all notification targets may be set to a constant luminance regardless of the notification importance level, and differentiation by luminance similar to the above may be used in combination.

更に、本実施例1の告知情報生成手段33は、そのような強調表示が為される報知対象以外のものに対して、その強調表示が為される報知対象よりも視覚刺激が少ない(即ち、誘目性が低い)範囲内で輝度に変化を付けてもよい。例えば、人や動物等と他車や建物等の物体との間で報知対象枠の輝度に差異を付けるようにしてもよい。また、人や走行中の他車等の移動体と建物等の不動体との間で報知対象枠の輝度に差異を付けるようにしてもよい。   Furthermore, the notification information generating means 33 of the first embodiment has less visual stimulation than the notification target for which highlighting is performed for items other than the notification target for which such highlighting is performed (that is, You may change a brightness | luminance within the range (attractiveness is low). For example, you may make it make a difference in the brightness | luminance of a notification object frame between people, animals, etc. and objects, such as another vehicle and a building. Moreover, you may make it make a difference in the brightness | luminance of a notification object frame between moving bodies, such as a person and the other vehicle currently drive | running, and non-moving bodies, such as a building.

ここで、本実施例1の報知重要度設定手段32が複数の報知対象に対して優先順位を付けるが如く報知重要度の高低を設定したとしても、報知重要度が低い報知対象については運転者に知らせなくてもよいというわけではない。また、運転者がコンバイナ42の画像から一旦認識した報知対象について強調表示させる又は強調表示させ続けるよりは、その次に報知重要度が高い報知対象について運転者に知らしめる方が好ましい。これが為、本実施例1の車輌周囲情報表示装置においては、報知重要度が高い報知対象から順にその存在を運転者に対して重点的に知らしめるようにする。   Here, even though the notification importance level setting unit 32 of the first embodiment sets the level of the notification importance level so as to prioritize the plurality of notification targets, the driver is notified about the notification target with a low notification importance level. You don't have to tell them. In addition, it is preferable to inform the driver of a notification target with the next highest importance of notification, rather than highlighting or continuing to highlight the notification target once recognized by the driver from the image of the combiner 42. For this reason, in the vehicle surrounding information display device according to the first embodiment, the presence of the information is preferentially notified to the driver in order from the notification target having the highest notification importance.

そこで、本実施例1にあっては、コンバイナ42に表示された報知対象を運転者が認識したか否か判定し、認識済と判定された報知対象を報知重要度設定手段32の判定対象(以下、「重要度判定対象」という。)から除外する報知対象認識有無判定手段を設ける。具体的に、本実施例1の報知対象認識有無判定手段としては、上述した視線判定手段35が設けられている。この視線判定手段35は、上述したが如く、コンバイナ42に表示された報知対象を運転者が視認したか否かを判定するものであり、その判定を視線検知手段20により取得された運転者の視線情報に基づいて行うよう構成する。   Therefore, in the first embodiment, it is determined whether the driver recognizes the notification target displayed on the combiner 42, and the notification target determined to be recognized is determined by the notification importance setting means 32 ( Hereinafter, a notification target recognition presence / absence determination unit excluded from “importance determination target”) is provided. Specifically, the visual line determination means 35 described above is provided as the notification target recognition presence / absence determination means of the first embodiment. As described above, the line-of-sight determination unit 35 determines whether or not the driver has visually recognized the notification target displayed on the combiner 42, and the determination of the driver acquired by the line-of-sight detection unit 20 is performed. It is configured to perform based on line-of-sight information.

ここで、本実施例1にあっては、後述するが如くヘッドアップディスプレイ装置を表示手段40として利用しているので、図2に示すように、その表示手段40を構成している表示器41aの近傍に、コンバイナ42を撮像するが如くレンズを向けた可視カメラ等の撮像手段を本実施例1の視線検知手段20として配置する。   Here, in the first embodiment, as will be described later, the head-up display device is used as the display means 40. Therefore, as shown in FIG. 2, the display 41a constituting the display means 40 is used. In the vicinity, an imaging means such as a visible camera with a lens facing as if the combiner 42 is imaged is arranged as the line-of-sight detection means 20 of the first embodiment.

即ち、表示手段40においては、コンバイナ42に対して表示器41aの画像が投影され、その画像がコンバイナ42により結像された虚像として運転者の眼に映し出される。一方、表示器41a側から見れば、この表示器41aの近傍においては、コンバイナ42を介して運転者の眼球を見ることができる。そこで、その表示器41aの近傍にコンバイナ42を撮像するが如く撮像手段たる視線検知手段20を配置すれば、この視線検知手段20により運転者の眼球の動きを検知することができるので、本実施例1にあっては、視線検知手段20として撮像手段を用い、そのような配置にしている。尚、図2においては、表示器41aからの画像の投影角度と視線検知手段20の撮像角度とが大きくずれているが、これは図示の便宜上のものであり、実際には、その夫々の角度が略同等になるように配置する。   That is, in the display means 40, the image of the display device 41 a is projected onto the combiner 42, and the image is displayed on the driver's eyes as a virtual image formed by the combiner 42. On the other hand, when viewed from the display 41a side, the driver's eyeball can be seen through the combiner 42 in the vicinity of the display 41a. Therefore, if the line-of-sight detection means 20 as an image pickup means is arranged in the vicinity of the display device 41a as if the combiner 42 was imaged, the movement of the driver's eyeball can be detected by the line-of-sight detection means 20, so this embodiment In Example 1, an imaging unit is used as the line-of-sight detection unit 20 and is arranged in such a manner. In FIG. 2, the projection angle of the image from the display device 41a and the imaging angle of the line-of-sight detection means 20 are greatly deviated. Are arranged so as to be substantially equal.

このような視線検知手段20により撮像された運転者の眼球の映像信号は本実施例1の視線判定手段35に送られて、コンバイナ42に表示された報知対象を運転者が視認したか否かの判定に利用される。例えば、この視線判定手段35は、コンバイナ42の画像上における夫々の報知対象の表示区画とコンバイナ42上における運転者の眼球の黒目の表示区画とを対比して、その黒目の表示区画と同じ表示区画上にある報知対象を運転者が視認したものとして判断する。   The video signal of the driver's eye image captured by such a line-of-sight detection unit 20 is sent to the line-of-sight determination unit 35 of the first embodiment, and whether or not the driver has visually recognized the notification target displayed on the combiner 42. It is used for judgment. For example, the line-of-sight determination means 35 compares the display section of each notification target on the image of the combiner 42 with the black eye display section of the driver's eyeball on the combiner 42 and displays the same display as the black eye display section. The notification target on the section is determined as having been visually recognized by the driver.

続いて、この車輌周囲情報表示装置における表示手段40について詳述する。   Next, the display means 40 in this vehicle surrounding information display device will be described in detail.

本実施例1にあっては、この表示手段40としてフロントウインドシールドに画像を投影する所謂ヘッドアップディスプレイ装置を用いる。   In the first embodiment, a so-called head-up display device that projects an image onto a front windshield is used as the display means 40.

この本実施例1の表示手段(ヘッドアップディスプレイ装置)40は、その技術分野において周知の構成により成るものであり、例えば、図2に示す如く、前述した可視撮像手段10A及び赤外線撮像手段10Bの映像信号が入力されるヘッドアップディスプレイユニット(以下、「HUDユニット」という。)41と、このHUDユニット41から投射された画像が結像されるコンバイナ42とで構成されている。   The display means (head-up display device) 40 according to the first embodiment has a configuration well known in the technical field. For example, as shown in FIG. 2, the visible imaging means 10A and the infrared imaging means 10B described above are used. A head-up display unit (hereinafter referred to as “HUD unit”) 41 to which a video signal is input, and a combiner 42 on which an image projected from the HUD unit 41 is formed.

そのHUDユニット41は、可視撮像手段10A及び赤外線撮像手段10Bから受信した映像信号に係る撮像画像や上記の制御手段30の告知情報生成手段33により生成された告知情報を表示する表示器41aと、この表示器41aに表示された表示内容をコンバイナ42に投射する光源41bとを備え、図2に示すフロントウインドシールド61の下縁側から車室内側へと延設されているインストルメントパネル62の内方に配備される。   The HUD unit 41 includes a display 41a for displaying a captured image related to a video signal received from the visible image capturing unit 10A and the infrared image capturing unit 10B and notification information generated by the notification information generating unit 33 of the control unit 30; A light source 41b for projecting the display content displayed on the display 41a to the combiner 42, and an instrument panel 62 extending from the lower edge side of the front windshield 61 shown in FIG. Will be deployed.

このHUDユニット41においては、バックライトとして機能する光源41bの光が例えば液晶パネルからなる表示器41aの背面から入射させられ、その表示器41aの表示内容に係る出射光がフロントウインドシールド61に配設されたコンバイナ42へと投射される。   In this HUD unit 41, light from a light source 41b functioning as a backlight is incident from the back of a display 41a made of, for example, a liquid crystal panel, and emitted light related to the display content of the display 41a is distributed to the front windshield 61. It is projected onto the installed combiner 42.

ここで、このコンバイナ42は、例えば、ホログラフィック光学素子等の如き波長により反射角度が変化する機能部材から構成されており、到達した出射光の表示内容に係る波長成分を運転者の目に向けて反射させるように設定されている。これが為、表示内容に係る出射光は運転者の前方で結像され、これにより、表示器41aの表示内容,即ち、可視撮像手段10A及び赤外線撮像手段10Bの撮像画像や告知情報に対応する虚像が運転者の前方に表示される。   Here, the combiner 42 is composed of a functional member whose reflection angle varies depending on the wavelength, such as a holographic optical element, and directs the wavelength component related to the display content of the emitted light to the driver's eyes. Is set to reflect. For this reason, the emitted light related to the display content is imaged in front of the driver, whereby the display content of the display 41a, that is, the virtual image corresponding to the captured image and notification information of the visible imaging means 10A and the infrared imaging means 10B. Is displayed in front of the driver.

以下に、上述した本実施例1における車輌周囲情報表示装置の動作を図3のフローチャートに基づいて、図4から図7に示す実景及び表示手段40の画像を参照しつつ説明する。   Hereinafter, the operation of the vehicle surroundings information display apparatus according to the first embodiment will be described with reference to the actual scenes shown in FIGS. 4 to 7 and the image of the display means 40 based on the flowchart of FIG.

本実施例1の車輌周囲情報表示装置においては、可視撮像手段10A及び赤外線撮像手段10Bの映像信号が制御手段30と表示手段40に送信されており、その制御手段30がその映像信号を受信する度に当該映像信号に係る画像を表示手段40のコンバイナ42に表示させているものとする。   In the vehicle surrounding information display device of the first embodiment, the video signals of the visible imaging means 10A and the infrared imaging means 10B are transmitted to the control means 30 and the display means 40, and the control means 30 receives the video signals. Assume that an image related to the video signal is displayed on the combiner 42 of the display means 40 each time.

先ず、本実施例1の制御手段30は、可視撮像手段10A及び赤外線撮像手段10Bから映像信号を受信した際に(ステップST1)、その報知対象検出手段31によりこれら各映像信号に基づいて報知対象の有無の判断を行う(ステップST2)。   First, when receiving the video signal from the visible imaging unit 10A and the infrared imaging unit 10B (step ST1), the control unit 30 according to the first embodiment is notified by the notification target detection unit 31 based on each video signal. Whether or not there is is determined (step ST2).

ここで、この制御手段30は、報知対象が検出されなければステップST1に戻る。   Here, this control means 30 will return to step ST1, if the alerting | reporting object is not detected.

一方、その映像信号に係る画像が図4に示す如きものであり、報知対象検出手段31によって報知対象(人)71,72有りと判断された場合、制御手段30は、その報知重要度設定手段32により、検出された報知対象71,72が重要度判定処理対象であるか否かを判断する(ステップST3)。ここでいう重要度判定処理対象とは、報知重要度設定手段32によって報知重要度の判定処理が行われる報知対象のことであり、言うなれば、後述する報知対象枠の強調表示等が実行されるべきものを指す。   On the other hand, when the image related to the video signal is as shown in FIG. 4 and the notification target detection means 31 determines that there are notification targets (persons) 71 and 72, the control means 30 sets the notification importance setting means. 32, it is determined whether or not the detected notification objects 71 and 72 are importance determination processing objects (step ST3). The importance level determination processing target here is a notification target for which the notification importance level determination process is performed by the notification importance level setting unit 32. In other words, a notification target frame highlighting described later is executed. Point to what to do.

例えば、ここでは、その夫々の報知対象71,72が初めて検出されたものであるので、このステップST3においては各報知対象71,72が重要度判定処理対象であると判断されてステップST4に進む。   For example, since the respective notification targets 71 and 72 are detected for the first time here, in this step ST3, it is determined that each notification target 71 and 72 is an importance determination processing target, and the process proceeds to step ST4. .

そして、その報知重要度設定手段32は、検出された2つの報知対象71,72の報知重要度を設定する(ステップST4)。   Then, the notification importance level setting unit 32 sets the notification importance levels of the two detected notification targets 71 and 72 (step ST4).

例えば、本実施例1にて検出された一方の報知対象71は歩行者通行帯を歩行している歩行者であり、これと同時に検出された他方の報知対象72は自車の走行路上を横切ろうとしている人である。ここで、図4に示す自車の走行路上を横切ろうとしている人(報知対象72)は、歩行者通行帯を歩行している歩行者(報知対象71)よりも自車に対して遠方に存在している。これが為、通常の判定処理においては、その自車との位置関係を鑑みて報知対象71の方が報知対象72よりも報知重要度が高いと判定される。しかしながら、一般的な観点から夫々の報知対象71,72を比較した場合、自車の走行路上を横切ろうとしている人(報知対象72)の方を優先的に運転者に対して知らしめるべきである。そこで、ここで例示したが如き各報知対象71,72の場合には、報知対象72について報知対象71よりも報知重要度が高いと報知重要度設定手段32は判定する。これが為、この報知重要度設定手段32は、その各報知対象71,72に対して夫々報知重要度「2」,「1」と設定する。   For example, one notification object 71 detected in the first embodiment is a pedestrian who is walking in a pedestrian traffic zone, and the other notification object 72 detected at the same time crosses the traveling road of the own vehicle. A person who is trying to cut. Here, the person (notification object 72) who is going to cross the traveling path of the own vehicle shown in FIG. 4 is farther from the own vehicle than the pedestrian walking in the pedestrian zone (notification object 71). Exists. For this reason, in the normal determination process, it is determined that the notification target 71 is higher in notification importance than the notification target 72 in view of the positional relationship with the host vehicle. However, when comparing the notification targets 71 and 72 from a general point of view, the driver (notification target 72) who is about to cross the traveling road of the vehicle should be informed to the driver with priority. It is. Therefore, in the case of the respective notification targets 71 and 72 as exemplified here, the notification importance setting means 32 determines that the notification target 72 has a higher notification importance than the notification target 71. For this reason, the notification importance level setting unit 32 sets the notification importance levels “2” and “1” for the notification targets 71 and 72, respectively.

そのようにして報知重要度が判定され、夫々の報知対象71,72に対して報知重要度が設定された後、本実施例1の制御手段30は、図5に示す如く、その告知情報生成手段33によって報知重要度の高い報知対象72を囲む高輝度の報知対象枠(強調表示枠)82を生成させ、この報知対象枠82を表示処理手段34により表示手段40のコンバイナ42に対して表示させる(ステップST5)。しかる後、この制御手段30は、その告知情報生成手段33によって残りの報知対象71を囲む低輝度(報知対象枠82よりも低輝度)の報知対象枠81を生成させ、この報知対象枠81を表示処理手段34によりコンバイナ42に対して表示させる(ステップST6)。尚、その際、その夫々の報知対象枠81,82は、同時に生成され、同時に表示されてもよい。   After the notification importance is thus determined and the notification importance is set for each of the notification objects 71 and 72, the control means 30 of the first embodiment generates the notification information as shown in FIG. The high-intensity notification target frame (highlighted display frame) 82 surrounding the notification target 72 with high notification importance is generated by the means 33, and this notification target frame 82 is displayed on the combiner 42 of the display means 40 by the display processing means 34. (Step ST5). Thereafter, the control unit 30 causes the notification information generation unit 33 to generate a notification target frame 81 having a low luminance (lower luminance than the notification target frame 82) surrounding the remaining notification target 71, and this notification target frame 81 is displayed. The display processing means 34 displays on the combiner 42 (step ST6). At that time, the respective notification target frames 81 and 82 may be generated and displayed at the same time.

これにより、運転者は、眼前の実景を注視しているのかコンバイナ42の画像を注視しているのかに拘わらず、高輝度の報知対象枠82に対して視線が誘導され易くなり、最も注意を注ぐべき報知対象枠82に係る報知対象72に細心の注意を払って運転することができる。   This makes it easier for the driver to guide the line of sight to the high-intensity notification target frame 82 regardless of whether the driver is gazing at the actual scene in front of the eyes or the image of the combiner 42. It is possible to drive while paying close attention to the notification target 72 related to the notification target frame 82 to be poured.

続いて、本実施例1の制御手段30は、その視線判定手段35により、視線検知手段20からの運転者の視線情報に基づき当該運転者がコンバイナ42の報知対象71,72を視認したか否か判定する(ステップST7)。   Subsequently, the control unit 30 according to the first embodiment uses the line-of-sight determination unit 35 to determine whether or not the driver visually recognizes the notification targets 71 and 72 of the combiner 42 based on the driver's line-of-sight information from the line-of-sight detection unit 20. (Step ST7).

通常、運転者は強調表示されている報知対象枠82に係る報知対象72をまず先に視認するので、ここでは、視線判定手段35が報知対象72を視認したと判定し、この報知対象72を重要度判定処理対象から除外する(ステップST8)。そして、制御手段30は、その報知対象72に係る報知対象枠82の輝度を図6に示す如く低くして(ステップST9)、上記ステップST1に戻る。   Usually, since the driver first visually recognizes the notification target 72 related to the highlighted notification target frame 82, it is determined here that the line-of-sight determination means 35 has visually recognized the notification target 72, and the notification target 72 is displayed. Exclude from the importance determination process target (step ST8). And the control means 30 makes the brightness | luminance of the alerting | reporting object frame 82 which concerns on the alerting | reporting object 72 low as shown in FIG. 6 (step ST9), and returns to said step ST1.

例えば、そのステップST9においては報知対象72に係る報知対象枠82の輝度を他の報知対象71に係る報知対象枠81と同等の輝度にしてもよいが、ここでは、その報知対象72に係る報知対象枠82が報知対象枠81よりも低輝度(例えば、全ての報知対象の中で最も低輝度)になるよう、図6に示す如く、その報知対象72を囲む最も低輝度の報知対象枠82aを告知情報生成手段33に生成させる。これにより、必然的に他の報知対象71に係る報知対象枠81が報知対象枠82aに対して強調表示されることになるので、更なる演算処理を行わずとも他の報知対象71に対して運転者の視線が誘導され易くなる。   For example, in step ST9, the brightness of the notification target frame 82 related to the notification target 72 may be the same as that of the notification target frame 81 related to the other notification target 71. As shown in FIG. 6, the lowest-luminance notification target frame 82a surrounding the notification target 72 so that the target frame 82 has a lower luminance than the notification target frame 81 (for example, the lowest luminance among all notification targets). Is generated by the notification information generating means 33. As a result, the notification target frame 81 related to the other notification target 71 is inevitably highlighted with respect to the notification target frame 82a, so that the other notification target 71 is not subjected to further calculation processing. The driver's line of sight is easily guided.

一方、コンバイナ42の画像に視線を移すか否かは運転者の意思に依存する。このことは、たとえ上記ステップST5にて報知対象枠82の強調表示が為されたとしても同様である。これが為、運転者がコンバイナ42の画像を見ない場合もあり、かかる場合には、上記ステップST7にて夫々の報知対象71,72を視認していないと判断され、現状の画像(図5)を維持したまま上記ステップST1に戻る。   On the other hand, whether or not to shift the line of sight to the image of the combiner 42 depends on the driver's intention. This is the same even if the notification target frame 82 is highlighted in step ST5. For this reason, the driver may not see the image of the combiner 42. In such a case, it is determined in step ST7 that the respective notification objects 71 and 72 are not visually recognized, and the current image (FIG. 5). While maintaining the above, the process returns to step ST1.

次に、上記ステップST9を経てステップST1に戻った制御手段30は、新たな映像信号を受信して同様の演算処理を繰り返す。ここでは、上述した同じ2つの報知対象71,72が検出され、別の報知対象が検出されていないものとする。   Next, the control means 30 that has returned to step ST1 through step ST9 receives a new video signal and repeats the same calculation process. Here, it is assumed that the same two notification targets 71 and 72 described above are detected, and that another notification target is not detected.

かかる場合、その内の報知対象72については先のステップST8にて重要度判定処理対象から除外されているので、ここでのステップST3においては、報知対象71のみが重要度判定処理対象として判断される。そして、ここでは、それら以外の報知対象が検出されていないので、その報知対象71がステップST4にて報知重要度が高いと判定され、この報知対象71を囲む高輝度の報知対象枠81aがステップST5にて生成された後、図6に示す如くコンバイナ42に表示される。   In this case, since the notification target 72 is excluded from the importance determination processing target in the previous step ST8, only the notification target 71 is determined as the importance determination processing target in step ST3 here. The Here, since no other notification target is detected, it is determined in step ST4 that the notification target 71 has a high notification importance, and the high-brightness notification target frame 81a surrounding the notification target 71 is stepped. After being generated in ST5, it is displayed on the combiner 42 as shown in FIG.

ここでは、その後に、最初に強調表示された報知対象72に対してステップST6の演算処理を行ってもよいが、その報知対象72に係る報知対象枠82aは既に輝度が低くなっているので、その演算処理を省略してもよい。   Here, after that, the calculation process of step ST6 may be performed on the notification target 72 initially highlighted, but the notification target frame 82a related to the notification target 72 is already low in luminance. The calculation process may be omitted.

尚、ここで例示した如く2つの報知対象71,72のみが検出され、一方について強調表示が為された後に当該最初に強調表示された報知対象72を運転者が視認した場合には、上述したが如く、この強調表示された報知対象72に対して最も低輝度の報知対象枠82aが表示されているので、他方の報知対象71が自動的に強調表示されることになる。これが為、かかる場合には、その他方の報知対象71に対して上記のステップST4〜ST6までの演算処理を繰り返さずにステップST7へと進んでもよい。   In addition, as illustrated here, only two notification objects 71 and 72 are detected, and when the driver visually recognizes the notification object 72 that is initially highlighted after highlighting one of the two, the above-described case is described. As described above, since the notification target frame 82a having the lowest luminance is displayed for the highlighted notification target 72, the other notification target 71 is automatically highlighted. For this reason, in such a case, the process may proceed to step ST7 without repeating the above-described calculation processes from step ST4 to ST6 for the other notification target 71.

続いて、コンバイナ42上の報知対象71が運転者に視認されたか否かステップST7で判定し、視認されていればこれをステップST8にて重要度判定処理対象から除外してステップST9を経た後、図7に示す如く、その報知対象71についても最も低輝度の報知対象枠81bを表示させる。尚、この報知対象枠81bの輝度は、最初に強調表示された報知対象72に係る報知対象枠82aと同じにしているが、必ずしも同一である必要はない。   Subsequently, whether or not the notification target 71 on the combiner 42 has been visually recognized by the driver is determined in step ST7, and if it is visually recognized, this is excluded from the importance determination processing target in step ST8, and then after step ST9. As shown in FIG. 7, the notification target frame 81b having the lowest luminance is also displayed for the notification target 71. The brightness of the notification target frame 81b is the same as that of the notification target frame 82a related to the notification target 72 highlighted first, but it is not necessarily the same.

制御手段30は、その後もステップST1に戻り、更に新たな映像信号に基づいて同様の演算処理を繰り返す。ここで、このステップST1で受信した映像信号から新たな報知対象が検出されず、上述した2つの報知対象71,72が再び検出された場合、その夫々については既に重要度判定処理対象から除外されているので、ステップST3にて重要度判定処理対象無しと判断され、ステップST6に進む。尚、ここでは、その夫々の報知対象71,72が最も低輝度の報知対象枠81b,82aで囲まれているので、ステップST6に進むことなくステップST1に戻ってもよい。   Thereafter, the control unit 30 returns to step ST1 and repeats the same calculation process based on a new video signal. Here, when a new notification target is not detected from the video signal received in step ST1 and the two notification targets 71 and 72 described above are detected again, each of them is already excluded from the importance determination processing target. Therefore, it is determined in step ST3 that there is no importance determination process target, and the process proceeds to step ST6. Here, since the respective notification objects 71 and 72 are surrounded by the lowest luminance notification object frames 81b and 82a, the process may return to step ST1 without proceeding to step ST6.

ところで、最初に報知対象71,72が検出され、図5に示す如く各報知対象71,72に対して夫々に低輝度の報知対象枠81、高輝度の報知対象枠82が表示された際、運転者は、必ずしも高輝度の報知対象枠82に係る報知対象72のみを視認するとは限らず、その2つの報知対象71,72を略同時に両方とも視認することもある。これが為、各々の報知対象71,72が略同時に視認された場合には、視線判定手段35によるステップST7判定を経た後、その各報知対象71,72がステップST8にて重要度判定処理対象から除外され、その各報知対象71,72に係る夫々の報知対象枠81,82がステップST9にて最も低い輝度に設定される。即ち、かかる場合には、図6に示す状態を経ずに図7に示す報知対象枠81b,82aがコンバイナ42に表示される。   By the way, when the notification targets 71 and 72 are first detected and the low-brightness notification target frame 81 and the high-brightness notification target frame 82 are displayed for the notification targets 71 and 72, respectively, as shown in FIG. The driver does not necessarily visually recognize only the notification target 72 related to the high-luminance notification target frame 82, and may also visually recognize both of the two notification targets 71 and 72 at substantially the same time. For this reason, when each of the notification targets 71 and 72 is visually recognized substantially simultaneously, after the step ST7 determination by the line-of-sight determination means 35, each of the notification targets 71 and 72 is determined from the importance determination processing target in step ST8. The notification target frames 81 and 82 related to the notification targets 71 and 72 are set to the lowest luminance in step ST9. That is, in such a case, the notification target frames 81b and 82a shown in FIG. 7 are displayed on the combiner 42 without going through the state shown in FIG.

このように、視線判定手段35は、必ずしも強調表示された報知対象のみを判定対象にするものではなく、コンバイナ42に表示された全ての報知対象について判定対象としている。   As described above, the line-of-sight determination means 35 does not necessarily set only the highlighted notification target as the determination target, but sets all the notification targets displayed on the combiner 42 as the determination targets.

以上示した如く、本実施例1の車輌周囲情報表示装置においては、検出された夫々の報知対象について段階的に報知重要度を設定し、報知重要度が高い報知対象を報知重要度の低い報知対象よりも高輝度の報知対象枠で強調表示するので、検出された複数の報知対象の中で運転者に対して最も知らしめるべきものが明確になる。これが為、本実施例1の車輌周囲情報表示装置を用いることによって、運転者は、検出された全ての報知対象の中からどの報知対象について最も注意して運転すべきであるのかを認識することができるようになり、安全性が向上する。   As described above, in the vehicle surrounding information display device according to the first embodiment, the notification importance is set stepwise for each detected notification target, and the notification target having a high notification importance is notified to the notification target having a high notification importance. Since highlighting is performed in a notification target frame having a luminance higher than that of the target, the most noticeable notification target among the plurality of notification targets detected becomes clear. For this reason, by using the vehicle surroundings information display device of the first embodiment, the driver recognizes which notification target should be driven most carefully among all detected notification targets. To improve safety.

また、この車輌周囲情報表示装置においては、運転者が認識した報知対象に係る報知対象枠(告知情報)の輝度を低下させ、未認識のものに対して目立たないようにする。そして、その残りの未認識の報知対象について同様に報知重要度を設定し、その中で報知重要度が高い報知対象を報知重要度の低い報知対象よりも高輝度の報知対象枠で強調表示する。これにより、運転者は、認識していない報知対象の中で次に最も注意して運転しなければならないものの存在を把握することができるようになり、安全性が向上する。   Further, in this vehicle surrounding information display device, the brightness of the notification target frame (notification information) related to the notification target recognized by the driver is lowered so that it is not conspicuous with respect to the unrecognized one. Then, the notification importance is set in the same manner for the remaining unrecognized notification targets, and the notification target having the higher notification importance is highlighted in the notification target frame having higher brightness than the notification target having the lower notification importance. . As a result, the driver can grasp the presence of the notification object that has not been recognized and must be driven next most carefully, and safety is improved.

このように、本実施例1の車輌周囲情報表示装置によれば、複数の報知対象が検出された際に、運転者による報知対象の認識漏れや認識遅れを防ぐことができるので、本装置の本来的な目的である安全性が向上する。   As described above, according to the vehicle surrounding information display device of the first embodiment, when a plurality of notification targets are detected, it is possible to prevent a recognition failure or recognition delay of the notification target by the driver. Safety, which is the original purpose, is improved.

ここで、上述した本実施例1の報知対象認識有無判定手段(視線判定手段35)は、コンバイナ42に表示された報知対象について運転者が認識したか否か判定し、認識済と判定された報知対象を報知重要度設定手段32による重要度判定対象から除外するよう構成している。このように重要度判定対象から除外する構成にした理由は、例えば、自車が前方の他車に追随して走行を続ける場合、ある報知対象について報知重要度が高いと判定されて強調表示され、これを運転者が認識したにも拘わらず、その後に同じ報知対象が再度強調表示されてしまうことがあり、それについて運転者が煩わしく思うことも十分あり得るからである。   Here, the notification target recognition presence / absence determination unit (gaze determination unit 35) of the first embodiment described above determines whether or not the driver has recognized the notification target displayed on the combiner 42, and is determined to be recognized. The notification target is configured to be excluded from the importance determination targets by the notification importance setting means 32. The reason why the configuration is excluded from the importance determination target is, for example, when the own vehicle follows the other vehicle ahead and continues to travel, it is determined that the notification importance is high for a certain notification target and is highlighted. Even though the driver recognizes this, the same notification target may be highlighted again after that, and the driver may be bothered about it.

しかしながら、そのような長時間に渡り検出され続けている報知対象については、常に運転者に対して注意を喚起すべきものであると捉えることもできる。これが為、上述した報知対象認識有無判定手段(視線判定手段35)については、必ずしも一度運転者に認識済と判定された報知対象を重要度判定対象から除外するように構成せずともよく、単に、コンバイナ42に表示された報知対象を運転者が認識したか否か判定することのみを行うよう構成してもよい。かかる場合には、その運転者が認識した報知対象について、これの最初の検出時に同時に検出された報知対象やその後に検出された新たな報知対象よりも報知重要度が低いものとして報知重要度設定手段32に判定させ、これらよりも認識され難い告知情報(例えば、これらよりも低輝度の報知対象枠)を生成するようにしてもよい。また、その運転者が認識した報知対象については、報知重要度が高いと判定された際に、報知重要度の低いものよりも認識され易い告知情報(例えば、これらよりも高輝度の報知対象枠)を生成するようにしてもよい。   However, it is possible to grasp that the notification target that has been continuously detected for such a long time should always alert the driver. For this reason, the notification target recognition presence / absence determination means (line-of-sight determination means 35) described above does not necessarily have to be configured to exclude the notification target once determined to be recognized by the driver from the importance determination target. Alternatively, it may be configured to only determine whether or not the driver has recognized the notification target displayed on the combiner 42. In such a case, for the notification target recognized by the driver, the notification importance level is set to be lower than the notification target that is simultaneously detected at the time of the first detection and the new notification target that is subsequently detected. You may make it make the means 32 determine and produce | generate the notification information (for example, notification object frame of lower brightness than these) which is harder to recognize than these. In addition, for the notification target recognized by the driver, notification information (for example, a notification target frame having a luminance higher than these) that is more easily recognized than a notification target having a low notification importance when it is determined that the notification importance is high. ) May be generated.

尚、本実施例1の報知重要度設定手段32は、検出された夫々の報知対象に対して段階的に報知重要度の高低の設定を行うよう構成しているが、次のような例外を設けてもよい。例えば、自車の走行路上を横切る人間と自車の走行路上の落下物とが同時に検出され、その夫々が自車と同等の距離に位置しているとき等の如く、同等の報知重要度を持つ報知対象が検出された場合には、これらを同じ報知重要度として判定してもよい。また、上述した目視し得ない報知対象と自車との距離、そして、目視し得るが自車の走行路上を横切っている人間と自車との距離が夫々に同等の距離である場合には、その何れも優先的に運転者に対して知らしめるべきものと判断して、これらを同じ報知重要度として判定してもよい。   The notification importance level setting unit 32 according to the first embodiment is configured to gradually set the notification importance level for each detected notification target. It may be provided. For example, a person who crosses the traveling road of the own vehicle and a fallen object on the traveling path of the own vehicle are detected at the same time, and each of them is located at the same distance as the own vehicle. When the notification target is detected, these may be determined as the same notification importance. In addition, when the distance between the notification object that cannot be visually observed and the vehicle, and the distance between the human and the vehicle that can be visually observed but crossing the traveling path of the vehicle are equal to each other, , Any of them may be preferentially informed to the driver, and these may be determined as the same notification importance.

次に、本発明に係る車輌周囲情報表示装置の実施例2を図8及び図9に基づいて説明する。   Next, a second embodiment of the vehicle surrounding information display device according to the present invention will be described with reference to FIGS.

例えば、前述した実施例1の如く段階的に報知重要度の高低を設定してその高低に応じた告知情報を生成したとしても、検出された夫々の報知対象の報知重要度が同等レベルのもの又は近いレベルのものである場合には、生成される報知対象枠の輝度レベルが同等になる。かかる場合、その報知対象枠からは夫々の報知対象についての報知重要度の高低を識別し難く、また、何れも突出して運転者の視覚を刺激するわけではないので、運転者は、コンバイナ42に映し出された画像の中で最も報知重要度が高い報知対象に視線を移すとは限らない。   For example, even if the notification importance level is set stepwise as in the first embodiment and notification information corresponding to the level is generated, the notification importance level of each detected notification target is the same level. Alternatively, when the levels are close, the brightness levels of the notification target frames to be generated are equal. In such a case, it is difficult to identify the level of importance of notification for each notification target from the notification target frame, and neither of them protrudes to stimulate the driver's vision. The line of sight is not always transferred to the notification target having the highest notification importance in the projected image.

そこで、本実施例2においては、そのような場合において各々の報知対象に係る報知重要度を判別し得る,即ち、何れの報知対象が報知重要度の高いものであるのかを認識し得るよう構成する。   Therefore, in the second embodiment, in such a case, it is possible to determine the importance level of notification related to each notification target, that is, to recognize which notification target has a higher notification priority level. To do.

例えば、本実施例2あっては、実施例1の車輌周囲情報表示装置において、同等レベル又は近いレベルの報知重要度に設定された各報知対象に対して生成する夫々の告知情報の運転者への識別度合いの差を強調させる告知情報補正機能を告知情報生成手段33に設ける。   For example, in the second embodiment, in the vehicle surrounding information display device of the first embodiment, to the driver of the respective notification information generated for each notification target set at the notification importance level of the same level or near level. The notification information generation means 33 is provided with a notification information correction function for emphasizing the difference between the identification levels.

ここで、図8に示す如く実施例1にて例示した2つの報知対象71,72に加えて別の報知対象73も検出されたとする。この場合、本実施例2の報知重要度設定手段32がその各報知対象71,72,73に対して夫々報知重要度「1b」,「1a」,「1c」と設定し、その各報知重要度「1a」〜「1c」が各々近いレベルのものであると仮定する。   Here, it is assumed that another notification target 73 is detected in addition to the two notification targets 71 and 72 illustrated in the first embodiment as shown in FIG. In this case, the notification importance level setting means 32 of the second embodiment sets the notification importance levels “1b”, “1a”, and “1c” for the notification targets 71, 72, and 73, respectively. Assume that degrees “1a” to “1c” are close to each other.

かかる場合、仮に実施例1の告知情報生成手段33であれば、その図8に示す如く、各報知対象71,72,73に対して生成された報知対象枠81c,82c,83cの夫々の輝度レベルが同等になり、運転者は、何れの報知対象71,72,73に対して最も注意すれば良いのか判断し難い。   In this case, if it is the notification information generation means 33 of Example 1, as shown in the FIG. 8, each brightness | luminance of notification object frame 81c, 82c, 83c produced | generated with respect to each notification object 71,72,73 is shown. The level becomes the same, and it is difficult for the driver to determine which of the notification objects 71, 72, 73 should be most careful.

一方、本実施例2の告知情報生成手段33であれば、各報知対象71,72,73の夫々の報知重要度「1b」,「1a」,「1c」が各々近いレベルのものである場合に、その何れかを基準にして夫々の報知対象枠81c,82c,83cの輝度レベルに差を付けるよう当該報知対象枠81c,82c,83cの輝度レベル補正を行う。例えば、図9に示す如く、最も報知重要度の低い報知対象73を基準にし、これよりも報知重要度の高い報知対象71に対しては報知対象73に係る報知対象枠83cと比して一目で違いが判別できるよう輝度を高くした報知対象枠81dへと補正する。また、その報知対象71の次に報知重要度が高い報知対象72については、図9に示す如く、補正した報知対象71に係る報知対象枠81dに対して一目で違いが判別できるよう表示処理手段34により点滅表示させ得る報知対象枠82dへと補正する。   On the other hand, in the case of the notification information generation means 33 of the second embodiment, the notification importance levels “1b”, “1a”, and “1c” of the notification targets 71, 72, and 73 are close to each other. In addition, the brightness level correction of the notification target frames 81c, 82c, and 83c is performed so as to make a difference between the brightness levels of the notification target frames 81c, 82c, and 83c on the basis of any one of them. For example, as shown in FIG. 9, the notification target 73 with the lowest notification importance is used as a reference, and the notification target 71 with the higher notification importance is at a glance compared to the notification target frame 83 c related to the notification target 73. To correct the notification target frame 81d with high brightness so that the difference can be discriminated. Further, for the notification target 72 having the second highest notification importance after the notification target 71, as shown in FIG. 9, the display processing means can distinguish the difference at a glance with respect to the notification target frame 81d related to the corrected notification target 71. 34 is corrected to a notification target frame 82d that can be blinked.

これにより、最も報知重要度の低い報知対象73よりも報知対象71が強調表示され、更に、その報知対象71よりも報知対象72が強調表示されるので、運転者は、最も報知重要度の高い報知対象72に対して視線誘導され、この報知対象72に細心の注意を払って運転することができる。   As a result, the notification target 71 is highlighted than the notification target 73 having the lowest notification importance, and the notification target 72 is further highlighted than the notification target 71, so that the driver has the highest notification importance. A line of sight is guided to the notification target 72, and it is possible to drive with careful attention to the notification target 72.

ここで、補正時に基準とする報知対象は何れの報知対象であってもよく、例えば、上記例示において中間の報知重要度の報知対象71を基準にするのであれば、これよりも報知重要度の低い報知対象73は、その報知対象枠83cの輝度レベルを低下させるように補正される。   Here, the notification target to be used as a reference at the time of correction may be any notification target. For example, if the notification target 71 having an intermediate notification importance is used as a reference in the above example, the notification importance is higher than this. The low notification target 73 is corrected so as to reduce the luminance level of the notification target frame 83c.

また、本実施例2においては告知情報を補正して夫々の報知対象の違いを強調させているが、判定された夫々の報知重要度に対して各々の差を強調するよう補正を行い、この補正後の報知重要度を夫々の報知対象に係るものとして設定するよう報知重要度設定手段32を構成してもよい。   Further, in the second embodiment, the notification information is corrected to emphasize the difference between the notification targets, but correction is performed so as to emphasize each difference with respect to each determined notification importance, The notification importance level setting means 32 may be configured to set the notification importance level after correction as relating to each notification target.

尚、上述した各実施例1,2の車輌周囲情報表示装置においては、2種類の撮像手段(可視撮像手段10Aと赤外線撮像手段10B)を利用して報知対象の報知重要度を判定させるよう構成しているが、例えば、その可視撮像手段10Aについて高解像度のものを用意し、この高解像度の可視撮像手段10Aからの映像信号に含まれる報知対象の輝度に基づいて報知重要度の判定を行ってもよい。   In the vehicle surrounding information display device of each of the first and second embodiments described above, the notification importance level of the notification target is determined using two types of imaging means (visible imaging means 10A and infrared imaging means 10B). However, for example, a high-resolution visual imaging unit 10A is prepared, and the notification importance level is determined based on the luminance of the notification target included in the video signal from the high-resolution visible imaging unit 10A. May be.

また、上述した各実施例1,2の告知情報としては、これらに例示した視覚に訴えるものに限定されず、他の五感を刺激するものを用いてもよい。例えば、上述したコンバイナ42へと報知対象枠82等で強調表示する際に告知情報たる警告音等を発するよう構成し、その警告音等により聴覚を刺激してもよい。   Moreover, as notification information of each Example 1 and 2 mentioned above, it is not limited to the information appealing to the vision illustrated to these, You may use what stimulates other five senses. For example, a warning sound or the like as notification information may be generated when the above-described combiner 42 is highlighted with the notification target frame 82 or the like, and hearing may be stimulated by the warning sound or the like.

また、上述した各実施例1,2にあっては車輌の前方を撮像する可視撮像手段10A及び赤外線撮像手段10Bを車輌周囲情報取得手段として例示したが、この車輌周囲情報取得手段は、例えば車輌の後方を撮像するものであってもよい。かかる場合には、所謂バックガイドモニターと言われる如き車輌周囲情報表示装置に適用することができる。また、その車輌周囲情報取得手段としてはレーダ装置等を用いてもよい。   Further, in each of the first and second embodiments described above, the visual imaging means 10A and the infrared imaging means 10B that image the front of the vehicle are exemplified as the vehicle surrounding information acquisition means. The vehicle surrounding information acquisition means is, for example, a vehicle It is also possible to take an image of the rear of the camera. In such a case, the present invention can be applied to a vehicle surrounding information display device such as a so-called back guide monitor. A radar device or the like may be used as the vehicle surrounding information acquisition means.

更に、上述した各実施例1,2の表示手段40としてはヘッドアップディスプレイ装置を例示したが、必ずしもこれに限定するものではない。例えば、近年の車輌においてはカーナビゲーションシステムの搭載率が高く、このカーナビゲーションシステムはモニタを具備しているので、そのモニタを表示手段40として利用してもよい。かかる場合、上述したが如く構成した視線検知手段20と視線判定手段35からは運転者が報知対象を認識したか否か判定することができない。これが為、そのようなモニタを表示手段40として用いる場合には、そのモニタを所謂タッチパネル機能を有するものとして構成し、更に、運転者が触れたモニタの表示区画と報知対象が表示されている表示区画とを比較することによって、運転者による報知対象の認識有無が判定されるよう報知対象認識有無判定手段を構成する。   Furthermore, although the head-up display device is exemplified as the display means 40 of each of the first and second embodiments described above, the present invention is not necessarily limited thereto. For example, in recent vehicles, a car navigation system has a high mounting ratio, and the car navigation system includes a monitor. Therefore, the monitor may be used as the display unit 40. In such a case, it is impossible to determine whether or not the driver has recognized the notification target from the line-of-sight detection means 20 and the line-of-sight determination means 35 configured as described above. For this reason, when such a monitor is used as the display means 40, the monitor is configured to have a so-called touch panel function, and the display section of the monitor touched by the driver and the notification target are displayed. A notification object recognition presence / absence determination unit is configured to determine whether or not the driver recognizes the notification target by comparing with the section.

以上のように、本発明に係る車輌周囲情報表示装置は、複数の報知対象が同時に検出された際の技術として有用であり、特に、その夫々の報知対象の全てを個別に且つ明確に運転者に対して知らしめる技術に適している。   As described above, the vehicle surroundings information display device according to the present invention is useful as a technique when a plurality of notification targets are detected at the same time. In particular, all of the notification targets are individually and clearly displayed to the driver. It is suitable for the technology to let you know.

本発明に係る車輌周囲情報表示装置の実施例1の構成を示す図である。It is a figure which shows the structure of Example 1 of the vehicle surroundings information display apparatus which concerns on this invention. 実施例1における車輌周囲情報表示装置の表示手段及び視線検知手段の構成を示す図である。It is a figure which shows the structure of the display means of the vehicle surroundings information display apparatus in Example 1, and a gaze detection means. 実施例1における車輌周囲情報表示装置の演算処理動作を説明するフローチャートである。6 is a flowchart for explaining a calculation processing operation of the vehicle surroundings information display device according to the first embodiment. 実施例1における車輌周囲情報表示装置においてフロントウインドシールド越しに見える実景と当該フロントウインドシールドに表示されたヘッドアップディスプレイの画像の一例を示す図であって、便宜上、そのヘッドアップディスプレイの画像について拡大した図である。It is a figure which shows an example of the actual scene seen through a front windshield in the vehicle surroundings information display apparatus in Example 1, and the image of the head-up display displayed on the said front windshield, Comprising: For convenience, the image of the head-up display is expanded. FIG. 図4に示す複数の報知対象を検出し、これらの報知重要度を設定した後に表示されるヘッドアップディスプレイの報知対象枠について示す図である。It is a figure which shows about the alerting | reporting object frame of the head-up display displayed after detecting several alerting | reporting object shown in FIG. 4, and setting these alerting | reporting importance. 図5に示す強調表示された報知対象が運転者に認識された後に表示されるヘッドアップディスプレイの報知対象枠について示す図である。FIG. 6 is a diagram illustrating a notification target frame of a head-up display that is displayed after the highlighted notification target illustrated in FIG. 5 is recognized by a driver. 図4に示す複数の報知対象の全てを運転者が認識した後に表示されるヘッドアップディスプレイの報知対象枠について示す図である。It is a figure shown about the alerting | reporting object frame of the head-up display displayed after a driver | operator recognizes all the some alerting | reporting objects shown in FIG. 実施例1と実施例2における車輌周囲情報表示装置の違いを示す為の図であって、実施例2においてフロントウインドシールド越しに見える実景と、この実景を実施例1における車輌周囲情報表示装置のヘッドアップディスプレイの画像として表示した場合の一例を示す図である。It is a figure for showing the difference of the vehicle surroundings information display apparatus in Example 1 and Example 2, Comprising: The actual scene which can be seen through a front windshield in Example 2, and this actual scene of the vehicle surroundings information display apparatus in Example 1 It is a figure which shows an example at the time of displaying as an image of a head-up display. 図8に示す複数の報知対象の報知重要度が近いレベルのものであると判断された際に表示されるヘッドアップディスプレイにおける補正後の報知対象枠について示す図である。FIG. 9 is a diagram illustrating a corrected notification target frame in the head-up display that is displayed when it is determined that the notification importance levels of the plurality of notification targets illustrated in FIG.

符号の説明Explanation of symbols

10A 可視撮像手段(車輌周囲情報取得手段)
10B 赤外線撮像手段(車輌周囲情報取得手段)
20 視線検知手段
30 制御手段
31 報知対象検出手段
32 報知重要度設定手段
33 告知情報生成手段
34 表示処理手段
35 視線判定手段
40 表示手段
41 HUDユニット
42 コンバイナ
61 フロントウインドシールド
71,72,73 報知対象
81,81a,81b,81c,81d,82,82a,82c,82d,83c 報知対象枠
10A Visible imaging means (vehicle surrounding information acquisition means)
10B Infrared imaging means (vehicle surrounding information acquisition means)
20 gaze detection means 30 control means 31 notification target detection means 32 notification importance setting means 33 notification information generation means 34 display processing means 35 gaze determination means 40 display means 41 HUD unit 42 combiner 61 front windshield 71, 72, 73 notification target 81, 81a, 81b, 81c, 81d, 82, 82a, 82c, 82d, 83c Notification target frame

Claims (7)

車輌周囲の情報を取得する車輌周囲情報取得手段と、該車輌周囲情報取得手段からの車輌周囲情報に基づき車輌周囲における運転者への報知対象を検出する報知対象検出手段と、該報知対象検出手段により検出された報知対象の情報が表示される表示手段とを備えた車輌周囲情報表示装置において、
前記報知対象検出手段により検出された複数の報知対象の報知重要度を設定する報知重要度設定手段と、前記報知対象に係る運転者への告知情報を生成する告知情報生成手段とを設け、
この告知情報生成手段は、前記報知重要度が高い報知対象に対しては報知重要度の低い報知対象よりも運転者の五感を刺激し易い告知情報を生成するよう構成したことを特徴とする車輌周囲情報表示装置。
Vehicle surrounding information acquisition means for acquiring vehicle surrounding information, notification target detection means for detecting a notification target for a driver around the vehicle based on vehicle surrounding information from the vehicle surrounding information acquisition means, and the notification target detection means In the vehicle surrounding information display device comprising display means for displaying the information of the notification target detected by
A notification importance level setting unit that sets notification importance levels of a plurality of notification targets detected by the notification target detection unit; and notification information generation unit that generates notification information to the driver related to the notification target;
The notification information generating means is configured to generate notification information that is easier to stimulate the driver's five senses for a notification target having a high notification importance than for a notification target having a low notification importance. Ambient information display device.
前記報知重要度設定手段は、検出された夫々の報知対象に対して段階的に報知重要度の高低を設定するよう構成したことを特徴とする請求項1記載の車輌周囲情報表示装置。   2. The vehicle surrounding information display device according to claim 1, wherein the notification importance setting means is configured to set the level of notification importance in a stepwise manner for each detected notification target. 前記表示手段に表示された報知対象を運転者が認識したか否か判定し、認識済と判定された報知対象を前記報知重要度設定手段の判定対象から除外する報知対象認識有無判定手段を設けたことを特徴とする請求項1又は2に記載の車輌周囲情報表示装置。   A notification target recognition presence / absence determination unit is provided for determining whether or not the driver has recognized the notification target displayed on the display unit, and excluding the notification target determined to be recognized from the determination target of the notification importance setting unit. The vehicle surrounding information display device according to claim 1, wherein the vehicle surrounding information display device is provided. 前記告知情報生成手段は、前記報知対象認識有無判定手段により認識済と判定された報知対象に対しては未認識と判定された報知対象よりも五感を刺激し難い告知情報を生成するよう構成したことを特徴とする請求項3記載の車輌周囲情報表示装置。   The notification information generation unit is configured to generate notification information that is less likely to stimulate the senses than the notification target determined to be unrecognized for the notification target determined to be recognized by the notification target recognition presence determination unit. The vehicle surrounding information display device according to claim 3. 前記表示手段に表示された報知対象を運転者が認識したか否か判定する報知対象認識有無判定手段を設け、
前記告知情報生成手段は、前記報知対象認識有無判定手段により認識済と判定された報知対象に対しては未認識と判定された報知対象よりも五感を刺激し難い告知情報を生成するよう構成したことを特徴とする請求項1又は2に記載の車輌周囲情報表示装置。
A notification object recognition presence / absence determination means for determining whether or not the driver has recognized the notification object displayed on the display means;
The notification information generation unit is configured to generate notification information that is less likely to stimulate the senses than the notification target determined to be unrecognized for the notification target determined to be recognized by the notification target recognition presence determination unit. The vehicle surrounding information display device according to claim 1 or 2.
前記告知情報生成手段が生成する告知情報は、前記表示手段に表示されて運転者の視覚に訴えるものであることを特徴とする請求項1から5の内の何れか1つに記載の車輌周囲情報表示装置。   6. The vehicle surroundings according to any one of claims 1 to 5, wherein the notification information generated by the notification information generation means is displayed on the display means and appeals to the driver's vision. Information display device. 前記告知情報生成手段が前記報知重要度の高い報知対象に対して生成する告知情報は、前記表示手段に前記報知重要度の低い報知対象よりも高輝度で点灯表示されるもの又は前記表示手段に点滅表示されるものであることを特徴とする請求項1,2,3又は4に記載の車輌周囲情報表示装置。   The notification information generated by the notification information generating unit for the notification target having a high notification importance is displayed on the display unit with a higher brightness than the notification target having the low notification importance or the display unit. The vehicle surrounding information display device according to claim 1, 2, 3, or 4, wherein the vehicle surrounding information display device is displayed in a blinking manner.
JP2005278551A 2005-09-26 2005-09-26 Vehicle peripheral information display device Pending JP2007087337A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005278551A JP2007087337A (en) 2005-09-26 2005-09-26 Vehicle peripheral information display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005278551A JP2007087337A (en) 2005-09-26 2005-09-26 Vehicle peripheral information display device

Publications (1)

Publication Number Publication Date
JP2007087337A true JP2007087337A (en) 2007-04-05

Family

ID=37974232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005278551A Pending JP2007087337A (en) 2005-09-26 2005-09-26 Vehicle peripheral information display device

Country Status (1)

Country Link
JP (1) JP2007087337A (en)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008120748A1 (en) 2007-03-29 2008-10-09 Ihi Corporation Wall of turbo machine and turbo machine
JP2009196630A (en) * 2008-01-25 2009-09-03 Denso Corp Display device
JP2010105443A (en) * 2008-10-28 2010-05-13 Denso Corp Visual assistive device
JP2010108507A (en) * 2009-11-05 2010-05-13 Honda Motor Co Ltd Vehicle periphery monitoring device
JP2010120617A (en) * 2008-11-24 2010-06-03 Denso Corp Image forming device, head-up display, and vehicle display
JP2010161736A (en) * 2009-01-09 2010-07-22 Toyota Motor Corp Night vision system
JP2011245900A (en) * 2010-05-24 2011-12-08 Yazaki Corp Vehicular display device
EP2402226A1 (en) * 2010-07-02 2012-01-04 Harman Becker Automotive Systems GmbH Computer based system and method for providing a driver assist information
WO2012077202A1 (en) * 2010-12-08 2012-06-14 トヨタ自動車株式会社 Information conveyance device for use in vehicle
JP2013088894A (en) * 2011-10-14 2013-05-13 Honda Motor Co Ltd Drive support device of vehicle
JP2013216315A (en) * 2013-05-14 2013-10-24 Denso Corp Image generation device
KR20140097682A (en) * 2013-01-28 2014-08-07 한국전자통신연구원 Head up display apparatus for vehicle and method thereof
JP2014238708A (en) * 2013-06-07 2014-12-18 株式会社デンソー Vehicle warning device
JP2015009676A (en) * 2013-06-28 2015-01-19 株式会社デンソー Information provision device and information provision method
JP5664784B2 (en) * 2011-07-21 2015-02-04 トヨタ自動車株式会社 Vehicle information transmission device
CN104742746A (en) * 2013-12-27 2015-07-01 丰田自动车株式会社 Vehicle information display device and vehicle information display method
JP2015191641A (en) * 2014-03-31 2015-11-02 Necエンベデッドプロダクツ株式会社 Monitoring device, monitoring system, monitoring method, and program
WO2016002006A1 (en) * 2014-07-01 2016-01-07 日産自動車株式会社 Display device for vehicle and display method for vehicle
JP2016024574A (en) * 2014-07-18 2016-02-08 日産自動車株式会社 Display device for vehicle
JP2016038866A (en) * 2014-08-11 2016-03-22 トヨタ自動車株式会社 Recognition support device
WO2016147547A1 (en) * 2015-03-16 2016-09-22 株式会社デンソー Image generation device
JP2017004181A (en) * 2015-06-08 2017-01-05 富士通テン株式会社 Obstacle alarm system and obstacle alarm system method
JPWO2015037117A1 (en) * 2013-09-13 2017-03-02 日立マクセル株式会社 Information display system and information display device
WO2017145565A1 (en) * 2016-02-22 2017-08-31 富士フイルム株式会社 Projection-type display device, projection display method, and projection display program
JP2017178157A (en) * 2016-03-31 2017-10-05 株式会社Subaru Vehicle periphery monitoring device
JP2017532644A (en) * 2014-10-06 2017-11-02 トヨタ自動車株式会社 A safety system that emphasizes road objects on a head-up display
US9852632B2 (en) 2012-02-10 2017-12-26 Mitsubishi Electric Corporation Driving assistance device and driving assistance method
CN107599974A (en) * 2016-07-12 2018-01-19 现代自动车株式会社 Substitute the display system of side-view mirror and for controlling it to export the method for brightness
JP2018032402A (en) * 2016-08-23 2018-03-01 トヨタ自動車株式会社 System for occlusion adjustment for in-vehicle augmented reality systems
US10150415B2 (en) 2014-08-25 2018-12-11 Hyundai Motor Company Method and apparatus for detecting a pedestrian by a vehicle during night driving
JP2019159917A (en) * 2018-03-14 2019-09-19 株式会社リコー Driving support device, vehicle, system and method
JP2019164219A (en) * 2018-03-19 2019-09-26 矢崎総業株式会社 Head-up display device
EP2922293B1 (en) * 2014-03-20 2020-01-08 MAN Truck & Bus SE Method for monitoring the vehicle interior and the vehicle exterior
JP7058912B2 (en) 2018-03-19 2022-04-25 矢崎総業株式会社 Head-up display device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (en) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd Display device for vehicle
JP2002074594A (en) * 2000-08-25 2002-03-15 Alpine Electronics Inc Obstacle detecting system
JP2003291688A (en) * 2002-04-03 2003-10-15 Denso Corp Display method, driving support device and program
JP2005222153A (en) * 2004-02-03 2005-08-18 Japan Science & Technology Agency System, method, and program for human support

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (en) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd Display device for vehicle
JP2002074594A (en) * 2000-08-25 2002-03-15 Alpine Electronics Inc Obstacle detecting system
JP2003291688A (en) * 2002-04-03 2003-10-15 Denso Corp Display method, driving support device and program
JP2005222153A (en) * 2004-02-03 2005-08-18 Japan Science & Technology Agency System, method, and program for human support

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008120748A1 (en) 2007-03-29 2008-10-09 Ihi Corporation Wall of turbo machine and turbo machine
JP2009196630A (en) * 2008-01-25 2009-09-03 Denso Corp Display device
JP2010105443A (en) * 2008-10-28 2010-05-13 Denso Corp Visual assistive device
JP2010120617A (en) * 2008-11-24 2010-06-03 Denso Corp Image forming device, head-up display, and vehicle display
JP2010161736A (en) * 2009-01-09 2010-07-22 Toyota Motor Corp Night vision system
JP2010108507A (en) * 2009-11-05 2010-05-13 Honda Motor Co Ltd Vehicle periphery monitoring device
JP4615061B2 (en) * 2009-11-05 2011-01-19 本田技研工業株式会社 Vehicle periphery monitoring device
JP2011245900A (en) * 2010-05-24 2011-12-08 Yazaki Corp Vehicular display device
US8803675B2 (en) 2010-05-24 2014-08-12 Yazaki Corporation Display apparatus for vehicle
EP2402226A1 (en) * 2010-07-02 2012-01-04 Harman Becker Automotive Systems GmbH Computer based system and method for providing a driver assist information
WO2012077202A1 (en) * 2010-12-08 2012-06-14 トヨタ自動車株式会社 Information conveyance device for use in vehicle
CN103250194A (en) * 2010-12-08 2013-08-14 丰田自动车株式会社 Information conveyance device for use in vehicle
EP2736028A4 (en) * 2011-07-21 2015-05-06 Toyota Motor Co Ltd Vehicle information transmitting apparatus
JP5664784B2 (en) * 2011-07-21 2015-02-04 トヨタ自動車株式会社 Vehicle information transmission device
US9384649B2 (en) 2011-07-21 2016-07-05 Toyota Jidosha Kabushiki Kaisha Vehicle information transmitting apparatus
JP2013088894A (en) * 2011-10-14 2013-05-13 Honda Motor Co Ltd Drive support device of vehicle
US9852632B2 (en) 2012-02-10 2017-12-26 Mitsubishi Electric Corporation Driving assistance device and driving assistance method
KR20140097682A (en) * 2013-01-28 2014-08-07 한국전자통신연구원 Head up display apparatus for vehicle and method thereof
KR102118438B1 (en) * 2013-01-28 2020-06-04 한국전자통신연구원 Head up display apparatus for vehicle and method thereof
JP2013216315A (en) * 2013-05-14 2013-10-24 Denso Corp Image generation device
JP2014238708A (en) * 2013-06-07 2014-12-18 株式会社デンソー Vehicle warning device
JP2015009676A (en) * 2013-06-28 2015-01-19 株式会社デンソー Information provision device and information provision method
JPWO2015037117A1 (en) * 2013-09-13 2017-03-02 日立マクセル株式会社 Information display system and information display device
EP2894621A1 (en) * 2013-12-27 2015-07-15 Toyota Jidosha Kabushiki Kaisha Vehicle information display device and vehicle information display method
US9875562B2 (en) 2013-12-27 2018-01-23 Toyota Jidosha Kabushiki Kaisha Vehicle information display device and vehicle information display method
JP2015128201A (en) * 2013-12-27 2015-07-09 トヨタ自動車株式会社 Vehicular information display apparatus and vehicular information display method
CN104742746A (en) * 2013-12-27 2015-07-01 丰田自动车株式会社 Vehicle information display device and vehicle information display method
EP2922293B1 (en) * 2014-03-20 2020-01-08 MAN Truck & Bus SE Method for monitoring the vehicle interior and the vehicle exterior
JP2015191641A (en) * 2014-03-31 2015-11-02 Necエンベデッドプロダクツ株式会社 Monitoring device, monitoring system, monitoring method, and program
WO2016002006A1 (en) * 2014-07-01 2016-01-07 日産自動車株式会社 Display device for vehicle and display method for vehicle
JPWO2016002006A1 (en) * 2014-07-01 2017-04-27 日産自動車株式会社 Display device for vehicle and display method for vehicle
JP2016024574A (en) * 2014-07-18 2016-02-08 日産自動車株式会社 Display device for vehicle
JP2016038866A (en) * 2014-08-11 2016-03-22 トヨタ自動車株式会社 Recognition support device
US10391937B2 (en) 2014-08-25 2019-08-27 Hyundai Motor Company Method and apparatus for detecting a pedestrian by a vehicle during night driving
US10150415B2 (en) 2014-08-25 2018-12-11 Hyundai Motor Company Method and apparatus for detecting a pedestrian by a vehicle during night driving
JP2017532644A (en) * 2014-10-06 2017-11-02 トヨタ自動車株式会社 A safety system that emphasizes road objects on a head-up display
JP2016172469A (en) * 2015-03-16 2016-09-29 株式会社デンソー Image forming apparatus
US10748425B2 (en) 2015-03-16 2020-08-18 Denso Corporation Image generation apparatus
WO2016147547A1 (en) * 2015-03-16 2016-09-22 株式会社デンソー Image generation device
US10005392B2 (en) 2015-06-08 2018-06-26 Fujitsu Ten Limited Object alarm device and object alarm method
JP2017004181A (en) * 2015-06-08 2017-01-05 富士通テン株式会社 Obstacle alarm system and obstacle alarm system method
WO2017145565A1 (en) * 2016-02-22 2017-08-31 富士フイルム株式会社 Projection-type display device, projection display method, and projection display program
US10556540B2 (en) 2016-03-31 2020-02-11 Subaru Corporation Vehicle surroundings monitoring apparatus
JP2017178157A (en) * 2016-03-31 2017-10-05 株式会社Subaru Vehicle periphery monitoring device
CN107599974A (en) * 2016-07-12 2018-01-19 现代自动车株式会社 Substitute the display system of side-view mirror and for controlling it to export the method for brightness
US10248196B2 (en) 2016-08-23 2019-04-02 Toyota Jidosha Kabushiki Kaisha System for occlusion adjustment for in-vehicle augmented reality systems
JP2018032402A (en) * 2016-08-23 2018-03-01 トヨタ自動車株式会社 System for occlusion adjustment for in-vehicle augmented reality systems
JP2019159917A (en) * 2018-03-14 2019-09-19 株式会社リコー Driving support device, vehicle, system and method
JP2019164219A (en) * 2018-03-19 2019-09-26 矢崎総業株式会社 Head-up display device
JP7058912B2 (en) 2018-03-19 2022-04-25 矢崎総業株式会社 Head-up display device

Similar Documents

Publication Publication Date Title
JP2007087337A (en) Vehicle peripheral information display device
JP4353162B2 (en) Vehicle surrounding information display device
US9230178B2 (en) Vision support apparatus for vehicle
US8810381B2 (en) Vehicular heads up display with integrated bi-modal high brightness collision warning system
US8405491B2 (en) Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
US9123179B2 (en) Surrounding image display system and surrounding image display method for vehicle
US20160082840A1 (en) Information display system and information display device
JP2005135037A (en) Vehicular information presentation system
JP5093611B2 (en) Vehicle periphery confirmation device
CN107284356B (en) Vehicle mirror alternative system
JP2010130646A (en) Vehicle periphery checking system
JPWO2008029802A1 (en) Driving information providing device
JPH07167668A (en) Equipment for offering information on running
JP4970379B2 (en) Vehicle display device
JP2010160606A (en) Information presentation system for vehicle
JP2006338594A (en) Pedestrian recognition system
JP6453929B2 (en) Vehicle display system and method for controlling vehicle display system
JP2009009320A (en) Alarm display device for vehicle
JP2004030212A (en) Information providing apparatus for vehicle
JP2004254044A (en) Driving supporting method, display system and notification system
JP5925163B2 (en) Driving assistance device
JP2009232945A (en) Apparatus for detecting driver&#39;s condition and method for detecting state of consciousness
JP4337130B2 (en) Control device for driving device
JP4731177B2 (en) Infrared imaging display device and infrared imaging display method for vehicle
JP4337131B2 (en) Mobile control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110405