JP2010097270A - Information provision device - Google Patents

Information provision device Download PDF

Info

Publication number
JP2010097270A
JP2010097270A JP2008265419A JP2008265419A JP2010097270A JP 2010097270 A JP2010097270 A JP 2010097270A JP 2008265419 A JP2008265419 A JP 2008265419A JP 2008265419 A JP2008265419 A JP 2008265419A JP 2010097270 A JP2010097270 A JP 2010097270A
Authority
JP
Japan
Prior art keywords
driver
host vehicle
vehicle
safety
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008265419A
Other languages
Japanese (ja)
Other versions
JP5083167B2 (en
Inventor
Masumi Obana
麻純 小花
Kazuya Sasaki
和也 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008265419A priority Critical patent/JP5083167B2/en
Publication of JP2010097270A publication Critical patent/JP2010097270A/en
Application granted granted Critical
Publication of JP5083167B2 publication Critical patent/JP5083167B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information provision device for providing a driver with information on a view ahead of a vehicle even when the driver checks safety of the rear of the vehicle. <P>SOLUTION: A line-of-sight measuring device 51 detects that a driver 10 of the vehicle VM has checked safety of the rear of the vehicle VM. When the device 51 detects that the driver 10 has checked the safety of the rear of the vehicle VM, a display 71 and a loud-speaker 72 gives the information on a view ahead of the vehicle VM to the driver 10. Thereby, even when the driver 10 has checked the safety of the rear of the vehicle VM, the information on the view ahead of the vehicle VM can be given to the driver 10. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、情報提供装置に関し、特には、運転者(ドライバー)に対して運転に必要な情報を提供する情報提供装置に関する。   The present invention relates to an information providing apparatus, and more particularly, to an information providing apparatus that provides information necessary for driving to a driver (driver).

従来、車線変更時等において、当該車線変更の可否を判定することにより自車両の走行を支援する装置が提案されている。例えば、特許文献1には、車両の走行を支援する装置であって、自車が車線変更しようとする方向の前方にある物体に対する自車の第1の距離と第1の相対速度、及び自車が車線変更しようとする方向の後方にある物体に対する自車の第2の距離と第2の相対速度を検出する検出手段と、該検出手段によって検出された、上記第1及び第2の距離と上記第1及び第2の相対速度に基づいて、自車の車線変更が可能か否かの判断を行い、自車の走行支援に必要な信号を生成する走行支援信号生成手段とを備えた走行支援装置が開示されている。
特開2000−20898号公報
2. Description of the Related Art Conventionally, there has been proposed an apparatus that supports traveling of a host vehicle by determining whether or not the lane can be changed when changing lanes. For example, Patent Document 1 discloses an apparatus that supports driving of a vehicle, and the first distance and the first relative speed of the own vehicle with respect to an object ahead of the direction in which the own vehicle is changing the lane, and the own vehicle. Detection means for detecting a second distance and a second relative speed of the host vehicle with respect to an object behind the direction in which the vehicle is to change lanes, and the first and second distances detected by the detection means And a driving support signal generating means for determining whether or not the lane of the host vehicle can be changed based on the first and second relative speeds and generating a signal necessary for driving support of the host vehicle. A travel support device is disclosed.
JP 2000-20898 A

しかしながら、上記の技術においては、車線変更の可否を判断しているものの、いずれにしても車線変更時においては、運転者によるミラー(後写鏡)目視は必要となり、運転者は後方車両をミラーで確認している間は、自車両前方の先行車への注意が疎かになる可能性がある。このため、例えば、上記技術においては、交差点接近時に先行車が減速した場合は、自車両の車線変更が可能か否かの判定結果が急に「可」から「不可」となるため、既に車線変更を実施しようとし、後方車両をミラーで確認しているために先行車への注意が疎かになっている運転者にとっては手遅れであり、車線変更が不可能なのにもかかわらず、車線変更を開始してしまう可能性がある。   However, in the above technique, although it is determined whether or not the lane can be changed, in any case, when the lane is changed, a mirror (rear-view mirror) must be visually checked by the driver. While confirming with, there is a possibility that attention to the preceding vehicle ahead of the host vehicle may be neglected. For this reason, for example, in the above technique, if the preceding vehicle decelerates when approaching an intersection, the determination result of whether or not the lane change of the own vehicle can be suddenly changed from “possible” to “impossible”. It is too late for a driver who is trying to make changes and confirms the vehicle behind them with a mirror and is not aware of the preceding vehicle. There is a possibility that.

本発明は、このような実情に鑑みなされたものであり、その目的は、運転者が自車両後方の安全を確認しているときであっても、自車両前方に関する情報を運転者に提供することが可能な情報提供装置を提供することにある。   The present invention has been made in view of such circumstances, and its purpose is to provide information on the front of the host vehicle to the driver even when the driver is confirming safety behind the host vehicle. It is to provide an information providing apparatus capable of performing the above.

本発明は、自車両の運転者が自車両後方の安全を確認していることを検出する後方安全確認状態検出手段と、後方安全確認状態検出手段が、運転者が自車両後方の安全を確認していることを検出したときに、自車両前方に関する情報を運転者に提供する提供手段とを備えた情報提供装置である。   According to the present invention, a rear safety confirmation state detecting means for detecting that the driver of the own vehicle is confirming safety behind the own vehicle and a rear safety confirmation state detecting means are provided so that the driver confirms the safety behind the own vehicle. And providing means for providing information related to the front of the host vehicle to the driver when it is detected.

この構成によれば、後方安全確認状態検出手段が、自車両の運転者が自車両後方の安全を確認していることを検出し、後方安全確認状態検出手段が、運転者が自車両後方の安全を確認していることを検出したときに、提供手段が自車両前方に関する情報を運転者に提供するため、運転者が自車両後方の安全を確認しているときであっても、自車両前方に関する情報を運転者に提供することが可能となる。   According to this configuration, the rear safety confirmation state detection means detects that the driver of the own vehicle is confirming the safety behind the own vehicle, and the rear safety confirmation state detection means detects that the driver is behind the own vehicle. When it is detected that safety is confirmed, the providing means provides the driver with information about the front of the host vehicle, so even if the driver is checking the safety behind the host vehicle, It becomes possible to provide the driver with information about the front.

この場合、自車両の車線変更の開始を検出する車線変更開始検出手段と、車線変更開始検出手段が自車両の車線変更の開始を検出し、且つ後方安全確認状態検出手段が、運転者が自車両後方の安全を確認していることを検出したときに、自車両の先行車に対応した走行制御を行う走行制御手段とを備えることが好適である。   In this case, the lane change start detection means for detecting the start of the lane change of the own vehicle, the lane change start detection means detects the start of the lane change of the own vehicle, and the rear safety confirmation state detection means It is preferable to include a travel control unit that performs travel control corresponding to the preceding vehicle of the host vehicle when it is detected that the safety behind the vehicle is confirmed.

この構成によれば、走行制御手段が、車線変更開始検出手段が自車両の車線変更の開始を検出し、且つ後方安全確認状態検出手段が、運転者が自車両後方の安全を確認していることを検出したときに、自車両の先行車に対応した走行制御を行うため、車線変更時に運転者が自車両後方の安全を確認しており、先行車への注意が疎かになる可能性があるときに、先行車に対応した走行制御を行なうことができる。   According to this configuration, the travel control means detects the start of the lane change of the host vehicle, and the rear safety confirmation state detection means confirms that the driver is safe behind the host vehicle. When this is detected, the driver will check the safety behind the vehicle at the time of lane change, and the driver may be less aware of the vehicle ahead. At some point, it is possible to perform travel control corresponding to the preceding vehicle.

この場合、走行制御手段は、先行車と自車両との相対速度が第1閾値以上であるときは、運転者による制動操作に基づくことなく自車両に制動力を付与する走行制御を行うことが好適である。   In this case, when the relative speed between the preceding vehicle and the host vehicle is equal to or higher than the first threshold value, the travel control means can perform a travel control that applies a braking force to the host vehicle without being based on a braking operation by the driver. Is preferred.

この構成によれば、走行制御手段は、先行車と自車両との相対速度が第1閾値以上であり、危険性が高いときは、運転者による制動操作に基づくことなく自車両に制動力を付与する走行制御を行うため、安全性を高めることが可能となる。   According to this configuration, when the relative speed between the preceding vehicle and the host vehicle is equal to or higher than the first threshold and the risk is high, the travel control unit applies braking force to the host vehicle without being based on the braking operation by the driver. Since the running control to be given is performed, the safety can be improved.

また、後方安全確認状態検出手段は、運転者の視線方向を検出することにより、運転者が自車両後方の安全を確認していることを検出するものとできる。   Further, the rear safety confirmation state detecting means can detect that the driver is confirming the safety behind the host vehicle by detecting the direction of the driver's line of sight.

この構成によれば、後方安全確認状態検出手段は、運転者の視線方向を検出することにより、運転者が自車両後方の安全を確認していることを検出するため、確実に運転者が自車両後方の安全を確認していることを検出することができる。   According to this configuration, the rear safety confirmation state detection means detects that the driver is confirming the safety behind the host vehicle by detecting the driver's line-of-sight direction. It can be detected that the safety behind the vehicle is confirmed.

この場合、後方安全確認状態検出手段は、運転者の視線方向が後写鏡の方向及び自車両側方における後写鏡の死角方向のいずれかに向いていることにより、運転者が自車両後方の安全を確認していることを検出することが好適である。   In this case, the rear safety confirmation state detection means indicates that the driver's line-of-sight direction is either the direction of the rearview mirror or the blind spot direction of the rearview mirror on the side of the host vehicle, so that the driver It is preferable to detect that the safety is confirmed.

運転者の視線方向が後写鏡の方向及び自車両側方における後写鏡の死角方向のいずれかに向いているときは、運転者が自車両後方の安全を確認している可能性が極めて高いため、この構成によれば、確実に運転者が自車両後方の安全を確認していることを検出することができる。   When the driver's line-of-sight direction is either in the direction of the rearview mirror or in the blind spot direction of the rearview mirror on the side of the host vehicle, the driver is very likely to confirm the safety behind the host vehicle. Therefore, according to this configuration, it is possible to reliably detect that the driver has confirmed the safety behind the host vehicle.

また、後方安全確認状態検出手段は、運転者の視線方向が第2閾値以上の時間内に第3閾値以下の偏差に収まったときに運転者の視線方向が停留中と判定し、単位時間内における運転者の視線方向が停留した回数が第4閾値以上の回数となったときに、自車両の運転者が自車両後方の安全を確認していることを検出することが好適である。   The rear safety confirmation state detection means determines that the driver's line-of-sight direction is stationary when the driver's line-of-sight direction falls within a deviation of the third threshold value or less within a time period equal to or greater than the second threshold value. It is preferable to detect that the driver of the host vehicle confirms the safety behind the host vehicle when the number of times the driver's line-of-sight direction stops is equal to or greater than the fourth threshold value.

この構成によれば、後方安全確認状態検出手段は、運転者の視線方向が第2閾値以上とある程度長い時間内に第3閾値以下と狭い偏差に収まったときに運転者の視線方向が停留中と判定し、単位時間内における運転者の視線方向が停留した回数が第4閾値以上とある程度の回数となったときに、自車両の運転者が自車両後方の安全を確認していることを検出するため、確実に運転者が自車両後方の安全を確認していることを検出することができる。   According to this configuration, the rear safety confirmation state detection means is in a state where the driver's line-of-sight direction is stopped when the driver's line-of-sight direction falls within a narrow deviation of the third threshold value or less within a long time that is somewhat longer than the second threshold value. When the number of times the driver's line-of-sight direction stops within a unit time is a certain number of times greater than or equal to the fourth threshold value, the driver of the host vehicle is confirming safety behind the host vehicle. Since it detects, it can detect reliably that the driver | operator has confirmed the safety behind the own vehicle.

さらに、提供手段は、後写鏡及び後写鏡周辺において自車両前方に関する情報を運転者に提供することが好適である。   Furthermore, it is preferable that the providing means provides the driver with information related to the front of the host vehicle around the rearview mirror and the rearview mirror.

この構成によれば、提供手段は、後写鏡及び後写鏡周辺に自車両前方に関する情報を運転者に提供するため、運転者は、後写鏡により自車両後方の安全を確認しつつ、自車両前方に関する情報を利用することが容易となる。   According to this configuration, the providing means provides the driver with information about the front of the host vehicle around the rearview mirror and the rearview mirror, so that the driver can confirm the safety behind the host vehicle with the rearview mirror, It becomes easy to use information related to the front of the host vehicle.

本発明の情報提供装置によれば、運転者が自車両後方の安全を確認しているときであっても、自車両前方に関する情報を運転者に提供することが可能となる。   According to the information providing apparatus of the present invention, it is possible to provide the driver with information related to the front of the host vehicle even when the driver is confirming the safety behind the host vehicle.

以下、本発明の実施の形態について添付図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the accompanying drawings.

図1は、実施形態に係る情報提供装置の構成を示すブロック図である。本実施形態の情報提供装置1は、自車両に搭載され、ドライバー10に対して運転に必要な情報を提供するためのものである。図1に示すように、本実施形態の情報提供装置1は、判定処理ECU20、環境情報認識ECU(Electronic Control Unit)30、車両情報認識ECU40、ドライバー状態認識ECU50、各種運転支援システム60及び運転支援ECU70を備えている。   FIG. 1 is a block diagram illustrating a configuration of an information providing apparatus according to an embodiment. The information providing apparatus 1 according to the present embodiment is mounted on the host vehicle and provides information necessary for driving to the driver 10. As shown in FIG. 1, the information providing apparatus 1 according to the present embodiment includes a determination processing ECU 20, an environment information recognition ECU (Electronic Control Unit) 30, a vehicle information recognition ECU 40, a driver state recognition ECU 50, various driving support systems 60, and driving support. An ECU 70 is provided.

環境情報認識ECU30は、自車両周囲の環境を認識し、自車両周囲の環境に関する情報を取得するためのものである。環境情報認識ECU30は、前方センサ31、後側方センサ32、ナビゲーションシステム33、白線認識カメラ34を有している。前方センサ31は、ミリ波レーダや、カメラセンサにより、自車両前方の道路の形状や先行車や障害物に関する情報を取得するためのものである。後側方センサ32は、ミリ波レーダや、カメラセンサや、超音波ソナーにより、自車両後側方の先行車や障害物に関する情報を取得するためのものである。   The environment information recognition ECU 30 is for recognizing the environment around the host vehicle and acquiring information related to the environment around the host vehicle. The environmental information recognition ECU 30 includes a front sensor 31, a rear side sensor 32, a navigation system 33, and a white line recognition camera 34. The front sensor 31 is for acquiring information related to the shape of the road ahead of the host vehicle, the preceding vehicle, and an obstacle by using a millimeter wave radar or a camera sensor. The rear side sensor 32 is for acquiring information related to a preceding vehicle and an obstacle on the rear side of the host vehicle by using a millimeter wave radar, a camera sensor, or an ultrasonic sonar.

ナビゲーションシステム33は、GPS(Global Positioning System)を用いて自車両の現在位置を検出し、地図データと照合することにより、自車両が走行する道路の道路曲率、道路幅、自車線位置等に関する情報を取得するためのものである。白線認識カメラ34は、道路の白線をカメラにより撮像することにより、自車両が走行している道路の車線を認識するためのものである。   The navigation system 33 detects the current position of the host vehicle using GPS (Global Positioning System) and collates it with map data, thereby obtaining information on the road curvature, road width, own lane position, etc. of the road on which the host vehicle travels. Is for getting. The white line recognition camera 34 is for recognizing the lane of the road on which the host vehicle is traveling by imaging the white line of the road with a camera.

車両情報認識ECU40は、自車両の走行状態を認識し、自車両の走行状態に関する情報を取得するためのものである。舵角センサ41は、自車両のステアリング角を検出するためのセンサである。車速センサ42は、車軸の回転速度を計測することにより自車両の車速を検出するためのセンサである。ウィンカーセンサ(車線変更開始検出手段)43は、ドライバーの操作により左右いずれの側にウィンカーを点灯させているかを検出することにより、自車両の車線変更の開始を検出するためのものである。   The vehicle information recognition ECU 40 is for recognizing the traveling state of the host vehicle and acquiring information related to the traveling state of the host vehicle. The rudder angle sensor 41 is a sensor for detecting the steering angle of the host vehicle. The vehicle speed sensor 42 is a sensor for detecting the vehicle speed of the host vehicle by measuring the rotational speed of the axle. The blinker sensor (lane change start detection means) 43 is for detecting the start of the lane change of the host vehicle by detecting whether the winker is lit on the left or right side by the operation of the driver.

ドライバー状態認識ECU50は、ドライバー10の注意が向いている方向等のドライバー10の状態を検出するためのものである。ドライバー状態認識ECU50は、視線計測装置51(後方安全確認状態検出手段)を有している。視線計測装置51は、撮像した運転者の頭部の画像をパターン認識し、運転者の眼球の動き及び視線方法を検出することによりドライバー10が、後方の安全を確認しているか否かを検出する。   The driver state recognition ECU 50 is for detecting the state of the driver 10 such as the direction in which the driver 10 is paying attention. The driver state recognition ECU 50 has a line-of-sight measurement device 51 (rear safety confirmation state detection means). The line-of-sight measurement device 51 recognizes the captured image of the driver's head and detects whether or not the driver 10 has confirmed the safety of the rear by detecting the movement of the driver's eyeball and the line-of-sight method. To do.

図2は、ドライバー10の視線方向の検出を示す平面図である。本実施形態では、視線計測装置51がドライバー10の視線方向θを検出する。本実施形態では、ドライバー10の視線方向θが、ルームミラー81を確認可能な領域A、サイドミラー82を確認可能な領域B及びルームミラー81とサイドミラー82の死角方向の領域Cのいずれかを向いているときに、ドライバー10が自車両後方の安全を確認しているものとする。   FIG. 2 is a plan view showing detection of the line-of-sight direction of the driver 10. In the present embodiment, the line-of-sight measurement device 51 detects the line-of-sight direction θ of the driver 10. In the present embodiment, the line-of-sight direction θ of the driver 10 is any one of the region A in which the room mirror 81 can be confirmed, the region B in which the side mirror 82 can be confirmed, and the region C in the blind spot direction of the room mirror 81 and the side mirror 82. It is assumed that the driver 10 confirms the safety behind the host vehicle when facing.

図1に戻り、判定処理ECU20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などからなる電子制御ユニットであり、情報提供装置1を統括制御する。   Returning to FIG. 1, the determination processing ECU 20 is an electronic control unit including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and performs overall control of the information providing apparatus 1.

各種運転支援システム60は、ACC(Adaptive Cruise Control)及びPCS(Pre-crash safety system)等の各種運転支援システムによりドライバー10の運転を支援するためのものである。各種運転支援システム60は、ACCシステム61及びPCSシステム62を有している。   The various driving support systems 60 are for supporting the driving of the driver 10 by various driving support systems such as ACC (Adaptive Cruise Control) and PCS (Pre-crash safety system). Various driving support systems 60 have an ACC system 61 and a PCS system 62.

ACCシステム(走行制御手段)61は、自車の前に先行車が存在する場合には先行車との車間時間が目標車間時間になるように先行車追従制御を行い、先行車が停止した場合は、それに伴い自車両を停止させる。また、ACCシステム61は、先行車が発進した場合は、それに伴い自車両を発進させ、先行車追従制御を行う。ACCシステム61は、先行車が存在しない場合には自車速が目標車速になるように定速制御を行う。   The ACC system (running control means) 61 performs the preceding vehicle follow-up control so that the inter-vehicle time with the preceding vehicle becomes the target inter-vehicle time when there is a preceding vehicle in front of the host vehicle, and the preceding vehicle stops. Stops the own vehicle accordingly. Further, when the preceding vehicle starts, the ACC system 61 starts the host vehicle accordingly and performs preceding vehicle following control. The ACC system 61 performs constant speed control so that the host vehicle speed becomes the target vehicle speed when there is no preceding vehicle.

PCSシステム(走行制御手段)62は、自車両の進路上にある先行車や障害物との衝突の危険性がある場合、インジケータランプの点滅およびブザーによりドライバー10に危険を知らせ、ブレーキ操作を促すとともにブレーキペダルの踏み込みに応じて早期に制動力を補助し衝突速度を低減させ、衝突被害の軽減に貢献するためのものである。PCSシステム62は、ドライバー10のブレーキ操作がない場合にもブレーキをかけ、自車両の速度を低減させる。さらに、PCSシステム62は、シートベルトの早期巻き取りにより、乗員の初期拘束性能を高め衝突被害の軽減に寄与する。   The PCS system (travel control means) 62 informs the driver 10 of the danger by flashing the indicator lamp and buzzer when there is a risk of collision with a preceding vehicle or an obstacle on the course of the host vehicle, and prompts the brake operation. At the same time, the braking force is assisted in response to the depression of the brake pedal to reduce the collision speed and contribute to the reduction of collision damage. The PCS system 62 applies a brake even when the driver 10 does not perform a brake operation, and reduces the speed of the host vehicle. Further, the PCS system 62 improves the initial restraining performance of the occupant and contributes to the reduction of the collision damage by early winding of the seat belt.

運転支援ECU70は、ドライバー10に各種の情報の提供を行うことにより、ドライバー10の運転を支援するためのものである。運転支援ECU70は、ディスプレイ(提供手段)71及びスピーカー(提供手段)72を有している。ディスプレイ71は、ドライバー10が自車両後方の安全を確認していることをドライバー状態認識ECU50の視線計測装置51が検出したときに、自車両前方に関する情報をドライバー10に表示するためのものである。   The driving assistance ECU 70 is for assisting the driving of the driver 10 by providing various information to the driver 10. The driving support ECU 70 includes a display (providing means) 71 and a speaker (providing means) 72. The display 71 is for displaying information on the front of the host vehicle on the driver 10 when the line-of-sight measuring device 51 of the driver state recognition ECU 50 detects that the driver 10 has confirmed the safety behind the host vehicle. .

図3は、ディスプレイの配置位置の例を示す斜視図である。図3に示す配置例のディスプレイ71a〜71cでは、ドライバー10が自車両後方の安全を確認しているときに、自車両前方に関する情報を提供するために、サイドミラー82及びサイドミラー82周辺に自車両前方に関する情報を表示するようになっている。ディスプレイ71aの例では、Aピラー90の根元であってAピラー90とドア91との間に情報を表示する。ディスプレイ71bの例では、サイドミラー82の根元に情報を表示する。ディスプレイ71cの例では、サイドミラー82の鏡面の四隅の内で車体側の下側の隅に情報を表示する。表示する自車両前方に関する情報としては、前方センサ31により取得した自車両前方の画像の他、先行車との距離、相対速度、車間時間(TTC)等を表示するものとできる。なお、ディスプレイ71はサイドミラー82及びサイドミラー82周辺に限らず、ルームミラー81及びルームミラー81周辺に情報を表示するものとしても良い。   FIG. 3 is a perspective view showing an example of the arrangement position of the display. In the displays 71a to 71c in the arrangement example shown in FIG. 3, when the driver 10 confirms the safety behind the host vehicle, in order to provide information on the front side of the host vehicle, the side mirrors 82 and the vicinity of the side mirror 82 are provided. Information about the front of the vehicle is displayed. In the example of the display 71 a, information is displayed between the A pillar 90 and the door 91 at the root of the A pillar 90. In the example of the display 71b, information is displayed at the base of the side mirror 82. In the example of the display 71c, information is displayed in the lower corner of the vehicle body side among the four corners of the mirror surface of the side mirror 82. As information about the front of the host vehicle to be displayed, in addition to the image ahead of the host vehicle acquired by the front sensor 31, the distance to the preceding vehicle, the relative speed, the time between vehicles (TTC), and the like can be displayed. The display 71 is not limited to the side mirror 82 and the periphery of the side mirror 82, and may display information in the vicinity of the room mirror 81 and the room mirror 81.

スピーカー72は、ドライバー10が自車両後方の安全を確認していることをドライバー状態認識ECU50の視線計測装置51が検出したときに、自車両前方に関する情報をドライバー10に音声で報知(アナウンス)するためのものである。スピーカー72が音声でアナウンスする自車両前方に関する情報としては、先行車との距離、相対速度、車間時間(TTC)等をアナウンスするものとできる。あるいは、先行車との衝突までの秒数をカウントダウンしてアナウンスするものとできる。   When the gaze measuring device 51 of the driver state recognition ECU 50 detects that the driver 10 is confirming safety behind the host vehicle, the speaker 72 informs the driver 10 of information related to the front of the host vehicle by voice (announcement). Is for. As information about the front of the host vehicle that the speaker 72 announces by voice, it is possible to announce the distance from the preceding vehicle, the relative speed, the time between vehicles (TTC), and the like. Alternatively, the number of seconds until the collision with the preceding vehicle can be counted down and announced.

以下、本実施形態の情報提供装置1の動作について説明する。以下の説明では、図4に示すように、自車両VMが左側車線を走行しており、右側車線に車線変更を行なう状況を想定して説明する。自車両VMの同じ車線の前方には先行車VFが走行しており、自車両VMの進入先の右側車線の後方には後方車VBが走行している状況を想定して説明する。   Hereinafter, the operation of the information providing apparatus 1 of the present embodiment will be described. In the following description, as illustrated in FIG. 4, description will be made assuming that the host vehicle VM is traveling in the left lane and the lane is changed to the right lane. A description will be made assuming that the preceding vehicle VF is traveling ahead of the same lane of the host vehicle VM and the rear vehicle VB is traveling behind the right lane of the approach destination of the host vehicle VM.

図5は、実施形態に係る情報提供装置の動作を示すフロー図である。環境情報認識ECU30は、前方センサ31、後側方センサ32、ナビゲーションシステム33及び白線認識カメラ34により、自車両VMが走行する道路の道路形状及び車線を検出する(S11)。環境情報認識ECU30は、前方センサ31及び後側方センサ32により、先行車VF及び進入先車線の後方車VBを検出する(S12)。   FIG. 5 is a flowchart showing the operation of the information providing apparatus according to the embodiment. The environmental information recognition ECU 30 detects the road shape and lane of the road on which the host vehicle VM travels using the front sensor 31, the rear side sensor 32, the navigation system 33, and the white line recognition camera 34 (S11). The environmental information recognition ECU 30 detects the preceding vehicle VF and the rear vehicle VB of the approach destination lane using the front sensor 31 and the rear side sensor 32 (S12).

ドライバー状態認識ECU50は、視線計測装置51によってドライバー10の視線方向を検出することによりドライバー10の自車両VF後方への安全確認を検出する(S13)。視線計測装置51は、図2に示すドライバー10の視線方向θを検出する。図6に示すように、視線方向θがts秒(第2閾値)の間、偏差K(第3閾値)に収まったときに、ドライバー状態認識ECU50は、視線が停留中であると判定する。   The driver state recognition ECU 50 detects the safety confirmation of the driver 10 behind the host vehicle VF by detecting the line-of-sight direction of the driver 10 by the line-of-sight measuring device 51 (S13). The line-of-sight measurement device 51 detects the line-of-sight direction θ of the driver 10 shown in FIG. As shown in FIG. 6, when the line-of-sight direction θ falls within the deviation K (third threshold) for ts seconds (second threshold), the driver state recognition ECU 50 determines that the line-of-sight is stationary.

ドライバー状態認識ECU50は、単位時間T秒当りに、視線方向θが図2及び4に示す領域A〜Cに停留した回数Nが、N≧Nth(第4閾値)となったときに、ドライバー10が、自車両VF後方への安全確認をしていると判定する。   The driver state recognition ECU 50 determines that the number of times the line-of-sight direction θ is stopped in the areas A to C shown in FIGS. 2 and 4 per unit time T seconds becomes N ≧ Nth (fourth threshold value). However, it determines with confirming the safety behind the own vehicle VF.

S12で進入先の車線に接近中の後方車VBが存在する場合であって、車両情報認識ECU40がウィンカーセンサ43によって自車両VFの車線変更の開始を検出したときは(S14)、運転支援ECU70は、進入する車線側(図4の例では右側)のサイドミラー82周辺のディスプレイ71に先行車VFとの距離、相対速度、TTC等の自車両VFの前方に関する情報を表示する(S15)。また、運転支援ECU70は、スピーカー72により音声で先行車VFとの距離、相対速度、TTC、衝突までのカウントダウン等の自車両VFの前方に関する情報を報知する(S16)。   If there is a rear vehicle VB that is approaching the lane of entry at S12 and the vehicle information recognition ECU 40 detects the start of lane change of the host vehicle VF by the winker sensor 43 (S14), the driving support ECU 70 Displays information related to the front of the host vehicle VF such as the distance to the preceding vehicle VF, relative speed, TTC, and the like on the display 71 around the side mirror 82 on the lane side (the right side in the example of FIG. 4) (S15). In addition, the driving assistance ECU 70 informs the speaker 72 of information related to the front of the host vehicle VF such as the distance from the preceding vehicle VF, the relative speed, TTC, and the countdown until the collision (S16).

ACCシステム61が未起動である場合は(S17)、図7に示すように、ウィンカーが点灯されて車線変更が開始されると同時に、ACCシステム61が起動される(S18)。環境情報認識ECU30は、前方センサ31により自車両VMとの相対速度を検出し、先行車VFとの相対速度Vrが、Vr≧Vrth(第1閾値)であるときは、先行車VFが減速を開始したと判定する(S19)。環境情報認識ECU30が、先行車VFは減速を開始したと判定した場合、ACCシステム61は、緩ブレーキ制動を行なう(S20)。   When the ACC system 61 is not activated (S17), as shown in FIG. 7, the ACC system 61 is activated at the same time as the blinker is turned on and the lane change is started (S18). The environmental information recognition ECU 30 detects the relative speed with the host vehicle VM by the front sensor 31, and when the relative speed Vr with the preceding vehicle VF is Vr ≧ Vrth (first threshold), the preceding vehicle VF decelerates. It determines with having started (S19). When the environmental information recognition ECU 30 determines that the preceding vehicle VF has started to decelerate, the ACC system 61 performs a slow brake braking (S20).

車線変更時には安全性が低下する場合が多く、特に先行車のいる場合での車線変更は、進入先車線の後方車の確認に気をとられると、例えば交差点接近時のように先行車が減速する場面で安全性が低下する場合がある。   Safety is often reduced when changing lanes, especially when there is a preceding vehicle, and if the lane change is focused on checking the vehicle behind the approaching lane, the preceding vehicle decelerates, for example when approaching an intersection. Safety may be reduced when you do.

しかし、本実施形態によれば、視線計測装置51が、自車両VMのドライバー10が自車両VM後方の安全を確認していることを検出し、視線計測装置51が、ドライバー10が自車両VM後方の安全を確認していることを検出したときに、ディスプレイ71及びスピーカ72が自車両VM前方に関する情報をドライバー10に提供するため、ドライバー10が自車両VM後方の安全を確認しているときであっても、自車両VM前方に関する情報をドライバー10に提供することが可能となる。   However, according to the present embodiment, the line-of-sight measurement device 51 detects that the driver 10 of the host vehicle VM has confirmed the safety behind the host vehicle VM, and the line-of-sight measurement device 51 detects that the driver 10 has the host vehicle VM. When it is detected that the safety behind the vehicle is confirmed, the display 71 and the speaker 72 provide the driver 10 with information about the front of the host vehicle VM, so that the driver 10 is confirming the safety behind the host vehicle VM. Even so, it is possible to provide the driver 10 with information related to the front of the host vehicle VM.

また、本実施形態によれば、ACCシステム61が、ウィンカーセンサ43が自車両VMの車線変更の開始を検出し、且つ視線計測装置51が、ドライバー10が自車両VM後方の安全を確認していることを検出したときに、自車両VMの先行車VFに対応した走行制御を行うため、車線変更時にドライバー10が自車両VM後方の安全を確認しており、先行車VFへの注意が疎かになる可能性があるときに、先行車VFに対応した走行制御を行なうことができる。   Further, according to the present embodiment, the ACC system 61 detects that the blinker sensor 43 detects the start of the lane change of the host vehicle VM, and the line-of-sight measurement device 51 confirms the safety of the driver 10 behind the host vehicle VM. When the vehicle is detected, the driver 10 confirms the safety behind the host vehicle VM at the time of lane change, so that the driver 10 is not aware of the preceding vehicle VF. When there is a possibility of becoming, the traveling control corresponding to the preceding vehicle VF can be performed.

また、本実施形態によれば、ACCシステム61は、先行車VFと自車両VMとの相対速度がVrth以上であり、危険性が高いときは、ドライバー10による制動操作に基づくことなく自車両VMに制動力を付与する走行制御を行うため、安全性を高めることが可能となる。   Further, according to the present embodiment, the ACC system 61, when the relative speed between the preceding vehicle VF and the host vehicle VM is equal to or higher than Vrth and the risk is high, the host vehicle VM without being based on the braking operation by the driver 10. Since the traveling control for applying the braking force to the vehicle is performed, the safety can be improved.

また、本実施形態によれば、視線計測装置51は、ドライバー10の視線方向を検出することにより、ドライバー10が自車両VF後方の安全を確認していることを検出するため、確実にドライバー10が自車両VF後方の安全を確認していることを検出することができる。   In addition, according to the present embodiment, the line-of-sight measurement device 51 detects the driver 10 confirming the safety behind the host vehicle VF by detecting the direction of the line of sight of the driver 10, so Can confirm that the safety behind the host vehicle VF is confirmed.

また、ドライバー10の視線方向がルームミラー81、サイドミラー82の方向及び自車両VF側方におけるルームミラー81、サイドミラー82の死角方向のいずれかに向いているときは、ドライバー10が自車両VF後方の安全を確認している可能性が極めて高いため、本実施形態によれば、確実にドライバー10が自車両VF後方の安全を確認していることを検出することができる。   In addition, when the driver's 10 line-of-sight direction is either the direction of the rearview mirror 81, the side mirror 82, or the direction of the blind spot of the rearview mirror 81 or the side mirror 82 on the side of the host vehicle VF, the driver 10 is driving the host vehicle VF. Since the possibility of confirming the safety behind the vehicle is extremely high, according to the present embodiment, it can be reliably detected that the driver 10 is confirming the safety behind the host vehicle VF.

また、本実施形態によれば、視線計測装置51は、ドライバー10の視線方向がts秒以上とある程度長い時間内にK以下と狭い偏差に収まったときにドライバー10の視線方向が停留中と判定し、単位時間内におけるドライバー10の視線方向が停留した回数がNth以上とある程度の回数となったときに、自車両VFのドライバー10が自車両VF後方の安全を確認していることを検出するため、確実にドライバー10が自車両VF後方の安全を確認していることを検出することができる。   Further, according to the present embodiment, the line-of-sight measurement device 51 determines that the line-of-sight direction of the driver 10 is stationary when the line-of-sight direction of the driver 10 falls within a narrow deviation of K or less within a relatively long time of ts seconds or more. When the number of times that the driver's line-of-sight direction of the driver 10 stops within a unit time is a certain number of times equal to or greater than Nth, it is detected that the driver 10 of the host vehicle VF confirms the safety behind the host vehicle VF. Therefore, it can be reliably detected that the driver 10 confirms the safety behind the host vehicle VF.

さらに、本実施形態によれば、ディスプレイ71は、サイドミラー82及びサイドミラー82周辺に自車両VM前方に関する情報をドライバー10に表示するため、ドライバー10は、サイドミラー82により自車両VM後方の安全を確認しつつ、自車両VM前方に関する情報を利用することが容易となる。   Furthermore, according to the present embodiment, the display 71 displays information about the front side of the host vehicle VM around the side mirror 82 and the side mirror 82 to the driver 10. It becomes easy to use information related to the front of the host vehicle VM while confirming.

尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。   It should be noted that the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made without departing from the gist of the present invention.

実施形態に係る情報提供装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information provision apparatus which concerns on embodiment. 運転者の視線方向の検出を示す平面図である。It is a top view which shows the detection of a driver | operator's gaze direction. ディスプレイの配置位置の例を示す斜視図である。It is a perspective view which shows the example of the arrangement position of a display. 実施形態に係る情報提供装置が適用される状況を示す平面図である。It is a top view which shows the condition where the information provision apparatus which concerns on embodiment is applied. 実施形態に係る情報提供装置の動作を示すフロー図である。It is a flowchart which shows operation | movement of the information provision apparatus which concerns on embodiment. 視線停留判定における視線方向と時間との関係を示すグラフ図である。It is a graph which shows the relationship between the gaze direction and time in gaze stop determination. 後方安全確認状態と、車線変更開始と、ACC起動状態との関係を示すタイミングチャートである。It is a timing chart which shows the relationship between a back safety check state, a lane change start, and an ACC starting state.

符号の説明Explanation of symbols

1…情報提供装置、10…ドライバー、20…判定処理ECU、30…環境情報認識ECU、31…前方センサ、32…後側方センサ、33…ナビゲーションシステム、34…白線認識カメラ、40…車両情報認識ECU、41…舵角センサ、42…車速センサ、43…ウィンカーセンサ、50…ドライバー状態認識ECU、51…視線計測装置、60…各種運転支援システム、61…ACCシステム、62…PCSシステム、70…運転支援ECU、71,71a,71b,71c…ディスプレイ、72…スピーカー、81…ルームミラー、82…サイドミラー、90…Aピラー、91…ドア。 DESCRIPTION OF SYMBOLS 1 ... Information provision apparatus, 10 ... Driver, 20 ... Judgment processing ECU, 30 ... Environmental information recognition ECU, 31 ... Front sensor, 32 ... Rear side sensor, 33 ... Navigation system, 34 ... White line recognition camera, 40 ... Vehicle information Recognizing ECU, 41 ... rudder angle sensor, 42 ... vehicle speed sensor, 43 ... winker sensor, 50 ... driver state recognition ECU, 51 ... gaze measuring device, 60 ... various driving support systems, 61 ... ACC system, 62 ... PCS system, 70 Driving assistance ECU, 71, 71a, 71b, 71c ... Display, 72 ... Speaker, 81 ... Room mirror, 82 ... Side mirror, 90 ... A pillar, 91 ... Door.

Claims (7)

自車両の運転者が前記自車両後方の安全を確認していることを検出する後方安全確認状態検出手段と、
前記後方安全確認状態検出手段が、前記運転者が前記自車両後方の安全を確認していることを検出したときに、前記自車両前方に関する情報を前記運転者に提供する提供手段と、
を備えた情報提供装置。
A rear safety confirmation state detecting means for detecting that a driver of the own vehicle is confirming safety behind the own vehicle;
Providing means for providing information about the front of the host vehicle to the driver when the rear safety confirmation state detecting unit detects that the driver is checking the safety of the rear of the host vehicle;
An information providing apparatus comprising:
前記自車両の車線変更の開始を検出する車線変更開始検出手段と、
前記車線変更開始検出手段が前記自車両の車線変更の開始を検出し、且つ前記後方安全確認状態検出手段が、前記運転者が前記自車両後方の安全を確認していることを検出したときに、前記自車両の先行車に対応した走行制御を行う走行制御手段と、
を備えた請求項1に記載の情報提供装置。
Lane change start detection means for detecting the start of lane change of the host vehicle;
When the lane change start detection means detects the start of lane change of the host vehicle, and the rear safety confirmation state detection means detects that the driver is checking the safety behind the host vehicle. A travel control means for performing travel control corresponding to the preceding vehicle of the host vehicle;
The information providing device according to claim 1, further comprising:
前記走行制御手段は、前記先行車と前記自車両との相対速度が第1閾値以上であるときは、前記運転者による制動操作に基づくことなく前記自車両に制動力を付与する走行制御を行う、請求項2に記載の情報提供装置。   When the relative speed between the preceding vehicle and the host vehicle is equal to or greater than a first threshold, the travel control unit performs a travel control that applies a braking force to the host vehicle without being based on a braking operation by the driver. The information providing apparatus according to claim 2. 前記後方安全確認状態検出手段は、前記運転者の視線方向を検出することにより、前記運転者が前記自車両後方の安全を確認していることを検出する、請求項1〜3のいずれか1項に記載の情報提供装置。   The said back safety confirmation state detection means detects that the said driver is confirming the safety behind the said own vehicle by detecting the said driver | operator's gaze direction. The information providing device according to item. 前記後方安全確認状態検出手段は、前記運転者の視線方向が後写鏡の方向及び前記自車両側方における前記後写鏡の死角方向のいずれかに向いていることにより、前記運転者が前記自車両後方の安全を確認していることを検出する、請求項4に記載の情報提供装置。   The rear safety confirmation state detecting means is configured so that the driver's line-of-sight direction is directed to either the direction of the rearview mirror or the blind spot direction of the rearview mirror on the side of the vehicle. The information providing apparatus according to claim 4, wherein the information providing apparatus detects that safety behind the host vehicle is confirmed. 前記後方安全確認状態検出手段は、前記運転者の視線方向が第2閾値以上の時間内に第3閾値以下の偏差に収まったときに前記運転者の視線方向が停留中と判定し、単位時間内における前記運転者の視線方向が停留した回数が第4閾値以上の回数となったときに、前記自車両の運転者が前記自車両後方の安全を確認していることを検出する、請求項4又は5に記載の情報提供装置。   The rear safety confirmation state detecting means determines that the driver's line-of-sight direction is stationary when the driver's line-of-sight direction falls within a deviation of a third threshold value or less within a time period equal to or greater than a second threshold value. And detecting that the driver of the host vehicle is confirming safety behind the host vehicle when the number of times the driver's line-of-sight direction stops is equal to or greater than a fourth threshold value. 4. The information providing device according to 4 or 5. 前記提供手段は、前記後写鏡及び前記後写鏡周辺において前記自車両前方に関する情報を前記運転者に提供する、請求項1〜6のいずれか1項に記載の情報提供装置。   The information providing apparatus according to claim 1, wherein the providing unit provides the driver with information related to the front of the host vehicle in the vicinity of the rearview mirror and the rearview mirror.
JP2008265419A 2008-10-14 2008-10-14 Information provision device Expired - Fee Related JP5083167B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008265419A JP5083167B2 (en) 2008-10-14 2008-10-14 Information provision device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008265419A JP5083167B2 (en) 2008-10-14 2008-10-14 Information provision device

Publications (2)

Publication Number Publication Date
JP2010097270A true JP2010097270A (en) 2010-04-30
JP5083167B2 JP5083167B2 (en) 2012-11-28

Family

ID=42258929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008265419A Expired - Fee Related JP5083167B2 (en) 2008-10-14 2008-10-14 Information provision device

Country Status (1)

Country Link
JP (1) JP5083167B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017178172A (en) * 2016-03-31 2017-10-05 日産自動車株式会社 Drive support method and drive support apparatus
WO2020194715A1 (en) * 2019-03-28 2020-10-01 本田技研工業株式会社 Saddled vehicle
US10940869B2 (en) 2015-11-17 2021-03-09 Denso Corporation Driving assistance apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020898A (en) * 1998-06-30 2000-01-21 Fujitsu Ltd Traveling supporting device, traffic lane change propriety judging device and method therefor and recording medium
JP2002204446A (en) * 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd On-vehicle backward confirming device and on-vehicle navigation device
JP2007141223A (en) * 2005-10-17 2007-06-07 Omron Corp Information processing apparatus and method, recording medium, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020898A (en) * 1998-06-30 2000-01-21 Fujitsu Ltd Traveling supporting device, traffic lane change propriety judging device and method therefor and recording medium
JP2002204446A (en) * 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd On-vehicle backward confirming device and on-vehicle navigation device
JP2007141223A (en) * 2005-10-17 2007-06-07 Omron Corp Information processing apparatus and method, recording medium, and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10940869B2 (en) 2015-11-17 2021-03-09 Denso Corporation Driving assistance apparatus
JP2017178172A (en) * 2016-03-31 2017-10-05 日産自動車株式会社 Drive support method and drive support apparatus
WO2020194715A1 (en) * 2019-03-28 2020-10-01 本田技研工業株式会社 Saddled vehicle
JPWO2020194715A1 (en) * 2019-03-28 2020-10-01
CN113574581A (en) * 2019-03-28 2021-10-29 本田技研工业株式会社 Saddle-ride type vehicle
CN113574581B (en) * 2019-03-28 2023-02-24 本田技研工业株式会社 Saddle-ride type vehicle
US11600181B2 (en) 2019-03-28 2023-03-07 Honda Motor Co., Ltd. Saddle-riding type vehicle

Also Published As

Publication number Publication date
JP5083167B2 (en) 2012-11-28

Similar Documents

Publication Publication Date Title
CN106945669B (en) Determine driver intention to avoid car crass at traffic cross-road
CN107082062B (en) The control device of vehicle
JP6617534B2 (en) Driving assistance device
JP6269606B2 (en) Vehicle control device
EP2878508B1 (en) Drive assist device
US10919449B2 (en) Driving support device and storage medium
US11104348B2 (en) Vehicle alarm apparatus
KR20210083462A (en) Advanced Driver Assistance System, Vehicle having the same and method for controlling the vehicle
JPWO2012147166A1 (en) Driving assistance device
JP2017123007A (en) Drive assist system
JP2006227811A (en) Driving support apparatus
JP2006301842A (en) Driving support device of vehicle
JP6658235B2 (en) Lane keeping device
JP6090396B2 (en) Driving assistance device
JP2007128227A (en) Driver&#39;s mental state determination device and driver&#39;s mental state determination system
JP2017111732A (en) Vehicle control apparatus
JP5083167B2 (en) Information provision device
JP2005145282A (en) Vehicle running supporting device
WO2019138769A1 (en) Driving assistance control device for vehicle, driving assistance system for vehicle, and driving assistance control method for vehicle
US11861952B2 (en) Driving support device
JP2018090006A (en) Drive support apparatus
JP2022140032A (en) Driving support device and vehicle
JP7227284B2 (en) Driving support device
JP7467521B2 (en) Control device
JP2015122116A (en) Drive support apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120820

R151 Written notification of patent or utility model registration

Ref document number: 5083167

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees