JP2009217479A - Deceleration instruction device and deceleration instruction method - Google Patents

Deceleration instruction device and deceleration instruction method Download PDF

Info

Publication number
JP2009217479A
JP2009217479A JP2008059716A JP2008059716A JP2009217479A JP 2009217479 A JP2009217479 A JP 2009217479A JP 2008059716 A JP2008059716 A JP 2008059716A JP 2008059716 A JP2008059716 A JP 2008059716A JP 2009217479 A JP2009217479 A JP 2009217479A
Authority
JP
Japan
Prior art keywords
vehicle
pedestrian
host vehicle
time
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008059716A
Other languages
Japanese (ja)
Other versions
JP5018571B2 (en
Inventor
Isao Aoyanagi
勲 青柳
Kanae Murata
香苗 村田
Kazunori Higuchi
和則 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2008059716A priority Critical patent/JP5018571B2/en
Publication of JP2009217479A publication Critical patent/JP2009217479A/en
Application granted granted Critical
Publication of JP5018571B2 publication Critical patent/JP5018571B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device for urging a driver to take a safety measure when there are a plurality of warning objects ahead of his or her own vehicle. <P>SOLUTION: A deceleration instruction device is provided with: a decision time determining means for determining a decision time; a projecting means for projecting an image onto a road surface ahead of one's own vehicle; a warning object information output means for outputting a position of the warning object and a relative moving speed ahead of one's own vehicle; an arrival time calculating means for calculating an arrival time required for one's own vehicle to arrive at each warning object on the basis of a position of each warning object and a relative moving speed when a plurality of positions of warning objects and the relative moving speed are output; a time interval predicting means for predicting time intervals at which one's own vehicle passes each warning object from each arrival time calculated; and a projection control means for projecting an image for instructing deceleration onto the road surface ahead of one's own vehicle by the projecting means when at least one of the predicted time intervals is shorter than the decision time determined by the decision time determining means. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、走行中の自車両の前方の状況に応じて運転者に減速を指示する減速指示装置及び減速指示方法に関する。   The present invention relates to a deceleration instruction device and a deceleration instruction method for instructing a driver to decelerate according to a situation ahead of a traveling vehicle.

走行中に、自車両の前方の注意対象の存在を運転者に知らせる技術がある。注意対象とは、走行時に注意を必要とする対象である。注意対象には、例えば、歩行者、自転車、駐車車両、交差点、障害物等が含まれる。
特許文献1には、自車両の前方の注意対象(特許文献1では、歩行者)の存在を検知し、検知した注意対象にスポット光を照射する技術が開示されている。注意対象にスポット光を照射することで、運転者に注意対象を認識させることができる。したがって、運転者は、注意対象を見落とすことなく安全に自車両を走行させることができる。
There is a technique for notifying the driver of the presence of a target object in front of the host vehicle while traveling. A target of attention is a target that requires attention when traveling. Examples of caution objects include pedestrians, bicycles, parked vehicles, intersections, obstacles, and the like.
Patent Document 1 discloses a technique for detecting the presence of an attention object (a pedestrian in Patent Document 1) ahead of the host vehicle and irradiating the detected attention object with spot light. By irradiating the attention object with the spot light, the driver can recognize the attention object. Therefore, the driver can safely drive the host vehicle without overlooking the attention object.

特開2006−176020号公報JP 2006-176020 A

特許文献1の技術のように、注意対象にスポット光を照射する技術では、自車両の前方に複数の注意対象が存在している場合に問題が生じる。
例えば、各注意対象に順にスポット光を照射すれば、自車両の前方に複雑にスポット光が照射されることとなる。したがって、運転者の意識が散漫になる。また、運転者が全ての注意対象を認識することが困難となる。また、仮に運転者が全ての注意対象を認識できたとしても、このように複数の情報が運転者に与えられると、運転者がそれらの情報を適切に判断して運転を行うことが困難となる。
また、自車両の前方に複数の注意対象が存在している場合に、自車両に近い側の注意対象にスポット光を照射し、その注意対象を通過したときに次の注意対象にスポット光を照射することも考えられる。この方法によれば、運転者が注意対象を認識することは容易となる。しかしながら、このようにスポット光を照射すると、2つの注意対象が接近して存在しているときに問題が生じる。すなわち、第1の注意対象を通過した時点で第2の注意対象にスポット光を照射すると、スポット光が照射されたときには第2の注意対象が既に接近しており、運転者が適切に対処できない可能性がある。
このように、従来の技術では、自車両の前方に複数の注意対象が存在している場合に、運転者が安全に自車両を運転することが困難であった。
As in the technique of Patent Document 1, the technique of irradiating the attention object with spot light causes a problem when a plurality of attention objects exist in front of the host vehicle.
For example, if spot light is irradiated in order to each attention object, spot light will be irradiated to the front of the own vehicle intricately. Therefore, the driver's consciousness is distracted. In addition, it becomes difficult for the driver to recognize all the attention objects. In addition, even if the driver can recognize all the attention objects, if a plurality of information is given to the driver in this manner, it is difficult for the driver to properly determine the information and perform the driving. Become.
In addition, when there are multiple caution objects in front of the host vehicle, the target object near the host vehicle is irradiated with spot light, and when passing the target object, spot light is irradiated to the next target object. Irradiation is also conceivable. According to this method, the driver can easily recognize the attention object. However, when the spot light is irradiated in this manner, a problem occurs when two attention objects are close to each other. That is, when spot light is irradiated to the second attention object at the time of passing through the first attention object, the second attention object is already approaching when the spot light is irradiated, and the driver cannot appropriately deal with it. there is a possibility.
As described above, in the conventional technology, it is difficult for the driver to drive the host vehicle safely when there are a plurality of attention objects ahead of the host vehicle.

本発明は、上述した実情に鑑みてなされたものであり、自車両の前方に複数の注意対象が存在している場合に、運転者に安全な対処を促すことができる装置を提供することを目的とする。   The present invention has been made in view of the above-described circumstances, and provides a device that can prompt a driver to take a safe action when a plurality of attention objects are present in front of the host vehicle. Objective.

本発明者は、自車両の前方に複数の注意対象がある場合であっても、各注意対象を十分に長い時間間隔で通過するときには、運転者は各注意対象に注意を払って適切な判断が可能であることに着目した。すなわち、複数の注意対象を短い時間間隔で通過するときに、運転者は各注意対象を正確に認識することが困難であり、判断を誤ることが多い。
したがって、本発明は、走行中の自車両の前方の状況に応じて運転者に減速を指示する減速指示装置を提供する。この減速指示装置は、判断時間決定手段と、投影手段と、注意対象情報出力手段と、到達時間算出手段と、時間間隔予測手段と、投影制御手段を備えている。判断時間決定手段は、判断時間を決定する。投影手段は、自車両の前方の路面に画像を投影する。注意対象情報出力手段は、自車両の前方の注意対象の位置と相対移動速度を特定して出力する。到達時間算出手段は、注意対象情報出力手段によって複数の注意対象の位置と相対移動速度が出力されたときに、出力された各注意対象の位置と相対移動速度に基づいて、自車両が各注意対象に到達するのに要する到達時間を算出する。時間間隔予測手段は、到達時間算出手段によって算出された各到達時間から、自車両が各注意対象を通過する時間間隔を予測する。投影制御手段は、時間間隔予測手段によって予測された時間間隔のうちの少なくとも1つが判断時間決定手段によって決定された判断時間より短いときに、投影手段によって自車両の前方の路面に減速を指示する画像を投影する。
なお、上記相対移動速度とは、注意対象の自車両に対する相対移動速度をいう。注意対象が静止物(絶対移動速度がゼロの物体)である場合には、自車両の走行速度をその注意対象の相対移動速度として採用することができる。
この減速指示装置では、自車両の前方に複数の注意対象が存在しているときに、注意対象情報出力手段によって複数の注意対象の位置と相対移動速度が出力される。すると、到達時間算出手段と時間間隔予測手段が動作して、自車両が各注意対象を通過する時間間隔が予測される。注意対象が3つ以上存在しているときには、「第1の注意対象を通過してから第2の注意対象を通過するまでの時間間隔と、第2の注意対象を通過してから第3の注意対象を通過するまでの時間間隔・・・」といった具合に、複数の時間間隔が予測される。そして、予測された時間間隔のうちの少なくとも1つが判断時間よりも短いときに、投影手段によって自車両の前方に減速を指示する画像が投影される。したがって、予測された時間間隔が判断時間よりも短いときには、運転者は、投影された画像を見て自車両の走行速度を減速させることができる。自車両の走行速度が減速されることにより、各注意対象を通過する実際の時間間隔が、予測された時間間隔より長くなり、運転者は各注意対象に適切に注意を払って運転することが可能となる。
このように、本発明の減速指示装置では、自車両の前方に複数の注意対象が存在している場合に、それらの注意対象の存在を個々に運転者に知らせるのではなく、それらの注意対象を通過する時間間隔が短いときに運転者に減速を指示する。すなわち、運転者に対して、減速指示という1つの情報を知らせる。したがって、運転者は、判断に迷うことなく適切に自車両を減速させることができる。減速した後は、各注意対象に十分に注意を払うことができるので、安全に運転することができる。また、減速の指示は、自車両の前方の路面に画像を投影することによって行われる。したがって、運転者は、視点や焦点をほとんど動かすことなく減速の指示を確認することができる。
なお、上述した「判断時間」は、自車両が複数の注意対象を通過するときに、運転者が各注意対象を確実に認識できる時間間隔よりも長い時間に設定する必要がある。判断時間は、一定値に設定してもよい(すなわち、判断時間決定手段が、予め決められた一定の判断時間を常に出力するようにしてもよい)。なお、判断時間は、運転者の年齢や性別によって異なる。判断時間の設定は、運転者自身で行ってもよいし、メーカ側で予め設定しておいてもよい。また、判断時間は、走行時の状況(自車両の周囲の状況やドライバーの状況)によっても変化する。したがって、判断時間決定手段が、走行時の状況に応じて判断時間を変更するようにしてもよい。
Even when there are a plurality of attention objects in front of the host vehicle, the inventor pays attention to each attention object and makes an appropriate determination when passing each attention object at a sufficiently long time interval. Focused on the fact that it is possible. That is, when passing through a plurality of attention objects at short time intervals, it is difficult for the driver to accurately recognize each attention object and often makes a mistake.
Therefore, this invention provides the deceleration instruction | indication apparatus which instruct | indicates deceleration to a driver | operator according to the condition ahead of the own vehicle in driving | running | working. The deceleration instruction apparatus includes a determination time determining unit, a projecting unit, an attention object information output unit, an arrival time calculating unit, a time interval predicting unit, and a projection control unit. The determination time determining means determines the determination time. The projecting means projects an image on the road surface ahead of the host vehicle. The attention object information output means specifies and outputs the position of the attention object in front of the host vehicle and the relative movement speed. The arrival time calculation means determines whether the own vehicle is cautioned on the basis of the output positions and relative movement speeds of the respective attention objects when the attention object information output means outputs the positions and relative movement speeds of the plurality of attention objects. The arrival time required to reach the target is calculated. The time interval prediction means predicts a time interval at which the host vehicle passes through each attention object from each arrival time calculated by the arrival time calculation means. The projection control unit instructs the projection unit to decelerate the road surface ahead of the host vehicle when at least one of the time intervals predicted by the time interval prediction unit is shorter than the determination time determined by the determination time determination unit. Project an image.
The relative movement speed refers to a relative movement speed with respect to the subject vehicle. When the attention object is a stationary object (an object whose absolute movement speed is zero), the traveling speed of the host vehicle can be adopted as the relative movement speed of the attention object.
In this deceleration instruction device, when there are a plurality of attention objects ahead of the host vehicle, the attention object information output means outputs the positions and relative movement speeds of the plurality of attention objects. Then, the arrival time calculating means and the time interval predicting means are operated to predict the time interval at which the host vehicle passes through each attention object. When there are three or more attention objects, “the time interval from passing through the first attention object to passing through the second attention object, and the third time after passing through the second attention object” A plurality of time intervals are predicted, such as “Time interval until passing the attention object... When at least one of the predicted time intervals is shorter than the determination time, an image instructing deceleration is projected in front of the host vehicle by the projection unit. Therefore, when the predicted time interval is shorter than the determination time, the driver can reduce the traveling speed of the host vehicle by looking at the projected image. By reducing the traveling speed of the host vehicle, the actual time interval passing through each attention object becomes longer than the predicted time interval, and the driver can drive with appropriate attention to each attention object. It becomes possible.
Thus, in the deceleration instruction device according to the present invention, when there are a plurality of attention objects ahead of the host vehicle, the attention objects are not individually notified to the driver, but the presence of the attention objects is not individually notified to the driver. The driver is instructed to decelerate when the time interval passing through is short. That is, the driver is informed of one piece of information called a deceleration instruction. Therefore, the driver can appropriately decelerate the host vehicle without hesitation in the determination. After decelerating, sufficient attention can be paid to each cautionary object, so that it is possible to drive safely. Further, the instruction for deceleration is performed by projecting an image on the road surface ahead of the host vehicle. Therefore, the driver can confirm the instruction of deceleration without moving the viewpoint or focus.
Note that the above-described “determination time” needs to be set to a time longer than the time interval at which the driver can surely recognize each attention object when the host vehicle passes through the plurality of attention objects. The determination time may be set to a constant value (that is, the determination time determination means may always output a predetermined determination time). Note that the determination time varies depending on the age and sex of the driver. The determination time may be set by the driver himself or may be set in advance by the manufacturer. In addition, the determination time also changes depending on the driving situation (the situation around the host vehicle and the situation of the driver). Therefore, the determination time determining means may change the determination time according to the situation at the time of traveling.

上述した減速指示装置は、注意対象情報出力手段が、画像取得手段と、歩行者位置特定手段と、歩行者位置記憶手段と、歩行者相対移動速度特定手段と、進入歩行者情報出力手段を備えていることが好ましい。画像取得手段は、自車両の前方の画像を取得する。歩行者位置特定手段は、画像取得手段によって取得された画像から歩行者の位置を特定する。歩行者位置記憶手段は、歩行者位置特定手段によって特定された歩行者の位置を記憶する。歩行者相対移動速度特定手段は、歩行者位置記憶手段によって記憶されている歩行者の過去の位置と、歩行者位置特定手段によって特定された歩行者の現在の位置から、歩行者の相対移動速度を特定する。進入歩行者情報出力手段は、歩行者位置特定手段によって特定された歩行者の現在の位置と、歩行者相対移動速度特定手段によって特定された歩行者の相対移動速度から、自車両の走行予定範囲に進入する可能性がある歩行者の位置と相対移動速度を特定して出力する。
なお、本明細書においては、「歩行者」は走行中の自転車も含む概念である。すなわち、「歩行者」には、「歩いている人」と「自転車に乗っている人」の双方が含まれる。
このような構成によれば、自車両の走行予定範囲に進入する可能性がある歩行者を注意対象として特定することができる。
In the deceleration instruction device described above, the attention object information output means includes an image acquisition means, a pedestrian position specifying means, a pedestrian position storage means, a pedestrian relative movement speed specifying means, and an approaching pedestrian information output means. It is preferable. The image acquisition means acquires an image ahead of the host vehicle. The pedestrian position specifying unit specifies the position of the pedestrian from the image acquired by the image acquisition unit. The pedestrian position storage means stores the position of the pedestrian specified by the pedestrian position specifying means. The pedestrian relative movement speed specifying means is based on the pedestrian's past position stored by the pedestrian position storage means and the pedestrian's current position specified by the pedestrian position specifying means. Is identified. The approaching pedestrian information output means calculates the planned travel range of the host vehicle from the current position of the pedestrian specified by the pedestrian position specifying means and the relative movement speed of the pedestrian specified by the pedestrian relative movement speed specifying means. The position and relative movement speed of a pedestrian who may enter the road are specified and output.
In the present specification, “pedestrian” is a concept including a running bicycle. That is, the “pedestrian” includes both “a person walking” and “a person riding a bicycle”.
According to such a configuration, it is possible to specify a pedestrian who may enter the scheduled travel range of the host vehicle as a caution target.

上述した減速指示装置は、注意対象情報出力手段が、走行速度検出手段と、マップデータ記憶手段と、GPS信号受信手段と、自車両位置算出手段と、交差点位置特定手段と、交差点情報出力手段を備えていることが好ましい。走行速度検出手段は、自車両の走行速度を検出する。マップデータ記憶手段は、マップデータを記憶している。GPS信号受信手段は、GPS信号を受信する。自車両位置算出手段は、GPS信号受信手段によって受信されたGPS信号から自車両の位置を算出する。交差点位置特定手段は、マップデータ記憶手段によって記憶されているマップデータと自車両位置算出手段によって算出された自車両の位置から、自車両の前方に存在する交差点の位置を特定する。交差点情報出力手段は、交差点位置特定手段によって特定された交差点の位置と、走行速度検出手段によって検出された走行速度を出力する。
なお、交差点は静止物であるので、走行速度検出手段によって検出された自車両の走行速度は、交差点の自車両に対する相対移動速度である。
このような構成によれば、交差点を注意対象として特定することができる。
In the deceleration instruction device described above, the attention object information output means includes a travel speed detection means, a map data storage means, a GPS signal reception means, a host vehicle position calculation means, an intersection position specification means, and an intersection information output means. It is preferable to provide. The travel speed detection means detects the travel speed of the host vehicle. The map data storage means stores map data. The GPS signal receiving means receives a GPS signal. The own vehicle position calculating means calculates the position of the own vehicle from the GPS signal received by the GPS signal receiving means. The intersection position specifying means specifies the position of the intersection existing ahead of the host vehicle from the map data stored in the map data storage means and the position of the host vehicle calculated by the host vehicle position calculating means. The intersection information output means outputs the position of the intersection specified by the intersection position specifying means and the traveling speed detected by the traveling speed detecting means.
Since the intersection is a stationary object, the traveling speed of the own vehicle detected by the traveling speed detecting means is a relative movement speed of the intersection with respect to the own vehicle.
According to such a configuration, the intersection can be specified as the attention object.

上述した減速指示装置は、注意対象情報出力手段が、走行速度検出手段と、画像取得手段と、他車両位置特定手段と、他車両位置記憶手段と、他車両相対移動速度特定手段と、駐車車両位置特定手段と、駐車車両情報出力手段を備えていることが好ましい。走行速度検出手段は、自車両の走行速度を検出する。画像取得手段は、自車両の前方の画像を取得する。他車両位置特定手段は、画像取得手段によって取得された画像から自車両の前方の他車両の位置を特定する。他車両位置記憶手段は、他車両位置特定手段によって特定された他車両の位置を記憶する。他車両絶対移動速度特定手段は、他車両位置記憶手段によって記憶されている他車両の過去の位置と、他車両位置特定手段によって特定された他車両の現在の位置と、走行速度検出手段によって検出された走行速度から、他車両の絶対移動速度を特定する。駐車車両位置特定手段は、他車両位置特定手段によって特定された他車両の位置と、他車両絶対移動速度特定手段によって特定された他車両の絶対移動速度に基づいて、駐車車両の位置を特定する。駐車車両情報出力手段は、駐車車両位置特定手段によって特定された駐車車両の位置と、走行速度検出手段によって検出された走行速度を出力する。
なお、駐車車両は静止物であるので、走行速度検出手段によって検出された自車両の走行速度は、駐車車両の自車両に対する相対移動速度である。
このような構成によれば、駐車車両を注意対象として特定することができる。
In the deceleration instruction device described above, the attention object information output means includes a travel speed detection means, an image acquisition means, another vehicle position specification means, another vehicle position storage means, another vehicle relative movement speed specification means, and a parked vehicle. It is preferable to include a position specifying means and a parked vehicle information output means. The travel speed detection means detects the travel speed of the host vehicle. The image acquisition means acquires an image ahead of the host vehicle. The other vehicle position specifying means specifies the position of the other vehicle in front of the host vehicle from the image acquired by the image acquisition means. The other vehicle position storage means stores the position of the other vehicle specified by the other vehicle position specifying means. The other vehicle absolute movement speed specifying means is detected by the past position of the other vehicle stored in the other vehicle position storage means, the current position of the other vehicle specified by the other vehicle position specifying means, and the traveling speed detection means. The absolute moving speed of the other vehicle is specified from the travel speed thus determined. The parked vehicle position specifying means specifies the position of the parked vehicle based on the position of the other vehicle specified by the other vehicle position specifying means and the absolute movement speed of the other vehicle specified by the other vehicle absolute movement speed specifying means. . The parked vehicle information output means outputs the position of the parked vehicle specified by the parked vehicle position specifying means and the travel speed detected by the travel speed detecting means.
Since the parked vehicle is a stationary object, the travel speed of the host vehicle detected by the travel speed detecting means is a relative movement speed of the parked vehicle with respect to the host vehicle.
According to such a configuration, the parked vehicle can be specified as the attention object.

また、複数の注意対象を通過する時間間隔が短い場合であっても、その短い時間間隔が連続しなければ(すなわち、短い時間間隔で通過する注意対象間の区間が連続しなければ)、運転者は各注意対象を比較的正確に認識できることが多い。
したがって、上述した減速指示装置は、時間間隔最大数を記憶しておく時間間隔最大数記憶手段をさらに有していることが好ましい。そして、投影制御手段が、判断時間より短い時間間隔で通過する注意対象間の区間の連続数が時間間隔最大数より多いときに、投影手段によって前記画像を投影することが好ましい。
このような構成によれば、判断時間より短い時間間隔で通過する注意対象間の区間の連続数が時間間隔最大数以下である場合には、画像が投影されない。注意対象を正確に認識できる場合にまで減速を指示する画像が路面に投影されることがなくなる。
なお、上述した「時間間隔最大数」は、運転者が各注意対象を正確に認識することが可能な数である必要がある。時間間隔最大数は、運転者の年齢や性別によって異なる。時間間隔最大数の設定は、運転者自身で行ってもよいし、メーカ側で予め設定しておいてもよい。
In addition, even when the time interval for passing through a plurality of attention objects is short, if the short time interval is not continuous (that is, the section between the attention objects passing at a short time interval is not continuous), driving In many cases, the person can recognize each attention object relatively accurately.
Therefore, it is preferable that the deceleration instruction device described above further includes a time interval maximum number storage unit that stores the maximum time interval number. The projection control unit preferably projects the image by the projection unit when the number of consecutive sections between the attention objects passing at a time interval shorter than the determination time is greater than the maximum number of time intervals.
According to such a configuration, no image is projected when the number of consecutive sections between attention objects passing at a time interval shorter than the determination time is equal to or less than the maximum number of time intervals. An image for instructing deceleration is not projected on the road surface until the attention object can be accurately recognized.
The “maximum number of time intervals” described above needs to be a number that allows the driver to accurately recognize each attention object. The maximum number of time intervals varies depending on the driver's age and gender. The maximum number of time intervals may be set by the driver himself or may be set in advance by the manufacturer.

また、本発明は、走行中の自車両の前方の状況に応じて運転者に減速を指示する減速指示方法をも提供する。この減速指示方法は、自車両の前方の注意対象の位置と相対移動速度を特定して出力する注意対象情報出力手段と、自車両の前方の路面に画像を投影する投影手段を備えた装置を用いて、減速を指示する。この減速指示方法は、判断時間を決定するステップと、注意対象情報出力手段によって複数の注意対象の位置と相対移動速度が出力されたときに、出力された各注意対象の位置と相対移動速度に基づいて、自車両が各注意対象に到達するのに要する到達時間を算出するステップと、算出した各到達時間から、自車両が各注意対象を通過する時間間隔を予測するステップと、予測した時間間隔のうちの少なくとも1つが決定した判断時間より短いときに、投影手段によって自車両の前方の路面に減速を指示する画像を投影するステップを備えている。
この減速指示方法によれば、自車両の前方に複数の注意対象が存在している場合に、運転者に安全な対処を促すことができる。
The present invention also provides a deceleration instruction method for instructing the driver to decelerate according to the situation ahead of the traveling vehicle. This deceleration instruction method includes an apparatus including an attention object information output unit that specifies and outputs a position and a relative movement speed of an attention object in front of the host vehicle, and a projection unit that projects an image on a road surface in front of the host vehicle. Use to command deceleration. This deceleration instruction method includes a step of determining a determination time, and when the positions and relative movement speeds of a plurality of attention objects are output by the attention object information output means, the positions and relative movement speeds of the respective attention objects are output. A step of calculating an arrival time required for the host vehicle to reach each attention object, a step of predicting a time interval for the host vehicle to pass each attention object from the calculated arrival times, and a predicted time When at least one of the intervals is shorter than the determined determination time, the projector includes a step of projecting an image instructing deceleration on the road surface ahead of the host vehicle.
According to this deceleration instruction method, when there are a plurality of attention objects ahead of the host vehicle, the driver can be encouraged to take a safe action.

本発明の減速指示装置によれば、自車両の前方に複数の注意対象が存在しており、かつ、運転者が各注意対象を正確に認識することが困難である場合に、運転者に減速を指示することができる。したがって、運転者は、自車両の前方に複数の注意対象が存在する場合にも、判断を誤ることなく安全に運転することができる。   According to the deceleration instruction device of the present invention, when there are a plurality of caution objects in front of the host vehicle and it is difficult for the driver to accurately recognize each caution object, the driver decelerates. Can be instructed. Therefore, the driver can drive safely without making a mistake even when there are a plurality of attention objects ahead of the host vehicle.

下記に詳細に説明する実施例の主要な特徴を最初に列記する。
(特徴1) 注意対象情報出力手段が、歩行者位置特定手段によって特定された各歩行者の位置と、歩行者相対移動速度特定手段によって特定された各歩行者の相対移動速度から、同行体である歩行者を特定する。そして、進入歩行者特定手段が、同行体特定手段によって特定された同行体である複数の歩行者を、1の歩行者として処理を実行する。
(特徴2)投影開始時間を記憶している投影開始時間記憶手段をさらに有している。投影制御手段が、判断時間より短い時間間隔で通過する注意対象間の区間の連続数が時間間隔最大数より多い場合において、その連続する区間に含まれる注意対象群のうちで自車両が最初に到達する注意対象(すなわち、最も早く到達する注意対象)に到達するまでの到達時間が投影開始時間より短いときに、投影手段によって自車両の前方の路面に減速を指示する画像を投影する。
The main features of the embodiments described in detail below are listed first.
(Characteristic 1) The attention object information output means is an accompaniment from the position of each pedestrian specified by the pedestrian position specifying means and the relative movement speed of each pedestrian specified by the pedestrian relative movement speed specifying means. Identify a pedestrian. And an approaching pedestrian specific means performs a process by making into a single pedestrian the some pedestrian who is the accompanying body specified by the accompanying body specific means.
(Feature 2) Projection start time storage means for storing the projection start time is further provided. When the projection control means has more than the maximum number of time intervals between the attention objects that pass at a time interval shorter than the determination time, the host vehicle is the first in the attention object group included in the continuous intervals. When the arrival time to reach the attention object that arrives (that is, the attention object that reaches the earliest) is shorter than the projection start time, the projection unit projects an image instructing deceleration on the road surface ahead of the host vehicle.

本発明の減速指示装置の実施例について、図面を参照しながら説明する。図1は、自動車100に搭載されている本実施例の減速指示装置10の概略構成を示している。以下では、自動車100のことを自車両100という。減速指示装置10は、自車両100の走行中に、自車両100の前方の状況に応じて、自車両100の前方の路面に減速を指示する画像を投影する。図1に示すように、減速指示装置10は、2台のカメラ12a、12bと、カーナビゲーションシステム14と、速度センサ16と、操舵角センサ18と、2台の投影型表示装置20a、20bと、ドライバ撮影カメラ21aと、降雨センサ21bと、受光センサ21cと、記憶装置22と、演算装置24を備えている。   Embodiments of the deceleration instruction device of the present invention will be described with reference to the drawings. FIG. 1 shows a schematic configuration of a deceleration instruction device 10 of the present embodiment that is mounted on an automobile 100. Hereinafter, the automobile 100 is referred to as the host vehicle 100. While the host vehicle 100 is traveling, the deceleration instruction device 10 projects an image instructing deceleration on the road surface in front of the host vehicle 100 according to the situation in front of the host vehicle 100. As shown in FIG. 1, the deceleration instruction device 10 includes two cameras 12a and 12b, a car navigation system 14, a speed sensor 16, a steering angle sensor 18, and two projection display devices 20a and 20b. The driver photographing camera 21a, the rain sensor 21b, the light receiving sensor 21c, the storage device 22, and the arithmetic device 24 are provided.

カメラ12a、12bは、自車両100の前方を撮影可能な位置に設置されている。カメラ12aは、自車両100の右寄りに取り付けられている。カメラ12bは、自車両100の左寄りに取り付けられている。カメラ12a、12bは、自車両100の前方の画像をリアルタイムで撮影する。カメラ12a、12bは、演算装置24に接続されている。カメラ12a、12bで撮影された画像データは、演算装置24に入力される。   The cameras 12a and 12b are installed at positions where the front of the host vehicle 100 can be photographed. The camera 12a is attached to the right side of the host vehicle 100. The camera 12b is attached to the left side of the host vehicle 100. The cameras 12a and 12b take images in front of the host vehicle 100 in real time. The cameras 12a and 12b are connected to the arithmetic device 24. Image data captured by the cameras 12a and 12b is input to the arithmetic unit 24.

カーナビゲーションシステム14(以下では、単にカーナビ14という)は、ディスプレイ、演算装置及び記憶装置等からなる本体とGPSアンテナ等を備えている。図1の参照番号14は、カーナビ14の本体の位置を示している。図1に示すように、カーナビ14の本体は、運転席近傍に設置されている。図2は、減速指示装置10の詳細な構造を示すブロック図である。図2に示すように、カーナビ14の構成部材のうち、マップデータ記憶部14aと、自車両位置算出部14bと、GPSアンテナ14cは、減速指示装置10の一部として機能する。マップデータ記憶部14aは、カーナビ14の記憶装置のうち、マップデータを記憶する記憶領域により構成されている。GPSアンテナ14cは、人工衛星等から送信されるGPS信号を受信するアンテナである。GPSアンテナ14cで受信したGPS信号は、自車両位置算出部14bに入力される。自車両位置算出部14bは、カーナビ14の本体に搭載されている演算装置により構成されている。自車両位置算出部14bは、GPSアンテナ14cから入力されるGPS信号から、自車両100の位置(絶対座標)を算出する。また、自車両位置算出部14bは、過去の自車両100の位置データと現在の自車両100の位置データから、自車両100の走行方向を算出する。図2に示すように、マップデータ記憶部14aと自車両位置算出部14bは、演算装置24に接続されている。マップデータ記憶部14aが記憶しているマップデータと、自車両位置算出部14bが算出する自車両100の位置データ及び走行方向データは、演算装置24に入力される。   The car navigation system 14 (hereinafter simply referred to as the car navigation system 14) includes a main body including a display, a calculation device, a storage device, and the like, a GPS antenna, and the like. Reference numeral 14 in FIG. 1 indicates the position of the main body of the car navigation system 14. As shown in FIG. 1, the main body of the car navigation system 14 is installed near the driver's seat. FIG. 2 is a block diagram showing a detailed structure of the deceleration instruction device 10. As shown in FIG. 2, among the constituent members of the car navigation system 14, the map data storage unit 14 a, the host vehicle position calculation unit 14 b, and the GPS antenna 14 c function as part of the deceleration instruction device 10. The map data storage unit 14a is configured by a storage area that stores map data in the storage device of the car navigation system 14. The GPS antenna 14c is an antenna that receives a GPS signal transmitted from an artificial satellite or the like. The GPS signal received by the GPS antenna 14c is input to the host vehicle position calculation unit 14b. The own vehicle position calculation unit 14 b is configured by an arithmetic device mounted on the main body of the car navigation system 14. The own vehicle position calculation unit 14b calculates the position (absolute coordinates) of the own vehicle 100 from the GPS signal input from the GPS antenna 14c. In addition, the host vehicle position calculation unit 14 b calculates the traveling direction of the host vehicle 100 from the past position data of the host vehicle 100 and the current position data of the host vehicle 100. As shown in FIG. 2, the map data storage unit 14 a and the host vehicle position calculation unit 14 b are connected to the calculation device 24. The map data stored in the map data storage unit 14a and the position data and traveling direction data of the host vehicle 100 calculated by the host vehicle position calculation unit 14b are input to the arithmetic unit 24.

速度センサ16は、自車両100の走行速度を検出する。速度センサ16は、演算装置24に接続されている。速度センサ16が検出した走行速度データは、演算装置24に入力される。   The speed sensor 16 detects the traveling speed of the host vehicle 100. The speed sensor 16 is connected to the arithmetic device 24. The traveling speed data detected by the speed sensor 16 is input to the arithmetic device 24.

操舵角センサ18は、自車両100のハンドルの操舵角を検出する。操舵角センサ18は、演算装置24に接続されている。操舵角センサ18が検出した操舵角データは、演算装置24に入力される。   The steering angle sensor 18 detects the steering angle of the steering wheel of the host vehicle 100. The steering angle sensor 18 is connected to the calculation device 24. The steering angle data detected by the steering angle sensor 18 is input to the arithmetic unit 24.

投影型表示装置20a、20bは、自車両100の最前部(ヘッドライト脇)に設置されている。投影型表示装置20a、20bは、演算装置24に接続されている。投影型表示装置20a、20bは、演算装置24からの指令に応じて、自車両100の前方の路面に画像を投影する。投影型表示装置20aと投影型表示装置20bの双方が作動することによって、路面に一つの画像が投影される。すなわち、投影型表示装置20aと投影型表示装置20bは、1つの画像を映し出すだめの1つの投影型表示装置として実質的に機能する。したがって、以下では、投影型表示装置20aと投影型表示装置20bを合わせて、投影型表示装置20という。
なお、投影型表示装置20には、プロジェクタのように結像方式で画像を投影する装置を採用することができる。また、レーザビームをラスタスキャンするものであってもよいし、レーザビームをベクトルスキャンするものであってもよい。光源も限定されず、レーザでもよいし、超高圧水銀ランプやハロゲンランプ等であってもよい。また、本実施例では、2台の投影型表示装置20a、20bで1つの画像を投影した例を示しているが、左右がそれぞれに画像を投影してもよい。また、投影型表示装置は1台であってもよい。また、本実施例では、ヘッドランプとは別に投影型表示装置を設けたが、投影型表示装置がヘッドランプとしても機能するように構成してもよい。
The projection display devices 20a and 20b are installed at the forefront of the host vehicle 100 (side the headlight). The projection display devices 20 a and 20 b are connected to the arithmetic device 24. The projection display devices 20 a and 20 b project an image onto the road surface ahead of the host vehicle 100 in response to a command from the arithmetic device 24. By operating both the projection display device 20a and the projection display device 20b, one image is projected onto the road surface. That is, the projection display device 20a and the projection display device 20b substantially function as a single projection display device for projecting one image. Therefore, hereinafter, the projection display device 20a and the projection display device 20b are collectively referred to as a projection display device 20.
The projection display device 20 may be a device that projects an image by an imaging method such as a projector. The laser beam may be raster-scanned, or the laser beam may be vector-scanned. The light source is not limited, and may be a laser, an ultrahigh pressure mercury lamp, a halogen lamp, or the like. In the present embodiment, an example is shown in which one image is projected by the two projection display devices 20a and 20b, but the left and right images may be projected respectively. Further, one projection display device may be provided. In this embodiment, the projection display device is provided separately from the headlamp. However, the projection display device may function as a headlamp.

ドライバ撮影カメラ21aは、自車両100のドライバの顔をリアルタイムで撮影する。ドライバ撮影カメラ21aは、演算装置24に接続されている。ドライバ撮影カメラ21aで撮影された画像データは、演算装置24に入力される。   The driver photographing camera 21a photographs the driver's face of the host vehicle 100 in real time. The driver photographing camera 21 a is connected to the arithmetic device 24. Image data photographed by the driver photographing camera 21 a is input to the arithmetic device 24.

降雨センサ21bは、自車両100のフロントガラス上の水滴等の存在を検知することで、降雨量を検出する。降雨センサ21bは演算装置24に接続されている。降雨センサ21bの検出値は、演算装置24に入力される。   The rain sensor 21b detects the amount of rainfall by detecting the presence of water droplets on the windshield of the host vehicle 100. The rainfall sensor 21b is connected to the arithmetic device 24. The detection value of the rainfall sensor 21b is input to the arithmetic device 24.

受光センサ21cは、自車両100の周囲の明るさを検出する。受光センサ21cは演算装置24に接続されている。受光センサ21cの検出値は、演算装置24に入力される。   The light receiving sensor 21 c detects the brightness around the host vehicle 100. The light receiving sensor 21 c is connected to the arithmetic device 24. The detection value of the light receiving sensor 21c is input to the arithmetic device 24.

記憶装置22は、ROMやRAM等のメモリ装置により構成されている。記憶装置22は、注意対象最大数データ22b、時間間隔最大数データ22c、投影開始時間データ22d、及び、投影パターンデータ22e等を記憶している。記憶装置22が記憶している各データは、必要に応じて演算装置24に読み取られる。
注意対象最大数データ22bは、自車両100が複数の注意対象を通過するときに、運転者が各注意対象を正確に認識できる注意対象の最大数を示すデータである。本実施例では、注意対象最大数データ22bが示す値は2個である。
時間間隔最大数データ22cは、自車両100が判断時間(後に詳述)より短い時間間隔で通過する区間(すなわち、注意対象間の区間)が連続するときに、運転者が各注意対象を正確に認識できる連続数の最大数を示すデータである。本実施例では、時間間隔最大数データ22cは、最大数データから1を減算した値(すなわち、1個)に設定されている。
投影開始時間データ22dは、自車両100の前方に減速を指示する画像を投影する必要があるときに、その画像を投影するタイミングを示すデータである。後に詳述するが、減速指示装置10は、判断時間より短い時間間隔で通過する注意対象間の区間の連続数が時間間隔最大数より多いときに減速を指示する画像を投影する必要があると判定する。画像を投影する必要がある場合には、減速指示装置10は、その連続する区間(短い時間間隔で通過する区間)に含まれる注意対象群のうちで自車両が最初に到達する注意対象(すなわち、最も早く到達する注意対象)に到達するまでの到達時間が投影開始時間より短くなったときに、自車両の前方の路面に減速を指示する画像を投影する。本実施例では、投影開始時間データ22dが示す投影開始時間は、2.9秒である。
投影パターンデータ22eは、自車両100の前方に投影する画像を記述している画像データを複数個備えたデータである。投影パターンデータ22eが備えている各画像データは、「20km/h」、「30km/h」、「40km/h」等の速度を示すメッセージを表示する画像を記述したデータである。自車両100の前方には、投影パターンデータ22eが備えている画像データのうち、演算装置24によって選択された画像データが記述する画像が投影される。
The storage device 22 is configured by a memory device such as a ROM or a RAM. The storage device 22 stores attention target maximum number data 22b, time interval maximum number data 22c, projection start time data 22d, projection pattern data 22e, and the like. Each data stored in the storage device 22 is read by the arithmetic device 24 as necessary.
The attention target maximum number data 22b is data indicating the maximum number of attention objects with which the driver can accurately recognize each attention object when the host vehicle 100 passes through a plurality of attention objects. In the present embodiment, the value indicated by the attention target maximum number data 22b is two.
The maximum time interval number data 22c indicates that the driver accurately identifies each caution target when a section in which the vehicle 100 passes at a time interval shorter than the determination time (detailed later) (that is, a section between caution targets) continues. This is data indicating the maximum number of continuous numbers that can be recognized. In this embodiment, the time interval maximum number data 22c is set to a value obtained by subtracting 1 from the maximum number data (that is, one).
The projection start time data 22d is data indicating the timing of projecting an image for instructing deceleration in front of the host vehicle 100. As will be described in detail later, the deceleration instruction device 10 needs to project an image for instructing deceleration when the number of consecutive sections between attention objects passing at a time interval shorter than the determination time is greater than the maximum number of time intervals. judge. When it is necessary to project an image, the deceleration instruction device 10 uses the attention target group that the host vehicle first reaches in the attention target group included in the continuous section (the section that passes at a short time interval) (that is, When the arrival time until it reaches the earliest target object) is shorter than the projection start time, an image for instructing deceleration is projected onto the road surface ahead of the host vehicle. In the present embodiment, the projection start time indicated by the projection start time data 22d is 2.9 seconds.
The projection pattern data 22e is data including a plurality of image data describing an image projected in front of the host vehicle 100. Each image data included in the projection pattern data 22e is data describing an image for displaying a message indicating a speed such as “20 km / h”, “30 km / h”, “40 km / h”. In front of the host vehicle 100, an image described by the image data selected by the arithmetic unit 24 among the image data included in the projection pattern data 22e is projected.

演算装置24は、CPU等を備えたマイクロコンピュータである。演算装置24は、ROM、RAM等からなる記憶領域も備えている。図2に示すように、演算装置24は、運転時間カウント部41、判断時間決定部42、交差点特定部25、歩行者特定部26、歩行者位置算出部27、歩行者位置記憶部28、歩行者移動速度算出部29、同行体特定部30、進入歩行者特定部31、他車両特定部32、他車両位置算出部33、他車両位置記憶部34、他車両移動速度算出部35、駐車車両特定部36、障害物特定部37、到達時間算出部38、時間間隔予測部39、及び、投影制御部40として機能する。歩行者位置記憶部28と他車両位置記憶部34は、演算装置24の記憶領域によって構成されている。その他の構成部(参照番号25〜27、29〜33、及び、35〜42)は、演算装置24の演算機能により実現される。演算装置24の構成部25〜42の動作については、後に説明する。なお、後の説明から理解されるように、本実施例の減速指示装置10では、カーナビ14、カメラ12a、12b、速度センサ16、交差点特定部25、歩行者特定部26、歩行者位置算出部27、歩行者位置記憶部28、歩行者移動速度算出部29、同行体特定部30、進入歩行者特定部31、他車両特定部32、他車両位置算出部33、他車両位置記憶部34、他車両移動速度算出部35、駐車車両特定部36、及び、障害物特定部37が全体として、請求項の注意対象情報出力手段(すなわち、自車両100の前方の注意対象の位置と相対移動速度を特定して出力する手段)として機能する。
演算装置24は、カーナビ14から入力されるマップデータ、カメラ12a及び12bから入力される画像データ等に基づいて、自車両100の前方の状況を特定する。そして、特定した自車両100の前方の状況に応じて、投影型表示装置20に画像を投影させる。
The arithmetic device 24 is a microcomputer provided with a CPU and the like. The arithmetic device 24 also includes a storage area including a ROM, a RAM, and the like. As shown in FIG. 2, the arithmetic device 24 includes a driving time counting unit 41, a determination time determining unit 42, an intersection specifying unit 25, a pedestrian specifying unit 26, a pedestrian position calculating unit 27, a pedestrian position storage unit 28, and a walking. Person movement speed calculation unit 29, accompanying body identification unit 30, approaching pedestrian identification unit 31, other vehicle identification unit 32, other vehicle position calculation unit 33, other vehicle position storage unit 34, other vehicle movement speed calculation unit 35, parked vehicle It functions as a specification unit 36, an obstacle specification unit 37, an arrival time calculation unit 38, a time interval prediction unit 39, and a projection control unit 40. The pedestrian position storage unit 28 and the other vehicle position storage unit 34 are configured by a storage area of the calculation device 24. Other components (reference numbers 25 to 27, 29 to 33, and 35 to 42) are realized by the calculation function of the calculation device 24. The operation of the components 25 to 42 of the arithmetic device 24 will be described later. As will be understood from the following description, in the deceleration instruction device 10 of the present embodiment, the car navigation system 14, the cameras 12a and 12b, the speed sensor 16, the intersection specifying unit 25, the pedestrian specifying unit 26, and the pedestrian position calculating unit. 27, pedestrian position storage unit 28, pedestrian movement speed calculation unit 29, accompanying body identification unit 30, approach pedestrian identification unit 31, other vehicle identification unit 32, other vehicle position calculation unit 33, other vehicle position storage unit 34, The other vehicle moving speed calculation unit 35, the parked vehicle specifying unit 36, and the obstacle specifying unit 37 as a whole are the attention object information output means of the claims (ie, the position of the attention object in front of the host vehicle 100 and the relative movement speed). Function to identify and output the data.
The computing device 24 identifies the situation ahead of the host vehicle 100 based on the map data input from the car navigation system 14, the image data input from the cameras 12a and 12b, and the like. Then, an image is projected on the projection display device 20 according to the situation ahead of the identified host vehicle 100.

次に、自車両100の走行中に減速指示装置10が実行する処理について説明する。
自車両100の走行中においては、カーナビ14は、一定周期でGPS信号を受信し、GPS信号を受信する毎に自車両100の位置と走行方向を算出する。カーナビ14は、一定周期で、自車両100の位置データ及び走行方向データと、自車両100の周辺のマップデータを演算装置24に出力する。
また、カメラ12aは、自車両100の走行中に、一定周期で自車両100の前方の画像を撮影し、撮影した画像データを演算装置24に出力する。同様に、カメラ12bも、自車両100の走行中に、一定周期で自車両100の前方の画像を撮影し、撮影した画像データを演算装置24に出力する。
また、速度センサ16は、一定周期で自車両100の走行速度を検出し、検出した走行速度データを演算装置24に出力する。
また、操舵角センサ18は、一定周期で自車両100の操舵角を検出し、検出した操舵角データを演算装置24に出力する。
また、ドライバ撮影カメラ21aは、自車両100の走行中に、一定周期でドライバの顔の画像を撮影し、撮影した画像データを演算装置24に出力する。
また、降雨センサ21bは、自車両100の走行中に、一定周期で降雨量を検出し、検出値を演算装置24に出力する。
また、受光センサ21cは、自車両100の走行中に、一定周期で自車両100の周囲の明るさを検出し、検出値を演算装置24に出力する。
したがって、自車両100の走行中においては、自車両100の位置データと、自車両100の走行方向データと、自車両100の周辺のマップデータと、カメラ12aで撮影された画像データと、カメラ12bで撮影された画像データと、走行速度データと、操舵角データと、ドライバの顔の画像データと、降雨センサ21bの判定値と、受光センサ21cの検出値が、演算装置24に対して随時入力される。
また、演算装置24の運転時間カウント部41は、自車両100の運転が開始されてからの時間をカウントする。
Next, processing executed by the deceleration instruction device 10 while the host vehicle 100 is traveling will be described.
While the host vehicle 100 is traveling, the car navigation system 14 receives a GPS signal at a constant cycle, and calculates the position and traveling direction of the host vehicle 100 each time the GPS signal is received. The car navigation 14 outputs the position data and travel direction data of the host vehicle 100 and map data around the host vehicle 100 to the arithmetic device 24 at a constant cycle.
Further, the camera 12 a captures an image in front of the host vehicle 100 at a constant cycle while the host vehicle 100 is traveling, and outputs the captured image data to the arithmetic device 24. Similarly, the camera 12b also captures an image in front of the host vehicle 100 at a constant cycle while the host vehicle 100 is traveling, and outputs the captured image data to the arithmetic device 24.
Further, the speed sensor 16 detects the traveling speed of the host vehicle 100 at a constant period, and outputs the detected traveling speed data to the arithmetic device 24.
Further, the steering angle sensor 18 detects the steering angle of the host vehicle 100 at a constant cycle, and outputs the detected steering angle data to the arithmetic device 24.
Further, the driver photographing camera 21 a captures images of the driver's face at regular intervals while the host vehicle 100 is traveling, and outputs the captured image data to the arithmetic device 24.
Further, the rainfall sensor 21 b detects the amount of rainfall at a constant cycle while the host vehicle 100 is traveling, and outputs the detected value to the arithmetic device 24.
Further, the light receiving sensor 21 c detects the brightness around the host vehicle 100 at a constant cycle while the host vehicle 100 is traveling, and outputs the detected value to the arithmetic device 24.
Therefore, while the host vehicle 100 is traveling, the position data of the host vehicle 100, the traveling direction data of the host vehicle 100, the map data around the host vehicle 100, the image data captured by the camera 12a, and the camera 12b. The image data, traveling speed data, steering angle data, driver face image data, determination value of the rain sensor 21b, and detection value of the light receiving sensor 21c are input to the arithmetic device 24 as needed. Is done.
In addition, the driving time counting unit 41 of the arithmetic device 24 counts the time since the driving of the host vehicle 100 is started.

図3は、自車両100の走行中に演算装置24が実行する処理を示すフローチャートである。   FIG. 3 is a flowchart showing processing executed by the arithmetic device 24 while the host vehicle 100 is traveling.

ステップS2では、演算装置24は、カメラ12a及び12bが出力する画像データを取得する。   In step S2, the arithmetic unit 24 acquires image data output by the cameras 12a and 12b.

ステップS4では、演算装置24は、カーナビ14が出力する自車両100の位置データと、自車両100の走行方向データと、自車両100の位置の周辺のマップデータを取得する。   In step S <b> 4, the arithmetic device 24 acquires position data of the host vehicle 100 output from the car navigation system 14, travel direction data of the host vehicle 100, and map data around the position of the host vehicle 100.

ステップS6では、演算装置24は、自車両100の前方に存在する注意対象を特定し、特定した注意対象の位置を算出する。演算装置24は、交差点と、自車両の走行予定範囲に進入する可能性のある歩行者(以下では、進入歩行者という)と、駐車車両と、路面上の障害物の4種類の注意対象を特定する。ステップS6で各注意対象を特定して位置を算出する処理について、以下に注意対象毎に説明する。   In step S <b> 6, the arithmetic device 24 specifies a caution object that exists in front of the host vehicle 100 and calculates the position of the specified caution object. The computing device 24 selects four types of caution objects: an intersection, a pedestrian who may enter the planned travel range of the host vehicle (hereinafter referred to as an approaching pedestrian), a parked vehicle, and an obstacle on the road surface. Identify. The processing for specifying each attention object in step S6 and calculating the position will be described below for each attention object.

(交差点を特定して位置を算出する処理)
交差点を特定して位置を算出する処理では、交差点特定部25が、ステップS4で取得した自車両100の位置データと、自車両100の走行方向データと、自車両100の周辺のマップデータから、自車両100の前方(走行方向)に存在する交差点を特定する。そして、自車両100の位置データと自車両100の周辺のマップデータから、特定した交差点の自車両100に対する相対位置(自車両100を原点とした交差点の位置座標)を算出する。交差点特定部25は、算出した交差点の位置を到達時間算出部38に出力する。
(Process to calculate the position by specifying the intersection)
In the process of calculating the position by specifying the intersection, the intersection specifying unit 25 uses the position data of the host vehicle 100 acquired in step S4, the traveling direction data of the host vehicle 100, and the map data around the host vehicle 100. The intersection which exists ahead of the own vehicle 100 (running direction) is specified. Then, the relative position of the identified intersection with respect to the own vehicle 100 (position coordinates of the intersection with the own vehicle 100 as the origin) is calculated from the position data of the own vehicle 100 and the map data around the own vehicle 100. The intersection identifying unit 25 outputs the calculated position of the intersection to the arrival time calculating unit 38.

(進入歩行者を特定して位置を算出する処理)
図4は、自車両100の走行予定範囲に進入する可能性のある進入歩行者を特定して位置を算出する処理を示すフローチャートである。
(Process to calculate the position by specifying the approaching pedestrian)
FIG. 4 is a flowchart showing a process of calculating the position by specifying an approaching pedestrian who may enter the scheduled travel range of the host vehicle 100.

ステップS50では、歩行者特定部26が、ステップS2で取得した画像データ(カメラ12aが出力した画像データと、カメラ12bが出力した画像データ)から、それらの画像に写っている歩行者(すなわち、自車両100の前方に存在する歩行者)を特定する。歩行者の特定は、各画像データ上で歩行者の形状を認識することにより行う。画像データから歩行者を特定する技術は、従来公知の技術であるので、その詳細については説明を省略する。歩行者特定部26は、画像データに複数の歩行者が写っている場合には、それぞれの歩行者を特定する。この処理においては、自転車に乗っている人の形状も歩行者として特定される。以下の処理では、自転車に乗車している人も歩行者として記載する。   In step S50, the pedestrian specifying unit 26 uses the image data acquired in step S2 (the image data output by the camera 12a and the image data output by the camera 12b), and the pedestrians reflected in those images (that is, A pedestrian in front of the host vehicle 100) is identified. The identification of the pedestrian is performed by recognizing the shape of the pedestrian on each image data. Since the technique for specifying the pedestrian from the image data is a conventionally known technique, a detailed description thereof will be omitted. When a plurality of pedestrians are shown in the image data, the pedestrian specifying unit 26 specifies each pedestrian. In this process, the shape of the person riding the bicycle is also specified as a pedestrian. In the following processing, a person riding a bicycle is also described as a pedestrian.

ステップS52では、歩行者位置算出部27が、ステップS2で取得した画像データ(カメラ12aが出力した画像データと、カメラ12bが出力した画像データ)に基づいて、ステップS50で特定した歩行者の自車両100に対する相対位置を算出する。
例えば、図5に示すように、カメラ12a及び12bの前方(すなわち、自車両100の前方)に歩行者102が存在している場合を考える。この場合、カメラ12aでは、図6に示すように画像が撮影される。また、カメラ12bでは、図7に示すように画像が撮影される。なお、図6、図7においては、参照番号104が自車両100が走行している車道を示しており、参照番号106は車道104の脇の歩道を示している。ステップS52では、歩行者位置算出部27は、図6に示すカメラ12aの画像データの水平方向の中心位置108aと歩行者102(より詳細には、歩行者102を示す画素の中心位置)との間の画素数A1(すなわち、中心位置108aと歩行者102の画像上における水平方向の距離)を算出する。そして、算出した画素数A1から、図5の角度B1(カメラ12aと歩行者102を結ぶ直線C1と、カメラ12aの正面方向を示す直線C2との角度)を算出する。同様に、歩行者位置算出部27は、図7に示すカメラ12bの画像データの水平方向の中心位置108bと歩行者102との間の画素数A2を算出する。そして、算出した画素数A2から、図5の角度B2(カメラ12bと歩行者102を結ぶ直線C3と、カメラ12bの正面方向を示す直線C4との角度)を算出する。歩行者位置算出部27は、算出した角度B1及び角度B2と、カメラ12aとカメラ12bの間の距離H1(図5参照)から、歩行者102の自車両100に対する相対位置(図5のX1とY1)を算出する(なお、図5の点P1は、カメラ12aとカメラ12bの間の中点を示している)。ステップS50で複数の歩行者が特定されている場合には、歩行者位置算出部27は、特定された各歩行者の相対位置を算出する。
In step S52, the pedestrian position calculation unit 27 uses the image data acquired in step S2 (the image data output by the camera 12a and the image data output by the camera 12b), and the pedestrian's own identity specified in step S50. A relative position with respect to the vehicle 100 is calculated.
For example, as shown in FIG. 5, consider a case where a pedestrian 102 is present in front of the cameras 12a and 12b (that is, in front of the host vehicle 100). In this case, the camera 12a captures an image as shown in FIG. The camera 12b captures an image as shown in FIG. 6 and 7, reference numeral 104 indicates a roadway on which the host vehicle 100 is traveling, and reference numeral 106 indicates a sidewalk beside the roadway 104. In step S52, the pedestrian position calculator 27 calculates the horizontal center position 108a of the image data of the camera 12a shown in FIG. 6 and the pedestrian 102 (more specifically, the center position of the pixel indicating the pedestrian 102). The number of pixels A1 between them (that is, the distance in the horizontal direction on the center position 108a and the image of the pedestrian 102) is calculated. Then, an angle B1 in FIG. 5 (an angle between a straight line C1 connecting the camera 12a and the pedestrian 102 and a straight line C2 indicating the front direction of the camera 12a) is calculated from the calculated pixel number A1. Similarly, the pedestrian position calculation unit 27 calculates the number of pixels A2 between the horizontal center position 108b of the image data of the camera 12b shown in FIG. 7 and the pedestrian 102. Then, an angle B2 in FIG. 5 (an angle between a straight line C3 connecting the camera 12b and the pedestrian 102 and a straight line C4 indicating the front direction of the camera 12b) is calculated from the calculated pixel number A2. The pedestrian position calculating unit 27 calculates the relative position of the pedestrian 102 relative to the host vehicle 100 (X1 in FIG. 5) from the calculated angle B1 and angle B2 and the distance H1 between the camera 12a and the camera 12b (see FIG. 5). Y1) is calculated (note that the point P1 in FIG. 5 indicates the midpoint between the camera 12a and the camera 12b). When a plurality of pedestrians are specified in step S50, the pedestrian position calculation unit 27 calculates the relative position of each specified pedestrian.

歩行者位置算出部27で算出された歩行者の相対位置は、その相対位置を算出した時間とともに歩行者位置記憶部28に記憶される。図3に示す処理は自車両100が走行している間に繰り返し実行される。したがって、歩行者位置算出部27は、歩行者の相対位置を繰り返し算出することになる。歩行者位置算出部27が歩行者の相対位置を算出する毎に、歩行者位置記憶部28は算出された歩行者の相対位置を記憶する。したがって、歩行者位置記憶部28には、以前に歩行者位置算出部27が算出した歩行者の相対位置が時系列で記憶されている。   The relative position of the pedestrian calculated by the pedestrian position calculation unit 27 is stored in the pedestrian position storage unit 28 together with the time when the relative position is calculated. The process shown in FIG. 3 is repeatedly executed while the host vehicle 100 is traveling. Therefore, the pedestrian position calculation unit 27 repeatedly calculates the relative position of the pedestrian. Each time the pedestrian position calculation unit 27 calculates the relative position of the pedestrian, the pedestrian position storage unit 28 stores the calculated relative position of the pedestrian. Therefore, the relative position of the pedestrian previously calculated by the pedestrian position calculation unit 27 is stored in the pedestrian position storage unit 28 in time series.

図4のステップS54では、歩行者移動速度算出部29が、ステップS52で歩行者位置算出部27が算出した現在の歩行者の相対位置と、歩行者位置記憶部28が記憶している過去の歩行者の相対位置から、歩行者の自車両100に対する相対移動速度ベクトル(自車両100に対する相対移動速度と相対移動方向を示すベクトル)を算出する。ステップS50で複数の歩行者が特定されている場合には、歩行者移動速度算出部29は、特定された各歩行者の相対移動速度ベクトルを算出する。   In step S54 of FIG. 4, the pedestrian movement speed calculation unit 29 calculates the current relative position of the pedestrian calculated by the pedestrian position calculation unit 27 in step S52 and the past stored in the pedestrian position storage unit 28. From the relative position of the pedestrian, a relative movement speed vector (a vector indicating a relative movement speed and a relative movement direction with respect to the own vehicle 100) of the pedestrian is calculated. When a plurality of pedestrians are specified in step S50, the pedestrian movement speed calculation unit 29 calculates a relative movement speed vector of each specified pedestrian.

ステップS56では、同行体特定部30が、同行体である歩行者を特定する。
例えば、第1の歩行者と第2の歩行者が特定されている場合、同行体特定部30は、最初に第1の歩行者の相対位置と第2の歩行者の相対位置から、第1の歩行者と第2の歩行者の間の距離間隔が一定間隔以下であるか否かを判定する。距離間隔が一定距離間隔以下であった場合には、同行体特定部30は、第1の歩行者の相対移動速度ベクトルと第2の歩行者の相対移動速度ベクトルの差で算出される歩行者間の相対移動速度ベクトルの絶対値を算出する。算出した絶対値が一定値以下である場合には、第1の歩行者と第2の歩行者が一緒に移動していると考えられるので、同行体特定部30は、第1の歩行者と第2の歩行者が同行体であると特定する。同行体特定部30は、以上の処理を、ステップS50で特定された各歩行者に対して実行する。同行体特定部30で同行体であると特定された複数の歩行者は、以下の処理では1の歩行者であるとして計算される。
In step S56, the accompanying body specifying unit 30 specifies a pedestrian who is the accompanying body.
For example, when the first pedestrian and the second pedestrian are specified, the accompanying body specifying unit 30 first determines the first pedestrian relative position and the second pedestrian relative position from the first pedestrian relative position. It is determined whether the distance interval between the pedestrian and the second pedestrian is equal to or smaller than a predetermined interval. When the distance interval is equal to or smaller than the predetermined distance interval, the accompanying body specifying unit 30 calculates the pedestrian calculated by the difference between the relative movement speed vector of the first pedestrian and the relative movement speed vector of the second pedestrian. The absolute value of the relative movement speed vector is calculated. When the calculated absolute value is equal to or less than a certain value, it is considered that the first pedestrian and the second pedestrian are moving together. The second pedestrian is identified as an accompanying body. The accompanying body specifying unit 30 performs the above process for each pedestrian specified in step S50. A plurality of pedestrians identified as being accompanied by the accompanying body specifying unit 30 are calculated as one pedestrian in the following processing.

ステップS58では、進入歩行者特定部31が、ステップS50で特定された歩行者の中から、自車両100の走行予定範囲に進入する可能性のある進入歩行者を特定する。歩行者が自車両100の走行予定範囲に進入する可能性があるか否かは、ステップS52で算出された歩行者の位置と、ステップS54で算出された歩行者の相対移動速度ベクトルに基づいて判定される。すなわち、進入歩行者特定部31は、歩行者の位置から相対移動速度ベクトル方向の角度範囲D1内に自車両100が存在するか否かを計算する。角度範囲D1内に自車両100が存在する場合には、その歩行者は自車両100の走行予定範囲に進入する可能性があると判定する。
例えば、図8に示すように歩行者110〜114が存在する場合を考える。なお、図8の矢印110a〜114aは、歩行者110〜114の相対移動速度ベクトルを示している。図8に示すように、歩行者112は、相対移動速度ベクトル112aを延長した直線が自車両100と交差する。したがって、歩行者112はが相対移動速度ベクトル112aに示す通りに移動したと仮定すると、歩行者112と自車両100とが非常に接近すると考えられる。この場合、進入歩行者特定部31は、歩行者112が自車両100の走行予定範囲に進入する可能性があると判定する。また、歩行者110は、相対移動速度ベクトル110aを延長した直線が自車両100と交差しない。しかしながら、相対移動速度ベクトル110a方向の角度範囲D1内に自車両100が存在する。したがって、歩行者110の相対移動速度ベクトル110aが矢印110bに示すように変化した場合等には、歩行者110と自車両100が非常に接近すると考えられる。したがって、進入歩行者特定部31は、歩行者110が自車両100の走行予定範囲に進入する可能性があると判定する。一方、歩行者114は、相対移動速度ベクトル114a方向の角度範囲D1内に自車両100が存在しない。したがって、進入歩行者特定部31は、歩行者114が自車両100の走行予定範囲に進入する可能性がないと判定する。
進入歩行者特定部31は、自車両100の走行予定範囲に進入する可能性がある進入歩行者を特定すると、特定した進入歩行者の位置と相対移動ベクトルを到達時間算出部38に出力する。
In step S58, the approaching pedestrian identification unit 31 identifies an approaching pedestrian who may enter the planned travel range of the host vehicle 100 from the pedestrians identified in step S50. Whether or not there is a possibility that the pedestrian may enter the scheduled travel range of the vehicle 100 is based on the position of the pedestrian calculated in step S52 and the relative movement speed vector of the pedestrian calculated in step S54. Determined. That is, the approaching pedestrian specifying unit 31 calculates whether or not the host vehicle 100 exists within the angle range D1 in the relative movement speed vector direction from the position of the pedestrian. When the host vehicle 100 exists in the angle range D1, it is determined that the pedestrian may enter the scheduled travel range of the host vehicle 100.
For example, consider a case where pedestrians 110 to 114 exist as shown in FIG. In addition, the arrows 110a-114a of FIG. 8 have shown the relative movement speed vector of the pedestrians 110-114. As shown in FIG. 8, the pedestrian 112 has a straight line extending the relative moving speed vector 112 a intersecting the host vehicle 100. Therefore, assuming that the pedestrian 112 has moved as indicated by the relative movement speed vector 112a, the pedestrian 112 and the host vehicle 100 are considered to be very close. In this case, the approaching pedestrian specifying unit 31 determines that there is a possibility that the pedestrian 112 may enter the scheduled travel range of the host vehicle 100. In addition, the pedestrian 110 does not intersect the vehicle 100 with a straight line obtained by extending the relative movement speed vector 110a. However, the host vehicle 100 exists within the angle range D1 in the direction of the relative movement speed vector 110a. Therefore, when the relative movement speed vector 110a of the pedestrian 110 changes as indicated by the arrow 110b, the pedestrian 110 and the host vehicle 100 are considered to be very close. Therefore, the approaching pedestrian specifying unit 31 determines that there is a possibility that the pedestrian 110 may enter the scheduled travel range of the host vehicle 100. On the other hand, the pedestrian 114 does not have the host vehicle 100 within the angle range D1 in the direction of the relative movement speed vector 114a. Therefore, the approaching pedestrian specifying unit 31 determines that there is no possibility that the pedestrian 114 enters the scheduled travel range of the host vehicle 100.
When the approaching pedestrian identification unit 31 identifies an approaching pedestrian who may enter the planned travel range of the host vehicle 100, the approaching pedestrian identification unit 31 outputs the identified position and relative movement vector of the approaching pedestrian to the arrival time calculation unit 38.

(駐車車両を特定して位置を算出する処理)
図9は、駐車車両を特定して位置を算出する処理を示すフローチャートである。
(Process to calculate the position by specifying the parked vehicle)
FIG. 9 is a flowchart illustrating a process of calculating a position by specifying a parked vehicle.

ステップS60では、他車両特定部32が、ステップS2で取得した画像データ(カメラ12aが出力した画像データと、カメラ12bが出力した画像データ)から、それらの画像に写っている他車両(すなわち、自車両100の前方に存在する車両)を特定する。他車両の特定は、図4のステップS50と同様に、各画像データ上で車両の形状を認識することにより行う。   In step S60, the other vehicle identification unit 32 uses other images (that is, the image data output from the camera 12a and the image data output from the camera 12b) acquired in step S2 to be reflected in those images (that is, the image data output from the camera 12b). Vehicle in front of the host vehicle 100) is identified. The identification of the other vehicle is performed by recognizing the shape of the vehicle on each image data as in step S50 of FIG.

ステップS62では、他車両位置算出部33が、ステップS2で取得した画像データ(カメラ12aが出力した画像データと、カメラ12bが出力した画像データ)に基づいて、ステップS60で特定した他車両の自車両100に対する相対位置を算出する。他車両の相対位置の算出は、図4のステップS52で説明した歩行者の相対位置の算出と同様にして行われる。   In step S62, the other vehicle position calculation unit 33 determines the own vehicle of the other vehicle specified in step S60 based on the image data acquired in step S2 (image data output by the camera 12a and image data output by the camera 12b). A relative position with respect to the vehicle 100 is calculated. The calculation of the relative position of the other vehicle is performed in the same manner as the calculation of the relative position of the pedestrian described in step S52 of FIG.

他車両位置算出部33で算出された他車両の相対位置は、その相対位置を算出した時間とともに他車両位置記憶部34に記憶される。図3に示す処理は自車両100が走行している間に繰り返し実行される。したがって、他車両位置算出部33は、他車両の相対位置を繰り返し算出することになる。他車両位置算出部33が他車両の相対位置を算出する毎に、他車両位置記憶部34は算出された他車両の相対位置を記憶する。したがって、他車両位置記憶部34には、以前に他車両位置算出部33が算出した他車両の相対位置が時系列で記憶されている。   The relative position of the other vehicle calculated by the other vehicle position calculation unit 33 is stored in the other vehicle position storage unit 34 together with the time when the relative position is calculated. The process shown in FIG. 3 is repeatedly executed while the host vehicle 100 is traveling. Therefore, the other vehicle position calculation unit 33 repeatedly calculates the relative position of the other vehicle. Each time the other vehicle position calculation unit 33 calculates the relative position of the other vehicle, the other vehicle position storage unit 34 stores the calculated relative position of the other vehicle. Therefore, the relative position of the other vehicle previously calculated by the other vehicle position calculation unit 33 is stored in the other vehicle position storage unit 34 in time series.

ステップS64では、他車両移動速度算出部35が、他車両位置算出部33で算出された他車両の相対位置と、他車両位置記憶部34が記憶している過去の他車両の相対位置と、速度センサ16で検出される自車両100の走行速度から、特定した他車両の絶対移動速度ベクトル(静止している物体を基準とする移動速度ベクトル)を算出する。ステップS60で複数の他車両が特定されている場合には、他車両移動速度算出部35は、特定された各他車両の絶対移動速度ベクトルを算出する。   In step S64, the other vehicle movement speed calculation unit 35 calculates the relative position of the other vehicle calculated by the other vehicle position calculation unit 33, the past relative position of the other vehicle stored in the other vehicle position storage unit 34, and From the traveling speed of the host vehicle 100 detected by the speed sensor 16, an absolute moving speed vector (moving speed vector based on a stationary object) of the identified other vehicle is calculated. When a plurality of other vehicles are specified in step S60, the other vehicle moving speed calculation unit 35 calculates an absolute moving speed vector of each specified other vehicle.

ステップS66では、駐車車両特定部36が、ステップS60で特定された他車両の中から、駐車車両を特定する。駐車車両特定部36は、ステップS64で算出された絶対移動速度ベクトルの絶対値が一定値(すなわち、移動速度がゼロであるとみなせる速度)以下である他車両を、駐車車両であると特定する。駐車車両特定部36は、駐車車両を特定すると、駐車車両の位置を到達時間算出部38に出力する。   In step S66, the parked vehicle specifying unit 36 specifies a parked vehicle from the other vehicles specified in step S60. The parked vehicle specifying unit 36 specifies other vehicles whose absolute value of the absolute moving speed vector calculated in step S64 is equal to or less than a certain value (that is, a speed at which the moving speed is considered to be zero) as a parked vehicle. . When the parked vehicle identifying unit 36 identifies the parked vehicle, the parked vehicle identifying unit 36 outputs the position of the parked vehicle to the arrival time calculating unit 38.

(障害物を特定して位置を算出する処理)
障害物を特定して位置を算出する処理は、図4のステップS50及びS52と同様にして行われる。
すなわち、最初に、障害物特定部37が、ステップS2で取得した画像データ(カメラ12aが出力した画像データと、カメラ12bが出力した画像データ)から自車両100の前方の路面上の障害物の存在を特定する。障害物の特定は、図5のステップS50と同様に、各画像データ上で路面上の障害物の形状を認識することにより行う。
次に、障害物特定部37が、ステップS2で取得した画像データに基づいて、特定した障害物の自車両100に対する相対位置を算出する。障害物の相対位置の算出は、図5のステップS52で説明した歩行者の相対位置の算出と同様にして行われる。
(Process to calculate obstacles by identifying obstacles)
The process of specifying the obstacle and calculating the position is performed in the same manner as steps S50 and S52 in FIG.
That is, first, the obstacle identifying unit 37 determines the obstacle on the road surface ahead of the host vehicle 100 from the image data acquired in step S2 (image data output by the camera 12a and image data output by the camera 12b). Identify existence. The identification of the obstacle is performed by recognizing the shape of the obstacle on the road surface on each image data as in step S50 of FIG.
Next, the obstacle identifying unit 37 calculates the relative position of the identified obstacle with respect to the host vehicle 100 based on the image data acquired in step S2. The calculation of the relative position of the obstacle is performed in the same manner as the calculation of the relative position of the pedestrian described in step S52 of FIG.

以上に説明した各処理がステップS6で実行されることによって、交差点と、進入歩行者と、駐車車両と、路面上の障害物の4種類の注意対象の相対位置が算出される。   By executing each process described above in step S6, the relative positions of the four types of attention objects of the intersection, the approaching pedestrian, the parked vehicle, and the obstacle on the road surface are calculated.

図3のステップS8では、到達時間算出部38が、記憶装置22から注意対象最大数データ22bを読み出す。そして、ステップS6で特定された注意対象の数が、注意対象最大数データ22bが示す注意対象最大数(すなわち、2個)より多いか否かを判定する。特定された注意対象の数が3個以上である場合には(すなわち、ステップS8でYESである場合には)、判断時間決定部42によってステップS9が実行される。特定された注意対象の数が2個以下である場合には(すなわち、ステップS8でNOである場合には)、演算装置24は、ステップS22で投影型表示装置20による画像の投影を停止する(ステップS22の実行前から画像の投影を行っていない場合には、画像の投影を行っていない状態を維持する)。そして、ステップS2からの処理を再度実行する。   In step S <b> 8 of FIG. 3, the arrival time calculation unit 38 reads the attention target maximum number data 22 b from the storage device 22. Then, it is determined whether or not the number of attention objects specified in step S6 is greater than the maximum number of attention objects (that is, two) indicated by the attention object maximum number data 22b. When the number of specified attention objects is three or more (that is, when YES in step S8), step S9 is executed by the determination time determination unit 42. If the specified number of attention objects is two or less (that is, if NO in step S8), the arithmetic unit 24 stops projecting an image by the projection display device 20 in step S22. (When the image is not projected before the execution of step S22, the state where the image is not projected is maintained). And the process from step S2 is performed again.

ステップS9では、判断時間決定部42が、判断時間を決定する。判断時間は、自車両100が複数の注意対象を通過するときに、運転者が各注意対象を正確に認識できると考えられる時間間隔(各注意対象を通過する時間間隔)である。判断時間は、走行時の状況(運転者の状況、自車両100の前方の注意対象の数、自車両の周囲の状況等)に左右される。したがって、判断時間決定部42は、走行時の状況に基づいて、判断時間を算出する。
すなわち、判断時間決定部42は、運転時間カウント部41がカウントしている運転時間を読み出す。
また、判断時間決定部42は、ドライバ撮影カメラ21aが撮影した所定時間内の画像データから、ドライバがまばたきした回数を算出する。ドライバのまばたきは、ドライバの顔の画像を認識することにより検知する。判断時間決定部42は、ドライバのまばたきの回数から、ドライバの眠気を数値化した眠気指数(高いほど、ドライバが眠たいと感じていることを示す値)を算出する。
また、判断時間決定部42は、ドライバ撮影カメラ21aが撮影した所定時間内の画像データから、ドライバがわき見をした時間比率(以下、わき見指数という)を算出する。ドライバのわき見は、ドライバの視点を画像から認識することにより検知する。
また、判断時間決定部42は、降雨センサ21bが検出する降雨量を読み出す。
また、判断時間決定部42は、受光センサ21cが検出する明るさから、暗さを示す値(暗いほど高い値として算出される)を算出する。
そして、運転時間、眠気指数、わき見指数、降雨量、暗さ、及び、ステップS6で特定された注意対象の数に基づいて、判断時間を決定する。ヒトが注意対象を認識する能力は、これらの値(すなわち、運転時間、眠気指数、わき見指数、降雨量、暗さ、及び、注意対象の数)が大きいほど低下する。したがって、判断時間決定部は、これらの値が大きい値であるほど、判断時間を長く決定する。
In step S9, the determination time determination unit 42 determines the determination time. The determination time is a time interval (a time interval through which each caution object passes) that is considered to be accurately recognized by the driver when the host vehicle 100 passes through a plurality of caution objects. The determination time depends on the situation during driving (the situation of the driver, the number of attention objects in front of the host vehicle 100, the situation around the host vehicle, etc.). Therefore, the determination time determination unit 42 calculates the determination time based on the situation at the time of traveling.
That is, the determination time determination unit 42 reads out the operation time counted by the operation time counting unit 41.
In addition, the determination time determination unit 42 calculates the number of times the driver blinks from image data within a predetermined time taken by the driver photographing camera 21a. A driver's blink is detected by recognizing an image of the driver's face. The determination time determination unit 42 calculates a sleepiness index (a value indicating that the driver feels sleepier as the value is higher) from the number of times the driver blinks.
In addition, the determination time determination unit 42 calculates a time ratio (hereinafter referred to as a side index) that the driver watched from the image data within a predetermined time taken by the driver photographing camera 21a. Driver side effects are detected by recognizing the driver's viewpoint from the image.
In addition, the determination time determination unit 42 reads the rainfall amount detected by the rainfall sensor 21b.
In addition, the determination time determination unit 42 calculates a value indicating darkness (calculated as a higher value as it is darker) from the brightness detected by the light receiving sensor 21c.
Then, the determination time is determined based on the driving time, the sleepiness index, the side index, the amount of rainfall, the darkness, and the number of attention objects specified in step S6. The ability of a human to recognize an attention object decreases as these values (ie, driving time, sleepiness index, side effect index, rainfall, darkness, and number of attention objects) increase. Therefore, the determination time determination unit determines the determination time longer as these values are larger.

ステップS10では、到達時間算出部38が、自車両100が各注意対象に到達する到達時間を算出する。
注意対象が進入歩行者である場合には、到達時間算出部38は、進入歩行者の相対位置に基づいて、自車両100から進入歩行者までの距離を算出する。そして、算出した距離を進入歩行者の相対移動速度で除算することで、進入歩行者までの到達時間を算出する。例えば、図10に示すように進入歩行者120が存在する場合には、自車両100と進入歩行者120の間の距離L1を進入歩行者120の相対移動速度(相対移動ベクトルの絶対値)で除算して、進入歩行者120までの到達時間を算出する。歩行者122についても、距離L2を歩行者122の相対移動速度で除算して、進入歩行者122までの到達時間を算出する。
注意対象が静止物(すなわち、交差点と駐車車両と障害物)である場合には、到達時間算出部38は、操舵角センサ18から入力される操舵角データに基づいて、自車両100の予測進路を算出する。次に、到達時間算出部38は、算出した予測進路と注意対象の相対位置に基づいて、予測進路に沿った方向における自車両100から注意対象までの距離を算出する。すなわち、注意対象の位置から予測進路に対して垂線を描いて垂線と予測進路との交点を算出する。そして、自車両100から算出した交点までの距離(予測進路に沿った距離)を算出する。例えば、図10に示すように自車両100の予測進路130が直線である場合には、交差点124までの距離として距離L3が算出される。また、図11に示すように自車両100の予測進路130がカーブしている場合には、交差点124までの距離として距離L4が算出される。次に、到達時間算出部38は、自車両100から注意対象までの距離を、速度センサ16で検出した自車両100の走行速度で除算する。これによって、自車両100が注意対象に到達するまでの到達時間を算出する(注意対象が静止物である場合には、自車両100の走行速度が注意対象の相対移動速度に該当し、速度センサ16が注意対象の相対速度を特定する手段となる)。
到達時間算出部38は、以上の処理を各注意対象に対して実行し、自車両100が各注意対象に到達するまでの到達時間を算出する。
In step S10, the arrival time calculation unit 38 calculates the arrival time for the host vehicle 100 to reach each attention target.
When the attention object is an approaching pedestrian, the arrival time calculation unit 38 calculates the distance from the vehicle 100 to the approaching pedestrian based on the relative position of the approaching pedestrian. Then, the arrival time to the approaching pedestrian is calculated by dividing the calculated distance by the relative movement speed of the approaching pedestrian. For example, when the approaching pedestrian 120 exists as shown in FIG. 10, the distance L1 between the own vehicle 100 and the approaching pedestrian 120 is determined by the relative movement speed of the approaching pedestrian 120 (the absolute value of the relative movement vector). Divide and calculate the arrival time to the approaching pedestrian 120. Also for the pedestrian 122, the distance L2 is divided by the relative movement speed of the pedestrian 122, and the arrival time to the approaching pedestrian 122 is calculated.
When the attention object is a stationary object (that is, an intersection, a parked vehicle, and an obstacle), the arrival time calculation unit 38 is based on the steering angle data input from the steering angle sensor 18 and the predicted course of the host vehicle 100. Is calculated. Next, the arrival time calculation unit 38 calculates the distance from the host vehicle 100 to the attention object in the direction along the prediction path based on the calculated predicted path and the relative position of the attention object. That is, a perpendicular line is drawn with respect to the predicted course from the position of the attention object, and the intersection of the perpendicular and the predicted course is calculated. And the distance (distance along a predicted course) from the own vehicle 100 to the calculated intersection is calculated. For example, as shown in FIG. 10, when the predicted course 130 of the host vehicle 100 is a straight line, the distance L3 is calculated as the distance to the intersection 124. Also, as shown in FIG. 11, when the predicted course 130 of the host vehicle 100 is curved, the distance L4 is calculated as the distance to the intersection 124. Next, the arrival time calculation unit 38 divides the distance from the host vehicle 100 to the attention object by the traveling speed of the host vehicle 100 detected by the speed sensor 16. Thus, the arrival time until the host vehicle 100 reaches the attention object is calculated (if the attention object is a stationary object, the traveling speed of the host vehicle 100 corresponds to the relative movement speed of the attention object, and the speed sensor 16 is a means for specifying the relative speed of the attention object).
The arrival time calculation unit 38 performs the above process on each attention object, and calculates the arrival time until the host vehicle 100 reaches each attention object.

ステップS12では、時間間隔予測部39が、ステップS10で算出された各注意対象までの到達時間に基づいて、自車両100が各注意対象を通過する時間間隔を予測する。例えば、図10に示す場合において、歩行者120までの到達時間がt1であり、歩行者122までの到達時間がt2であり、交差点124までの到達時間がt3であり、t1<t2<t3である場合には、t2からt1を減算して歩行者120を通過してから歩行者122を通過するまでの時間間隔を算出(予測)し、t3からt2を減算して歩行者122から交差点124を通過するまでの時間間隔を算出(予測)する。   In step S12, the time interval prediction unit 39 predicts the time interval for the host vehicle 100 to pass each caution object based on the arrival time to each caution object calculated in step S10. For example, in the case shown in FIG. 10, the arrival time to the pedestrian 120 is t1, the arrival time to the pedestrian 122 is t2, the arrival time to the intersection 124 is t3, and t1 <t2 <t3 In some cases, t1 is subtracted from t2 to calculate (predict) the time interval from passing through the pedestrian 120 to passing through the pedestrian 122, and subtracting t2 from t3 to crossing 124 from the pedestrian 122. The time interval until passing through is calculated (predicted).

ステップS14では、投影制御部40が、ステップS12で算出された各時間間隔が、判断時間決定部42によって決定された判断時間より短いか否かを判定する。そして、判断時間より短い時間間隔(以下では、単に短い時間間隔という)で通過する注意対象間の区間の連続数が時間間隔最大数(すなわち、1個)より多いか否かを判定する。例えば、図12に示すように、歩行者141〜144が存在する場合を考える。この例においては、歩行者141と歩行者142間の時間間隔dt1が短く、歩行者142と歩行者143の間の区間の時間間隔dt2が短く、歩行者142と歩行者143の間の時間間隔t3が長い場合は、短い時間間隔で通過する区間の連続数は2個である。以下では、短い時間間隔で通過する連続する区間に含まれる各注意対象を、短い時間間隔で通過する注意対象群という。上記の例では、歩行者141、142及び143が短い時間間隔で通過する注意対象群に含まれる。また、時間間隔dt1が短く、時間間隔dt2が長く、時間間隔dt3が短い場合は、短い時間間隔で通過する区間の連続数は1個(すなわち、連続しない)である。連続数が2個以上である場合には(すなわち、ステップS14でYESである場合には)、投影制御部40は、ステップS16を実行する。連続数が1個以下である場合には(すなわち、ステップS14でNOである場合には)、演算装置24は、上述したステップS22を実行した後に、再度、ステップS2からの処理を実行する。   In step S <b> 14, the projection control unit 40 determines whether each time interval calculated in step S <b> 12 is shorter than the determination time determined by the determination time determination unit 42. Then, it is determined whether or not the number of consecutive sections between attention objects passing at a time interval shorter than the determination time (hereinafter simply referred to as a short time interval) is greater than the maximum number of time intervals (ie, one). For example, consider a case where pedestrians 141 to 144 exist as shown in FIG. In this example, the time interval dt1 between the pedestrian 141 and the pedestrian 142 is short, the time interval dt2 of the section between the pedestrian 142 and the pedestrian 143 is short, and the time interval between the pedestrian 142 and the pedestrian 143 is When t3 is long, the continuous number of sections that pass at short time intervals is two. Hereinafter, each attention object included in a continuous section that passes at a short time interval is referred to as a attention object group that passes at a short time interval. In the above example, the pedestrians 141, 142, and 143 are included in the attention target group that passes at short time intervals. In addition, when the time interval dt1 is short, the time interval dt2 is long, and the time interval dt3 is short, the number of consecutive sections that pass through the short time interval is 1 (that is, not continuous). When the continuous number is 2 or more (that is, when YES in step S14), the projection control unit 40 executes step S16. When the continuous number is 1 or less (that is, when NO in step S14), the arithmetic unit 24 executes the process from step S2 again after executing step S22 described above.

ステップS16では、投影制御部40は、短い時間間隔で通過する注意対象群に含まれる各注意対象間の各区間を通過する時間間隔が判断時間以上となるように、自車両100の走行速度(目標走行速度)を算出する。例えば、図12の例において、時間間隔dt1〜dt3の全てが判断時間以下である場合には、時間間隔dt1〜dt3の全てが判断時間以上となるように、自車両100の目標走行速度を算出する。この場合、歩行者141〜144の位置及び相対移動ベクトルと、判断時間と、自車両100の現在の走行速度に基づいて、自車両100の目標走行速度が算出される。   In step S <b> 16, the projection control unit 40 determines the traveling speed of the host vehicle 100 so that the time interval passing through each section between the attention objects included in the attention object group passing at a short time interval is equal to or greater than the determination time. Target travel speed) is calculated. For example, in the example of FIG. 12, when all the time intervals dt1 to dt3 are equal to or less than the determination time, the target travel speed of the host vehicle 100 is calculated so that all the time intervals dt1 to dt3 are equal to or greater than the determination time. To do. In this case, the target travel speed of the host vehicle 100 is calculated based on the positions and relative movement vectors of the pedestrians 141 to 144, the determination time, and the current travel speed of the host vehicle 100.

ステップS18では、投影制御部40は、短い時間間隔で通過する注意対象群のうちで自車両が最初に到達する注意対象(すなわち、最も早く到達する注意対象)に到達するまでの到達時間を算出する。そして、算出した到達時間が投影開始時間データ22dが示す投影開始時間(すなわち、2.9秒)より短いか否かを判定する。算出した到達時間が、投影開始時間より長い場合には(すなわち、ステップS18でNOの場合には)、演算装置24は、ステップS2からの処理を再度実行する。算出した到達時間が、投影開始時間より短い場合には(すなわち、ステップS18でYESの場合には)、投影制御部40は、ステップS20を実行する。
例えば、図13に示すように歩行者161〜167が存在し、歩行者162〜164が短い時間間隔で通過する第1の注意対象群171であり、歩行者165〜167が短い時間間隔で通過する第2の注意対象群172である場合(すなわち、歩行者161−162間の区間を通過する時間間隔と歩行者164−165間の区間を通過する時間間隔が判断時間以上であり、他の区間は何れも時間間隔が判断時間未満である場合)を考える。この場合、注意対象群171に含まれる注意対象のうちで最も自車両に早く到達する注意対象(すなわち、歩行者162)に到達するまでの到達時間が投影開始時間より短いときに、ステップS18でYESと判定する。
In step S <b> 18, the projection control unit 40 calculates the arrival time until the host vehicle reaches the attention object that arrives first (that is, the attention object that arrives first) among the attention object group that passes at short time intervals. To do. Then, it is determined whether or not the calculated arrival time is shorter than the projection start time (that is, 2.9 seconds) indicated by the projection start time data 22d. When the calculated arrival time is longer than the projection start time (that is, in the case of NO in step S18), the arithmetic unit 24 executes the processing from step S2 again. When the calculated arrival time is shorter than the projection start time (that is, in the case of YES at step S18), the projection control unit 40 executes step S20.
For example, as shown in FIG. 13, there are pedestrians 161 to 167, the pedestrians 162 to 164 are the first attention object group 171 that passes at a short time interval, and the pedestrians 165 to 167 pass at a short time interval. (Ie, the time interval passing through the section between the pedestrians 161-162 and the time interval passing through the section between the pedestrians 164-165 are equal to or greater than the determination time) (Each section has a time interval less than the judgment time). In this case, when the arrival time to reach the attention object (that is, the pedestrian 162) that reaches the host vehicle earliest among the attention objects included in the attention object group 171 is shorter than the projection start time, in step S18. It determines with YES.

ステップS20では、投影制御部40は、記憶装置22が記憶している投影パターンデータ22eが備えている画像データのうち、ステップS16で算出した目標走行速度に最も近く、かつ、目標走行速度より低い目標走行速度を表示する画像を読み出す。そして、読み出した画像データを投影型表示装置20に送信する。これによって、投影型表示装置20が、受信した画像データが示す画像を自車両100の前方の路面に映し出す。例えば、ステップS16で算出した目標走行速度V2が35km/hであった場合には、投影制御部40は「30km/h」を表示する画像データを記憶装置22から読み出し、投影型表示装置20に送信する。したがって、投影型表示装置20によって、「30km/h」と表示する画像が自車両100の前方の路面に映し出される。したがって、自車両100の運転者は、路面に映し出された画像の指示に従って、自車両100の走行速度を目標走行速度以下まで低下させることができる。自車両100の走行速度を目標走行速度以下に低下させると、全ての注意対象間の区間において判断時間以上の時間間隔で走行することが可能となる。これによって、運転者は、各注意対象を見落とすことなく確実に認識して走行することが可能となる。   In step S20, the projection control unit 40 is closest to the target travel speed calculated in step S16 among the image data included in the projection pattern data 22e stored in the storage device 22, and is lower than the target travel speed. An image displaying the target traveling speed is read out. Then, the read image data is transmitted to the projection display device 20. Thereby, the projection display device 20 projects the image indicated by the received image data on the road surface ahead of the host vehicle 100. For example, when the target travel speed V2 calculated in step S16 is 35 km / h, the projection control unit 40 reads out image data indicating “30 km / h” from the storage device 22 and stores it in the projection display device 20. Send. Therefore, the projection display device 20 displays an image displaying “30 km / h” on the road surface ahead of the host vehicle 100. Therefore, the driver of the own vehicle 100 can reduce the traveling speed of the own vehicle 100 to a target traveling speed or less in accordance with the instruction of the image displayed on the road surface. When the traveling speed of the host vehicle 100 is reduced to be equal to or lower than the target traveling speed, it is possible to travel at a time interval equal to or longer than the determination time in the section between all the attention objects. As a result, the driver can recognize and travel reliably without overlooking each attention object.

演算装置24は、上述した図3の処理を繰り返し実行する。したがって、自車両100の走行中において、自車両100の前方の注意対象が常に特定される。そして、特定された注意対象が以下の条件を満たしているときに、自車両100の前方の路面に減速を指示する画像が映し出される。
(1)注意対象の数が注意対象最大数(すなわち、2個)より多い(すなわち、3個以上である)。
(2)判断時間より短い時間間隔で通過する区間の連続数が時間間隔最大数(すなわち、1個)より多い(すなわち、2個以上である)。
(3)短い時間間隔で通過する注意対象群に含まれる注意対象のうち、自車両が最も早く到達する注意対象に到達するまでの到達時間が、投影開始時間(すなわち、2.9秒)より短い。
The arithmetic unit 24 repeatedly executes the process of FIG. 3 described above. Therefore, the target object in front of the host vehicle 100 is always specified while the host vehicle 100 is traveling. And when the specified attention object satisfies the following conditions, the image which instruct | indicates deceleration on the road surface ahead of the own vehicle 100 is projected.
(1) The number of attention objects is greater than the maximum number of attention objects (that is, 2) (that is, 3 or more).
(2) The number of consecutive sections passing at a time interval shorter than the determination time is greater than the maximum number of time intervals (ie, 1) (ie, 2 or more).
(3) Among the attention objects included in the attention object group that passes at a short time interval, the arrival time until the host vehicle reaches the attention object that reaches the earliest is calculated from the projection start time (that is, 2.9 seconds). short.

このように、本実施例の減速指示装置は、自車両100の前方の状況が上記(1)〜(3)の条件を満たしていることにより、運転者が各注意対象を正確に認識できない虞がある場合に、減速を指示する画像を投影する。したがって、運転者は、自車両100を安全な速度まで減速させることができる。すなわち、各注意対象を正確に認識できる速度で各注意対象を通過することができる。また、運転者に複数の情報を伝達するのではなく、自車両100の目標走行速度を運転者に伝達するので、運転者は判断に迷うことなく自車両100の走行速度を低下させることができる。また、自車両100の前方の路面に画像を写し出すことで減速を指示するので、運転者は視点や焦点をほとんど動かすことなく減速の指示(すなわち、目標走行速度)を確認することができる。   Thus, the deceleration instruction apparatus according to the present embodiment may prevent the driver from accurately recognizing each caution target because the situation ahead of the host vehicle 100 satisfies the above conditions (1) to (3). When there is, an image for instructing deceleration is projected. Therefore, the driver can decelerate the host vehicle 100 to a safe speed. In other words, each attention object can be passed at a speed at which each attention object can be accurately recognized. In addition, since a plurality of information is not transmitted to the driver but the target travel speed of the host vehicle 100 is transmitted to the driver, the driver can reduce the travel speed of the host vehicle 100 without hesitation. . In addition, since an image is projected on the road surface in front of the host vehicle 100, the driver can confirm the deceleration (that is, the target traveling speed) without moving the viewpoint or the focus.

また、上述した実施例では、進入歩行者特定部31が、歩行者特定部26で特定された歩行者の中から自車両100の走行予定範囲に進入する可能性がある進入歩行者を特定し、特定した進入歩行者だけを注意対象として出力する。したがって、不要に多くの歩行者が注意対象とされて、不要な場合にまで減速を指示する画像が投影されてしまうことが防止されている。   Moreover, in the Example mentioned above, the approaching pedestrian specific | specification part 31 specifies the approaching pedestrian who may enter into the planned driving | running | working range of the own vehicle 100 from the pedestrian specified by the pedestrian specific part 26. Only the specified approaching pedestrian is output as a target of attention. Therefore, it is possible to prevent an excessively large number of pedestrians from becoming an object of attention and projecting an image instructing deceleration until unnecessary.

また、上述した実施例では、同行体特定部30が、同行体である歩行者を特定する。そして、進入歩行者特定部31が、同行体である複数の歩行者を1の歩行者として処理する。したがって、同行体である歩行者の間の区間を通過する時間間隔(すなわち、非常に短い時間間隔)が算出されて、減速を指示する画像が投影されてしまうことが防止されている。   Moreover, in the Example mentioned above, the accompanying body specific | specification part 30 specifies the pedestrian who is an accompanying body. And approaching pedestrian specific part 31 processes a plurality of pedestrians who are accompanying bodies as one pedestrian. Therefore, it is possible to prevent a time interval (that is, a very short time interval) passing through a section between pedestrians who are accompanying persons from being calculated and projecting an image instructing deceleration.

また、上述した実施例では、注意対象最大数と時間間隔最大数が設定されている。したがって、運転者が各注意対象を確実に認識できる場合にまで減速を指示する画像が投影されてしまうことが防止されている。   In the above-described embodiment, the maximum number of attention objects and the maximum number of time intervals are set. Therefore, it is prevented that an image instructing deceleration is projected until the driver can surely recognize each attention object.

なお、上述した実施例では、判断時間を走行時の状況(運転時間、眠気指数、わき見指数、降雨量、暗さ、及び、注意対象の数)に基づいて変更した。しかしながら、判断時間は固定値であってもよい。また、判断時間を、運転者の能力(運転者の年齢や性別等)に応じて変更してもよい。判断時間の設定は、運転者自身で行ってもよいし、メーカ側で予め設定しておいてもよい。
また、上述した実施例では、注意対象最大数が2個であったが、注意対象最大数は、運転者の能力や走行時の状況等に応じて変更してもよい。注意対象最大数の設定は、運転者自身で行ってもよいし、メーカ側で予め設定しておいてもよい。
また、上述した実施例では、時間間隔最大数が1個であったが、時間間隔最大数は、運転者の能力や走行時の状況等に応じて変更してもよい。時間間隔最大数の設定は、運転者自身で行ってもよいし、メーカ側で予め設定しておいてもよい。
また、上述した実施例では、投影開始時間が2.9秒であったが、投影開始時間は、運転者の能力や走行時の状況等に応じて変更してもよい。投影開始距離の設定は、運転者自身で行ってもよいし、メーカ側で予め設定しておいてもよい。また、投影を開始するタイミングを投影開始時間で判断するのではなく、最初に到達する注意対象までの距離が一定値以下となったら投影を開始するようにしてもよい。
In the above-described embodiment, the determination time is changed based on the driving condition (driving time, sleepiness index, side index, rainfall amount, darkness, and the number of attention objects). However, the determination time may be a fixed value. Moreover, you may change judgment time according to a driver | operator's ability (a driver | operator's age, sex, etc.). The determination time may be set by the driver himself or may be set in advance by the manufacturer.
In the above-described embodiment, the maximum number of attention objects is two. However, the maximum number of attention objects may be changed according to the ability of the driver, the situation at the time of driving, and the like. The maximum number of attention objects may be set by the driver himself or may be set in advance by the manufacturer.
In the above-described embodiment, the maximum number of time intervals is 1. However, the maximum number of time intervals may be changed according to the ability of the driver, the situation at the time of traveling, and the like. The maximum number of time intervals may be set by the driver himself or may be set in advance by the manufacturer.
In the above-described embodiment, the projection start time is 2.9 seconds. However, the projection start time may be changed according to the ability of the driver, the situation at the time of traveling, and the like. The projection start distance may be set by the driver himself or may be set in advance by the manufacturer. Further, instead of determining the timing to start projection based on the projection start time, the projection may be started when the distance to the attention object that reaches first becomes a certain value or less.

また、上述した実施例では、カメラ12aの画像とカメラ12bの画像の差から、各注意対象(歩行者、駐車車両、及び、障害物)の位置を算出していた。しかしながら、減速指示装置10が、レーザレーダやミリ波レーダ等のように注意対象の位置を測定する装置を備えていてもよい。このような構成によっても、注意対象の位置を測定することができる。なお、この場合には、カメラ(すなわち、自車両100の前方の画像を取得する装置)は1台であってもよい。また、平面投影ステレオ法(2台のカメラで前方を撮影し、一方のカメラの画像データの画素の値と他方のカメラの画像データの対応する画素の値の差分値を算出して物体を特定する方法)を用いてもよい。また、移動ステレオ技術(1台のカメラで連続して画像を撮影し、連続撮影した画像から立体物を特定する技術)を用いてもよい。この場合にも、カメラを1台とすることができる。   Moreover, in the Example mentioned above, the position of each attention object (a pedestrian, a parked vehicle, and an obstruction) was calculated from the difference of the image of the camera 12a, and the image of the camera 12b. However, the deceleration instruction device 10 may include a device that measures the position of the attention object, such as a laser radar or a millimeter wave radar. Even with such a configuration, the position of the attention object can be measured. In this case, the number of cameras (that is, a device that acquires an image in front of the host vehicle 100) may be one. Planar projection stereo method (photographs the front with two cameras, calculates the difference between the pixel value of the image data of one camera and the corresponding pixel value of the image data of the other camera, and identifies the object) Method). Alternatively, a moving stereo technique (a technique for continuously capturing images with a single camera and identifying a three-dimensional object from the continuously captured images) may be used. Also in this case, one camera can be used.

また、上述した実施例では、自車両100の前方の路面に、目標走行速度を示す画像を映し出したが、他の画像を映し出してもよい。
例えば、「徐行」、「速度を落とせ」等のメッセージを表示するようにしても良い。
また、図14に示す例のように、自車両100の前方の路面に、自車両100の進行方向を横切る縞模様を映し出してもよい。このとき、自車両100の走行速度と略同じ速度で縞模様が手前側に移動するように(すなわち、図14の矢印150に示す向きに移動するように)画像を変化させる。このように投影された縞模様は、運転者から見ると路面の凹凸のように見える。したがって、運転者に自車両100の減速を促すことができる。
また、図14に示す例においては、自車両100の走行速度より速い速度で縞模様が手前側に移動するように画像を変化させてもよい。このような構成によれば、運転者は、実際の自車両100の走行速度よりも速い速度で走行している感覚になる。したがって、運転者に自車両100の減速を促すことができる。
また、例えば図15に示す例のように、自車両100の前方の中央部(車幅に対する中央部)だけを照射し、自車両100の前方の脇部(車幅に対する脇部)を照射しない画像を映し出してもよい。このような構成によれば、運転者は、自車両100が走行する道路の幅を狭く感じる。したがって、運転者に自車両100の減速を促すことができる。
In the above-described embodiment, the image indicating the target traveling speed is displayed on the road surface in front of the host vehicle 100, but another image may be displayed.
For example, a message such as “slow speed” or “slow down” may be displayed.
Further, as in the example illustrated in FIG. 14, a striped pattern across the traveling direction of the host vehicle 100 may be projected on the road surface in front of the host vehicle 100. At this time, the image is changed so that the striped pattern moves to the near side at the substantially same speed as the traveling speed of the host vehicle 100 (that is, moves in the direction indicated by the arrow 150 in FIG. 14). The projected stripe pattern looks like road surface unevenness when viewed from the driver. Therefore, the driver can be prompted to decelerate the host vehicle 100.
In the example shown in FIG. 14, the image may be changed so that the striped pattern moves to the near side at a speed faster than the traveling speed of the host vehicle 100. According to such a configuration, the driver feels that he is traveling at a speed faster than the actual traveling speed of the host vehicle 100. Therefore, the driver can be prompted to decelerate the host vehicle 100.
Further, for example, as in the example shown in FIG. 15, only the front central portion (the central portion with respect to the vehicle width) of the host vehicle 100 is irradiated, and the side portion in front of the own vehicle 100 (the side portion with respect to the vehicle width) is not irradiated. An image may be projected. According to such a configuration, the driver feels that the width of the road on which the host vehicle 100 travels is narrow. Therefore, the driver can be prompted to decelerate the host vehicle 100.

また、上述した実施例の減速指示装置10は、日中と夜間の何れにおいて作動させてもよい。但し、夜間においては運転者が注意対象を認識し難くなるため、夜間に作動させた方が効果が高い。   Further, the deceleration instruction device 10 of the above-described embodiment may be operated either during the day or at night. However, since it is difficult for the driver to recognize the attention object at night, it is more effective to operate at night.

なお、上述した減速指示装置10は、単独で用いても高い効果を得ることができるが、従来技術のように注意対象に向けてスポット光を照射する技術と組み合わせて用いることで、注意対象の認識性を高めることができる。例えば、時間間隔が短くなる注意対象間の区間の連続数が時間間隔最大数より多いときには減速指示画像を投影し、連続数が時間間隔最大数以下であるときには各注意対象にスポット光を照射するようにしてもよい。このような構成によれば、ドライバーは、各注意対象を見落とさず、より安全に走行することが可能となる。   In addition, although the deceleration instruction | indication apparatus 10 mentioned above can acquire a high effect, even if it uses independently, it is used in combination with the technique which irradiates a spot light toward an attention object like the prior art, Recognition can be improved. For example, a deceleration instruction image is projected when the number of consecutive intervals between attention objects whose time intervals are shorter than the maximum number of time intervals, and spot light is irradiated to each attention object when the number of consecutive times is less than the maximum number of time intervals. You may do it. According to such a configuration, the driver can travel more safely without overlooking each attention target.

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例をさまざまに変形、変更したものが含まれる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
Specific examples of the present invention have been described in detail above, but these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above.
The technical elements described in this specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the technology illustrated in the present specification or the drawings achieves a plurality of objects at the same time, and has technical utility by achieving one of the objects.

自車両100に搭載されている減速指示装置10の概略構成を示す図。The figure which shows schematic structure of the deceleration instruction | indication apparatus 10 mounted in the own vehicle 100. FIG. 減速指示装置10の構成を示すブロック図。FIG. 2 is a block diagram showing a configuration of a deceleration instruction device 10. 演算装置24が実行する処理を示すフローチャート。The flowchart which shows the process which the arithmetic unit 24 performs. 進入歩行者を特定する処理を示すフローチャート。The flowchart which shows the process which specifies an approaching pedestrian. 歩行者の位置算出方法を説明する説明図。Explanatory drawing explaining the position calculation method of a pedestrian. カメラ12aで撮影された画像を例示する図。The figure which illustrates the picture photoed with camera 12a. カメラ12bで撮影された画像を例示する図。The figure which illustrates the picture photoed with camera 12b. 進入歩行者の特定方法を説明する図。The figure explaining the identification method of an approaching pedestrian. 駐車車両を特定する処理を示すフローチャート。The flowchart which shows the process which specifies a parked vehicle. 注意対象への到達時間を説明する説明図。Explanatory drawing explaining the arrival time to attention object. 注意対象への到達時間を説明する説明図。Explanatory drawing explaining the arrival time to attention object. 各注意対象を通過する時間間隔を説明する説明図。Explanatory drawing explaining the time interval which passes each attention object. 投影開始タイミングを説明する説明図。Explanatory drawing explaining the projection start timing. 変形例の減速指示装置が自車両100の前方の路面に投影する画像を示す図。The figure which shows the image which the deceleration instruction | indication apparatus of a modification projects on the road surface ahead of the own vehicle. 変形例の減速指示装置が自車両100の前方の路面に投影する画像を示す図。The figure which shows the image which the deceleration instruction | indication apparatus of a modification projects on the road surface ahead of the own vehicle.

符号の説明Explanation of symbols

10:減速指示装置
12a:カメラ
12b:カメラ
14:カーナビゲーションシステム
14a:マップデータ記憶部
14b:自車両位置算出部
14c:GPSアンテナ
16:速度センサ
18:操舵角センサ
20a:投影型表示装置
20b:投影型表示装置
22:記憶装置
22b:注意対象最大数データ
22c:時間間隔最大数データ
22d:投影開始時間データ
22e:投影パターンデータ
24:演算装置
25:交差点特定部
26:歩行者特定部
27:歩行者位置算出部
28:歩行者位置記憶部
29:歩行者移動速度算出部
30:同行体特定部
31:進入歩行者特定部
32:他車両特定部
33:他車両位置算出部
34:他車両位置記憶部
35:他車両移動速度算出部
36:駐車車両特定部
37:障害物特定部
38:到達時間算出部
39:時間間隔予測部
40:投影制御部
100:自車両
10: Deceleration instruction device 12a: Camera 12b: Camera 14: Car navigation system 14a: Map data storage unit 14b: Own vehicle position calculation unit 14c: GPS antenna 16: Speed sensor 18: Steering angle sensor 20a: Projection type display device 20b: Projection type display device 22: storage device 22b: attention object maximum number data 22c: time interval maximum number data 22d: projection start time data 22e: projection pattern data 24: arithmetic device 25: intersection specifying unit 26: pedestrian specifying unit 27: Pedestrian position calculation unit 28: Pedestrian position storage unit 29: Pedestrian movement speed calculation unit 30: Accompanying body specifying unit 31: Entering pedestrian specifying unit 32: Other vehicle specifying unit 33: Other vehicle position calculating unit 34: Other vehicle Position storage unit 35: other vehicle moving speed calculation unit 36: parked vehicle identification unit 37: obstacle identification unit 38: arrival time calculation unit 39: time Interval prediction unit 40: the projection control unit 100: vehicle

Claims (6)

走行中の自車両の前方の状況に応じて運転者に減速を指示する装置であって、
判断時間を決定する判断時間決定手段と、
自車両の前方の路面に画像を投影する投影手段と、
自車両の前方の注意対象の位置と相対移動速度を特定して出力する注意対象情報出力手段と、
注意対象情報出力手段によって複数の注意対象の位置と相対移動速度が出力されたときに、出力された各注意対象の位置と相対移動速度に基づいて、自車両が各注意対象に到達するのに要する到達時間を算出する到達時間算出手段と、
到達時間算出手段によって算出された各到達時間から、自車両が各注意対象を通過する時間間隔を予測する時間間隔予測手段と、
時間間隔予測手段によって予測された時間間隔のうちの少なくとも1つが判断時間決定手段によって決定された判断時間より短いときに、投影手段によって自車両の前方の路面に減速を指示する画像を投影する投影制御手段、
を備えていることを特徴とする減速指示装置。
A device for instructing the driver to decelerate according to the situation ahead of the traveling vehicle,
A determination time determining means for determining a determination time;
Projecting means for projecting an image onto the road surface ahead of the host vehicle;
Attention object information output means for specifying and outputting the position of the attention object in front of the host vehicle and the relative movement speed;
When the position and relative movement speed of a plurality of attention objects are output by the attention object information output means, the own vehicle reaches each attention object based on the output position and relative movement speed of each attention object. An arrival time calculating means for calculating the required arrival time;
A time interval prediction means for predicting a time interval in which the host vehicle passes each attention object from each arrival time calculated by the arrival time calculation means;
Projection that projects an image instructing deceleration on the road surface ahead of the host vehicle when at least one of the time intervals predicted by the time interval prediction unit is shorter than the determination time determined by the determination time determination unit Control means,
A deceleration instructing device comprising:
注意対象情報出力手段が、
自車両の前方の画像を取得する画像取得手段と、
画像取得手段によって取得された画像から歩行者の位置を特定する歩行者位置特定手段と、
歩行者位置特定手段によって特定された歩行者の位置を記憶する歩行者位置記憶手段と、
歩行者位置記憶手段によって記憶されている歩行者の過去の位置と、歩行者位置特定手段によって特定された歩行者の現在の位置から、歩行者の相対移動速度を特定する歩行者相対移動速度特定手段と、
歩行者位置特定手段によって特定された歩行者の現在の位置と、歩行者相対移動速度特定手段によって特定された歩行者の相対移動速度から、自車両の走行予定範囲に進入する可能性がある歩行者の位置と相対移動速度を特定して出力する進入歩行者情報出力手段、
を備えていることを特徴とする請求項1に記載の減速指示装置。
Attention target information output means,
Image acquisition means for acquiring an image ahead of the host vehicle;
Pedestrian position specifying means for specifying the position of the pedestrian from the image acquired by the image acquisition means;
Pedestrian position storage means for storing the position of the pedestrian specified by the pedestrian position specifying means;
Pedestrian relative movement speed specification that specifies the relative movement speed of the pedestrian from the past position of the pedestrian stored by the pedestrian position storage means and the current position of the pedestrian specified by the pedestrian position specification means Means,
Walking that may enter the planned travel range of the vehicle from the current position of the pedestrian specified by the pedestrian position specifying means and the relative movement speed of the pedestrian specified by the pedestrian relative movement speed specifying means Pedestrian information output means for specifying and outputting the position and relative movement speed of the person,
The deceleration instruction device according to claim 1, further comprising:
注意対象情報出力手段が、
自車両の走行速度を検出する走行速度検出手段と、
マップデータを記憶しておくマップデータ記憶手段と、
GPS信号を受信するGPS信号受信手段と、
GPS信号受信手段によって受信されたGPS信号から自車両の位置を算出する自車両位置算出手段と、
マップデータ記憶手段によって記憶されているマップデータと自車両位置算出手段によって算出された自車両の位置から、自車両の前方に存在する交差点の位置を特定する交差点位置特定手段と、
交差点位置特定手段によって特定された交差点の位置と、走行速度検出手段によって検出された走行速度を出力する交差点情報出力手段、
を備えていることを特徴とする請求項1または2に記載の減速指示装置。
Attention target information output means,
Traveling speed detecting means for detecting the traveling speed of the host vehicle;
Map data storage means for storing map data;
GPS signal receiving means for receiving GPS signals;
Own vehicle position calculating means for calculating the position of the own vehicle from the GPS signal received by the GPS signal receiving means;
An intersection position specifying means for specifying the position of an intersection existing ahead of the own vehicle from the map data stored by the map data storage means and the position of the own vehicle calculated by the own vehicle position calculating means;
Intersection information output means for outputting the position of the intersection specified by the intersection position specifying means and the traveling speed detected by the traveling speed detecting means;
The deceleration instruction device according to claim 1 or 2, further comprising:
注意対象情報出力手段が、
自車両の走行速度を検出する走行速度検出手段と、
自車両の前方の画像を取得する画像取得手段と、
画像取得手段によって取得された画像から自車両の前方の他車両の位置を特定する他車両位置特定手段と、
他車両位置特定手段によって特定された他車両の位置を記憶する他車両位置記憶手段と、
他車両位置記憶手段によって記憶されている他車両の過去の位置と、他車両位置特定手段によって特定された他車両の現在の位置と、走行速度検出手段によって検出された走行速度から、他車両の絶対移動速度を特定する他車両絶対移動速度特定手段と、
他車両位置特定手段によって特定された他車両の位置と、他車両絶対移動速度特定手段によって特定された他車両の絶対移動速度に基づいて、駐車車両の位置を特定する駐車車両位置特定手段と、
駐車車両位置特定手段によって特定された駐車車両の位置と、走行速度検出手段によって検出された走行速度を出力する駐車車両情報出力手段、
を備えていることを特徴とする請求項1〜3のいずれか一項に記載の減速指示装置。
Attention target information output means,
Traveling speed detecting means for detecting the traveling speed of the host vehicle;
Image acquisition means for acquiring an image ahead of the host vehicle;
Other vehicle position specifying means for specifying the position of the other vehicle in front of the host vehicle from the image acquired by the image acquisition means;
Other vehicle position storage means for storing the position of the other vehicle specified by the other vehicle position specifying means;
Based on the past position of the other vehicle stored in the other vehicle position storage means, the current position of the other vehicle specified by the other vehicle position specifying means, and the travel speed detected by the travel speed detection means, Other vehicle absolute moving speed specifying means for specifying the absolute moving speed;
Based on the position of the other vehicle specified by the other vehicle position specifying means and the absolute movement speed of the other vehicle specified by the other vehicle absolute movement speed specifying means, the parked vehicle position specifying means for specifying the position of the parked vehicle;
Parked vehicle information output means for outputting the position of the parked vehicle specified by the parked vehicle position specifying means and the running speed detected by the running speed detecting means;
The deceleration instruction apparatus according to any one of claims 1 to 3, further comprising:
時間間隔最大数を記憶しておく時間間隔最大数記憶手段をさらに有しており、
投影制御手段が、判断時間より短い時間間隔で通過する注意対象間の区間の連続数が時間間隔最大数より多いときに、投影手段によって前記画像を投影することを特徴とする請求項1〜4のいずれか一項に記載の減速指示装置。
It further has a time interval maximum number storage means for storing the maximum number of time intervals,
The projection control means projects the image by the projecting means when the number of consecutive sections between attention objects passing at a time interval shorter than the determination time is larger than the maximum number of time intervals. The deceleration instruction device according to any one of the above.
自車両の前方の注意対象の位置と相対移動速度を特定して出力する注意対象情報出力手段と、
自車両の前方の路面に画像を投影する投影手段と、
を備えた装置を用いて、走行中の自車両の前方の状況に応じて運転者に減速を指示する方法であって、
判断時間を決定するステップと、
注意対象情報出力手段によって複数の注意対象の位置と相対移動速度が出力されたときに、出力された各注意対象の位置と相対移動速度に基づいて、自車両が各注意対象に到達するのに要する到達時間を算出するステップと、
算出した各到達時間から、自車両が各注意対象を通過する時間間隔を予測するステップと、
予測した時間間隔のうちの少なくとも1つが決定した判断時間より短いときに、投影手段によって自車両の前方の路面に減速を指示する画像を投影するステップ、
を備えていることを特徴とする減速指示方法。
Attention object information output means for specifying and outputting the position of the attention object in front of the host vehicle and the relative movement speed;
Projecting means for projecting an image onto the road surface ahead of the host vehicle;
A method of instructing the driver to decelerate according to the situation ahead of the host vehicle while traveling,
Determining a decision time;
When the position and relative movement speed of a plurality of attention objects are output by the attention object information output means, the own vehicle reaches each attention object based on the output position and relative movement speed of each attention object. Calculating the required arrival time;
Predicting the time interval at which the vehicle passes each attention object from the calculated arrival times;
Projecting an image instructing deceleration on the road surface ahead of the host vehicle when at least one of the predicted time intervals is shorter than the determined determination time;
A deceleration instruction method comprising:
JP2008059716A 2008-03-10 2008-03-10 Deceleration instruction device and deceleration instruction method Active JP5018571B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008059716A JP5018571B2 (en) 2008-03-10 2008-03-10 Deceleration instruction device and deceleration instruction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008059716A JP5018571B2 (en) 2008-03-10 2008-03-10 Deceleration instruction device and deceleration instruction method

Publications (2)

Publication Number Publication Date
JP2009217479A true JP2009217479A (en) 2009-09-24
JP5018571B2 JP5018571B2 (en) 2012-09-05

Family

ID=41189264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008059716A Active JP5018571B2 (en) 2008-03-10 2008-03-10 Deceleration instruction device and deceleration instruction method

Country Status (1)

Country Link
JP (1) JP5018571B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146096A (en) * 2015-02-09 2016-08-12 株式会社デンソー Drive support device and drive support program
WO2019016910A1 (en) * 2017-07-20 2019-01-24 株式会社トヨタマップマスター New road deduction assistance device, new road deduction assistance method, computer program, and recording medium recording computer program
WO2024024577A1 (en) * 2022-07-25 2024-02-01 スタンレー電気株式会社 Vehicle light distribution system and vehicle light distribution method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05307696A (en) * 1992-04-28 1993-11-19 Sumitomo Electric Ind Ltd Parking vehicle detection method
JPH10111140A (en) * 1996-10-04 1998-04-28 Sumitomo Electric Ind Ltd Guidance apparatus for crossing
JP2004355324A (en) * 2003-05-29 2004-12-16 Nissan Motor Co Ltd Contact avoidance control device for vehicle
JP2005128829A (en) * 2003-10-24 2005-05-19 Nissan Motor Co Ltd Information provision device for vehicle and method therefor
JP2008003880A (en) * 2006-06-23 2008-01-10 Honda Motor Co Ltd Vehicle periphery monitoring system, vehicle periphery monitoring program and method for constructing vehicle periphery monitoring system and server

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05307696A (en) * 1992-04-28 1993-11-19 Sumitomo Electric Ind Ltd Parking vehicle detection method
JPH10111140A (en) * 1996-10-04 1998-04-28 Sumitomo Electric Ind Ltd Guidance apparatus for crossing
JP2004355324A (en) * 2003-05-29 2004-12-16 Nissan Motor Co Ltd Contact avoidance control device for vehicle
JP2005128829A (en) * 2003-10-24 2005-05-19 Nissan Motor Co Ltd Information provision device for vehicle and method therefor
JP2008003880A (en) * 2006-06-23 2008-01-10 Honda Motor Co Ltd Vehicle periphery monitoring system, vehicle periphery monitoring program and method for constructing vehicle periphery monitoring system and server

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146096A (en) * 2015-02-09 2016-08-12 株式会社デンソー Drive support device and drive support program
WO2019016910A1 (en) * 2017-07-20 2019-01-24 株式会社トヨタマップマスター New road deduction assistance device, new road deduction assistance method, computer program, and recording medium recording computer program
JPWO2019016910A1 (en) * 2017-07-20 2019-11-07 株式会社トヨタマップマスター New road estimation support device, new road estimation support method, computer program, and recording medium recording computer program
WO2024024577A1 (en) * 2022-07-25 2024-02-01 スタンレー電気株式会社 Vehicle light distribution system and vehicle light distribution method

Also Published As

Publication number Publication date
JP5018571B2 (en) 2012-09-05

Similar Documents

Publication Publication Date Title
US11155249B2 (en) Systems and methods for causing a vehicle response based on traffic light detection
US11511750B2 (en) Image-based velocity control for a turning vehicle
US10176720B2 (en) Auto driving control system
JP7397807B2 (en) Rider assistance system and method
JP6648411B2 (en) Processing device, processing system, processing program and processing method
US9751506B2 (en) Algorithms for avoiding automotive crashes at left and right turn intersections
US9965956B2 (en) Collision risk calculation device, collision risk display device, and vehicle body control device
US10665108B2 (en) Information processing apparatus and non-transitory computer-readable recording medium
KR101328363B1 (en) Lane departure prevention support apparatus, method of displaying a lane boundary line and program
CN108883777B (en) Driving support system and display device
US9493072B2 (en) Safety confirmation support system for vehicle driver and method for supporting safety confirmation of vehicle driver
JP2018195301A (en) Control device and control method
JP6705437B2 (en) Inattentive judgment device, inattentive judgment method, and program for inattentive judgment
US20130058116A1 (en) Method and device for changing a light emission of at least one headlight of a vehicle
JP2016001464A (en) Processor, processing system, processing program, and processing method
JP2016001170A (en) Processing unit, processing program and processing method
JP2008514497A (en) Driver support method and apparatus
JP2006224754A (en) Driving assistance system
JP2018025977A (en) Automatic operation system
WO2016067545A1 (en) Gaze guidance device
JP2019199251A (en) Method and driver assistance system for assisting driver in driving vehicle
JP2010072836A (en) Peripheral monitoring device
JP2010012904A (en) Drive assist device
JP5018571B2 (en) Deceleration instruction device and deceleration instruction method
JP2016031603A (en) Display system for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120528

R151 Written notification of patent or utility model registration

Ref document number: 5018571

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3