JP2009154775A - Attention awakening device - Google Patents

Attention awakening device Download PDF

Info

Publication number
JP2009154775A
JP2009154775A JP2007336904A JP2007336904A JP2009154775A JP 2009154775 A JP2009154775 A JP 2009154775A JP 2007336904 A JP2007336904 A JP 2007336904A JP 2007336904 A JP2007336904 A JP 2007336904A JP 2009154775 A JP2009154775 A JP 2009154775A
Authority
JP
Japan
Prior art keywords
range
driver
vehicle
blind spot
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007336904A
Other languages
Japanese (ja)
Other versions
JP5003473B2 (en
Inventor
Kanae Murata
香苗 村田
Yoshiteru Omura
義輝 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2007336904A priority Critical patent/JP5003473B2/en
Publication of JP2009154775A publication Critical patent/JP2009154775A/en
Application granted granted Critical
Publication of JP5003473B2 publication Critical patent/JP5003473B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide technology actually displaying a range difficult for a driver to respond in real time by actually drawing the range on a road surface. <P>SOLUTION: A range of a dead angle of the driver, a range unavoidable by the driver, a range outside visual field of the driver or the like is the range of difficult responding for the driver. Therefore, a specifying means for specifying a range on the road surface of difficult responding for the driver and an on-vehicle type drawing means for actually drawing the range by irradiating the road surface of the range specified by the specifying means from the vehicle are mounted on the vehicle. Thereby, the range of difficult responding for the driver of the vehicle can be actually drawn/displayed on the road surface, and relative to the object to be attention-awakened such as a pedestrian present at a periphery, it can be directly informed that he is present in the range of difficult responding. Alternatively, relative to the object to be attention-awakened, it can be directly informed that he is about to be intruded to the range of difficult responding. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

車両の周囲には、各種の理由によって運転者が対処することが困難な範囲が存在する。例えば、運転者の死角内に避けるべき対象が存在していても、死角内にあるために運転者がその対象を認識できていなければ、運転者は的確に対処することが難しい。あるいは、走行している車両は制動距離を必要とすることから、制動距離の範囲内に突然に避けるべき対象が移動してくることがあれば、運転者は的確に対処することが難しい。あるいは、運転者の視野外の範囲に避けるべき対象が存在していても、運転者は的確に対処することが難しい。
本発明では、上記の理由等によって運転者が的確に対処することが困難な範囲を、路面に実際に描画する。本発明では、車載式描画手段によって路面を照射して前記した範囲を実際に描画する。以下では、車載式描画手段を備えている車両を自車両という。
自車両の周囲には、歩行者、自転車、オートバイ、自動車等が存在する。周囲に存在している歩行者や運転者等に、自車両では対処することが困難な範囲を知ってもらうことができれば、その範囲を知った者の注意を喚起することができる。
本発明は、自車両では対処することが困難な範囲を路面に実際に描画し、自車両の周囲に居る歩行者や運転者等にその範囲を知ってもらい、その範囲に居る歩行者や運転者等の注意を喚起する技術に関する。
There are areas around the vehicle that are difficult for the driver to deal with for various reasons. For example, even if there is a target to be avoided in the driver's blind spot, if the driver cannot recognize the target because it is in the blind spot, it is difficult for the driver to deal with it accurately. Alternatively, since a traveling vehicle requires a braking distance, it is difficult for the driver to deal with it accurately if an object to be avoided suddenly moves within the range of the braking distance. Or even if there is an object to be avoided in a range outside the driver's field of view, it is difficult for the driver to deal with it accurately.
In the present invention, the range in which it is difficult for the driver to deal with the problem accurately due to the above-described reasons is actually drawn on the road surface. In the present invention, the above-mentioned range is actually drawn by irradiating the road surface by the on-vehicle drawing means. Below, the vehicle provided with the vehicle-mounted drawing means is referred to as the own vehicle.
There are pedestrians, bicycles, motorcycles, automobiles, etc. around the host vehicle. If pedestrians, drivers, and the like existing in the surroundings can know a range that is difficult to deal with by the host vehicle, the attention of those who know the range can be alerted.
The present invention actually draws a range that is difficult to deal with with the host vehicle on the road surface, asks pedestrians and drivers around the host vehicle to know the range, and walks and drives within the range It is related with technology to call attention of person.

車両が安全に走行できるようにするさまざまな技術が開発されている。
例えば、SmartEye Pro & AntiSleepシステムが、株式会社東陽テクニカから販売されており、運転者の視線方位を±1度の精度で計測することが可能となっている。
非特許文献1にも、視線方位の検出技術が記載されている。
非特許文献2には、撮影した映像データから、歩行者、自転車、オートバイ、自動車等を抽出する技術が開示されている。
非特許文献3には、レーザーレーダで得られたデータから、歩行者を抽出し、抽出された歩行者が存在する方位と歩行者までの距離を特定する技術が開示されている。
非特許文献4にも、障害物の存在領域を特定する技術が開示されている。
特許文献1には、車両に運転者が着座したときの死角範囲を計算する技術が開示されている。
特許文献2には、死角範囲をディスプレイに表示したり、あるいは印刷したりすることによって、運転者の死角範囲を表示する技術を開示している。
このように、車両の安全性を向上させるためのさまざまな技術が開発されている。
Various technologies have been developed that allow vehicles to travel safely.
For example, SmartEye Pro & AntiSleep system is sold by Toyo Technica Co., Ltd., and it is possible to measure the driver's gaze direction with an accuracy of ± 1 degree.
Non-Patent Document 1 also describes a technique for detecting the viewing direction.
Non-Patent Document 2 discloses a technique for extracting pedestrians, bicycles, motorcycles, automobiles, and the like from captured video data.
Non-Patent Document 3 discloses a technique for extracting a pedestrian from data obtained by a laser radar, and specifying a direction in which the extracted pedestrian exists and a distance to the pedestrian.
Non-Patent Document 4 also discloses a technique for specifying an obstacle existing area.
Patent Document 1 discloses a technique for calculating a blind spot range when a driver is seated on a vehicle.
Patent Document 2 discloses a technique for displaying a blind spot range of a driver by displaying or printing the blind spot range on a display.
As described above, various techniques for improving the safety of the vehicle have been developed.

信学技報 PRMU2005-200, pp13-18 (2005) 「アイモデルを用いたCondensationによる黒目追跡」IEICE technical report PRMU2005-200, pp13-18 (2005) "Black eye tracking by Condensation using eye model" 第12回画像センシングシンポジウム予稿集、pp277−283 (June, 2006) 「屋外環境下における移動体識別に用いる入力特徴のAdaBoostによる評価」Proceedings of the 12th Image Sensing Symposium, pp277-283 (June, 2006) "Evaluation of input features used for moving object identification in outdoor environment using AdaBoost" デンソーテクニカルレビュー Vol.12, No.1, p35-39 (2007)「レーザーレーダによる歩行者認識技術」Denso Technical Review Vol.12, No.1, p35-39 (2007) "Pedestrian Recognition Technology Using Laser Radar" 第12回ロボット学会学術講演会 pp 323-324 (1994) 「ステレオン視による障害物の検知」12th Annual Conference of the Robotics Society of Japan pp 323-324 (1994) "Detection of Obstacles with Stereon Vision" 特開平9−197950号公報JP-A-9-197950 特開平10−49041号公報Japanese Patent Laid-Open No. 10-49041

特許文献1の技術を用いれば、自車両の死角範囲を知ることができる。死角範囲がどこにあるのかを知りたいのは、その車両の周囲に居る歩行者や運転者である。歩行者等が、周囲に存在している車両の死角範囲内に居ることを知ることができれば、歩行者等は危険を避けるための行動をとることができる。特許文献1の技術では、自車両の死角範囲を知ることはできても、それを周囲に居る歩行者等に知らせることができない。特許文献2の技術では、死角範囲を表示する。しかしながら、特許文献2の技術では、死角範囲を運転者が見る表示装置に表示する。あるいは、印刷して車体に貼る。運転者が見る表示装置に死角範囲を表示しても、その車両の死角範囲に居る歩行者等に、死角範囲内に居ることを知らせることができない。印刷したグラフを車体に貼ることによって歩行者等に死角範囲を知らせることも実際的でない。
現状の技術によって、死角範囲を計算することはできても、現状の技術では、死角範囲内に居ることを知らせる必要がある人に、死角範囲内に居ることを知らせる方法がない。
If the technique of patent document 1 is used, the blind spot range of the own vehicle can be known. Pedestrians and drivers around the vehicle want to know where the blind spot range is. If it is possible to know that a pedestrian or the like is within the blind spot range of a vehicle existing in the vicinity, the pedestrian or the like can take an action to avoid danger. With the technology of Patent Document 1, even if it is possible to know the blind spot range of the host vehicle, it is not possible to inform a pedestrian or the like around it. In the technique of Patent Document 2, a blind spot range is displayed. However, in the technique of Patent Document 2, the blind spot range is displayed on a display device that the driver sees. Or, print it and put it on the car body. Even if the blind spot range is displayed on the display device viewed by the driver, it is impossible to notify a pedestrian or the like who is in the blind spot range of the vehicle that the driver is within the blind spot range. It is not practical to inform a pedestrian or the like of the blind spot range by pasting a printed graph on the vehicle body.
Although the current technology can calculate the blind spot range, the current technology does not provide a method for notifying a person who needs to be informed that they are within the blind spot range.

同種のことが、制動距離の範囲内にあるために、突然に進入してきても避けきれない範囲についてもいえる。車線変更する車両に対して自車には避けきれない範囲に侵入しようとしているのか、あるいは避けきれない範囲を超えて進路変更するのかを知らせたいとする要求が存在する。車線変更する車両の側にも、後続する車両には避けきれない範囲内に侵入しようとしているのか、あるいは避けきれない範囲を超えてから進路変更するのかを知りたいと要求が存在している。
車速と操舵角と運転者の反応時間と制動距離等がわかれば、避けきれない範囲を計算することができる。非特許文献2の技術を用いれば、周囲に自動車が走行しているか否かを検知することができ、非特許文献3や非特許文献4の技術を用いれば、その自動車の位置まで計算することができる。それらの技術によって、周囲を走行している自動車が自車両には避けきれない範囲を走行しているのか、あるいは自車両には避けきれない範囲に侵入する動きをしているのか等を判断することができる。
しかしながら、現在の技術では、計算した結果を実際に知らせることが難しい。並走する車両に対して自車両には避けきれない範囲を知らせる技術が必要とされている。
Since the same kind of thing is within the range of the braking distance, it can be said that it is inevitable even if it suddenly enters. There is a demand to inform a vehicle whose lane is to be changed whether the vehicle is trying to enter an unavoidable range, or whether the course is changed beyond the unavoidable range. There is also a demand on the side of the vehicle to change lanes to know whether the vehicle following the vehicle is in an inevitable range, or whether the course is changed after exceeding the inevitable range.
If the vehicle speed, steering angle, driver reaction time, braking distance, and the like are known, an inevitable range can be calculated. If the technology of Non-Patent Document 2 is used, it can be detected whether or not an automobile is traveling around. If the techniques of Non-Patent Document 3 and Non-Patent Document 4 are used, the position of the automobile is calculated. Can do. With these technologies, it is judged whether the car driving around the vehicle is traveling in a range that cannot be avoided by the host vehicle, or whether the vehicle is moving into the range that cannot be avoided by the host vehicle. be able to.
However, with the current technology, it is difficult to actually inform the calculation result. There is a need for a technology that informs a vehicle running in parallel that the vehicle cannot avoid it.

同種のことが、運転者の視野の外側の範囲についてもいえる。運転者がわき見運転をするようなことがあれば、周囲に居る者には「見てくれているだろう」と思われる範囲が、実際には視野外範囲となっていることがある。このような場合に備えて、運転者が道路前方を注視しながら走行する場合の正常な視野内であっても、実際の視野からすると視野外になっている範囲が存在するような場合には、それを知りたいとする要求が存在する。それを知ることができれば、自己を避けるための予防的行動をとることができる。
非特許文献1の技術や、前記した視線方位の計測装置(SmartEye Pro & AntiSleepシステム)を利用すれば、運転者の実際の視線範囲を推定することができ、運転者が道路前方を注視しながら走行する場合の正常な視野内でありながらも、実際の視野の外側になっている範囲が存在するような場合には、その範囲を計算することができる。
しかしながら、現在の技術では、計算した視野外範囲を、周囲に居る者に知らせることが難しい。横断歩道を横断している歩行者が、走行してくる車両の運転者の実際の視野の外側に居るという重大な事態が生じていても、歩行者にはそれを知るすべがない。
The same is true for the range outside the driver's field of view. If the driver does a side-by-side driving, the range that seems to be “seeing” to those around him may actually be out of sight. In preparation for such a case, even if the driver is in the normal field of view when driving while looking ahead of the road, there is a range that is out of the field of view from the actual field of view. There is a demand to know it. If you know it, you can take preventive action to avoid self.
Using the technology of Non-Patent Document 1 and the above-described gaze direction measuring device (SmartEye Pro & AntiSleep system), the driver's actual gaze range can be estimated, and the driver is gazing at the front of the road. When there is a range that is outside the actual field of view while being within the normal field of view when traveling, the range can be calculated.
However, with the current technology, it is difficult to inform the people around the calculated out-of-view range. Even if there is a serious situation where the pedestrian crossing the pedestrian crossing is outside the actual field of view of the driver of the traveling vehicle, the pedestrian has no way of knowing it.

本発明では、運転者にとって対処することが困難な範囲を路面に実際に描画することによって、その範囲をリアルタイムで実際に表示する技術を提供する。
本明細書では、運転者の死角範囲(単に死角範囲ということがある)と、運転者が避けきれない範囲(単に避けきれない範囲ということがある)と、運転者の視野外範囲(単に視野外範囲ということがある)のいずれかを運転者が対処することが困難な範囲という。死角範囲と避けきれない範囲と視野外範囲のいずれか1種を表示することによって有用な結果が得られる。システムを統合することによって、2種類の範囲を統合した範囲を表示することもできれば、3種類の範囲を統合した範囲を表示することもできる。例えば、死角範囲と避けきれない範囲のいずれかに属する範囲を表示することもできれば、避けきれない範囲と視野外範囲のいずれかに属する範囲を表示することもできれば、視野外範囲と死角範囲のいずれかに属する範囲を表示することもできれば、死角範囲と避けきれない範囲と視野外範囲のいずれかに属する範囲を表示することもできる。これらも、運転者が対処することが困難な範囲という。
本明細書でいう運転者の視野外範囲は、運転者が道路前方を注視しながら走行する場合の正常な視野内でありながらも、運転者のわき見運転等に起因して実際の視野からすると視野外になっている範囲をいう。
本明細書でいう死角は、運転者が視線方位を向けても視認できない範囲をいう。
本明細書でいう注意喚起対象は、自車両の運転者が対処することが困難な範囲に居ることを伝えることによって、自車両に注意を払うように促す対象、例えば、歩行者や、自転車・オートバイ・他車両の運転者という。
The present invention provides a technique for actually displaying a range that is difficult for the driver to deal with by actually drawing the range on the road surface in real time.
In the present specification, the driver's blind spot range (sometimes simply referred to as the blind spot range), the driver's inevitable range (sometimes simply referred to as the inevitable range), and the driver's out-of-view range (simply the visual field range). It is said that it is difficult for the driver to deal with any of the above. A useful result can be obtained by displaying any one of the blind spot range, the inevitable range, and the out-of-view range. By integrating the system, a range obtained by integrating two types of ranges can be displayed, or a range obtained by integrating three types of ranges can be displayed. For example, if it is possible to display a range belonging to either the blind spot range or the unavoidable range, it is also possible to display a range belonging to either the unavoidable range or the out-of-view range, A range belonging to any one of the ranges can be displayed, or a range belonging to any one of the blind spot range, the inevitable range, and the out-of-view range can be displayed. These are also areas where it is difficult for the driver to deal with.
The driver's out-of-view range in this specification is within the normal field of view when the driver travels while gazing at the front of the road, but from the actual field of view due to the driver's side-view driving etc. The range outside the field of view.
The blind spot in the present specification refers to a range in which the driver cannot visually recognize even if he orients his gaze direction.
The alert target in this specification is an object that encourages the driver to pay attention to the vehicle by telling that the driver of the vehicle is in a range that is difficult to deal with, such as a pedestrian, bicycle, A driver of motorcycles and other vehicles.

本発明は車載式の注意喚起装置に係り、運転者が対処することが困難な路面上の範囲を特定する特定手段と、その特定手段で特定された範囲の路面を車両から照射してその範囲を実際に描画する車載式描画手段を備えている。
本発明の注意喚起装置によると、自車両の運転者にとって対処することが困難な範囲を路面に実際に描画して表示することができ、注意喚起対象に対して対処することが困難な範囲に居ることを直接的に知らせることができる。あるいは注意喚起対象に対して対処することが困難な範囲に侵入しようとしていることを直接的に知らせることができる。
The present invention relates to a vehicle-mounted alert device, a specifying means for specifying a range on a road surface that is difficult for a driver to deal with, and a range of the road surface specified by the specifying means by irradiating from a vehicle. Vehicle-mounted drawing means for actually drawing.
According to the alerting device of the present invention, it is possible to actually draw and display a range that is difficult for the driver of the vehicle to deal with on the road surface, and to make it difficult to deal with the alerting target. You can tell directly that you are. Or it can notify directly that it is going to infiltrate the range where it is difficult to deal with the alert target.

特許文献1の技術を利用すると、運転者の死角範囲を特定することができる。この技術を利用して、運転者の死角範囲を特定する特定出段を構築することができる。
車速や操舵角や運転者の反応時間と制動距離等がわかれば、運転者が避けきれない範囲を計算することができる。その技術を使用して避けきれない範囲を特定する特定出段を構築することができる。
前記したSmartEye Pro & AntiSleepシステムという製品や、非特許文献1の技術を用いれば、運転者の視野外範囲を計算することができる。この技術を利用して、運転者の視野外範囲を特定する特定出段を構築することができる。
これらの特定手段を統合することによって、死角範囲と避けきれない範囲の少なくとも1種に属する範囲を特定する特定出段を構築することもできれば、避けきれない範囲と視野外範囲の少なくとも1種に属する範囲を特定する特定出段を構築することもできれば、視野外範囲と死角範囲の少なくとも1種に属する範囲を特定する特定出段を構築することもできれば、死角範囲と避けきれない範囲と視野外範囲の少なくとも1種に属する範囲を特定する特定出段を構築することもできる。
If the technique of patent document 1 is utilized, a driver's blind spot range can be specified. Using this technique, a specific stage that specifies the blind spot range of the driver can be constructed.
If the vehicle speed, steering angle, driver reaction time, braking distance, etc. are known, the range that the driver cannot avoid can be calculated. Using this technique, it is possible to build a specific stage that specifies an inevitable range.
If the above-mentioned product called SmartEye Pro & AntiSleep system or the technology of Non-Patent Document 1 is used, the driver's out-of-view range can be calculated. Using this technique, a specific stage that identifies the out-of-view range of the driver can be constructed.
By integrating these specifying means, it is possible to construct a specific stage that specifies a range that belongs to at least one of the blind spot range and the unavoidable range, or to at least one of the unavoidable range and the out-of-view range. If it is possible to construct a specific stage that identifies the range to which it belongs, or if it is possible to construct a specific stage that identifies a range that belongs to at least one of the out-of-view range and the blind spot range, the blind spot range and the inevitable range and field of view It is also possible to construct a specific stage that specifies a range belonging to at least one of the outer ranges.

路面に描画する処理を必要なときにのみ実行するようにしてもよい。
非特許文献2や非特許文献3や非特許文献4の技術によって、歩行者や自転車やオートバイや他車両が存在するか否かを判別し、存在する場合にはその位置を特定することができる。それらの技術によって、注意喚起対象が存在するか否かを判別する判別手段を構築することができる。
本発明では、判別手段によって注意喚起対象が存在すると判別されたときに、描画手段が前記範囲を描画することが好ましい。
The process of drawing on the road surface may be executed only when necessary.
By the techniques of Non-Patent Document 2, Non-Patent Document 3, and Non-Patent Document 4, it is possible to determine whether or not there is a pedestrian, bicycle, motorcycle, or other vehicle, and if so, the position can be specified. . With these techniques, it is possible to construct a discriminating means for discriminating whether or not there is an alert target.
In the present invention, it is preferable that the drawing unit draws the range when it is determined by the determining unit that there is an alert target.

その判別手段は、車両周囲に注意喚起対象が存在するか否かを判別するものであってよい。あるいは、特定手段で特定した範囲内に注意喚起対象が存在するか否かを判別するものであってもよい。あるいは、特定手段で特定した範囲内に侵入しようしている注意喚起対象が存在するか否かを判別するものであってもよい。   The discriminating means may discriminate whether or not there is an alert target around the vehicle. Or you may discriminate | determine whether the alerting target exists in the range specified by the specific means. Or you may discriminate | determine whether the alerting target which is going to invade in the range specified by the specific means exists.

本発明の装置は、描画するだけでなく、自車両の運転者に対する警告装置、あるいは、注意喚起対象の注意をさらに喚起するための警告装置を併せ持っていてもよい。   The device of the present invention may have not only a drawing but also a warning device for the driver of the own vehicle or a warning device for further calling attention of the attention target.

本発明によると、運転者が対処することが困難な範囲を路面に実際に描画することができ、その範囲をリアルタイムで実際に表示することができる。従って、その範囲に居る者、あるいはその範囲に侵入しようとしている者の注意を直接的に喚起することができる。その範囲に居る者、あるいはその範囲に侵入しようとしている者は、事故の発生を防止するのに必要な予防措置を講じることが可能となる。   According to the present invention, a range that is difficult for the driver to deal with can be actually drawn on the road surface, and the range can be actually displayed in real time. Therefore, it is possible to directly call attention of a person who is in the range or who is about to enter the range. Anyone who is in or is about to enter the area can take the necessary precautions to prevent an accident from occurring.

最初に、本発明の好適な実施形態を列記する。
(特徴1) 特定出段が、運転者が避けきれない範囲を特定する。
(特徴2) 特定手段が、運転者の視野外範囲を特定する。
(特徴3) 特定出段が、運転者の死角範囲と視野外範囲の少なくとも1種に属する範囲を特定する。
(特徴4) 特定出段が、運転者が避けきれない範囲と運転者の視野外範囲の少なくとも1種に属する範囲を特定する。
First, preferred embodiments of the present invention will be listed.
(Characteristic 1) The specific stage specifies a range that the driver cannot avoid.
(Characteristic 2) The specifying unit specifies a range outside the visual field of the driver.
(Characteristic 3) The specific stage specifies a range belonging to at least one of the blind spot range and the out-of-view range of the driver.
(Characteristic 4) The specific stage specifies a range belonging to at least one of a range that the driver cannot avoid and a range outside the visual field of the driver.

(実施例1)
実施例1は、図2に示すように、運転者の死角範囲を路面に実際に描画して周囲に居る歩行者等の注意を喚起する装置に関する。
図1に示すように、この装置100は、演算装置114によって投射型表示装置110を制御し、図2に示すように、実際の路面126に死角範囲128〜138を描画する。ここでいう死角は、バックミラー等を利用しても運転者が視認できない範囲をいう。128は車両後方の死角であり、129は同乗者による死角であり、130は左サイドミラーによる死角であり、132は左ピラーによる死角であり、134は車両前方の死角であり、136は右ピラーによるによる死角であり、138は右サイドミラーによる死角である。
路面における死角範囲を計算するために、図1に示すように、装置100は、運転者の瞳位置を計測する装置102(この装置102は、前記したSmartEye Pro & AntiSleepシステムという製品や、非特許文献1の技術を用いて構築する)と、車内撮影カメラ104と、サイドミラー等の角度を検出する装置106と、車外を撮影するカメラ108(レーザーレーダ等であってもよいし、遠赤外線カメラであってもよい)と、投射型表示装置110と、警告装置112を備えている。また装置100は、演算装置114と、車両形状データ記憶装置116と、車内撮影カメラ104の映像情報から同乗者の外形形状を計算する処理を実行するプログラム118と、路面における死角範囲128〜138を計算する処理を実行するプログラム120と、車外撮影カメラ108の映像情報から歩行者等の注意喚起対象を抽出する処理を実行するプログラム122と、投射型表示装置110と警告装置112を制御する処理を実行するプログラム124を備えている。
Example 1
As illustrated in FIG. 2, the first embodiment relates to an apparatus that draws a driver's blind spot range on a road surface to alert a pedestrian or the like in the surrounding area.
As shown in FIG. 1, the device 100 controls the projection display device 110 by an arithmetic device 114 and draws a blind spot range 128 to 138 on the actual road surface 126 as shown in FIG. 2. The blind spot here refers to a range in which the driver cannot visually recognize even using a rearview mirror or the like. 128 is a blind spot at the rear of the vehicle, 129 is a blind spot by the passenger, 130 is a blind spot by the left side mirror, 132 is a blind spot by the left pillar, 134 is a blind spot at the front of the vehicle, and 136 is a right pillar. 138 is a blind spot by the right side mirror.
In order to calculate the blind spot range on the road surface, as shown in FIG. 1, the device 100 is a device 102 for measuring the driver's pupil position (this device 102 is a product called the SmartEye Pro & AntiSleep system described above, or non-patent (Constructed using the technique of Document 1), an in-vehicle shooting camera 104, a device 106 for detecting an angle such as a side mirror, and a camera 108 (laser radar, etc.) for shooting outside the vehicle, or a far-infrared camera A projection type display device 110 and a warning device 112. In addition, the apparatus 100 includes an arithmetic device 114, a vehicle shape data storage device 116, a program 118 for executing processing for calculating the external shape of the passenger from the video information of the in-vehicle camera 104, and a blind spot range 128 to 138 on the road surface. A program 120 for executing a calculation process, a program 122 for executing a process for extracting a pedestrian's alerting target from the video information of the camera 108 outside the vehicle, and a process for controlling the projection display device 110 and the warning device 112. A program 124 to be executed is provided.

図2は、路面126に描画された死角範囲の一例を示しており、死角範囲128〜138内にゼブラゾーンに類似する明暗のコントラストがはっきりしている縞模様を描画する。これに代えて、死角範囲内を死角範囲外よりも明るく照射してもよいし、死角範囲を示す輪郭線とともに死角であることを示す文字等をも表示してもよい。   FIG. 2 shows an example of a blind spot range drawn on the road surface 126, and a stripe pattern similar to a zebra zone is drawn in the blind spot range 128-138. Instead of this, the inside of the blind spot range may be illuminated brighter than the outside of the blind spot range, or a character or the like indicating the dead angle may be displayed together with the outline indicating the blind spot range.

図3の(a)から(i)は、投射型表示装置110の搭載位置を例示しており、複数台の投射型表示装置110を車体の周囲に配置することによって、車両の前方と後方と側方に死角範囲を表示することができる。図3の(j)は投射型表示装置110の搭載高さを例示しており、床下、ドアガラスの下側の高さ、あるいは天井高さに配置する。
投射型表示装置110は、プロジェクタなような結像方式であってもよいし、レーザービームをラスタースキャンするものあってもよいし、レーザービームをベクトルスキャンするものあってもよい。光源も限定されず、レーザーでもよいし、超高圧水銀ランプや、ハロゲンランプ等あってもよい。投射型表示装置110によって車載式の描画手段を構築することができる。上記はあくまで例示であり、任意の描画手段を採用することができる。
FIGS. 3A to 3I illustrate the mounting positions of the projection display device 110. By arranging a plurality of projection display devices 110 around the vehicle body, the front and rear of the vehicle The blind spot range can be displayed on the side. (J) of FIG. 3 illustrates the mounting height of the projection display device 110, and is disposed at the height below the floor, the lower side of the door glass, or the ceiling height.
The projection display device 110 may be an imaging system such as a projector, may be a raster scan of the laser beam, or may be a vector scan of the laser beam. The light source is not limited, and may be a laser, an ultrahigh pressure mercury lamp, a halogen lamp, or the like. An in-vehicle drawing means can be constructed by the projection display device 110. The above is merely an example, and any drawing means can be employed.

図4と図5は、装置100で実行する処理手順を示している。ステップS102では、運転者の瞳位置を計測する装置102によって運転者の瞳位置を計測して演算装置114に入力する。ステップS104では、車内撮影カメラ104の映像情報をプログラム118で処理して同乗者の外形形状を計算して演算装置114に入力する。ステップS106では、ミラー角度検出装置106から演算装置114にサイドミラー等の角度を入力する。ステップS108では、車両形状データ記憶装置116から自車両の形状データを演算装置114に入力する。ステップS102からS108までで、路面における死角範囲128〜138を計算するのに必要なデータが入力される。
ステップS110では、入力されたデータによって路面における死角範囲128〜138を計算する。死角範囲128〜138の計算には、特許文献1の技術を活用することができる。
4 and 5 show processing procedures executed by the apparatus 100. FIG. In step S <b> 102, the driver's pupil position is measured by the device 102 that measures the driver's pupil position, and is input to the arithmetic device 114. In step S104, the video information of the in-vehicle camera 104 is processed by the program 118 to calculate the passenger's outer shape and input it to the arithmetic unit 114. In step S106, the angle of the side mirror or the like is input from the mirror angle detection device 106 to the arithmetic device 114. In step S <b> 108, the shape data of the host vehicle is input from the vehicle shape data storage device 116 to the calculation device 114. In steps S102 to S108, data necessary for calculating the blind spot range 128 to 138 on the road surface is input.
In step S110, a blind spot range 128 to 138 on the road surface is calculated based on the input data. For the calculation of the blind spot range 128 to 138, the technique of Patent Document 1 can be used.

図5は、計算した死角範囲を描画するまでの処理手順に関する4つの実施例を示している。
(1)のステップS112では、車外撮影カメラ108の映像情報をプログラム122で処理して、歩行者等の注意喚起対象を抽出し、歩行者等の注意喚起対象が存在すれば、その存在位置を特定する処理を実行する。この処理には、非特許文献2〜4の技術を活用することができる。ステップS114では、特定された注意喚起対象が自車両の周辺に存在しているか否かを判別する。ここでいう周辺は、図2に示されているように、予め自車両の回りに定められている範囲140を意味し、自車両が安全に走行することに影響を与える事象が生じるかも知れない範囲をいう。ステップS114で自車両の周辺に注意喚起対象が存在していると判別されると、ステップS116を実行し、図2に示すように、実際の路面126に実際の死角範囲128〜138を実際に描画する。これによって、自車両の周辺に居る注意喚起対象は死角範囲128〜138を認識し、事故の発生を防ぐのに必要な予防措置を講ずることができる。ステップS118では、特定された注意喚起対象が死角範囲128〜138内に存在しているか否かを判別する。ステップS118で死角範囲128〜138に注意喚起対象が存在していると判別されると、ステップS120で警告する。ステップS120で実施する警告は、自車両の運転者に向けた警告でもよいし、死角範囲128〜138に居る注意喚起対象に向けた警告でもよいし、両者に向けた警告でもよい。運転者に向けた警告では、例えば「前方死角に注意」といった音声警告であってもよいし、ブザー等で警告してもよい。注意喚起対象に向けた警告では、例えば「死角に入っています」といった音声警告であってもよいし、ブザー等で警告してもよい。
FIG. 5 shows four examples related to the processing procedure until the calculated blind spot range is drawn.
In step S112 of (1), the video information of the outside-camera camera 108 is processed by the program 122 to extract a target for alerting a pedestrian or the like. Execute the specified process. For this processing, the techniques of Non-Patent Documents 2 to 4 can be utilized. In step S114, it is determined whether or not the specified alerting target exists in the vicinity of the host vehicle. As shown in FIG. 2, the term “periphery” here means a range 140 that is predetermined around the own vehicle, and an event that affects the safe traveling of the own vehicle may occur. A range. If it is determined in step S114 that an alert target exists around the host vehicle, step S116 is executed, and the actual blind spot range 128 to 138 is actually set on the actual road surface 126 as shown in FIG. draw. As a result, the alert target in the vicinity of the host vehicle can recognize the blind spot range 128 to 138 and can take preventive measures necessary to prevent the occurrence of an accident. In step S118, it is determined whether or not the specified alerting target exists within the blind spot range 128 to 138. If it is determined in step S118 that an alert target exists in the blind spot range 128 to 138, a warning is issued in step S120. The warning performed in step S120 may be a warning directed to the driver of the host vehicle, a warning directed to an alert target in the blind spot range 128 to 138, or a warning directed to both. The warning for the driver may be, for example, a voice warning such as “Beware of the front blind spot”, or may be warned with a buzzer or the like. In the warning directed to the alerting target, for example, a voice warning such as “entering a blind spot” may be used, or a warning may be given by a buzzer or the like.

図5(2)では、ステップS118に代えてステップS118aを実行する。ここでは、死角範囲128〜138に注意喚起対象が存在しているか、あるいは死角範囲128〜138に注意喚起対象が侵入するか否かを判別する。ステップS112で実行する注意喚起対象の存在位置を特定する処理を時間を変えて2度以上実行すると、注意喚起対象の移動速度と移動方向を特定することができ、死角範囲128〜138に侵入する可能性の有無を判別することができ、侵入する場合は侵入するまでに要する時間を計算することができる。図5(2)では、注意喚起対象が死角範囲128〜138に侵入する可能性がある場合に警告する。ステップS120の警告では、侵入までの時間によって警告強度を変えてもよい。   In FIG. 5B, step S118a is executed instead of step S118. Here, it is determined whether or not the alert target exists in the blind spot range 128 to 138 or whether or not the alert target enters the blind spot range 128 to 138. When the process for specifying the location of the alert target executed in step S112 is executed twice or more at different times, the speed and direction of the alert target can be specified, and the blind spot range 128 to 138 is entered. It is possible to determine whether or not there is a possibility, and in the case of intrusion, it is possible to calculate the time required to enter. In FIG. 5B, a warning is given when there is a possibility that the alerting target may enter the blind spot range 128-138. In the warning in step S120, the warning intensity may be changed depending on the time until intrusion.

図5(3)では、ステップS118で、死角範囲128〜138内に注意喚起対象が存在しているか否かを判別する。図5(1)のステップS118と同じ処理を実行する。ステップS118で死角範囲128〜138内に注意喚起対象が存在していると判別されると、図2に示すように、実際の路面126に実際の死角範囲128〜138を実際に描画し、かつ警告する。その他の点は、図5(1)に同じである。
図5の(4)では、ステップS118に代えてステップS118aを実行する。その他の点は、図5(3)または図5(2)に同じである。
上記では、正確な死角範囲を計算して求めるが、これに代えて、死角範囲を事前に計測あるいは計算しておいてもよい。計測あるいは計算しておいた死角範囲を記憶しておき、記憶しておいた死角範囲を路面に描画してもよい。
In FIG. 5 (3), it is discriminate | determined by step S118 whether the alerting target exists in the blind spot range 128-138. The same process as step S118 in FIG. If it is determined in step S118 that there is an alert target in the blind spot range 128-138, the actual blind spot range 128-138 is actually drawn on the actual road surface 126, as shown in FIG. Warning. The other points are the same as in FIG.
In (4) of FIG. 5, step S118a is executed instead of step S118. Other points are the same as FIG. 5 (3) or FIG. 5 (2).
In the above description, an accurate blind spot range is calculated and obtained. Alternatively, the blind spot range may be measured or calculated in advance. The blind spot range that has been measured or calculated may be stored, and the stored blind spot range may be drawn on the road surface.

(実施例2)
実施例2では、図7に示すように、運転者が避けることが困難な範囲(避けきれない範囲という)を路面に実際に描画して、自車両の前方に進路変更する車両の注意を喚起する装置に関する。
図6に示すように、この装置200は、演算装置114によって投射型表示装置110を制御し、図7に示すように、実際の路面126に避けきれない範囲214を描画する。
路面における避けきれない範囲214を計算するために、図6に示すように、装置200は、車速センサ202と、操舵角センサ204と、車外を撮影するカメラ108(レーザーレーダ等であってもよいし、遠赤外線カメラであってもよい)と、投射型表示装置110と、警告装置112を備えている。また装置200は、演算装置114と、反応時間データベース206と、制動距離データベース208と、路面における避けきれない範囲214を計算する処理を実行するプログラム210と、歩行者等の注意喚起対象を抽出する処理を実行するプログラム122と、投射型表示装置110と警告装置112を制御する処理を実行するプログラム212を備えている。制動距離データベース208は、車速と制動距離の関係を記憶している。
なお、第1実施例の説明と同一の参照番号で示す部材は第1実施例のものと同一であることを示し、重複する説明を省略する。
(Example 2)
In the second embodiment, as shown in FIG. 7, a range that is difficult for the driver to avoid (referred to as an unavoidable range) is actually drawn on the road surface to alert the vehicle to change the course ahead of the host vehicle. It is related with the apparatus to do.
As shown in FIG. 6, the apparatus 200 controls the projection display device 110 by the arithmetic device 114, and draws an inevitable range 214 on the actual road surface 126 as shown in FIG. 7.
In order to calculate the inevitable range 214 on the road surface, as shown in FIG. 6, the apparatus 200 may be a vehicle speed sensor 202, a steering angle sensor 204, and a camera 108 (laser radar or the like) that captures the outside of the vehicle. And a far-infrared camera), a projection display device 110, and a warning device 112. In addition, the apparatus 200 extracts a calculation device 114, a reaction time database 206, a braking distance database 208, a program 210 that executes a process for calculating an inevitable range 214 on the road surface, and a target for alerting a pedestrian or the like. A program 122 for executing processing and a program 212 for executing processing for controlling the projection display device 110 and the warning device 112 are provided. The braking distance database 208 stores the relationship between the vehicle speed and the braking distance.
Members indicated by the same reference numerals as in the description of the first embodiment are the same as those in the first embodiment, and redundant description is omitted.

図7は、路面126に描画された避けきれない範囲214の一例を示しており、避けきれない範囲214内にゼブラゾーンに類似する明暗のコントラストがはっきりしている縞模様を描画する。これに代えて、避けきれない範囲214内のみを明るく照射してもよいし、避けきれない範囲214を示す輪郭線とともに避けきれない範囲であることを示す文字等をも表示してもよい。   FIG. 7 shows an example of the inevitable range 214 drawn on the road surface 126, and a striped pattern similar to the zebra zone is drawn in the inevitable range 214. Instead of this, only the inevitable range 214 may be illuminated brightly, or a character or the like indicating the inevitable range may be displayed together with the outline indicating the inevitable range 214.

図8と図9は、装置200で実行する処理手順を示している。
図8のステップS202では、車速センサ202で計測される車速を演算装置114に入力する。ステップS204では、操舵角センサ204で計測される操舵角を演算装置114に入力する。ステップS206では、反応時間データベース206から運転者が反応するのに要する時間を入力する。近似的には、全部の運転者に対して一定の反応時間を仮定してもよい。ステップS208では、制動距離データベース208から制動距離を読み出して演算装置114に入力する。ステップS202からS208までで、路面における避けきれない範囲214を計算するのに必要なデータが入力される。
ステップS210では、入力されたデータによって路面における避けきれない範囲214を計算する。
8 and 9 show the processing procedure executed by the apparatus 200. FIG.
In step S <b> 202 of FIG. 8, the vehicle speed measured by the vehicle speed sensor 202 is input to the calculation device 114. In step S <b> 204, the steering angle measured by the steering angle sensor 204 is input to the calculation device 114. In step S206, the time required for the driver to react is input from the reaction time database 206. Approximately, a constant reaction time may be assumed for all drivers. In step S 208, the braking distance is read from the braking distance database 208 and input to the arithmetic device 114. In steps S202 to S208, data necessary to calculate the inevitable range 214 on the road surface is input.
In step S210, an inevitable range 214 on the road surface is calculated based on the input data.

図9は、路面に避けきれない範囲214を描画する処理手順に関する4つの実施例を示している。図9において図5と同一番号で示す処理は、図5の処理と同一内容の処理を示す。
(1)のステップS112では、車外撮影カメラ108の映像情報をプログラム122で処理して、歩行者等の注意喚起対象を抽出し、歩行者等の注意喚起対象が存在すれば、その存在位置を特定する処理を実行する。ステップS114では、特定された注意喚起対象が自車両の周辺に存在しているか否かを判別する。ここでいう周辺は、図7に示されているように、予め自車両の回りに定められている範囲140を意味し、自車両が安全に走行することに影響を与える事象が生じるかも知れない範囲をいう。特に、自車両の前方に存在している避けきれない範囲214に車線変更して侵入する可能性のある車両の存在範囲を含んでいる。
ステップS114で自車両の周辺に注意喚起対象が存在していると判別されると、ステップS116bを実行し、図7に示すように、実際の路面126に避けきれない範囲214を実際に描画する。これによって、隣接車線を走行している自動車は避けきれない範囲214を認識し、避けきれない範囲214に侵入しないコースで進路変更を行うことができる。ステップS118bでは、特定された注意喚起対象が避けきれない範囲214内に存在しているか否かを判別する。ステップS118bで避けきれない範囲214に注意喚起対象が存在していると判別されると、ステップS120bで警告する。ステップS120bで実施する警告は、自車両の運転者に向けた警告でもよいし、避けきれない範囲214に存在する他車両に向けた警告でもよいし、両者に向けた警告でもよい。運転者に向けた警告では、例えば「直前に注意」といった音声警告であってもよいし、ブザー等で警告してもよい。注意喚起対象に向けた警告では、音声警告であってもよいし、ブザー等で警告してもよい。
FIG. 9 shows four examples relating to a processing procedure for drawing an inevitable range 214 on the road surface. 9, the process indicated by the same number as in FIG. 5 indicates the same process as the process in FIG.
In step S112 of (1), the video information of the outside-camera camera 108 is processed by the program 122 to extract a target for alerting a pedestrian or the like. Execute the specified process. In step S114, it is determined whether or not the specified alerting target exists in the vicinity of the host vehicle. As shown in FIG. 7, the term “periphery” here means a range 140 that is predetermined around the host vehicle, and an event that affects the safe driving of the host vehicle may occur. A range. In particular, the vehicle includes a vehicle existence range that may be entered by changing the lane to the inevitable range 214 existing in front of the host vehicle.
If it is determined in step S114 that there is an alert target around the host vehicle, step S116b is executed, and an inevitable range 214 is actually drawn on the actual road surface 126 as shown in FIG. . As a result, the automobile traveling in the adjacent lane can recognize the inevitable range 214 and can change the course on a course that does not enter the inevitable range 214. In step S118b, it is determined whether or not the specified alerting target exists within a range 214 that cannot be avoided. If it is determined in step S118b that an attention target exists in the range 214 that cannot be avoided, a warning is issued in step S120b. The warning executed in step S120b may be a warning for the driver of the host vehicle, a warning for other vehicles existing in the inevitable range 214, or a warning for both. In the warning for the driver, for example, a voice warning such as “attention immediately before” may be used, or a warning may be given by a buzzer or the like. The warning for the alert target may be an audio warning or a buzzer.

図9(2)では、ステップS118bに代えてステップS118cを実行する。ここでは、避けきれない範囲214に注意喚起対象が存在しているか、あるいは避けきれない範囲214に注意喚起対象が侵入するか否かを判別する。ステップS112で実行する注意喚起対象の存在位置を特定する処理を時間を変えて2度以上実行すると、注意喚起対象の移動速度と移動方向を特定することができ、避けきれない範囲214に侵入する可能性の有無を判別することができ、侵入する場合は侵入するまでに要する時間を計算することができる。図9(2)では、注意喚起対象が避けきれない範囲214に侵入する可能性がある場合に警告する。ステップS120bの警告では、侵入までの時間によって警告強度を変えてもよい。   In FIG. 9B, step S118c is executed instead of step S118b. Here, it is determined whether or not the alert target exists in the inevitable range 214 or whether or not the alert target enters the inevitable range 214. If the process for identifying the location of the alerting target executed in step S112 is performed twice or more at different times, the speed and direction of the alerting target can be identified, and the area 214 cannot be avoided. It is possible to determine whether or not there is a possibility, and in the case of intrusion, it is possible to calculate the time required to enter. In FIG. 9 (2), a warning is given when there is a possibility that the alerting target may enter the inevitable range 214. In the warning in step S120b, the warning intensity may be changed depending on the time until intrusion.

図9(3)では、ステップS118bで、避けきれない範囲214内に注意喚起対象が存在しているか否かを判別する。図9(1)のステップS118bと同じ処理を実行する。ステップS118bで避けきれない範囲214内に注意喚起対象が存在しているかと判別されると、図7に示すように、実際の路面126に避けきれない範囲214を実際に描画し、かつ警告する。その他の点は、図9(1)に同じである。
図9の(4)では、ステップS118bに代えてステップS118cを実行する。その他の点は、図9(3)または図9(2)に同じである。
In FIG. 9 (3), it is determined in step S 118 b whether or not there is an alert target within the unavoidable range 214. The same process as step S118b in FIG. 9A is executed. If it is determined in step S118b that the attention target exists within the inevitable range 214, the inevitable range 214 is actually drawn on the actual road surface 126 as shown in FIG. . Other points are the same as in FIG.
In (4) of FIG. 9, step S118c is executed instead of step S118b. The other points are the same as FIG. 9 (3) or FIG. 9 (2).

(実施例3)
実施例3では、図11に示すように、運転者の視野外範囲308を路面126に実際に描画して、前方を横断している歩行者等の注意を喚起する。
図11において、範囲cは、運転者が車両の前方を注視しているときの正常な視野範囲を示し、周囲の居る人たちが予想している視野範囲を示している。bは実際の視線方向を示し、実際の視線方向bが車両前方方向aからずれると、矢印に示すように視野範囲が移動する。範囲308は正常視野範囲c内にあっても実際の視野内にはない範囲を示す。ここではそれを視野外範囲という。視野外範囲308があると、車両の周囲に居る人たちに重大な影響を与える恐れがある。第3実施例の装置は、視野外範囲308が生じた場合に、生じた視野外範囲308を路面に描画することによって、車両の周囲に居る人たちに視野外範囲308の存在を知らせる。
図10に示すように、この装置300は、演算装置114によって投射型表示装置110を制御し、図11に示すように、実際の路面126に視野外範囲308を描画する。
路面における視野外範囲308を計算するために、図10に示すように、装置300は、運転者の視線の方位を計測する装置302と、車外を撮影するカメラ108と、投射型表示装置110と、警告装置112を備えている。また装置300は、演算装置114と、車両形状データ記憶装置116と、路面における視野外範囲308を計算する処理を実行するプログラム304と、歩行者等の注意喚起対象を抽出する処理を実行するプログラム122と、投射型表示装置110と警告装置112を制御する処理を実行するプログラム306を備えている。
なお、第1実施例の説明と同一の参照番号で示す部材は第1実施例のものと同一であることを示し、重複する説明を省略する。運転者の視線の方位を計測する装置302は、市販の製品(例えば株式会社東陽テクニカから入手できるSmartEye Pro & AntiSleepシステム)を利用してもよいし、非特許文献1の技術を利用してもよい。路面における視野外範囲308を計算する処理では、計測された運転者の視線方位と、車両形状から、路面における視野外範囲308を計算する
(Example 3)
In the third embodiment, as shown in FIG. 11, the driver's out-of-view range 308 is actually drawn on the road surface 126 to alert a pedestrian or the like crossing the front.
In FIG. 11, a range c indicates a normal visual field range when the driver is gazing at the front of the vehicle, and indicates a visual field range expected by people around. b indicates the actual line-of-sight direction. When the actual line-of-sight direction b deviates from the vehicle forward direction a, the visual field range moves as indicated by an arrow. A range 308 indicates a range that is within the normal visual field range c but not within the actual visual field. This is called the out-of-view range here. The out-of-view range 308 may seriously affect people around the vehicle. When the out-of-view range 308 is generated, the apparatus according to the third embodiment draws the generated out-of-view range 308 on the road surface to notify the people around the vehicle of the out-of-view range 308.
As shown in FIG. 10, the apparatus 300 controls the projection display device 110 by the arithmetic device 114 and draws the out-of-view range 308 on the actual road surface 126 as shown in FIG. 11.
In order to calculate the out-of-view range 308 on the road surface, as shown in FIG. 10, the device 300 includes a device 302 for measuring the direction of the driver's line of sight, a camera 108 for photographing the outside of the vehicle, and a projection display device 110. A warning device 112 is provided. The apparatus 300 also includes a calculation device 114, a vehicle shape data storage device 116, a program 304 that executes a process for calculating the out-of-view range 308 on the road surface, and a program that executes a process for extracting a pedestrian or other alerting target. 122, and a program 306 for executing processing for controlling the projection display device 110 and the warning device 112.
Members indicated by the same reference numerals as in the description of the first embodiment are the same as those in the first embodiment, and redundant description is omitted. The device 302 for measuring the driver's line-of-sight direction may use a commercially available product (for example, SmartEye Pro & AntiSleep system available from Toyo Corporation) or use the technology of Non-Patent Document 1. Good. In the process of calculating the out-of-view range 308 on the road surface, the out-of-view range 308 on the road surface is calculated from the measured driver's gaze direction and the vehicle shape.

図11は、路面126に描画された視野外範囲308の一例を示しており、視野外範囲308内にゼブラゾーンに類似する明暗のコントラストがはっきりしている縞模様を描画する。これに代えて、視野外範囲308内のみを明るく照射してもよいし、視野外範囲308を示す輪郭線ととともに視野外範囲を示す文字等をも表示してもよい。   FIG. 11 shows an example of the out-of-view range 308 drawn on the road surface 126, and a striped pattern having a clear contrast between light and dark similar to the zebra zone is drawn in the out-of-view range 308. Instead of this, only the inside of the out-of-view range 308 may be illuminated brightly, or a character or the like indicating the out-of-view range may be displayed together with the outline indicating the out-of-view range 308.

図12と図13は、装置300で実行する処理手順を示している。
図12のステップS302では、運転者の視線の方位を計測する装置302で計測される視線方位を演算装置114に入力する。ステップS108では、車両形状を演算装置114に入力する。ステップS304では、視線方位と車両形状から、路面における視野外範囲308を計算する。
12 and 13 show a processing procedure executed by the apparatus 300. FIG.
In step S <b> 302 of FIG. 12, the gaze direction measured by the device 302 that measures the gaze direction of the driver is input to the calculation device 114. In step S108, the vehicle shape is input to the arithmetic unit 114. In step S304, the out-of-view range 308 on the road surface is calculated from the viewing direction and the vehicle shape.

図13は、計算した視野外範囲308を描画するまでの処理手順に関する4つの実施例を示している。図13において図5と同一番号で示す処理は図5の処理と同一内容の処理を示す。
(1)のステップS112では、車外撮影カメラ108の映像情報をプログラム122で処理して、歩行者等の注意喚起対象を抽出し、歩行者等の注意喚起対象が存在すれば、その存在位置を特定する処理を実行する。ステップS114では、特定された注意喚起対象が自車両の周辺に存在しているか否かを判別する。ここでいう周辺は、図11に示されているように、予め自車両の回りに定められている範囲140を意味し、自車両が安全に走行することに影響を与える事象が生じるかも知れない範囲をいう。
ステップS114で自車両の周辺に注意喚起対象が存在していると判別されると、ステップS116dを実行し、図11に示すように、実際の路面126に視野外範囲308を実際に描画する。これによって、車両の前方に居る歩行者は視野外範囲308に居ることを知ることができ、事故を避けるための対処をすることが可能となる。ステップS118dでは、特定された注意喚起対象が視野外範囲308内に存在しているか否かを判別する。ステップS118dで視野外範囲308に注意喚起対象が存在していると判別されると、ステップS120dで警告する。ステップS120dで実施する警告は、自車両の運転者に向けた警告でもよいし、視野外範囲308に存在する歩行者等に向けた警告でもよいし、両者に向けた警告でもよい。運転者に向けた警告では、例えば「前方注視」といった音声警告であってもよいし、ブザー等で警告してもよい。注意喚起対象に向けた警告では、音声警告であってもよいし、ブザー等で警告してもよい。
FIG. 13 shows four examples related to the processing procedure until the calculated out-of-view range 308 is drawn. In FIG. 13, the process indicated by the same number as in FIG. 5 indicates the same process as the process in FIG.
In step S112 of (1), the video information of the outside-camera camera 108 is processed by the program 122 to extract a target for alerting a pedestrian or the like. Execute the specified process. In step S114, it is determined whether or not the specified alerting target exists in the vicinity of the host vehicle. As shown in FIG. 11, the term “periphery” here means a range 140 that is predetermined around the host vehicle, and an event that affects the safe driving of the host vehicle may occur. A range.
If it is determined in step S114 that there is an alert target around the host vehicle, step S116d is executed, and the out-of-view range 308 is actually drawn on the actual road surface 126 as shown in FIG. Thus, a pedestrian in front of the vehicle can know that he is in the out-of-view range 308 and can take measures to avoid an accident. In step S118d, it is determined whether or not the specified alerting target exists within the out-of-view range 308. If it is determined in step S118d that an attention target exists in the out-of-view range 308, a warning is issued in step S120d. The warning performed in step S120d may be a warning for the driver of the host vehicle, a warning for a pedestrian or the like existing in the out-of-view range 308, or a warning for both. The warning for the driver may be, for example, a voice warning such as “Look ahead”, or may be warned with a buzzer or the like. The warning for the alert target may be an audio warning or a buzzer.

図13(2)では、ステップS118dに代えてステップS118eを実行する。ここでは、視野外範囲308に注意喚起対象が存在しているか、あるいは視野外範囲308に注意喚起対象が侵入するか否かを判別する。ステップS112で実行する注意喚起対象の存在位置を特定する処理を時間を変えて2度以上実行すると、注意喚起対象の移動速度と移動方向を特定することができ、視野外範囲308に侵入する可能性の有無を判別することができ、侵入する場合は侵入するまでに要する時間を計算することができる。図13(2)では、注意喚起対象が視野外範囲308に侵入する可能性がある場合に警告する。ステップS120dの警告では、侵入までの時間によって警告強度を変えてもよい。   In FIG. 13B, step S118e is executed instead of step S118d. Here, it is determined whether or not there is an alert target in the out-of-view range 308, or whether or not the alert target enters the out-of-view range 308. If the process of identifying the location of the alerting target executed in step S112 is executed twice or more at different times, the speed and direction of the alerting target can be identified, and it is possible to enter the out-of-view range 308. The presence or absence of sex can be determined, and in the case of intrusion, the time required to enter can be calculated. In FIG. 13B, a warning is given when there is a possibility that the alerting target may enter the out-of-view range 308. In the warning in step S120d, the warning intensity may be changed depending on the time until intrusion.

図13(3)では、ステップS118dで、視野外範囲308内に注意喚起対象が存在しているか否かを判別する。図13(1)のステップS118dと同じ処理を実行する。ステップS118dで視野外範囲308内に注意喚起対象が存在しているかと判別されると、図11に示すように、実際の路面126に視野外範囲308を実際に描画し、かつ警告する。その他の点は、図13(1)に同じである。
図13の(4)では、ステップS118dに代えてステップS118eを実行する。その他の点は、図13(3)または図13(2)に同じである。
In FIG. 13 (3), it is determined in step S 118 d whether or not there is an alert target in the out-of-view range 308. The same process as step S118d in FIG. If it is determined in step S118d that an alerting target exists within the out-of-view range 308, the out-of-view range 308 is actually drawn on the actual road surface 126 as shown in FIG. Other points are the same as in FIG.
In (4) of FIG. 13, step S118e is executed instead of step S118d. Other points are the same as FIG. 13 (3) or FIG. 13 (2).

(実施例4)
実施例1と実施例2を組み合わせて実施することも可能であり、実施例2と実施例3を組み合わせて実施することも可能であり、実施例3と実施例1を組み合わせて実施することも可能である。実施例4は、実施例1と実施例2と実施例3を組み合わせた実施例である。
Example 4
It is also possible to carry out by combining Example 1 and Example 2, it is also possible to carry out by combining Example 2 and Example 3, and it is also possible to carry out by combining Example 3 and Example 1. Is possible. The fourth embodiment is a combination of the first embodiment, the second embodiment, and the third embodiment.

実施例4は、図15に示すように、運転者の死角範囲と運転者には避けきれない範囲と運転者の視野外範囲を路面に実際に描画して周囲に居る歩行者等の注意を喚起する装置に関する。ここでは、運転者の死角範囲と運転者には避けきれない範囲と運転者の視野外範囲の少なくともいずれかに属しており、運転者が対処することが困難な範囲402を表示する。
図14に示すように、この装置400は、演算装置114によって投射型表示装置110を制御し、図15に示すように、実際の路面126に、死角範囲128〜138(図2参照)と、運転者が避けきれない範囲214(図7参照)と、視野外範囲308(図11参照)の、少なくともいずれかの範囲に属する対処困難範囲402を表示する。
図14のハードウエア構成は、図1のハードウエア構成と図6のハードウエア構成と図10のハードウエア構成を頭語したものであり、重複説明を省略する。図1、図6、図10の参照番号と同一の参照番号で示す部材は、実施例1〜3で説明したものと同一である。
In Example 4, as shown in FIG. 15, the driver's blind spot range, the range unavoidable for the driver, and the driver's out-of-view range are actually drawn on the road surface, and attention of pedestrians and the like in the surroundings is drawn. It relates to a device to arouse. Here, a range 402 that belongs to at least one of the blind spot range of the driver, a range that cannot be avoided by the driver, and a range outside the field of view of the driver and is difficult for the driver to deal with is displayed.
As shown in FIG. 14, this device 400 controls the projection display device 110 by the arithmetic device 114, and as shown in FIG. 15, on the actual road surface 126, a blind spot range 128 to 138 (see FIG. 2), A difficult-to-handle range 402 that belongs to at least one of the range 214 (see FIG. 7) and the out-of-view range 308 (see FIG. 11) that the driver cannot avoid is displayed.
The hardware configuration of FIG. 14 is an acronym for the hardware configuration of FIG. 1, the hardware configuration of FIG. 6, and the hardware configuration of FIG. The members indicated by the same reference numerals as those in FIGS. 1, 6, and 10 are the same as those described in the first to third embodiments.

装置400が実施する処理手順を図16に示す。図16の処理は、図4と図5、図8と図9、図12と図13の処理手順を統合したものであり、重複説明を省略する。図4と図5、図8と図9、図12と図13の参照番号と同一の参照番号で示す処理は、実施例1〜3で説明したものと同一である。   A processing procedure performed by the apparatus 400 is shown in FIG. The processing in FIG. 16 is an integration of the processing procedures in FIGS. 4 and 5, FIG. 8 and FIG. 9, and FIG. 12 and FIG. The processes indicated by the same reference numerals as those in FIGS. 4 and 5, 8 and 9, 12 and 13 are the same as those described in the first to third embodiments.

図16と図17の処理では、ステップS400で、死角範囲128〜138(図2参照)と、避けきれない範囲214(図7参照)と、視野外範囲308(図11参照)の、少なくともいずれかに属するために運転者が対処することが困難な範囲402を計算する。
ステップS114で自車両の周辺に注意喚起対象が存在していると判別されると、ステップS402を実行し、図15に示すように、実際の路面126に対処困難範囲402を実際に描画する。これによって、自車両の周辺に存在する注意喚起対象は、対処困難範囲402を認識し、事故の発生を防ぐのに必要な予防措置を講ずることができる。
図17の処理では、ステップS404で、対処困難範囲402に注意喚起対象が存在しているか、あるいは侵入するか否かを判別する。対処困難範囲402に注意喚起対象が存在しているか、あるいは侵入する場合には、ステップS404を実行して警告する。
対処困難範囲402の表示条件、あるいは警告条件は、図5の(1)から(4)に示す4形態のいずれを採用してもよい。
16 and 17, in step S400, at least one of the blind spot range 128 to 138 (see FIG. 2), the inevitable range 214 (see FIG. 7), and the out-of-field range 308 (see FIG. 11). A range 402 is calculated that is difficult for the driver to deal with because of belonging to.
If it is determined in step S114 that there is an alert target around the host vehicle, step S402 is executed, and the difficult-to-handle area 402 is actually drawn on the actual road surface 126 as shown in FIG. As a result, the alerting target existing in the vicinity of the host vehicle can recognize the difficult-to-handle area 402 and take preventive measures necessary to prevent the occurrence of an accident.
In the process of FIG. 17, in step S404, it is determined whether or not there is an alert target in the difficult-to-handle area 402, or whether or not to enter. If there is a target to be alerted in the difficult-to-handle area 402 or if it is intruding, a warning is executed by executing step S404.
Any of the four forms shown in (1) to (4) of FIG. 5 may be adopted as the display condition or warning condition of the difficult-to-handle range 402.

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項に記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
Specific examples of the present invention have been described in detail above, but these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above.
The technical elements described in this specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the technology illustrated in the present specification or the drawings achieves a plurality of objects at the same time, and has technical utility by achieving one of the objects.

第1実施例の注意喚起装置のハードウエア構成を示す図。The figure which shows the hardware constitutions of the alerting device of 1st Example. 第1実施例の注意喚起装置の描画パターンの一例を示す図。The figure which shows an example of the drawing pattern of the alerting device of 1st Example. 車載式描画手段(投射型表示装置)の搭載位置を例示する図。The figure which illustrates the mounting position of a vehicle-mounted drawing means (projection type display device). 第1実施例の注意喚起装置が実行する処理手順を示す図。The figure which shows the process sequence which the alerting apparatus of 1st Example performs. 図4の処理手順に続けて実行する処理手順を示す図。The figure which shows the process sequence performed following the process sequence of FIG. 第2実施例の注意喚起装置のハードウエア構成を示す図。The figure which shows the hardware constitutions of the alerting apparatus of 2nd Example. 第2実施例の注意喚起装置の描画パターンの一例を示す図。The figure which shows an example of the drawing pattern of the alerting device of 2nd Example. 第2実施例の注意喚起装置が実行する処理手順を示す図。The figure which shows the process sequence which the alerting apparatus of 2nd Example performs. 図8の処理手順に続けて実行する処理手順を示す図。The figure which shows the process sequence performed following the process sequence of FIG. 第3実施例の注意喚起装置のハードウエア構成を示す図。The figure which shows the hardware constitutions of the alerting apparatus of 3rd Example. 第3実施例の注意喚起装置の描画パターンの一例を示す図。The figure which shows an example of the drawing pattern of the alerting device of 3rd Example. 第3実施例の注意喚起装置が実行する処理手順を示す図。The figure which shows the process sequence which the alerting apparatus of 3rd Example performs. 図12の処理手順に続けて実行する処理手順を示す図。The figure which shows the process sequence performed following the process sequence of FIG. 第4実施例の注意喚起装置のハードウエア構成を示す図。The figure which shows the hardware constitutions of the alerting device of 4th Example. 第4実施例の注意喚起装置の描画パターンの一例を示す図。The figure which shows an example of the drawing pattern of the alerting device of 4th Example. 第4実施例の注意喚起装置が実行する処理手順を示す図。The figure which shows the process sequence which the alerting apparatus of 4th Example performs. 図16の処理手順に続けて実行する処理手順を示す図。The figure which shows the process sequence performed following the process sequence of FIG.

符号の説明Explanation of symbols

100,200,300,400・・・実施例の注意喚起装置
102・・・運転者の瞳位置計測装置
104・・・車内撮影カメラ
106・・・ミラー角度検出装置
108・・・車外撮影カメラ
110・・・投射型表示装置
112・・・警告装置
114・・・演算装置
116・・・車両形状データ記憶装置
118・・・同乗者の外形形状計算処理
120・・・路面の死角範囲の計算処理
122・・・注意喚起対象の抽出処理
124・・・表示・警告処理
202・・・車速センサ
204・・・操舵角センサ
206・・・反応時間データベース
208・・・制動距離データベース
210・・・避けられない範囲の計算処理
302・・・運転者の視線計測装置
304・・・視野外範囲の計算処理
DESCRIPTION OF SYMBOLS 100, 200, 300, 400 ... Warning device 102 of an Example ... Driver's pupil position measuring device 104 ... In-vehicle camera 106 ... Mirror angle detector 108 ... Outside camera 110 ... Projection type display device 112 ... Warning device 114 ... Calculation device 116 ... Vehicle shape data storage device 118 ... Passenger's outer shape calculation processing 120 ... Road surface blind spot range calculation processing 122 ... Extraction process 124 for alerting target ... Display and warning process 202 ... Vehicle speed sensor 204 ... Steering angle sensor 206 ... Reaction time database 208 ... Braking distance database 210 ... Avoid Unacceptable range calculation processing 302... Driver's gaze measuring device 304.

Claims (8)

運転者が対処することが困難な路面上の範囲を特定する特定手段と、
その特定手段で特定された範囲の路面を車両から照射して路面に前記範囲を実際に描画する車載式描画手段、
を備えている注意喚起装置。
A specific means of identifying a range on the road surface that is difficult for the driver to deal with,
Vehicle-mounted drawing means for irradiating the road surface of the range specified by the specifying means from the vehicle and actually drawing the range on the road surface;
A warning device equipped with.
前記特定出段が、運転者の死角範囲を特定することを特徴とする請求項1の注意喚起装置。   The alerting device according to claim 1, wherein the specific stage specifies a blind spot range of the driver. 前記特定出段が、運転者の死角範囲と運転者が避けきれない範囲の少なくとも1種に属する範囲を特定することを特徴とする請求項1の注意喚起装置。   The alerting device according to claim 1, wherein the specific stage specifies a range that belongs to at least one of a blind spot range of the driver and a range that the driver cannot avoid. 前記特定出段が、運転者の死角範囲と運転者が避けきれない範囲と運転者の視野外範囲の少なくとも1種に属する範囲を特定することを特徴とする請求項1の注意喚起装置。   The alerting device according to claim 1, wherein the specific stage specifies a range that belongs to at least one of a blind spot range of the driver, a range that the driver cannot avoid, and a range outside the visual field of the driver. 注意喚起対象が存在するか否かを判別する判別手段が付加されており、
その判別手段が存在すると判別したときに、前記車載式描画手段が前記範囲を描画することを特徴とする請求項1から4のいずれか1項に記載の注意喚起装置。
A discriminating means is added to discriminate whether or not the alert target exists,
The alerting device according to any one of claims 1 to 4, wherein when it is determined that the determining means is present, the in-vehicle drawing means draws the range.
前記判別手段が、車両周囲に注意喚起対象が存在するか否かを判別することを特徴する請求項5の注意喚起装置。   6. The alerting device according to claim 5, wherein the discriminating unit discriminates whether or not there is an alert target around the vehicle. 前記判別手段が、前記特定手段で特定した範囲内に注意喚起対象が存在するか否かを判別することを特徴する請求項5の注意喚起装置。   The alerting device according to claim 5, wherein the discriminating unit discriminates whether or not an alerting target exists within the range specified by the specifying unit. 前記判別手段が、前記特定手段で特定した範囲内に侵入する注意喚起対象が存在するか否かを判別することを特徴する請求項5の注意喚起装置。   The alerting device according to claim 5, wherein the discriminating unit discriminates whether or not there is an alerting target that enters the range specified by the specifying unit.
JP2007336904A 2007-12-27 2007-12-27 Warning device Active JP5003473B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007336904A JP5003473B2 (en) 2007-12-27 2007-12-27 Warning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007336904A JP5003473B2 (en) 2007-12-27 2007-12-27 Warning device

Publications (2)

Publication Number Publication Date
JP2009154775A true JP2009154775A (en) 2009-07-16
JP5003473B2 JP5003473B2 (en) 2012-08-15

Family

ID=40959247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007336904A Active JP5003473B2 (en) 2007-12-27 2007-12-27 Warning device

Country Status (1)

Country Link
JP (1) JP5003473B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011044085A (en) * 2009-08-24 2011-03-03 Isuzu Motors Ltd Driving support apparatus
JP2012022487A (en) * 2010-07-14 2012-02-02 Yazaki Corp Vehicle approach alarm system
JP2016004425A (en) * 2014-06-17 2016-01-12 株式会社豊田中央研究所 Lane change assist system and program
JP2018147063A (en) * 2017-03-02 2018-09-20 マツダ株式会社 Information control device
EP4005872A1 (en) 2020-11-30 2022-06-01 Toyota Jidosha Kabushiki Kaisha Alerting system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106347242B (en) * 2016-09-30 2019-10-29 惠州市德赛西威汽车电子股份有限公司 A kind of awakening method and its device of automobile separation entertainment systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09197950A (en) * 1996-01-22 1997-07-31 Akebono Brake Ind Co Ltd Dead angle area display device
JP2004185105A (en) * 2002-11-29 2004-07-02 Nissan Motor Co Ltd Obstacle informing device
JP2004182121A (en) * 2002-12-04 2004-07-02 Matsushita Electric Ind Co Ltd Drive assist system
JP3133977U (en) * 2007-03-19 2007-08-02 有限会社エヌエフ商会 rearview mirror

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09197950A (en) * 1996-01-22 1997-07-31 Akebono Brake Ind Co Ltd Dead angle area display device
JP2004185105A (en) * 2002-11-29 2004-07-02 Nissan Motor Co Ltd Obstacle informing device
JP2004182121A (en) * 2002-12-04 2004-07-02 Matsushita Electric Ind Co Ltd Drive assist system
JP3133977U (en) * 2007-03-19 2007-08-02 有限会社エヌエフ商会 rearview mirror

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011044085A (en) * 2009-08-24 2011-03-03 Isuzu Motors Ltd Driving support apparatus
JP2012022487A (en) * 2010-07-14 2012-02-02 Yazaki Corp Vehicle approach alarm system
JP2016004425A (en) * 2014-06-17 2016-01-12 株式会社豊田中央研究所 Lane change assist system and program
JP2018147063A (en) * 2017-03-02 2018-09-20 マツダ株式会社 Information control device
EP4005872A1 (en) 2020-11-30 2022-06-01 Toyota Jidosha Kabushiki Kaisha Alerting system
CN114572108A (en) * 2020-11-30 2022-06-03 丰田自动车株式会社 Attention reminding system
JP2022086635A (en) * 2020-11-30 2022-06-09 トヨタ自動車株式会社 Attention calling system
JP7268669B2 (en) 2020-11-30 2023-05-08 トヨタ自動車株式会社 alert system
CN114572108B (en) * 2020-11-30 2023-12-29 丰田自动车株式会社 Attention reminding system

Also Published As

Publication number Publication date
JP5003473B2 (en) 2012-08-15

Similar Documents

Publication Publication Date Title
JP6113375B2 (en) Driving support device and driving support method
JP5718942B2 (en) Apparatus and method for assisting safe operation of transportation means
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
EP2352136B1 (en) System for monitoring the area around a vehicle
WO2016186039A1 (en) Automobile periphery information display system
JP2018195301A (en) Control device and control method
JP4872245B2 (en) Pedestrian recognition device
JP4415856B2 (en) Method for detecting the forward perimeter of a road vehicle by a perimeter sensing system
US20190244515A1 (en) Augmented reality dsrc data visualization
CN106476695B (en) Systems and methods for visibility enhancement
JP5888339B2 (en) Display control device
JP5003473B2 (en) Warning device
JP2007241898A (en) Stopping vehicle classifying and detecting device and vehicle peripheral monitoring device
US10632912B2 (en) Alarm device
JP2013120574A (en) On-vehicle pedestrian alarm device
KR20180065527A (en) Vehicle side-rear warning device and method using the same
WO2017115371A1 (en) Apparatus and method for avoiding vehicular accidents
JP2000184368A (en) On-vehicle camera system displaying sensor signal superimposed on video signal
JP5192007B2 (en) Vehicle periphery monitoring device
KR101491177B1 (en) Night view system and control method thereof
JP2007133644A (en) Pedestrian recognition device
JP2008282235A (en) Driving support device, automobile equipped with driving support device and driving support method
CN109823344B (en) Driving prompting method and system
WO2018212090A1 (en) Control device and control method
JP5192009B2 (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5003473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3