JP2007034693A - Safe driving support system - Google Patents
Safe driving support system Download PDFInfo
- Publication number
- JP2007034693A JP2007034693A JP2005217386A JP2005217386A JP2007034693A JP 2007034693 A JP2007034693 A JP 2007034693A JP 2005217386 A JP2005217386 A JP 2005217386A JP 2005217386 A JP2005217386 A JP 2005217386A JP 2007034693 A JP2007034693 A JP 2007034693A
- Authority
- JP
- Japan
- Prior art keywords
- red
- signal
- vehicle
- traffic
- safe driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Regulating Braking Force (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
Description
本発明は、信号機の信号状態を判定して車両の停止などに関する制御を行うことにより安全運転を支援する安全運転支援装置に関する。 The present invention relates to a safe driving support device that supports safe driving by determining a signal state of a traffic light and performing control related to stopping of a vehicle and the like.
車両を運転する場合に、信号機の赤信号を確認し忘れたり、確認が遅れたりすると事故につながることから、信号機の動作状態にはかなりの神経を使うものである。また、信号機が連続して視野に入ったり、あるいは特異な交差点では進行方向に該当する信号機と他の信号機とが類似する向きにあったりし、自車両が進む方向の信号機の赤信号を見誤ったりするおそれがある。なお、車両の走行中に、信号機を検出する技術として特許文献1に記載されているが、これは、信号機などの対象物を検出するときに水平距離も算出し、その算出した距離を用いて自車両の現在位置を補正するものであり、本発明とは関係がない。
車両を運転する場合に、信号機の赤信号で車両が進入すると危険であり、これを防止することが好ましい。
そこで本発明は、自車両の進行方向の信号機の赤信号を自動的に検出して停止などに関する制御を行うことができる安全運転支援装置を提供するにある。
When driving a vehicle, it is dangerous if the vehicle enters with a red traffic light, and it is preferable to prevent this.
Therefore, the present invention is to provide a safe driving support device capable of automatically detecting a red signal of a traffic light in the traveling direction of the host vehicle and performing control related to stopping or the like.
前記目的を達成するために、請求項1の発明は、信号機の信号状態を判定して車両の停止などを制御して安全運転を支援する安全運転支援装置であって、車両に設けられ進行方向を撮像して撮像画像を出力する撮像手段と、この撮像手段による撮像画像から赤色発光部を抽出して信号機の赤色信号を検出する赤信号検出手段と、この赤信号検出手段により前記赤信号が検出されたときに当該信号機が自車両の進路上に存在する信号機であるか否かを判定する進路上信号機判定手段と、この進路上信号機判定手段により自車両の進路上に存在する信号機であることが判定されたときに、車両停止などに関する対応制御を行う対応制御手段とを備えて構成される。
In order to achieve the above object, the invention of
この請求項1の発明によれば、赤信号検出手段が、撮像手段による撮像画像から赤色発光部を抽出して、赤信号であることを検出する。進路上信号機判定手段は、この赤信号検出手段により赤信号が検出されると、当該信号機が自車両の進路上に存在する信号機であるか否かを判定する。そして、この進路上信号機判定手段が、当該信号機が自車両の進路上に存在する信号機であると判定したときには、つまり、自車両の進行方向が赤信号であるときには、対応制御手段が車両停止などに関する対応処理を行う。このように、自車両の進行方向における信号機が赤信号であるときにこれを自動検出でき、且つ、車両停止などに関する対応制御を行うことができる。特に、信号機の発光状態を検出するから、視界が悪い場合や夜間でも、信号機を検出できる。つまり、撮像手段により信号機そのものを検出しようとすると、視界が悪いような場合や夜間時には、信号機の鮮明な撮像が得られないことがあるが、信号機の発光状態を検出する場合には、多少視界が悪くてもあるいは夜間時でも撮像手段により赤色発光体の発光状態を良好に撮像でき、もって、信号機の存在を良好に検出できるものである。 According to the first aspect of the invention, the red signal detecting means extracts the red light emitting portion from the image picked up by the image pickup means and detects that it is a red signal. When a red signal is detected by the red signal detecting means, the traffic signal determining means determines whether or not the traffic signal is a signal present on the course of the host vehicle. When the traffic signal determination means determines that the traffic signal is a traffic signal that exists on the path of the host vehicle, that is, when the traveling direction of the host vehicle is a red signal, the response control unit stops the vehicle, etc. The corresponding processing is performed. In this way, when the traffic light in the traveling direction of the host vehicle is a red signal, this can be automatically detected, and corresponding control relating to vehicle stop can be performed. In particular, since the light emission state of the traffic light is detected, the traffic light can be detected even when visibility is poor or at night. In other words, when the traffic signal itself is detected by the imaging means, there may be a case where the visibility is poor or at night, the clear imaging of the traffic signal may not be obtained. Even if it is bad or at night, the light emission state of the red light emitter can be favorably imaged by the imaging means, so that the presence of the traffic light can be well detected.
この場合、前記進路上信号機判定手段は、撮像手段による撮像画像から抽出された赤色発光部の輪郭の楕円度を割り出し、この割り出した楕円度に基づいて当該信号機が自車両の進路上に存在する信号機であると判定するようにしても良い(請求項2の発明)。このようにすると、検出された赤信号の信号機が進行方向の信号機であるかどうかを精度良く判定できる。すなわち、信号機の各発光体は、自車両から正面方向に存在すると真円に近く、自車両から見た角度が左右にずれるほど各発光体は楕円度が増してゆく。つまり、撮像手段により撮像した赤色発光部の楕円度が低いほど(真円に近いほど)自車両の正面、換言すれば自車両の進行方向に存在するものであると判定でき、判定精度が向上する。 In this case, the traffic signal determination unit on the route calculates the ellipticity of the contour of the red light emitting unit extracted from the image captured by the imaging unit, and the traffic signal exists on the route of the host vehicle based on the calculated ellipticity. You may make it determine with it being a traffic signal (invention of Claim 2). In this way, it is possible to accurately determine whether or not the detected red traffic light is a traffic light in the traveling direction. That is, each light emitter of the traffic light is close to a perfect circle when present in the front direction from the own vehicle, and the ellipticity of each light emitter increases as the angle seen from the own vehicle shifts to the left and right. In other words, the lower the ellipticity of the red light emitting part imaged by the imaging means (the closer it is to a perfect circle), the more it can be determined that the vehicle is in front of the host vehicle, in other words, in the traveling direction of the host vehicle. To do.
また、前記進路上信号機判定手段は、前記赤色発光部の下側部分の輪郭の楕円度を割り出すようにしても良い(請求項3の発明)。このようにすると、信号機のひさしに影響されずに、自車両の進路上に存在する信号機か否かを精度良く判定することができる。すなわち、通常、信号機の発光体の上部にはひさしが取り付けられており、該発光体を斜めから見ると、発光体の輪郭の上部をこのひさしが遮ることがある。従って、撮像画像における赤色発光部の輪郭の楕円度を割り出すときに、このひさしの影響のない輪郭下側部分の楕円度を用いれば、信号機のひさしに関係なく自車両の進路上に存在する信号機か否かを精度良く判定することができる。 The on-route traffic light determination means may determine the ellipticity of the contour of the lower portion of the red light emitting section (invention of claim 3). If it does in this way, it can judge accurately whether it is a traffic signal which exists on the course of the own vehicle, without being influenced by eaves of a traffic signal. That is, normally, an eave is attached to the upper part of the light emitter of the traffic light. When the light emitter is viewed from an oblique direction, the eaves may block the upper part of the outline of the light emitter. Therefore, when determining the ellipticity of the contour of the red light emitting part in the captured image, if the ellipticity of the lower portion of the contour that is not affected by the eaves is used, the traffic signal present on the course of the host vehicle regardless of the eaves of the traffic signal Whether or not can be determined with high accuracy.
また、地図データ記憶手段や、自車位置検出手段などを有して、自車両の現在位置から目的位置までの経路案内が可能なナビゲーション装置を備え、進路上信号機判定手段が、このナビゲーション装置が動作しているときには該ナビゲーション装置を用いて、当該信号機が自車両の進路上に存在する信号機であるか否かを判定する構成としても良い(請求項4の発明)。このようにすると、ナビゲーション装置を利用して、自車両の進路上に存在する信号機か否かを精度良く判定することができる。 In addition, the navigation apparatus has a map data storage means, a vehicle position detection means, and the like, and is capable of guiding a route from the current position of the vehicle to a target position. It is good also as a structure which determines whether the said traffic signal is a traffic signal which exists on the course of the own vehicle using this navigation apparatus, when operating (invention of Claim 4). If it does in this way, it can judge accurately whether it is a traffic signal which exists on the course of the own vehicle using a navigation device.
また、前記赤信号検出手段は、抽出した赤色発光部の輝度及び/又は該赤色発光部の高さに基づいて赤信号であることを検出するようにしても良い(請求項5の発明)。このようにすれば、赤信号を確実に検出できる。 The red signal detecting means may detect a red signal based on the extracted luminance of the red light emitting part and / or the height of the red light emitting part (invention of claim 5). In this way, a red signal can be reliably detected.
また、前記赤信号検出手段は、複数の赤信号を検出したときには、各赤信号に対応する赤色発光部相互の大きさ及び高さを比較して、自車両に対して各赤色信号を近い順から認識し、前記進路上信号機判定手段は、自車両に近い赤信号の信号機から順に、自車両の進路上に存在する信号機であるか否かを判定するようにしても良い(請求項6)。このようにすると、赤信号が複数検出されても、自車両に近い赤信号を認識でき、そして自車両に近い赤信号の信号機から順に、進路上に存在する信号機であるか否かを判定できて、判定処理の最適化が図れる。 In addition, when the red signal detecting means detects a plurality of red signals, the red signal detecting means compares the sizes and heights of the red light emitting sections corresponding to the red signals, and arranges the red signals in order of closeness to the host vehicle. The traffic light determination means on the route may determine whether or not the traffic light is present on the route of the own vehicle in order from the traffic light of the red signal close to the own vehicle (Claim 6). . In this way, even if a plurality of red signals are detected, it is possible to recognize red signals that are close to the host vehicle, and it is possible to determine whether or not the traffic lights are present on the route in order from the red signal that is closest to the host vehicle. Thus, the determination process can be optimized.
また、前記進路上信号機判定手段が、前記撮像画像における赤色発光部の左右面積比から信号機の右斜め向き・左斜め向きを判定する向き判定手段を備えていても良い(請求項7の発明)。このようにすると、信号機のひさしを利用して該信号機の向きを良好に判定できる。すなわち、前述したように、通常、信号機の発光体の上部にはひさしが取り付けられており、信号機が自車両からみて右斜め向きである場合に、ひさし部分が当該信号機の発光体の上部左側に被さる形態となるから、撮像画像における赤色発光部は左半分の発光面積が右半分の発光面積より小さくなる。逆に信号機が左斜め向きであると、ひさし部分が当該信号機の発光体の上部右側に被さる形態となるから、撮像画像における赤色発光部は右半分の発光面積が左半分の発光面積より小さくなる。従って、上述の請求項7の発明によれば、記進路上信号機判定手段が、前記撮像画像における赤色発光部の左右面積比から信号機の右斜め向き・左斜め向きを判定する向き判定手段を備えているから、信号機のひさしを利用して該信号機の向きを良好に判定することができる。 In addition, the traffic signal determination unit on the route may include a direction determination unit that determines a right diagonal direction and a left diagonal direction of the traffic signal based on a right / left area ratio of the red light emitting unit in the captured image (invention of claim 7). . In this way, the direction of the traffic light can be satisfactorily determined using the eaves of the traffic light. That is, as described above, usually, an eave is attached to the upper part of the light emitter of the traffic light, and when the traffic light is inclined rightward when viewed from the host vehicle, the eaves portion is on the upper left side of the light emitter of the traffic light. Since it is covered, the red light emitting part in the captured image has a light emission area on the left half smaller than that on the right half. On the contrary, when the traffic light is tilted to the left, the eaves part covers the upper right side of the light emitter of the traffic light. Therefore, the red light-emitting portion in the captured image has a light emission area on the right half smaller than that on the left half. . Therefore, according to the seventh aspect of the present invention, the on-track traffic signal determining means includes the direction determining means for determining the right oblique direction and the left oblique direction of the traffic light from the left-right area ratio of the red light emitting portion in the captured image. Therefore, the direction of the traffic light can be satisfactorily determined using the eaves of the traffic light.
また、前記対応制御手段は、車両停止などに関する対応制御として、自車両の停止準備がなされていないときに警告もしくは停止制御を実行する構成としても良く(請求項8の発明)、このようにすると、自車両の進行方向における信号機が赤信号であるときに、ユーザー(運転者)に警告を与えることができ、もしくは車両停止を行うことができる。 Further, the response control means may be configured to execute warning or stop control as response control relating to vehicle stop or the like when the host vehicle is not prepared for stop (invention of claim 8). When the traffic light in the traveling direction of the host vehicle is a red signal, a warning can be given to the user (driver) or the vehicle can be stopped.
以下、本発明の一実施例について図面を参照して説明する。図1には安全運転支援装置1全体構成を機能的ブロックによって示している。この安全運転支援装置1は車両2(図3参照)に搭載されており、処理装置3、前方監視カメラ4、自車位置検出装置5、地図データ記憶部6、表示装置7、音声出力装置8、車両制御部9、車速センサ10、入力装置12を備えて構成されている。
An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 shows the overall configuration of the safe
前記処理装置3は、CPU、ROM、RAMや各種A/D変換器などを含んで構成されており、この処理装置3は、機能的に、赤信号検出手段たる赤信号検出部3a、進路上信号機判定手段たる進路上信号機判定部3b、ナビゲーション処理部3c、対応制御手段たる対応制御部3d、出力制御部3eを備えて構成される。
The
前記前方監視カメラ4は、撮像手段に相当するものであり、CCDカメラなどからなる。車両2に、その進行方向を撮像し得るように設けられている。自車位置検出手段たる前記自車位置検出装置5、地図データ記憶手段たる地図データ記憶部6、ナビゲーション処理部3cは、ナビゲーション装置11を構成している。自車位置検出装置5は、GPS受信機やジャイロなどを備えて構成されており、自車位置を検出する。地図データ記憶部6は、ナビゲーション装置として必要な地図データを記憶しており、これは例えばCDやDVDなどの記録媒体から構成されていて、CDドライブやDVDドライブなどのドライブ装置(図示せず)を介してデータ情報がナビゲーション処理部3cに入力される。ナビゲーション処理部3cは入力装置12から目的地設定があると、自車位置から目的地までの経路を計算し、表示装置7に地図と自車位置とを表示すると共に、該表示装置7及び音声出力装置8とにより目的地までの経路を表示及び音声にて案内する。
The
また、入力装置12から目的地設定がない場合でも、地図表示要求があると自車位置を地図と共に表示するようになっている。
前記表示装置7は、走行中に地図や自車位置(自車マーク)や経路案内のための経路識別マークなどを表示する。報知手段である音声出力装置8は例えばスピーカから構成されている。車両制御部9は対応制御部3dから強制ブレーキ指令があると、車両のブレーキ装置に動作指令を出すためのものである。
前記車速センサ10は、自車両2の車速を検出するものであり、その車速検出信号は、ナビゲーション処理部3c及び対応制御部3dで使用される。前記入力装置12は表示装置7におけるタッチパネルスイッチや、リモコンスイッチなどから構成される。
Even when there is no destination setting from the
The
The
さて、前記処理装置3における赤信号検出部3a、進路上信号機判定部3b、ナビゲーション処理部3c、対応制御部3d、出力制御部3eの機能について、図2のフローチャートを参照しながら説明する。このフローチャートは、例えば自車両2の始動キーがオンされたときにスタートする。まず、ステップP1においては、前方監視カメラ4から撮像画像(撮像結果)を読み込み、ステップP2でこの撮像画像から赤色の発光部を抽出する。ステップP3では、この抽出した赤色発光部の輝度や大きさφ(図7参照)又は画像上での高さha、hb(図7参照)さらには形状(真円、楕円)に基づいて信号機の赤色発光体の発光状態であるか否か(赤信号であるか否か)を判定する(赤信号検出手段)。上記高さha、hbは、信号機の発光体が比較的高い位置にあることから、赤信号判定要素として適している。
Now, functions of the red
ステップP4では、前記赤信号が複数抽出された場合に、自車両2に対する各赤信号の距離を判断して、自車両2に近い順に認識する。これは、赤色発光部の大きさが大きく且つ撮像画像上における高さが高いほど自車両2に近い距離にあると判断する。ステップP5では、一番近い赤信号である赤色発光部を設定する。
In step P4, when a plurality of red signals are extracted, the distance of each red signal with respect to the
ステップP6では、間近(この場合一番目)にある信号機の向きを判定する。すなわち、前記進路上信号機判定部3bは、前方監視カメラ4により撮像した撮像画像における赤色発光部の輪郭の下側部分の楕円度(縦長度)を割り出し、この割り出した楕円度に基づいて当該信号機の向きを判定する。
In Step P6, the direction of the traffic light that is close (first in this case) is determined. That is, the traffic
ここで、楕円度を割り出す趣旨について述べると、信号機の発光体が自車両2に対して対向していると、発光体の輪郭はほぼ真円であるが、左右いずれかに斜め状態であると、縦長な楕円となる。従って楕円度(真円は楕円度(縦長度)ほぼ「1」、縦長な楕円ほど楕円度大(楕円度「1」以上))を割り出すことにより、信号機が斜めであることを判定できる。そして、信号機の各発光体は、自車両から正面方向に存在すると真円に近く、自車両から見た角度が左右にずれるほど各発光体は楕円度が増してゆく。つまり、赤色発光部の楕円度が低いほど(真円に近いほど)自車両の正面、換言すれば自車両の進行方向に存在するものであると判定できる。そして、また上記楕円度により自車両2に対する当該信号機の角度も判定できる。
Here, the purpose of determining the ellipticity will be described. When the light emitter of the traffic light is opposed to the
そして、発光体の輪郭のうち下側部分の楕円度を使用する趣旨は、次にある。すなわち、図5からも判るように、通常、信号機の発光体の上部にはひさし(符号Fで示す)が取り付けられており、該発光体を斜めから見ると、発光体の輪郭の上部をこのひさしが遮ることがある。従って、発光体の輪郭の楕円度を割り出すときに、このひさしの影響のない輪郭下側部分の楕円度を用いれば、自車両の進路上に存在する信号機か否かを精度良く判定することができる、というものである。 The purpose of using the ellipticity of the lower part of the contour of the light emitter is as follows. That is, as can be seen from FIG. 5, an eave (indicated by symbol F) is usually attached to the upper part of the light emitter of the traffic light. The eaves may block. Therefore, when determining the ellipticity of the contour of the illuminant, if the ellipticity of the lower portion of the contour that is not affected by the eaves is used, it is possible to accurately determine whether the traffic signal is present on the course of the host vehicle. It can be done.
さらに、このステップP6では、信号機の発光体が斜め向きのうち、右向き、左むきのいずれであるかを判定するようにしている。すなわち、前述したように、通常、信号機の発光体の上部にはひさしが取り付けられており、図5から判るように、信号機が自車両からみて右斜め向きである場合に、ひさし部分が当該信号機の発光体の上部左側に被さる形態となるから、前方監視カメラ4の撮像画像における赤色発光部(図4に符号Rで示す)は左半分の発光面積が右半分の発光面積より小さくなる。逆に信号機が左斜め向きであると、ひさし部分が当該信号機の発光体の上部右側に被さる形態となるから、撮像画像における赤色発光部は右半分の発光面積が左半分の発光面積より小さくなる。従って、像画像における赤色発光部の左右面積比から信号機の右斜め向き・左斜め向きを判定することが可能となる。
Furthermore, in this step P6, it is determined whether the light emitter of the traffic light is rightward or leftward among the diagonal directions. That is, as described above, an eave is usually attached to the upper part of the light emitter of the traffic light. As can be seen from FIG. 5, when the traffic light is inclined rightward when viewed from the host vehicle, Therefore, in the red light emitting part (indicated by symbol R in FIG. 4) in the captured image of the
ここで、図3に示すように、車両2が進行しているときに信号機S1、S2、S3がある場合を考える。この場合信号機S1が、自車両2が走行している車道W1に対応する信号機(進路上の信号機)とする。この信号機S1は、前方監視カメラ4(自車両2)から見ると正面に見える。つまり、対向する向きにある。また別の信号機S2は、別の車道W2に対応する信号機とする。この信号機S2は、前方監視カメラ4から見ると左斜め向き状態にある。さらに別の信号機S3は、さらに別の車道W3に対応する信号機とする。この信号機S3は、前方監視カメラ4から見ると右斜め向き状態にある。これらの信号機の赤色発光体の向きは、上述の記載から判るように良好に判定できる。
Here, as shown in FIG. 3, a case is considered where there are traffic lights S1, S2, and S3 when the
前記ステップP6の後、ステップP7では、ナビゲーション装置11が動作中であるかどうかを判断する。つまり、ユーザーが目的地を設定したことによりナビゲーション装置11が経路案内を実行しているかどうかを判断する。ナビゲーション装置11が動作中でないときには、ステップP8に移行し、間近の赤信号の信号機が進路上にある信号機であるかどうかを判定する。この判定は次のようにして行う。すなわち、撮像画像上の赤色発光部が対向した向きにあれば、間近の赤信号の信号機が進路上にある信号機であると判定する。
After Step P6, in Step P7, it is determined whether or not the
このステップP8において、間近の赤信号の信号機が進路上にある信号機であると判定されると(「YES」)、ステップP9で、車両停止準備状態を判定する。すなわち、進路上にある信号機までの距離と現在の車両速度(車速センサ10からの信号)とを考慮して、当該信号機までに停止可能な否かを判断する。この判断は、例えば、「緊急度ほぼ無し」(すぐにブレーキングしなくてもいい、あるいは十分に余裕のあるブレーキング中である)、「緊急度やや有り」(今すぐユーザーにブレーキングを促したほうがいい)、「緊急度高い」(車両側に強制的にブレーキングの指令を出したほうが良い)の3段階に区分して判断するようにしている。ここで、上記「緊急度ほぼ無し」の範疇として、車速が十分に低速であることを加味しても良く、この場合ユーザーが赤信号を既に認識している場合での不快な警告をなくすことができる。さらに、上記「緊急度ほぼ無し」の範疇として、自車両2が素早くほぼ90度曲がった後(ジャイロなどにより検出)の赤信号を検出したことを加味しても良く、この場合、自車両2が交差点内で曲がったすぐ先の信号機(同じ交差点内の別の信号機)が赤信号のときの無用な警告をなくすことができる。
If it is determined in this step P8 that the red signal at hand is a traffic signal on the course ("YES"), the vehicle stop preparation state is determined in step P9. That is, in consideration of the distance to the traffic signal on the route and the current vehicle speed (signal from the vehicle speed sensor 10), it is determined whether or not the vehicle can be stopped by the traffic signal. This determination can be made, for example, “almost no urgency” (there is no need to brake immediately, or there is sufficient braking), “somewhat urgent” (immediate braking Judgment should be made in three stages: “highly urgent” (it is better to force a braking command to the vehicle). Here, as the category of “almost no urgency”, it may be considered that the vehicle speed is sufficiently low, and in this case, an unpleasant warning when the user already recognizes a red light is eliminated. Can do. Furthermore, as a category of the above “almost no urgency”, it may be taken into account that the
「緊急度ほぼ無し」である場合(ステップP10で「YES」)は、警告や強制ブレーキは行わずに、ステップP1に戻る。また、「緊急度やや有り」である場合には(ステップP10の「NO」を経てステップP11で「YES」)、ステップP12で、音声出力装置8に「ブレーキを促す」趣旨の音声を出力させる(警告)と共に表示装置7に同趣旨の表示(警告)を行わせ、また、「緊急度高い」である場合には(ステップP11の「NO」)、ステップP13に移行し、前述同様に音声出力装置8及び表示装置7に「ブレーキを促す」趣旨の警告をさせると共に、車両制御部9に強制ブレーキ指令を出力する。この場合、車両制御部9はこの強制ブレーキ指令を受けて車両のブレーキ装置を動作させるところのブレーキ実行指令を出力し、車両のブレーキ装置がブレーキ動作を実行する。
前記ステップP8において、間近の赤信号の信号機が自車進路上にない場合(「NO」)には、ステップP14で、次に近い赤信号の信号機を設定し、ステップP6の角度・向き判定処理以降を再度実行する。
If it is “almost no urgency” (“YES” in step P10), the process returns to step P1 without warning or forced braking. If it is “somewhat urgent” (“NO” in step P10 and “YES” in step P11), in step P12, the
In step P8, when there is no red signal near the vehicle ("NO"), the next closest red signal is set in step P14, and the angle / orientation determination process in step P6 is performed. Then execute again.
ここで、前記ステップP7において、ナビゲーション装置11が動作中であることが判断されると、ステップP15で、地図データ上の信号機と自車両2の距離と角度を算出し、ステップP16では、ナビゲーション装置11の機能を使用して間近の赤信号の信号機が進路上にあるか否かを判断する。すなわち、ステップP15で算出した地図データ上の信号機と自車両2の距離及び角度と、画像データにおける赤色発光部の自車両2からの距離及び向き並びに角度(向き、角度は前述したステップP6で検出している)とが一致するか否かを判断するし、一致すれば、該当信号機がナビゲーション装置11で設定した経路に存在するか否かを判断し、設定経路に存在すれば、間近の赤信号状態の信号機が進路上にあると判定し、設定経路に存在しなければ、間近の赤信号状態の信号機が進路上にないと判定し、ステップP14で次を設定し、ステップP6に戻る。
If it is determined in step P7 that the
上述の判定の仕方を、図6、図7を参照して述べる。ナビゲーション装置11が動作中においては、自車両2の位置と、信号機A、Bの位置とが判っており、そして自車両2から信号機A、Bまでの距離La、Lb、さらに自車両2から見た信号機A、Bに対する角度θa、θbも判っており、そして、経路(矢印Kで示す)が設定されている。これに対して、前方監視カメラ4により撮像された画像データには、図7のように、信号機A、Bの赤信号が赤色発光部Ha、Hbとして認識されており、画像データ上で自車両2からこれらの赤色発光部Ha、Hbの距離を高さha、hbにより算出し、向き及び角度はステップP6で判定済みである。
The above-described determination method will be described with reference to FIGS. While the
そして、ナビゲーション装置11における地図データ上の前記距離La、Lbと、算出された画像データ上の距離とが一致すること、及び上記角度θa、θb(左右の向きも含まれる)と、画像データ上で算出された向き及び角度とが一致するで、赤信号状態の信号機A、Bが認識される。そして、この赤信号状態の信号機A、Bが設定経路K上にあれば、進路上にある赤信号状態の信号機として判定されることになる。
Then, the distances La and Lb on the map data in the
なお、図3、図4において、ナビゲーション装置11が作動している場合も、同様にして、間近の赤信号状態の信号機が進路上にあるか否かが判定されるものである。
前記ステップP4〜ステップP8、ステップP14〜ステップP16が進路上信号機判定手段たる進路上信号機判定部3bの機能を示している。
ステップP16で、間近の赤信号状態の信号機が進路上にあると判定されれば(「YES」)、前述したステップP9に移行し、間近の赤信号状態の信号機が進路上にないと判定されれば(「NO」)、前述のステップP14を経てステップP6に戻る。
3 and 4, when the
Steps P4 to P8 and Steps P14 to P16 show the function of the on-route
If it is determined in step P16 that the traffic light in the near red signal state is on the route (“YES”), the process proceeds to step P9 described above, and it is determined that the traffic light in the near red signal state is not on the route. If so ("NO"), the process returns to Step P6 via Step P14 described above.
このような本実施例によれば、処理装置3における赤信号検出部3aが、前方監視カメラ4による撮像画像に基づいて赤色発光部を抽出して赤信号を検出すると、進路上信号機判定部3bが、当該信号機が自車両2の進路上に存在する信号機であるか否かを判定する。そして、この進路上信号機判定部3bが、当該信号機が自車両2の進路上に存在する信号機であると判定したときには、つまり、自車両2の進行方向が赤信号であるときには、対応制御部3dが車両停止などに関する対応処理を行う。このように、自車両2の進行方向における信号機が赤信号であるときにこれを自動検出でき、且つ、車両停止などに関する対応制御を行うことができる。
According to such a present Example, when the red
特に、信号機の発光体の発光状態を検出するから、視界が悪い場合や夜間でも、信号機を検出できる。つまり、前方監視カメラ4により信号機そのものを検出しようとすると、視界が悪いような場合や夜間時には、信号機の鮮明な撮像が得られないことがあるが、信号機の発光状態を検出する場合には、多少視界が悪かったり、夜間時でも、前方監視カメラ4により赤色発光体の発光状態を良好に撮像でき、もって、信号機の存在を良好に検出できるものである。
In particular, since the light emission state of the light emitter of the traffic light is detected, the traffic light can be detected even when visibility is poor or at night. That is, when trying to detect the traffic light itself with the
この場合、前記進路上信号機判定部3bは、赤色発光部の輪郭の楕円度を割り出し、この割り出した楕円度に基づいて当該信号機が自車両2の進路上に存在する信号機であると判定するようにしたから、発光状態にある赤色発光体が進行方向の信号機であるかどうかを精度良く判定できる。
特に、前記進路上信号機判定部3bは、前記赤色発光部の下側部分の輪郭の楕円度を割り出すようにしたから、信号機の発光体の上部にひさしが存在する場合でも、自車両2の進路上に存在する信号機か否かを精度良く判定することができる。
In this case, the traffic
In particular, since the traffic
また、地図データ記憶部6や、自車位置検出装置5などを有して、自車両2の現在位置から目的位置までの経路案内が可能なナビゲーション装置11を備え、進路上信号機判定部3bが、このナビゲーション装置11が動作しているときには該ナビゲーション装置11を用いて、当該信号機が自車両2の進路上に存在する信号機であるか否かを判定する構成としたから、ナビゲーション装置11を利用して、自車両2の進路上に存在する信号機か否かを精度良く判定することができる。
In addition, the
また、前記赤信号検出部3aが、抽出した赤色発光部の輝度及び/又は撮像画像における該赤色発光部の高さに基づいて赤信号を検出するようにしたから、赤信号を確実に検出できる。
In addition, since the red
また、前記赤信号検出部3aが、複数の赤信号を検出したときには、各赤信号に対応した赤色発光部相互の大きさ及び高さを比較して、自車両に対して赤信号を近い順から認識し、進路上信号機判定部3bが、自車両2に近い赤信号の信号機から順に、自車両の進路上に存在する信号機であるか否かを判定するようにしたから、赤信号が複数検出されても、自車両に近い赤信号を検出でき、そして自車両2に近いほうから順に、進路上に存在する信号機であるか否かを判定できて、判定処理の最適化が図れる。
In addition, when the red
さらに、前記進路上信号機判定部3bが、撮像画像における赤色発光部の左右面積比から信号機の右斜め向き・左斜め向きを判定する向き判定手段を備えているから、信号機のひさしを利用して該信号機の向きを良好に判定できる。
また、対応制御部3dが、車両停止などに関する対応制御として、自車両2の停止準備がなされていないとき(「緊急度やや有り」、「緊急度高い」)に警告もしくは停止制御を実行する構成としたから、自車両2の進行方向における信号機が赤信号であるときに、ユーザー(運転者)に警告を与えることでき、もしくは車両停止を行うことができる。
なお、本発明は上述した実施例に限られず、要旨を逸脱しない範囲内で種々変更して実施できるものである。例えば、ステップPで、大きさ(直径)φ(図7参照)を赤信号検出のための要素としたが、真円でない場合には、縦方向の大きさsh(図7参照)でも良い。
Further, since the on-route traffic
In addition, the
In addition, this invention is not restricted to the Example mentioned above, It can implement by changing variously within the range which does not deviate from a summary. For example, in step P, the size (diameter) φ (see FIG. 7) is used as an element for detecting a red signal, but if it is not a perfect circle, the size sh (see FIG. 7) in the vertical direction may be used.
図面中、1は安全運転支援装置、2は車両、3は処理装置、3aは赤信号検出部(赤信号検出手段)、3bは進路上信号機判定部(進路上信号機判定手段)、3dは対応制御部(対応制御手段)、4は前方監視カメラ(撮像手段)、5は自車位置検出装置(自車位置検出手段)、6は地図データ記憶部(地図データ記憶手段)、7は表示装置、8は音声出力装置、9は車両制御部を示す。 In the drawing, 1 is a safe driving support device, 2 is a vehicle, 3 is a processing device, 3a is a red signal detection unit (red signal detection means), 3b is a traffic signal determination unit (traffic signal determination unit), and 3d corresponds. Control unit (corresponding control unit), 4 is a front monitoring camera (imaging unit), 5 is a vehicle position detection device (vehicle position detection unit), 6 is a map data storage unit (map data storage unit), and 7 is a display device. , 8 is an audio output device, and 9 is a vehicle control unit.
Claims (8)
車両に設けられ進行方向を撮像して撮像画像を出力する撮像手段と、
この撮像手段による撮像画像から赤色発光部を抽出して信号機の赤色信号を検出する赤信号検出手段と、
この赤信号検出手段により前記赤信号が検出されたときに当該信号機が自車両の進路上に存在する信号機であるか否かを判定する進路上信号機判定手段と、
この進路上信号機判定手段により自車両の進路上に存在する信号機であることが判定されたときに、車両停止などに関する対応制御を行う対応制御手段と
を備えてなる安全運転支援装置。 A safe driving support device that assists safe driving by determining the light emission state of a traffic light and controlling the stop of the vehicle,
Imaging means provided in the vehicle for imaging the traveling direction and outputting a captured image;
A red signal detecting means for detecting a red signal of a traffic light by extracting a red light emitting portion from an image captured by the imaging means;
On-road signal determining means for determining whether or not the signal is present on the course of the host vehicle when the red signal is detected by the red signal detecting means;
A safe driving support apparatus, comprising: response control means for performing response control relating to vehicle stoppage or the like when it is determined by the traffic signal determination means that the vehicle is on the path of the host vehicle.
前記進路上信号機判定手段は、撮像手段による撮像画像から抽出された赤色発光部の輪郭の楕円度を割り出し、この割り出した楕円度に基づいて当該信号機が自車両の進路上に存在する信号機であると判定することを特徴とする安全運転支援装置。 In the safe driving assistance device according to claim 1,
The traffic signal determination unit on the route is a traffic signal that determines the ellipticity of the contour of the red light emitting part extracted from the image captured by the imaging unit, and the traffic signal is present on the route of the host vehicle based on the calculated ellipticity. A safe driving support device characterized in that
前記進路上信号機判定手段は、前記赤色発光部の下側部分の輪郭の楕円度を割り出すことを特徴とする安全運転支援装置。 In the safe driving assistance device according to claim 2,
The traffic signal determining means on the route calculates the ellipticity of the contour of the lower part of the red light emitting part.
地図データ記憶手段や、自車位置検出手段などを有して、自車両の現在位置から目的位置までの経路案内が可能なナビゲーション装置を備え、
進路上信号機判定手段は、このナビゲーション装置が動作しているときには該ナビゲーション装置を用いて、当該信号機が自車両の進路上に存在する信号機であるか否かを判定することを特徴とする安全運転支援装置。 In the safe driving assistance device according to claims 1 to 3,
It has a navigation device that has map data storage means, own vehicle position detection means, etc., and that can guide the route from the current position of the own vehicle to the target position,
The traffic signal determining means determines whether the traffic signal is a traffic signal present on the path of the host vehicle using the navigation device when the navigation device is operating. Support device.
赤信号検出手段は、抽出した赤色発光部の輝度及び/又は撮像画像における該赤色発光部の高さに基づいて赤信号であることを検出することを特徴とする安全運転支援装置。 In the safe driving assistance device according to any one of claims 1 to 4,
The red signal detecting means detects a red signal based on the luminance of the extracted red light emitting unit and / or the height of the red light emitting unit in the captured image.
前記赤信号検出手段は、複数の赤信号を検出したときには、各赤信号に相当する赤色発光部相互の大きさ及び高さを比較して、自車両に対して各赤信号を近い順から認識し、
前記進路上信号機判定手段は、自車両に近い赤信号の信号機から順に、自車両の進路上に存在する信号機であるか否かを判定することを特徴とする安全運転支援装置。 In the safe driving assistance apparatus in any one of Claim 1 thru | or 5,
When the red signal detecting means detects a plurality of red signals, it compares the sizes and heights of the red light emitting sections corresponding to the respective red signals, and recognizes each red signal from the closest order to the host vehicle. And
The traffic signal determining means determines whether or not the traffic signal is present on the path of the host vehicle in order from a red signal near the host vehicle.
前記進路上信号機判定手段は、前記撮像画像における赤色発光部の左右面積比から信号機の右向き・左向きを判定する向き判定手段を備えていることを特徴とする安全運転支援装置。 In the safe driving assistance apparatus in any one of Claim 1 thru | or 6,
The traffic signal determining means on the route includes a direction determining means for determining the right / left direction of the traffic light from the left / right area ratio of the red light emitting portion in the captured image.
前記対応制御手段は、車両停止などに関する対応制御として、自車両の停止準備がなされていないときに警告もしくは停止制御を実行することを特徴とする安全運転支援装置。
In the safe driving assistance apparatus in any one of Claim 1 thru | or 7,
The said corresponding | compatible control means performs warning or stop control as the corresponding | compatible control regarding a vehicle stop etc. when the stop preparation of the own vehicle is not made, The safe driving assistance apparatus characterized by the above-mentioned.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005217386A JP2007034693A (en) | 2005-07-27 | 2005-07-27 | Safe driving support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005217386A JP2007034693A (en) | 2005-07-27 | 2005-07-27 | Safe driving support system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007034693A true JP2007034693A (en) | 2007-02-08 |
Family
ID=37793876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005217386A Withdrawn JP2007034693A (en) | 2005-07-27 | 2005-07-27 | Safe driving support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007034693A (en) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008293280A (en) * | 2007-05-24 | 2008-12-04 | Aisin Aw Co Ltd | Traffic light detection device, traffic light detection method, and program |
JP2008293277A (en) * | 2007-05-24 | 2008-12-04 | Aisin Aw Co Ltd | Traffic light detection device, traffic light detection method and program |
JP2009043068A (en) * | 2007-08-09 | 2009-02-26 | Honda Motor Co Ltd | Traffic light recognition system |
WO2011074087A1 (en) * | 2009-12-16 | 2011-06-23 | パイオニア株式会社 | Signal identification device, signal identification method, and signal identification program |
JP2012226689A (en) * | 2011-04-22 | 2012-11-15 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2012238244A (en) * | 2011-05-12 | 2012-12-06 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2012238245A (en) * | 2011-05-12 | 2012-12-06 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2012238243A (en) * | 2011-05-12 | 2012-12-06 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2012238239A (en) * | 2011-05-12 | 2012-12-06 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2014215698A (en) * | 2013-04-23 | 2014-11-17 | 富士重工業株式会社 | Vehicle driving support device |
JP2014215697A (en) * | 2013-04-23 | 2014-11-17 | 富士重工業株式会社 | Outside vehicle environment recognition device |
CN104346623A (en) * | 2013-08-05 | 2015-02-11 | 富士重工业株式会社 | Vehicle exterior environment recognition device |
JP2015222479A (en) * | 2014-05-22 | 2015-12-10 | 富士重工業株式会社 | Vehicle exterior environment recognition device |
JP2016085651A (en) * | 2014-10-28 | 2016-05-19 | 株式会社ゼンリンデータコム | Information processor, method for guiding information of traffic light, and computer program |
US9747508B2 (en) | 2015-07-24 | 2017-08-29 | Honda Motor Co., Ltd. | Surrounding environment recognition device |
JP2018014124A (en) * | 2012-03-26 | 2018-01-25 | グーグル エルエルシー | Robust method for detecting traffic signals and their associated states |
US10300894B2 (en) | 2017-03-13 | 2019-05-28 | Denso International America, Inc. | Auto-braking system for vehicle and method for auto-braking vehicle |
CN111223315A (en) * | 2018-11-27 | 2020-06-02 | 本田技研工业株式会社 | Traffic guidance object recognition device, traffic guidance object recognition method, and storage medium |
JP2021189883A (en) * | 2020-06-02 | 2021-12-13 | 株式会社Soken | Image recognition device |
JP2023112545A (en) * | 2022-02-01 | 2023-08-14 | 本田技研工業株式会社 | Driving support device, vehicle, driving support method, storage medium, and program |
JP7563360B2 (en) | 2021-10-29 | 2024-10-08 | トヨタ自動車株式会社 | Driving Support Devices |
-
2005
- 2005-07-27 JP JP2005217386A patent/JP2007034693A/en not_active Withdrawn
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008293280A (en) * | 2007-05-24 | 2008-12-04 | Aisin Aw Co Ltd | Traffic light detection device, traffic light detection method, and program |
JP2008293277A (en) * | 2007-05-24 | 2008-12-04 | Aisin Aw Co Ltd | Traffic light detection device, traffic light detection method and program |
JP2009043068A (en) * | 2007-08-09 | 2009-02-26 | Honda Motor Co Ltd | Traffic light recognition system |
JP5390636B2 (en) * | 2009-12-16 | 2014-01-15 | パイオニア株式会社 | Signal recognition apparatus, signal recognition method, and signal recognition program |
WO2011074087A1 (en) * | 2009-12-16 | 2011-06-23 | パイオニア株式会社 | Signal identification device, signal identification method, and signal identification program |
JP2012226689A (en) * | 2011-04-22 | 2012-11-15 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2012238244A (en) * | 2011-05-12 | 2012-12-06 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2012238245A (en) * | 2011-05-12 | 2012-12-06 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2012238243A (en) * | 2011-05-12 | 2012-12-06 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2012238239A (en) * | 2011-05-12 | 2012-12-06 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
JP2018014124A (en) * | 2012-03-26 | 2018-01-25 | グーグル エルエルシー | Robust method for detecting traffic signals and their associated states |
JP2014215698A (en) * | 2013-04-23 | 2014-11-17 | 富士重工業株式会社 | Vehicle driving support device |
JP2014215697A (en) * | 2013-04-23 | 2014-11-17 | 富士重工業株式会社 | Outside vehicle environment recognition device |
CN104346623A (en) * | 2013-08-05 | 2015-02-11 | 富士重工业株式会社 | Vehicle exterior environment recognition device |
JP2015032178A (en) * | 2013-08-05 | 2015-02-16 | 富士重工業株式会社 | Outside-vehicle environment recognition device |
JP2015222479A (en) * | 2014-05-22 | 2015-12-10 | 富士重工業株式会社 | Vehicle exterior environment recognition device |
JP2016085651A (en) * | 2014-10-28 | 2016-05-19 | 株式会社ゼンリンデータコム | Information processor, method for guiding information of traffic light, and computer program |
US9747508B2 (en) | 2015-07-24 | 2017-08-29 | Honda Motor Co., Ltd. | Surrounding environment recognition device |
US10300894B2 (en) | 2017-03-13 | 2019-05-28 | Denso International America, Inc. | Auto-braking system for vehicle and method for auto-braking vehicle |
CN111223315A (en) * | 2018-11-27 | 2020-06-02 | 本田技研工业株式会社 | Traffic guidance object recognition device, traffic guidance object recognition method, and storage medium |
JP2020086986A (en) * | 2018-11-27 | 2020-06-04 | 本田技研工業株式会社 | Traffic guide object recognition device, traffic guide object recognition method, and program |
US11157751B2 (en) | 2018-11-27 | 2021-10-26 | Honda Motor Co., Ltd. | Traffic guide object recognition device, traffic guide object recognition method, and storage medium |
JP2021189883A (en) * | 2020-06-02 | 2021-12-13 | 株式会社Soken | Image recognition device |
JP7431108B2 (en) | 2020-06-02 | 2024-02-14 | 株式会社Soken | image recognition device |
US12008823B2 (en) | 2020-06-02 | 2024-06-11 | Denso Corporation | Image recognizer and image recognition method |
JP7563360B2 (en) | 2021-10-29 | 2024-10-08 | トヨタ自動車株式会社 | Driving Support Devices |
JP2023112545A (en) * | 2022-02-01 | 2023-08-14 | 本田技研工業株式会社 | Driving support device, vehicle, driving support method, storage medium, and program |
JP7439147B2 (en) | 2022-02-01 | 2024-02-27 | 本田技研工業株式会社 | Driving support device, vehicle, driving support method, storage medium and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007034693A (en) | Safe driving support system | |
JP6834425B2 (en) | Driving support device | |
JP4783431B2 (en) | Traffic information detection apparatus, traffic information detection method, traffic information detection program, and recording medium | |
JP4134894B2 (en) | Vehicle driving support device | |
JP4735310B2 (en) | Driving support device | |
US9604637B2 (en) | Vehicle acceleration suppression device and vehicle acceleration suppression method | |
JPH09178505A (en) | Drive assist system | |
WO2017169025A1 (en) | Vehicle control apparatus and vehicle control method | |
JP2008305042A (en) | Car navigation device, road sign recognition method and program | |
JP2007280263A (en) | Driving support device | |
JP2007015525A (en) | Output device for outputting signal for coping with danger approach between preceding vehicle and own vehicle based on front picture photographed by camera and program for the output device | |
JP2008040974A (en) | Driving assistance system | |
JP2008213744A (en) | Vehicle periphery monitoring device | |
JP2007106170A (en) | Operation support system | |
JP4888285B2 (en) | Driving support device, driving support method, and computer program | |
JP4394222B2 (en) | Navigation device | |
JP4561338B2 (en) | Driving support device | |
JP2009122825A (en) | Traveling state determination device | |
US10747230B2 (en) | Vehicle control apparatus, vehicle control system, and image sensor | |
JP6922479B2 (en) | Driving support device | |
JP2007065998A (en) | Drive support apparatus | |
JP2005202787A (en) | Display device for vehicle | |
JP4277678B2 (en) | Vehicle driving support device | |
JP2005182308A (en) | Vehicle driving support device | |
JP2007112335A (en) | Mistaken start suppression indicator, navigation device, and mistaken start suppression device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070903 |
|
A761 | Written withdrawal of application |
Effective date: 20081118 Free format text: JAPANESE INTERMEDIATE CODE: A761 |