JP2008262467A - Driving support device - Google Patents
Driving support device Download PDFInfo
- Publication number
- JP2008262467A JP2008262467A JP2007105816A JP2007105816A JP2008262467A JP 2008262467 A JP2008262467 A JP 2008262467A JP 2007105816 A JP2007105816 A JP 2007105816A JP 2007105816 A JP2007105816 A JP 2007105816A JP 2008262467 A JP2008262467 A JP 2008262467A
- Authority
- JP
- Japan
- Prior art keywords
- traffic
- light
- traffic sign
- traffic light
- intersection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両に搭載した撮像手段で撮像した画像に基づいて信号機および交通標識を認識する運転支援装置に関する。 The present invention relates to a driving support device that recognizes a traffic light and a traffic sign based on an image captured by an imaging unit mounted on a vehicle.
車両にカラーカメラを搭載して信号機や交通標識を撮影し、信号機の点灯している発光部の色が赤なら「止まれ」、黄色なら「注意」、青なら「進め」を判断し、その情報を運転者に報知して運転支援を行い、また前記カラーカメラで交通標識を撮影し、その撮像した交通標識の形状をメモリに記載された形状と比較することで、逆三角形ならば「一時停止」、円形ならば「進入禁止」の交通標識であると判断し、その情報を運転者に報知して運転支援を行うものが、下記特許文献1により公知である。
ところで、上記特許文献1に記載されたものは、カラーカメラの露光時間が一律に設定されているため、昼間に交通標識を鮮明に撮像できるように露光時間を設定すると夜間に露光時間が不足して交通標識の種類を認識できなくなる可能性があった。また夜間に交通標識を鮮明に撮像すべく露光時間を長く設定すると、信号機の状態を認識する際に、特に重要な赤信号の色が飛んでしまって黄信号として誤認識される可能性があった。 By the way, since the exposure time of the color camera is set uniformly in the one described in Patent Document 1, if the exposure time is set so that a traffic sign can be clearly captured in the daytime, the exposure time is insufficient at night. The type of traffic sign may not be recognized. In addition, if the exposure time is set to be long so that traffic signs can be clearly imaged at night, the color of the particularly important red signal may fly out and be mistakenly recognized as a yellow signal when recognizing the traffic light. It was.
本発明は前述の事情に鑑みてなされたもので、自ら発光する信号機および自ら発光しない交通標識の両方を鮮明に撮像して確実に認識できるようにすることを目的とする。 The present invention has been made in view of the above-described circumstances, and an object thereof is to make it possible to clearly recognize and reliably recognize both a traffic light that emits light and a traffic sign that does not emit light.
上記目的を達成するために、請求項1に記載された発明によれば、車両に搭載した撮像手段で撮像した画像に基づいて信号機および交通標識を認識する運転支援装置において、交差点の位置および該交差点における信号機の有無を含む地図情報を記憶した地図情報記憶手段と、自車位置を特定する自車位置特定手段と、前記地図情報記憶手段に記憶した地図情報および前記自車位置特定手段で特定した自車位置に基づいて定めたタイミングで前記信号機あるいは前記交通標識を撮像する撮像手段と、撮像の対象が前記信号機であるか前記交通標識であるかに応じて前記撮像手段の露光量を制御する制御手段とを備えることを特徴とする運転支援装置が提案される。 In order to achieve the above object, according to the first aspect of the present invention, in the driving assistance device for recognizing a traffic light and a traffic sign based on an image captured by an imaging means mounted on a vehicle, Map information storage means for storing map information including the presence or absence of traffic lights at intersections, vehicle position specifying means for specifying the vehicle position, map information stored in the map information storage means and specified by the vehicle position specifying means An imaging means for imaging the traffic light or the traffic sign at a timing determined based on the position of the subject vehicle, and an exposure amount of the imaging means is controlled according to whether the imaging target is the traffic light or the traffic sign And a driving support device characterized by comprising a control means.
また請求項2に記載された発明によれば、請求項1の構成に加えて、前記制御手段は、撮像の対象が前記信号機である場合には固定の露光量を設定し、撮像の対象が前記交通標識である場合には環境に応じた可変の露光量を設定することを特徴とする運転支援装置が提案される。 According to the second aspect of the present invention, in addition to the configuration of the first aspect, the control unit sets a fixed exposure amount when the imaging target is the traffic light, and the imaging target is In the case of the traffic sign, a driving support device is proposed in which a variable exposure amount according to the environment is set.
尚、実施の形態のナビゲーション装置11は本発明の自車位置特定手段に対応し、実施の形態の外界カメラ13は本発明の撮像手段に対応し、実施の形態の露光時間設定部M3は本発明の制御手段に対応する。
The
請求項1の構成によれば、交差点の位置および該交差点における信号機の有無を含む地図情報と、その地図上の自車位置とに基づいて定めたタイミングで信号機あるいは交通標識を撮像手段で撮像する際に、撮像の対象が自ら発光する信号機であるか自ら発光しない交通標識であるかに応じて撮像手段の露光量を制御するので、露光量が大き過ぎて信号機の発光部の色の認識が困難になったり、露光量が小さ過ぎて交通標識の形状や絵柄の認識が困難になったりするのを防止することができる。 According to the configuration of the first aspect, the traffic signal or the traffic sign is imaged by the imaging means at a timing determined based on the map information including the position of the intersection and the presence / absence of the traffic signal at the intersection and the own vehicle position on the map. In this case, since the exposure amount of the imaging means is controlled depending on whether the imaging target is a traffic light that emits light or a traffic sign that does not emit light, the exposure amount is too large and the color of the light emitting part of the traffic light is recognized. It can be prevented that it becomes difficult or the amount of exposure is too small to make it difficult to recognize the shape and pattern of a traffic sign.
また請求項2の構成によれば、撮像の対象が自ら発光する信号機である場合には固定の露光量を設定するので、夜間であっても昼間であっても信号機の発光部の色を確実に認識できる。また撮像の対象が交通標識である場合には環境に応じた可変の露光量を設定するので、昼間は露光量を小さく設定して夜間は露光量を大きく設定することで、自ら発光しない交通標識であってもその種類を確実に認識できる。 According to the second aspect of the present invention, when the object to be imaged is a traffic light that emits light by itself, a fixed exposure amount is set, so that the color of the light emitting portion of the traffic light is ensured even at night or in the daytime. Can be recognized. In addition, when the object to be imaged is a traffic sign, a variable exposure amount is set according to the environment, so a traffic sign that does not emit light by itself can be set by setting a small exposure amount during the day and a large exposure amount at night. Even so, the type can be reliably recognized.
以下、本発明の実施の形態を添付の図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図1および図2は本発明の実施の形態に係るもので、図1は運転支援装置のブロック図、図2は外界カメラの露光時間設定のフローチャートである。 1 and 2 relate to an embodiment of the present invention. FIG. 1 is a block diagram of a driving support apparatus, and FIG. 2 is a flowchart of setting an exposure time of an external camera.
図1に示すように、車両に搭載される運転支援装置は、周知のナビゲーション装置11と、交差点における信号機19の有無を含む地図情報を記憶する地図情報記憶手段12と、自車前方を画像を撮像するカラーカメラよりなる外界カメラ13と、交通標識20の形状や色を記憶する形状データ記憶手段14と、外界の明るさを検出する照度センサ15と、車速、ヨーレート、ブレーキペダルの操作、操舵角等の自車状態を検出する複数のセンサから構成される自車状態検出部16と、車輪ブレーキを自動的に作動させる制動装置17と、ブザー、チャイム、音声等で運転者に警報を発する警報装置18とを備えており、それらは電子制御ユニットUに接続される。
As shown in FIG. 1, the driving support device mounted on the vehicle includes a known
電子制御ユニットUは、交差点位置判定部M1と、信号機有無判定部M2と、露光時間設定部M3と、信号機状態判定部M4と、交通標識種別判定部M5と、走行制御部M6とを備える。交差点位置判定部M1にはナビゲーション装置11および地図情報記憶手段12が接続され、露光時間設定部M3には外界カメラ13および照度センサ15が接続され、信号機状態判定部M4には外界カメラ13が接続され、交通標識種別判定部M5には外界カメラ13および形状データ記憶手段14が接続され、走行制御部M6には自車状態検出部16、制動装置17および警報装置18が接続される。
The electronic control unit U includes an intersection position determination unit M1, a traffic light presence / absence determination unit M2, an exposure time setting unit M3, a traffic light state determination unit M4, a traffic sign type determination unit M5, and a travel control unit M6. The
電子制御ユニットUの交差点位置判定部M1は、ナビゲーション装置11から得た自車位置と、地図情報記憶手段12から得た交差点の位置とから、自車が交差点に接近したことを判定する。信号機有無判定部M2は、地図情報記憶手段12に記憶されたデータから、自車が接近する交差点における信号機19の有無を判定する。露光時間設定部M3は、信号機有無判定部M2が信号機19が存在すると判定した場合には、照度センサ15で検出した外界の明るさに関わらずに、つまり昼間であっても夜間であっても、一定の露光時間で外界カメラ13を作動させる。
The intersection position determination unit M1 of the electronic control unit U determines that the own vehicle has approached the intersection from the own vehicle position obtained from the
その理由は、信号機19が存在する交差点では、交通標識20が同時に存在する場合であっても、交通標識20に優先して信号機19を撮像する必要があるからである。信号機19は自己発光するため、外界の明るさによらずに一定の露光時間を設定することで、何れの色の発光部が点灯しているかを確実に認識できる。信号機19の赤、青、黄の発光部のうち、認識する必要があるのは赤色の発光部であるが、露光時間が長すぎると赤色が白色に近づいてしまい、逆に露光時間が短すぎると赤色が黒色に近づいてしまい、何れも誤検出の原因となる。
The reason is that, at the intersection where the
また露光時間設定部M3は、信号機有無判定部M2が信号機19が存在しないと判定した場合には、照度センサ15で検出した外界の明るさに応じて決まる所定の露光時間で外界カメラ13を作動させる。この露光時間は、照度センサ15で検出した照度をパラメータとしてマップ検索されるもので、外界の明るさが異なっても交通標識20を鮮明に撮像できる値に設定される。
The exposure time setting unit M3 operates the
その理由は、自己発光する信号機19に対し、交通標識20は自己発光せずに外界の光を反射するものであるため、外界が明るい場合には露光時間を短くし、外界が暗い場合には露光時間を長くすることで、交通標識20を鮮明に撮像できるからである。
The reason is that the
このようにして外界カメラ13が撮像した信号機19が存在する交差点の画像データが入力された信号機状態判定部M4は、RGB(赤、緑、青)色空間から、HSV(色相、彩度、輝度)表色系への変換を行い、変換された画像データにHSV表色系での二値化処理を行うことで所定の赤色あるいは所定輝度以上の画素を抽出する。そして抽出された所定の赤色あるいは所定輝度以上の画素が、信号機19の発光部に対応する円形であり、かつ信号機19の発光部が設置されている高さ方向にあれば、赤信号が点灯していると判定する。
In this way, the traffic light state determination unit M4 to which the image data of the intersection where the
また外界カメラが撮像した信号機19が存在しない交差点の画像データが入力された交通標識種別判定部M5は、画像データを構成する画素の明暗に応じたエッジ抽出処理によりエッジ画像を生成し、そのエッジ画像を形状データ記憶手段14に記憶した交通標識20の形状と比較するパターンマッチング処理を行うとともに、エッジ画像の内部の画素の色を認識することにより、逆三角形で赤地に白文字の「一時停止」の交通標識20や、円形で赤地に白線の「進入禁止」の交通標識20を判定する。
In addition, the traffic sign type determination unit M5 to which the image data of the intersection where there is no
一方、自車状態検出部16で検出した車速、ヨーレート、ブレーキペダルの操作、操舵角等が入力される走行制御部M6は、交差点の信号機19が赤信号である場合、あるいは交差点に「一時停止」や「進入禁止」の交通標識20が存在する場合に、自車が速度超過の状態にあって交差点の手前で停止しない可能性があると判断すると、警報装置18を作動させて運転者に制動を促す警報を発するとともに、その警報に反応して運転者が制動操作を行わないときには、車輪ブレーキを自動的に作動させるべく制動装置17を作動させて交差点の手前で車両を停止させる。
On the other hand, the traveling control unit M6 to which the vehicle speed, yaw rate, brake pedal operation, steering angle, and the like detected by the own vehicle
次に、電子制御ユニットUの交差点位置判定部M1、信号機有無判定部M2および露光時間設定部M3の作用を、図2のフローチャートを参照して更に説明する。 Next, the operation of the intersection position determination unit M1, the traffic light presence / absence determination unit M2, and the exposure time setting unit M3 of the electronic control unit U will be further described with reference to the flowchart of FIG.
先ずステップS1でナビゲーション装置11により自車が地図上の何れの位置に存在するかを判定し、ステップS2で自車の前方に交差点が存在するとき、ステップS3でその交差点に信号機19が存在しなければ、ステップS4で外界カメラ13の露光時間を交通標識20の撮像に適した値(外界の明るさに応じた可変値)に設定し、前記ステップS3でその交差点に信号機19が存在すれば、ステップS5で外界カメラ13の露光時間を信号機19の撮像に適した値(外界の明るさに無関係の固定値)に設定し、ステップS6で前記設定された露光時間で外界カメラ13による撮像を実行する。
First, in step S1, the
以上のように、交差点に信号機19が存在する場合には、外界カメラ13の露光時間を固定値に設定するので、夜間であっても昼間であっても自ら発光する信号機の発光部の色を確実に認識できる。また交差点に信号機19が存在しないために交通標識20を撮像する場合には、外界カメラ13の露光時間を外界の明るさに応じて設定するので、昼間は露光量を小さく設定して夜間は露光量を大きく設定することで、自ら発光しない交通標識20であってもその種類を確実に認識できる。
As described above, when the
以上、本発明の実施の形態を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。 The embodiments of the present invention have been described above, but various design changes can be made without departing from the scope of the present invention.
例えば、実施の形態では外界カメラ13の露光量を露光時間で制御しているが、それを絞り値で制御しても良い。
For example, although the exposure amount of the
11 ナビゲーション装置(自車位置特定手段)
12 地図情報記憶手段
13 外界カメラ(撮像手段)
19 信号機
20 交通標識
M3 露光時間設定部(制御手段)
11 Navigation device (vehicle position specifying means)
12 Map information storage means 13 External camera (imaging means)
19
Claims (2)
交差点の位置および該交差点における信号機(19)の有無を含む地図情報を記憶した地図情報記憶手段(12)と、
自車位置を特定する自車位置特定手段(11)と、
前記地図情報記憶手段(12)に記憶した地図情報および前記自車位置特定手段(11)で特定した自車位置に基づいて定めたタイミングで交差点に存在する前記信号機(19)あるいは前記交通標識(20)を撮像する撮像手段(13)と、
撮像の対象が前記信号機(19)であるか前記交通標識(20)であるかに応じて前記撮像手段の露光量を制御する制御手段(M3)と、
を備えることを特徴とする運転支援装置。 In the driving support device for recognizing the traffic light (19) and the traffic sign (20) based on the image captured by the imaging means (13) mounted on the vehicle,
Map information storage means (12) storing map information including the position of the intersection and the presence or absence of a traffic light (19) at the intersection;
Own vehicle position specifying means (11) for specifying the own vehicle position;
The traffic light (19) or the traffic sign (19) present at the intersection at a timing determined based on the map information stored in the map information storage means (12) and the own vehicle position specified by the own vehicle position specifying means (11). Imaging means (13) for imaging 20);
Control means (M3) for controlling the exposure amount of the imaging means according to whether the object of imaging is the traffic light (19) or the traffic sign (20);
A driving support apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007105816A JP2008262467A (en) | 2007-04-13 | 2007-04-13 | Driving support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007105816A JP2008262467A (en) | 2007-04-13 | 2007-04-13 | Driving support device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008262467A true JP2008262467A (en) | 2008-10-30 |
Family
ID=39984883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007105816A Pending JP2008262467A (en) | 2007-04-13 | 2007-04-13 | Driving support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008262467A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103213540A (en) * | 2012-01-18 | 2013-07-24 | 富士重工业株式会社 | Vehicle driving environment recognition apparatus |
WO2016002276A1 (en) * | 2014-06-30 | 2016-01-07 | エイディシーテクノロジー株式会社 | Vehicle control device |
JP2018190037A (en) * | 2017-04-28 | 2018-11-29 | トヨタ自動車株式会社 | Image transmission program, image transmission method, on-vehicle device, vehicle, and image processing system |
WO2018225516A1 (en) * | 2017-06-07 | 2018-12-13 | 日立オートモティブシステムズ株式会社 | Image processing device |
US10228699B2 (en) | 2015-05-21 | 2019-03-12 | Denso Corporation | Image generation apparatus |
US11780444B2 (en) | 2018-10-04 | 2023-10-10 | Samsung Electronics Co., Ltd. | Driving assistance apparatus and image processing method |
-
2007
- 2007-04-13 JP JP2007105816A patent/JP2008262467A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103213540A (en) * | 2012-01-18 | 2013-07-24 | 富士重工业株式会社 | Vehicle driving environment recognition apparatus |
JP2013147112A (en) * | 2012-01-18 | 2013-08-01 | Fuji Heavy Ind Ltd | Vehicle driving environment recognition apparatus |
US9505338B2 (en) | 2012-01-18 | 2016-11-29 | Fuji Jukogyo Kabushiki Kaisha | Vehicle driving environment recognition apparatus |
WO2016002276A1 (en) * | 2014-06-30 | 2016-01-07 | エイディシーテクノロジー株式会社 | Vehicle control device |
US10228699B2 (en) | 2015-05-21 | 2019-03-12 | Denso Corporation | Image generation apparatus |
JP2018190037A (en) * | 2017-04-28 | 2018-11-29 | トヨタ自動車株式会社 | Image transmission program, image transmission method, on-vehicle device, vehicle, and image processing system |
WO2018225516A1 (en) * | 2017-06-07 | 2018-12-13 | 日立オートモティブシステムズ株式会社 | Image processing device |
US11780444B2 (en) | 2018-10-04 | 2023-10-10 | Samsung Electronics Co., Ltd. | Driving assistance apparatus and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5462609B2 (en) | Stop line recognition device | |
US20200074847A1 (en) | Method and device for providing feedback to outside of vehicle, device, and storage medium | |
US7952490B2 (en) | Method for identifying the activation of the brake lights of preceding vehicles | |
JPS62131837A (en) | Recognition device for driven vehicle | |
US9536157B2 (en) | Method for identification of a projected symbol on a street in a vehicle, apparatus and vehicle | |
JP2008262467A (en) | Driving support device | |
KR20190063845A (en) | Lane keeping assistance method and apparatus | |
JP2008033872A (en) | Visibility condition determining device for vehicle | |
JP2014193627A (en) | Traffic light determination device | |
JP7255706B2 (en) | Traffic light recognition method and traffic light recognition device | |
US10176714B2 (en) | Driving support apparatus | |
US20180272929A1 (en) | Method and driver assistance system for assisting a driver of a vehicle | |
CN112298186B (en) | Signal interpretation system and vehicle control system | |
CN113547979A (en) | Vehicle behavior information prompting method and device, computer equipment and storage medium | |
JP6777048B2 (en) | Vehicle projection control device, head-up display device, vehicle projection control method and program | |
JP2008189148A (en) | Traveling state detection device | |
JP2010006249A (en) | Vehicle lamp burnout reporting system and program | |
JP2009230560A (en) | Signal recognition device and signal recognition processing program | |
KR102354118B1 (en) | Apparatus and method for inducing head lamp turn-on of rear vehicle | |
JP2003009140A (en) | Pedestrian detector | |
JP2005339234A (en) | Front vehicle monitoring device | |
CN115131749A (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
WO2020241587A1 (en) | Object detection device in vehicle, driving assist control device in vehicle, driving assist system, object detection method in vehicle, and driving assist method | |
JP2006146754A (en) | Preceding car detecting method and preceding car detecting apparatus | |
CN110709912B (en) | Travel assist device, travel assist system, and travel assist method |