JP2010170255A - Lane marking detecting device, marking detecting program, and lane departure warning device - Google Patents

Lane marking detecting device, marking detecting program, and lane departure warning device Download PDF

Info

Publication number
JP2010170255A
JP2010170255A JP2009010966A JP2009010966A JP2010170255A JP 2010170255 A JP2010170255 A JP 2010170255A JP 2009010966 A JP2009010966 A JP 2009010966A JP 2009010966 A JP2009010966 A JP 2009010966A JP 2010170255 A JP2010170255 A JP 2010170255A
Authority
JP
Japan
Prior art keywords
lane
boundary line
vehicle
lane boundary
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009010966A
Other languages
Japanese (ja)
Other versions
JP5233696B2 (en
Inventor
Kazuma Hashimoto
一馬 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2009010966A priority Critical patent/JP5233696B2/en
Publication of JP2010170255A publication Critical patent/JP2010170255A/en
Application granted granted Critical
Publication of JP5233696B2 publication Critical patent/JP5233696B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a lane marking detecting device which detects a lane marking with high accuracy, from a captured image, which is a borderline between cruising lanes where a vehicle travels. <P>SOLUTION: When detecting a lane marking, a lane departure warning device calculates likelihood which represents possibility that each lane marking candidate is a lane marking for each lane marking candidate representing a plurality of edge components arranged along the travelling direction of a vehicle from a captured image, based on a shape of each lane marking candidate (S320). Then, the lane departure warning device changes the likelihood corresponding to a lane marking candidate which is located near a preceding vehicle to a higher value (S330, S340), and identifies a lane marking candidate corresponding to the highest likelihood as a lane marking (S380). Accordingly, a lane marking is detected with high accuracy because a lane marking is detected by considering the location of the preceding vehicle. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、レーン境界線を検出するレーン境界線検出装置、境界線検出プログラム、および車両が走行レーンから逸脱する可能性がある際に警報を行う逸脱警報装置に関する。   The present invention relates to a lane boundary line detection device that detects a lane boundary line, a boundary line detection program, and a departure warning device that issues a warning when there is a possibility that a vehicle will depart from a traveling lane.

撮像画像中から車両が走行する走行レーンの境界であるレーン境界線を検出し、当該車両が走行レーンから逸脱しそうな場合に、警報を発生する技術が知られている(例えば、特許文献1参照)。   A technique for detecting a lane boundary line that is a boundary of a traveling lane in which a vehicle travels from a captured image and generating an alarm when the vehicle is likely to deviate from the traveling lane is known (see, for example, Patent Document 1). ).

特許3332500号公報Japanese Patent No. 3332500

ところで、上記技術においては、白線等の道路上のペイントをレーン境界線として撮像画像中から検出するが、実際の道路上には、レーン境界線を示すペイント以外にも種々のペイントが存在する。このため、上記技術では、レーン境界線を示すペイントでないものをレーン境界線として誤検出する虞がある。このような誤検出が発生すると、車線を逸脱しないにもかかわらず警報されることになり、当該車両の乗員にとって煩わしいという問題がある。   By the way, in the above technique, paint on a road such as a white line is detected as a lane boundary from a captured image. However, on the actual road, there are various types of paint other than the paint indicating the lane boundary. For this reason, in the above technique, there is a possibility that a paint that does not indicate a lane boundary line is erroneously detected as a lane boundary line. When such a false detection occurs, an alarm is issued regardless of the departure from the lane, which is troublesome for the vehicle occupant.

そこで、このような問題点を鑑み、撮像画像中から車両が走行する走行レーンの境界であるレーン境界線を検出するレーン境界線検出装置において、レーン境界線を精度よく検出できるようにすることを本発明の目的とする。   Accordingly, in view of such a problem, a lane boundary line detection device that detects a lane boundary line that is a boundary of a traveling lane in which a vehicle travels from a captured image, so that the lane boundary line can be accurately detected. It is an object of the present invention.

かかる目的を達成するために成された請求項1に記載のレーン境界線検出装置において、期待値算出手段は、撮像画像中において当該車両の走行方向に沿って並ぶ複数のエッジ成分を表す走行方向成分毎に、各走行方向成分がレーン境界線である可能性の高さを表すレーン期待値を、各走行方向成分の形状に基づいて算出する。そして、期待変更手段は、当該車両に先行して走行する車両を表す先行車両の位置の近傍にある走行方向成分に対応するレーン期待値をより高い値に変更し、レーン境界線特定手段は、最も高いレーン期待値に対応する走行方向成分を、レーン境界線として特定する。   The lane boundary line detection device according to claim 1, wherein the expected value calculation means is a traveling direction that represents a plurality of edge components arranged along the traveling direction of the vehicle in the captured image. For each component, a lane expectation value indicating the high possibility that each traveling direction component is a lane boundary line is calculated based on the shape of each traveling direction component. The expectation changing means changes the expected lane value corresponding to the traveling direction component in the vicinity of the position of the preceding vehicle representing the vehicle traveling ahead of the vehicle to a higher value, and the lane boundary line specifying means is The traveling direction component corresponding to the highest expected lane value is specified as the lane boundary line.

即ち、先行車両は通常、走行レーン内を走行しているものと推定することができるので、先行車両の位置近傍の走行方向成分は先行車両の位置から大きく離れた走行方向成分と比較してレーン境界線である可能性が高い。そこで、本発明では、走行方向成分および先行車両の位置を検出し、先行車両の位置近傍の走行方向成分におけるレーン期待値を、レーン境界線である可能性が高くなるように変更している。   That is, it can be estimated that the preceding vehicle is usually traveling in the traveling lane, so the traveling direction component near the position of the preceding vehicle is compared with the traveling direction component far away from the position of the preceding vehicle. There is a high possibility of a boundary line. Therefore, in the present invention, the traveling direction component and the position of the preceding vehicle are detected, and the expected lane value in the traveling direction component near the position of the preceding vehicle is changed so as to increase the possibility of being a lane boundary line.

従って、このようなレーン境界線検出装置によれば、先行車両の位置を考慮してレーン境界線を検出するので、レーン境界線を精度よく検出することができる。   Therefore, according to such a lane boundary line detection apparatus, the lane boundary line is detected in consideration of the position of the preceding vehicle, so that the lane boundary line can be detected with high accuracy.

なお、レーン境界線に基づいて走行レーンとしての領域を特定する際には、撮像画像中において特定したレーン境界線よりも中央側の領域を走行レーンとして特定すればよい。   Note that when the region as the traveling lane is identified based on the lane boundary line, the region on the center side of the lane boundary line identified in the captured image may be identified as the traveling lane.

ところで、請求項1に記載のレーン境界線検出装置において期待値変更手段は、請求項2に記載のように、先行車両の左右何れかの端部からの距離が等しい複数の走行方向成分が当該先行車両の内側および外側に存在する場合、当該先行車両の内側に位置する走行方向成分に対するレーン期待値の変更量と比較して、当該先行車両の外側に位置する走行方向成分のレーン期待値の変更量を、相対的に高い値に変更するようにしてもよい。   By the way, in the lane boundary line detection device according to claim 1, the expectation value changing means includes a plurality of traveling direction components having the same distance from the left or right end portion of the preceding vehicle as described in claim 2. When the vehicle is present inside and outside the preceding vehicle, the lane expected value of the traveling direction component located outside the preceding vehicle is compared with the amount of change in the expected lane value for the traveling direction component located inside the preceding vehicle. The change amount may be changed to a relatively high value.

即ち、多くの場合、先行車両が走行レーンを跨いで走行することはないため、本発明では、先行車両の左右の端部よりも先行車両の内側に位置する走行方向成分(先行車両が跨いでいる走行方向成分)よりも外側に位置する走行方向成分(先行車両が跨いでいない走行方向成分)に対して、より高いレーン期待値を設定している。   That is, in many cases, the preceding vehicle does not travel across the traveling lane. Therefore, in the present invention, the traveling direction component (the preceding vehicle straddles the inner side of the preceding vehicle from the left and right ends of the preceding vehicle). A higher lane expectation value is set for a traveling direction component (traveling direction component that the preceding vehicle does not straddle) located outside the traveling direction component).

このようなレーン境界線検出装置によれば、先行車両が跨いでいない走行方向成分に対してより高いレーン期待値を設定するので、先行車両が走行レーンの内側を走行している多くの場合に、より精度よくレーン境界線を検出することができる。   According to such a lane boundary line detection device, a higher lane expectation value is set for the traveling direction component that the preceding vehicle does not straddle, so in many cases where the preceding vehicle is traveling inside the traveling lane. The lane boundary line can be detected with higher accuracy.

さらに、請求項1または請求項2に記載のレーン境界線検出装置において期待値算出手段は、請求項3に記載のように、走行方向成分の長さが長いほどレーン期待値を高い値に設定するようにしてもよい。   Furthermore, in the lane boundary line detection apparatus according to claim 1 or 2, the expected value calculation means sets the expected lane value to a higher value as the length of the traveling direction component is longer as described in claim 3. You may make it do.

このようなレーン境界線検出装置によれば、撮像画像中の走行方向成分の長さが比較的短い標識や文字等についてはレーン期待値を小さな値に設定し、走行方向成分の長さが比較的長い白線等についてはレーン期待値を大きな値に設定することができる。よって、標識や文字等をレーン境界線として誤検出することを防止することができる。   According to such a lane boundary detection device, the expected lane value is set to a small value for a sign or a character having a relatively short traveling direction component in the captured image, and the lengths of the traveling direction components are compared. For long white lines, etc., the expected lane value can be set to a large value. Therefore, it is possible to prevent erroneous detection of a sign, a character, or the like as a lane boundary line.

また、請求項1〜請求項3の何れかに記載のレーン境界線検出装置においてレーン境界線特定手段は、請求項4に記載のように、当該車両の正面に相当する位置を基準として前記撮像画像中の領域を左右に分割したそれぞれの領域において、最も高いレーン期待値に対応する走行方向成分をそれぞれレーン境界線として特定するようにしてもよい。   Further, in the lane boundary line detection device according to any one of claims 1 to 3, the lane boundary line specifying unit, as described in claim 4, may be configured to capture the image on the basis of a position corresponding to the front of the vehicle. In each region obtained by dividing the region in the image into left and right, the traveling direction component corresponding to the highest expected lane value may be specified as the lane boundary line.

このようなレーン境界線検出装置によれば、撮像画像中の領域を左右に分割したそれぞれの領域においてレーン境界線を検出するので、レーン境界線が両側にある場合に、それぞれのレーン境界線を検出することができる。   According to such a lane boundary line detection device, since the lane boundary line is detected in each area obtained by dividing the area in the captured image into the left and right sides, when the lane boundary line is on both sides, each lane boundary line is detected. Can be detected.

次に請求項5に記載の境界線検出プログラムは、コンピュータを、請求項1〜請求項4の何れかに記載のレーン境界線検出装置を構成する各手段として機能させることを特徴としている。   Next, a boundary line detection program according to a fifth aspect of the present invention causes a computer to function as each means constituting the lane boundary line detection device according to any one of the first to fourth aspects.

このような境界線検出プログラムによれば、請求項1〜請求項4の何れかに記載のレーン境界線検出装置を構成する各手段として機能を備えているので、少なくとも請求項1に記載のレーン境界線検出装置と同様の効果を享受することができる。   According to such a boundary line detection program, since it has a function as each means which comprises the lane boundary line detection apparatus in any one of Claims 1-4, it is the lane of Claim 1 at least. The same effect as that of the boundary line detection device can be enjoyed.

次に、上記目的を達成するために成された請求項5に記載の逸脱警報装置において、レーン境界線検出手段は、当該車両が走行する走行レーンの境界であるレーン境界線を当該車両の進行方向が撮像された撮像画像中から検出する。また、逸脱判定手段は、当該車両がレーン境界線に接近する接近速度を検出し、この接近速度に基づいて検出された走行レーンを逸脱する可能性を表す逸脱可能性を判定する。そして、警報指示手段は、逸脱可能性が所定の基準値よりも高い場合に、当該車両の乗員に対して警報を行う警報手段に対して、警報を行うよう指示する。特に本発明においては、レーン境界線検出手段が請求項1〜請求項5の何れかに記載のレーン境界線検出装置として構成されている。   Next, in the departure warning device according to claim 5, wherein the lane boundary detection unit is configured to achieve the above-described object, the lane boundary detection means travels along a lane boundary that is a boundary of a traveling lane on which the vehicle travels. The direction is detected from the picked-up image. The departure determination means detects an approaching speed at which the vehicle approaches the lane boundary line, and determines a departure possibility indicating a possibility of departing from the detected traveling lane based on the approaching speed. Then, when the possibility of departure is higher than a predetermined reference value, the warning instruction means instructs the warning means for warning the passenger of the vehicle to issue a warning. Particularly in the present invention, the lane boundary line detection means is configured as the lane boundary line detection device according to any one of claims 1 to 5.

このような逸脱警報装置によれば、請求項1〜請求項5の何れかに記載のレーン境界線検出装置を備えているので、レーン境界線を精度よく検出することができる。よって、レーン境界線の検出に基づいて行う警報が誤作動することを防止することができる。   According to such a departure warning device, since the lane boundary line detection device according to any one of claims 1 to 5 is provided, the lane boundary line can be detected with high accuracy. Therefore, it is possible to prevent the alarm that is performed based on the detection of the lane boundary line from malfunctioning.

本発明の適用された走行レーン逸脱検出システムの概略構成を示すブロック図(a)、および逸脱検出ECUの構成を示すブロック図(b)である。1 is a block diagram (a) showing a schematic configuration of a traveling lane departure detection system to which the present invention is applied, and a block diagram (b) showing a configuration of a departure detection ECU. 逸脱警報処理を示すフローチャートである。It is a flowchart which shows deviation warning processing. 逸脱警報処理のうちのレーン境界線候補抽出処理を示すフローチャートである。It is a flowchart which shows the lane boundary line candidate extraction process in the departure warning process. 逸脱警報処理のうちのレーン境界線選択処理を示すフローチャートである。It is a flowchart which shows the lane boundary line selection process in the departure warning process. ハフ変換による投票数と確からしさ(PFi)との関係を示すマップ(a)、および端部距離と確からしさ(PPi)との関係を示すマップ(b)である。It is the map (a) which shows the relationship between the number of votes by Hough transform, and the probability (PFi), and the map (b) which shows the relationship between edge part distance and the probability (PPi). 逸脱警報処理のうちの逸脱判定処理を示すフローチャートである。It is a flowchart which shows the deviation determination process among the deviation warning processes.

以下に本発明にかかる実施の形態を図面と共に説明する。   Embodiments according to the present invention will be described below with reference to the drawings.

[第1実施形態]
[本実施形態の構成]
図1(a)は、本発明の適用された走行レーン逸脱検出システム1(逸脱警報装置)の概略構成を示すブロック図、図1(b)は逸脱検出ECU10(レーン境界線検出装置)の構成を示すブロック図である。走行レーン逸脱検出システム1は、例えば乗用車等の車両に搭載されており、当該車両が走行レーンを逸脱することを検出するシステムである。なお、本実施形態の走行レーン逸脱検出システム1においては、当該車両が走行レーンを逸脱する虞がある場合に、警報を発する機能も備えている。
[First Embodiment]
[Configuration of this embodiment]
1A is a block diagram showing a schematic configuration of a traveling lane departure detection system 1 (deviation warning device) to which the present invention is applied, and FIG. 1B is a configuration of a departure detection ECU 10 (lane boundary line detection device). FIG. The traveling lane departure detection system 1 is mounted on a vehicle such as a passenger car, for example, and detects that the vehicle departs from the traveling lane. Note that the travel lane departure detection system 1 of the present embodiment also has a function of issuing an alarm when there is a possibility that the vehicle departs from the travel lane.

より詳細に述べると、図1(a)に示すように、走行レーン逸脱検出システム1は、逸脱検出ECU(ECUは電子制御装置)10と、車速センサ20と、ナビゲーションECU30と、車両制御ECU40(警報手段)とが、例えばCAN(Controller Area Network)等のプロトコルによって通信が実施される通信線5に接続されて、それぞれが通信可能に構成されている。また、逸脱検出ECU10には、カメラ15とレーダ16とが接続されている。   More specifically, as shown in FIG. 1A, the lane departure detection system 1 includes a departure detection ECU (ECU is an electronic control unit) 10, a vehicle speed sensor 20, a navigation ECU 30, a vehicle control ECU 40 ( Alarm means) is connected to a communication line 5 on which communication is performed by a protocol such as CAN (Controller Area Network), for example, and is configured to be able to communicate with each other. A camera 15 and a radar 16 are connected to the departure detection ECU 10.

カメラ15は、当該車両の前方の路面を撮像することができるように配置されている。また、レーダ16は、電波やレーザ光等の電磁波を当該車両の前方に向けて送信し、この反射波を検出することによって、当該車両の前方に存在する前方物体の位置および概略形状を検出する周知のレーダとして構成されている。そして、逸脱検出ECU10は、カメラ15やレーダ16による撮像画像や前方物体の検出結果を任意のタイミングにおいて取得できるよう構成されている。   The camera 15 is arranged so as to be able to image the road surface ahead of the vehicle. Further, the radar 16 transmits electromagnetic waves such as radio waves and laser light toward the front of the vehicle, and detects the position and schematic shape of the front object existing in front of the vehicle by detecting the reflected wave. It is configured as a well-known radar. The departure detection ECU 10 is configured to be able to acquire the image captured by the camera 15 and the radar 16 and the detection result of the front object at an arbitrary timing.

また、ナビゲーションECU30には、ETC(Electronic Toll Collection)車載器35が接続されており、ナビゲーションECU30は、ETC車載器35による料金所を通過した旨の情報や料金清算結果等の料金所通過情報を取得することができるよう構成されている。また、ナビゲーションECU30は、逸脱検出ECU10からの要求に応じて、料金所通過情報を提供することができる。   The navigation ECU 30 is connected to an ETC (Electronic Toll Collection) vehicle-mounted device 35. The navigation ECU 30 receives information indicating that the ETC vehicle-mounted device 35 has passed the toll gate and toll gate passing information such as a fee settlement result. It is configured so that it can be acquired. Further, the navigation ECU 30 can provide toll gate passage information in response to a request from the departure detection ECU 10.

逸脱検出ECU10は、図1(b)に示すように、CPU11、ROM12、RAM13等を備えた周知のマイコンとして構成されており、通信インタフェース(I/F)14を介して、走行レーンおよび当該車両が走行する走行レーンの境界であるレーン境界線を検出する処理に必要な情報を他のECUやセンサから取得する処理、当該車両が走行レーンを逸脱することを検出し、逸脱する虞がある場合に警報を発する処理等を実施する。これらの処理はROM12に格納されたプログラム(境界線検出プログラムを含む)に基づいて実施される。   As shown in FIG. 1B, the deviation detection ECU 10 is configured as a well-known microcomputer including a CPU 11, a ROM 12, a RAM 13, and the like, and the lane and the vehicle are connected via a communication interface (I / F) 14. A process of acquiring information necessary for processing to detect a lane boundary that is a boundary of a traveling lane on which the vehicle travels from another ECU or sensor, and detecting that the vehicle deviates from the traveling lane, and there is a risk of deviating Implement a process to issue an alarm. These processes are performed based on a program (including a boundary detection program) stored in the ROM 12.

なお、ナビゲーションECU30や車両制御ECU40のハードウェア構成については、逸脱検出ECU10と同様であるため説明を省略する。また、車両制御ECU40には、スピーカや表示灯等として構成された警報部45が接続されており、車両制御ECU40は、逸脱検出ECU10からの指示を受けて警報部45を作動させることによって、走行レーンの逸脱を車両の乗員に警報する警報装置として機能する。ただし、車両制御ECU40は、車両が走行レーンから逸脱しないように操舵トルクを制御する操舵トルク制御装置等の交通事故を防止するための装置として機能することもできる。   Note that the hardware configuration of the navigation ECU 30 and the vehicle control ECU 40 is the same as that of the departure detection ECU 10, and thus the description thereof is omitted. The vehicle control ECU 40 is connected to an alarm unit 45 configured as a speaker, an indicator lamp, or the like, and the vehicle control ECU 40 operates the alarm unit 45 in response to an instruction from the departure detection ECU 10 to drive the vehicle. It functions as an alarm device that warns the vehicle occupants of lane departures. However, the vehicle control ECU 40 can also function as a device for preventing a traffic accident such as a steering torque control device that controls the steering torque so that the vehicle does not deviate from the travel lane.

[本実施形態における処理]
このように構成された走行レーン逸脱検出システム1において実施される、当該車両が走行レーンを逸脱する虞がある場合に警報を発する処理について図2以下の図面を用いて説明する。
[Processing in this embodiment]
A process performed in the travel lane departure detection system 1 configured as described above and that issues a warning when the vehicle may deviate from the travel lane will be described with reference to FIG. 2 and subsequent drawings.

図2は逸脱検出ECU10が実行する逸脱警報処理を示すフローチャート、図3は逸脱警報処理のうちのレーン境界線候補抽出処理を示すフローチャート、図4は逸脱警報処理のうちのレーン境界線選択処理を示すフローチャートである。また、図6は逸脱警報処理のうちの逸脱判定処理を示すフローチャートである。   2 is a flowchart showing a departure warning process executed by the departure detection ECU 10, FIG. 3 is a flowchart showing a lane boundary line candidate extraction process in the departure warning process, and FIG. 4 is a lane boundary selection process in the departure warning process. It is a flowchart to show. FIG. 6 is a flowchart showing a departure determination process in the departure warning process.

逸脱警報処理は、イグニッションスイッチ等の車両の電源がON状態にされると開始され、その後、一定時間毎(例えば100ms毎)に繰り返し実施される処理である。詳細には、図2に示すように、初めに、当該車両が走行する走行レーンの境界(左右方向の縁)であるレーン境界線を当該車両の進行方向が撮像された撮像画像中から検出する(S110〜S140:レーン境界線検出手段)。具体的には、まず、カメラ15によって当該車両の進行方向が撮像された撮像画像をカメラ15から取得する(S110)。   The departure warning process is a process that is started when the power source of the vehicle such as an ignition switch is turned on, and then repeatedly executed at regular intervals (for example, every 100 ms). Specifically, as shown in FIG. 2, first, a lane boundary line that is a boundary (horizontal edge) of a traveling lane in which the vehicle travels is detected from a captured image in which the traveling direction of the vehicle is captured. (S110-S140: Lane boundary detection means). Specifically, first, a captured image in which the traveling direction of the vehicle is captured by the camera 15 is acquired from the camera 15 (S110).

そして、当該車両の進行方向が撮像された撮像画像中から、当該車両の走行方向に沿って並ぶ複数のエッジ成分を表すレーン境界線候補(走行方向成分)を検出するレーン境界線候補抽出処理を実施する(S120:走行方向成分検出手段)。レーン境界線候補抽出処理では、図3に示すように、まず、撮像画像において水平ライン(縦方向の座標値が等しい全ての画素)毎に、微分フィルタを使用して微分値を算出する(S210)。   Then, a lane boundary line candidate extraction process for detecting a lane boundary line candidate (travel direction component) representing a plurality of edge components arranged along the traveling direction of the vehicle from a captured image obtained by capturing the traveling direction of the vehicle. Implement (S120: travel direction component detection means). In the lane boundary line candidate extraction process, as shown in FIG. 3, first, a differential value is calculated using a differential filter for each horizontal line (all pixels having the same vertical coordinate value) in the captured image (S210). ).

つまり、水平ラインを構成する複数の画素において、隣接する画素の輝度値の変化率を算出する。なお、カメラ15がカラーカメラである場合には、カラーカメラから出力されるRGB信号や、RGB信号を輝度信号と色差信号とに変換した際の色差信号の変化率を算出するようにしてもよい。   That is, the change rate of the luminance value of an adjacent pixel is calculated for a plurality of pixels constituting the horizontal line. When the camera 15 is a color camera, the RGB signal output from the color camera or the change rate of the color difference signal when the RGB signal is converted into a luminance signal and a color difference signal may be calculated. .

続いて、算出した微分値が、所定の閾値以上であるか否かを判定し、微分値が閾値以上であれば隣接する画素の輝度値が大きく変化したものとして、該当画素の座標値をエッジ点(エッジ成分)としてRAM13に登録する(S220)。撮像画像中の全ての画素についてS210およびS220の処理を実施後に、S230の処理に移行する。   Subsequently, it is determined whether or not the calculated differential value is equal to or greater than a predetermined threshold value. If the differential value is equal to or greater than the threshold value, it is assumed that the luminance value of the adjacent pixel has greatly changed, and the coordinate value of the corresponding pixel is determined as an edge. A point (edge component) is registered in the RAM 13 (S220). After performing the processing of S210 and S220 for all the pixels in the captured image, the process proceeds to S230.

続いて、登録されたエッジ点に基づき、周知のハフ(Hough)変換処理を実施することによって、当該車両の進行方向に延びる(当該車両の進行方向とのなす角(ヨー角)が一定値未満の)直線パターンを全て検出する。そして、各直線パターンに対してレーン境界線候補としてラベリングをする(S230)。   Subsequently, a known Hough conversion process is performed on the basis of the registered edge points, so that the vehicle travels in the traveling direction (the angle (yaw angle) formed with the traveling direction of the vehicle is less than a certain value. )) Detect all linear patterns. Then, each line pattern is labeled as a lane boundary line candidate (S230).

なお、ラベリングとは、各レーン境界線候補に対してi=0,1,…nというように番号付けをする処理を示す。続いて、各直線パターンについて、ハフ変換処理における投票数(即ち、1つの直線パターンを検出する際に利用したエッジ点の総数)およびヨー角の情報を直線パターン毎にRAM13に記録し(S240)、レーン境界線候補抽出処理を終了する。   Labeling indicates a process of numbering each lane boundary line candidate such that i = 0, 1,... N. Subsequently, for each straight line pattern, the number of votes in the Hough transform process (that is, the total number of edge points used when detecting one straight line pattern) and the yaw angle information are recorded in the RAM 13 for each straight line pattern (S240). Then, the lane boundary line candidate extraction process ends.

次に、図2に戻り、先行車両検出処理を実施する(S130:先行車両検出手段)。先行車両検出処理は、当該車両に先行して当該車両の前方を走行する先行車両を、その位置(レーン境界線候補の位置に対する相対位置)とともに検出する処理である。具体的には、先行車両を検出する際には、レーダ16による検出結果を利用する手法や、撮像画像中のエッジ成分の集合からなる形状と車両の形状として予めROM12等に記録された形状データとを比較する手法(パターンマッチング)、或いは、夜間の場合には撮像画像中から先行車両のテールライトのペアを検出する手法等を採用することができる。   Next, returning to FIG. 2, the preceding vehicle detection process is performed (S130: preceding vehicle detection means). The preceding vehicle detection process is a process of detecting a preceding vehicle that travels ahead of the vehicle ahead of the vehicle, along with its position (a relative position with respect to the position of the lane boundary line candidate). Specifically, when detecting the preceding vehicle, a method using the detection result of the radar 16 or shape data recorded in advance in the ROM 12 or the like as the shape of the set of edge components in the captured image and the shape of the vehicle. Or a method of detecting a pair of taillights of a preceding vehicle from a captured image in the case of nighttime.

続いて、レーン境界線候補である複数の直線パターンからレーン境界線を選択するレーン境界線選択処理を実施する(S140)。   Subsequently, a lane boundary line selection process for selecting a lane boundary line from a plurality of straight line patterns that are lane boundary line candidates is performed (S140).

レーン境界線選択処理では、図4に示すように、まず、レーン境界線候補抽出処理で抽出されたレーン境界線候補のうちの1つ(i=0のもの)を選択する(S310)。次いで、選択したレーン境界線候補がレーン境界線である第1の確からしさ(PFi、レーン期待値)をレーン境界線候補の形状に基づいて算出する(S320:期待値算出手段)。   In the lane boundary line selection process, as shown in FIG. 4, first, one of the lane boundary line candidates extracted in the lane boundary line candidate extraction process (i = 0) is selected (S310). Next, the first probability (PFi, lane expected value) that the selected lane boundary line candidate is a lane boundary line is calculated based on the shape of the lane boundary line candidate (S320: expected value calculation means).

本実施形態においては、S240の処理にて記録されたハフ変換による投票数多いほど、第1の確からしさを高い値に設定する。具体的には、図5(a)に示すように、ハフ変換による投票数が決定すれば、確からしさが一義的に決定するマップを用いて第1の確からしさを算出する。図5(a)に示すマップでは、投票数が50以下の場合には第1の確からしさを0に設定するとともに、投票数が150以上の場合には第1の確からしさを0.5に設定している。   In the present embodiment, the first probability is set to a higher value as the number of votes by the Hough transform recorded in the process of S240 increases. Specifically, as shown in FIG. 5A, when the number of votes by the Hough transform is determined, the first probability is calculated using a map in which the probability is uniquely determined. In the map shown in FIG. 5A, when the number of votes is 50 or less, the first probability is set to 0, and when the number of votes is 150 or more, the first probability is set to 0.5. It is set.

そして、投票数が50以上かつ150未満の場合には、投票数が多くなるにつれて比例的に第1の確からしさが増加するように設定している。なお、ハフ変換による投票数が多いほど長い直線であることを表す。   When the number of votes is 50 or more and less than 150, the first probability is set to increase proportionally as the number of votes increases. In addition, it shows that it is a long straight line, so that the number of votes by Hough transformation increases.

続いて、先行車両の位置による第2の確からしさ(PPi)を算出する(S330)。本実施形態においては、S120にて抽出されたレーン境界線候補の位置と、S130にて検出された先行車両の位置とを利用して、レーン境界線候補と先行車両の左右何れかの端部(レーン境界線候補に近い側の端部)との距離(以下、「端部距離」という。)を検出し、この端部距離に応じて確からしさが一義的に決定するマップを用いて第2の確からしさ(PPi)を算出する。このマップにおいては、端部距離が等しい複数のレーン境界線候補が当該先行車両の内側および外側に存在する場合、当該先行車両の内側に位置するレーン境界線候補に対する第2の確からしさと比較して、先行車両の外側に位置するレーン境界線候補の第2の確からしさが、より高い値になるように設定されている。   Subsequently, the second probability (PPi) based on the position of the preceding vehicle is calculated (S330). In the present embodiment, using the position of the lane boundary line candidate extracted in S120 and the position of the preceding vehicle detected in S130, either the left or right end of the lane boundary line candidate and the preceding vehicle The distance (hereinafter referred to as “end portion distance”) is detected using a map whose probability is uniquely determined according to this end portion distance. The probability (PPi) of 2 is calculated. In this map, when a plurality of lane boundary line candidates having the same end distance are present inside and outside the preceding vehicle, the second probability is compared with the lane boundary line candidate located inside the preceding vehicle. Thus, the second probability of the lane boundary line candidate located outside the preceding vehicle is set to a higher value.

具体的には、図5(b)に示すように、端部距離が−0.25m未満(先行車両の端部よりも先行車両の内側(中央側)にレーン境界線候補が位置する場合、端部距離が負の値となる。)および端部距離が1.2m以上の場合、第2の確からしさ(PPi)を最小値である0に設定するとともに、端部距離が0.25〜1.0mの範囲内であれば、第2の確からしさを最大値である0.2に設定する。そして、端部距離が−0.25〜0.25mの範囲内の場合、端部距離が増加するにつれて第2の確からしさの値を比例的に大きく設定し、端部距離が1.0〜1.2mの範囲内の場合、端部距離が増加するにつれて第2の確からしさの値を比例的に小さく設定する。   Specifically, as shown in FIG. 5B, the end distance is less than −0.25 m (when the lane boundary line candidate is located on the inner side (center side) of the preceding vehicle than the end portion of the preceding vehicle, When the end distance is a negative value) and the end distance is 1.2 m or more, the second probability (PPi) is set to 0 which is the minimum value, and the end distance is 0.25 to 0.25. If within the range of 1.0 m, the second probability is set to 0.2 which is the maximum value. If the end distance is within the range of -0.25 to 0.25 m, the second probability value is set proportionally larger as the end distance increases, and the end distance is 1.0 to In the range of 1.2 m, the value of the second probability is set proportionally smaller as the end distance increases.

続いて、各確からしさ(PFiおよびPPi)の和である総合的な確からしさ(Pi)を算出する(S340)。つまり、S330およびS340の処理では、先行車両の位置の近傍にあるレーン境界線候補に対応する第1の確からしさ(PFi)に第2の確からしさ(PPi)を加えることによって、確からしさをより高い値に変更する処理を実施している(期待値変更手段)。   Subsequently, a total likelihood (Pi) that is the sum of the respective likelihoods (PFi and PPi) is calculated (S340). That is, in the processes of S330 and S340, the probability is further increased by adding the second probability (PPi) to the first probability (PFi) corresponding to the lane boundary line candidate in the vicinity of the position of the preceding vehicle. A process of changing to a higher value is performed (expected value changing means).

そして、算出した総合的な確からしさの値(Pi)をRAM13に記録し(S350)、全てのレーン境界線候補について選択済であるか否かを判定する(S360)。何れかのレーン境界線候補について選択済でなければ(S360:NO)、次のレーン境界線候補(iの値が1だけ大きなもの)を選択し(S370)、S320以下の処理を繰り返す。   Then, the calculated total probability value (Pi) is recorded in the RAM 13 (S350), and it is determined whether or not all the lane boundary line candidates have been selected (S360). If no lane boundary line candidate has been selected (S360: NO), the next lane boundary line candidate (i having a larger value of i by 1) is selected (S370), and the processes from S320 onward are repeated.

一方、全てのレーン境界線候補について選択済であれば(S360:YES)、最も高い総合的な確からしさ(Pi)を有するレーン境界線候補を、レーン境界線として特定する(S380:レーン境界線特定手段)。このとき、撮像画像中の当該車両の正面に相当する位置(例えば左右方向における画像中央)を基準として領域を左右に分割したそれぞれの領域において、最も高い確からしさ(Pi)に対応する走行方向成分をそれぞれレーン境界線として特定する。   On the other hand, if all the lane boundary line candidates have been selected (S360: YES), the lane boundary line candidate having the highest overall probability (Pi) is specified as the lane boundary line (S380: Lane boundary line) Specific means). At this time, the traveling direction component corresponding to the highest probability (Pi) in each of the regions divided into the left and right with reference to the position corresponding to the front of the vehicle in the captured image (for example, the image center in the left and right direction). Are identified as lane boundary lines.

そして、選択したレーン境界線をRAM13に記録し(S390)、レーン境界線選択処理を終了する。   Then, the selected lane boundary line is recorded in the RAM 13 (S390), and the lane boundary line selection process is terminated.

続いて、図2に戻り、逸脱判定処理を実施する(S150:逸脱判定手段)。この逸脱判定処理は、当該車両がレーン境界線に接近する接近速度を検出し、この接近速度に基づいて検出された走行レーンを逸脱する可能性を表す逸脱可能性を判定する処理である。具体的には、図6に示すように、まず、当該車両がレーン境界線に接近する接近速度を逸脱速度(Vd)として、この逸脱速度(Vd)を、ヨー角(レーン境界線の延伸方向と車両の進行方向とのなす角)および車両速度の積により演算する(S510)。なお、ヨー角については、S230のハフ変換処理の際に求めており、この値はS240の処理の際にRAM13に記録されている。   Subsequently, returning to FIG. 2, departure determination processing is performed (S150: departure determination means). This departure determination process is a process for detecting the approach speed at which the vehicle approaches the lane boundary and determining the possibility of departure indicating the possibility of deviating from the detected travel lane based on the approach speed. Specifically, as shown in FIG. 6, first, the approach speed at which the vehicle approaches the lane boundary is defined as the departure speed (Vd), and the departure speed (Vd) is set as the yaw angle (the extending direction of the lane boundary line). (The angle formed by the vehicle traveling direction) and the vehicle speed (S510). The yaw angle is obtained during the Hough conversion process in S230, and this value is recorded in the RAM 13 during the process in S240.

続いて、端部距離(DTLB)の閾値(dtlb)を演算する(S520)。この閾値(dtlb)は、逸脱速度(Vd)および基準時間(α)(例えば2秒間)の積で求めることができる。   Subsequently, a threshold value (dtlb) of the end distance (DTLB) is calculated (S520). This threshold value (dtlb) can be determined by the product of the departure speed (Vd) and the reference time (α) (for example, 2 seconds).

次いで、端部距離(DTLB)と閾値(dtlb)とを比較することによって、基準時間(α)以内に当該車両が走行レーンを逸脱するか否かを判定する(S530)。   Next, by comparing the end distance (DTLB) with the threshold value (dtlb), it is determined whether or not the vehicle departs from the traveling lane within the reference time (α) (S530).

端部距離(DTLB)が閾値(dtlb)以下であれば(S530:YES)、当該車両が走行レーンを逸脱するものとして、RAM13において逸脱可能性フラグをON状態に設定し(S540)、逸脱判定処理を終了する。一方、端部距離(DTLB)が閾値(dtlb)よりも大きければ(S530:NO)、当該車両が走行レーンを逸脱しないものとして、RAM13において逸脱可能性フラグをOFF状態に設定し(S550)、逸脱判定処理を終了する。   If the end distance (DTLB) is less than or equal to the threshold value (dtlb) (S530: YES), the departure possibility flag is set to the ON state in the RAM 13 as the vehicle departs from the traveling lane (S540), and the departure determination is made. The process ends. On the other hand, if the end portion distance (DTLB) is larger than the threshold value (dtlb) (S530: NO), it is assumed that the vehicle does not depart from the traveling lane, and the departure possibility flag is set to the OFF state in the RAM 13 (S550). The departure determination process is terminated.

続いて、図2に戻り、RAM13における逸脱可能性フラグを参照し、逸脱可能性フラグがON状態である場合(該逸脱可能性が所定の基準値よりも高い場合)に、当該車両の乗員に対して逸脱の可能性を警報するよう車両制御ECU40に対して指示する(S160:警報指示手段)。この指示を受けた車両制御ECU40は、直ちに警報部45を介して警報を行う。   Subsequently, returning to FIG. 2, the departure possibility flag in the RAM 13 is referred to. When the departure possibility flag is in the ON state (when the departure possibility is higher than a predetermined reference value), The vehicle control ECU 40 is instructed to warn of the possibility of departure (S160: alarm instruction means). Upon receiving this instruction, the vehicle control ECU 40 immediately issues an alarm via the alarm unit 45.

このような処理が終了すると、逸脱警報処理を終了する。   When such processing ends, the departure warning processing ends.

[本実施形態による効果]
以上のように詳述した走行レーン逸脱検出システム1において、逸脱検出ECU10は、逸脱警報処理にて、当該車両が走行する走行レーンの境界であるレーン境界線を当該車両の進行方向が撮像された撮像画像中から検出する。また、逸脱検出ECU10は、当該車両がレーン境界線に接近する接近速度を検出し、この接近速度に基づいて検出された走行レーンを逸脱する可能性を表す逸脱可能性を判定する。そして、逸脱可能性が所定の基準値よりも高い場合に、当該車両の乗員に対して警報を行う警報装置である車両制御ECU40に対して、警報を行うよう指示する。
[Effects of this embodiment]
In the travel lane departure detection system 1 described in detail above, the departure detection ECU 10 captures the traveling direction of the vehicle in the lane boundary that is the boundary of the travel lane on which the vehicle travels in the departure warning process. Detect from the captured image. Further, the departure detection ECU 10 detects an approach speed at which the vehicle approaches the lane boundary line, and determines a possibility of departure indicating a possibility of deviating from the detected travel lane based on the approach speed. Then, when the possibility of departure is higher than a predetermined reference value, the vehicle control ECU 40 that is an alarm device that issues an alarm to an occupant of the vehicle is instructed to issue an alarm.

特に、逸脱検出ECU10がレーン境界線を検出する際には、逸脱警報処理にて、まず、撮像画像中において当該車両の走行方向に沿って並ぶ複数のエッジ成分を表すレーン境界線候補毎に、各レーン境界線候補がレーン境界線である可能性の高さを表す確からしさを、各レーン境界線候補の形状に基づいて算出する。そして、当該車両に先行して走行する車両を表す先行車両の位置の近傍にあるレーン境界線候補に対応する確からしさをより高い値に変更し、最も高い確からしさに対応するレーン境界線候補を、レーン境界線として特定する。   In particular, when the departure detection ECU 10 detects a lane boundary line, in the departure warning process, first, for each lane boundary line candidate that represents a plurality of edge components arranged along the traveling direction of the vehicle in the captured image, A probability that indicates the likelihood that each lane boundary line candidate is a lane boundary line is calculated based on the shape of each lane boundary line candidate. Then, the probability corresponding to the lane boundary line candidate in the vicinity of the position of the preceding vehicle representing the vehicle traveling ahead of the vehicle is changed to a higher value, and the lane boundary line candidate corresponding to the highest probability is changed. , Identified as a lane boundary.

即ち、先行車両は通常、走行レーン内を走行しているものと推定することができるので、先行車両の位置近傍のレーン境界線候補は先行車両の位置から大きく離れたレーン境界線候補と比較してレーン境界線である可能性が高い。そこで、本実施形態では、レーン境界線候補および先行車両の位置を検出し、先行車両の位置近傍のレーン境界線候補における確からしさを、レーン境界線である可能性が高くなるように変更している。   That is, it can be assumed that the preceding vehicle is usually traveling in the traveling lane, so the lane boundary candidate near the position of the preceding vehicle is compared with the lane boundary candidate that is far away from the preceding vehicle position. This is likely to be a lane boundary. Therefore, in the present embodiment, the lane boundary line candidate and the position of the preceding vehicle are detected, and the probability of the lane boundary line candidate near the position of the preceding vehicle is changed so as to increase the possibility of being the lane boundary line. Yes.

なお、先行車両の位置近傍とは、先行車両の幅方向(撮像画像の左右方向)において、先行車両の幅(1.6m〜2.5m程度)および走行レーン幅(2m〜4m程度)を考慮したときに、先行車両が走行レーン内を走行しているときにレーン境界線が存在すると推定される領域内を示す。   The vicinity of the position of the preceding vehicle takes into account the width of the preceding vehicle (about 1.6 m to 2.5 m) and the travel lane width (about 2 m to 4 m) in the width direction of the preceding vehicle (the left-right direction of the captured image). When the preceding vehicle is traveling in the traveling lane, the lane boundary line is estimated to exist.

従って、このような走行レーン逸脱検出システム1によれば、先行車両の位置を考慮してレーン境界線を検出するので、レーン境界線を精度よく検出することができる。また、レーン境界線を精度よく検出することができるので、レーン境界線の検出に基づいて行う警報が誤作動することを防止することができる。   Therefore, according to such a traveling lane departure detection system 1, since the lane boundary line is detected in consideration of the position of the preceding vehicle, the lane boundary line can be detected with high accuracy. In addition, since the lane boundary line can be detected with high accuracy, it is possible to prevent the alarm that is performed based on the detection of the lane boundary line from malfunctioning.

なお、レーン境界線に基づいて走行レーンとしての領域を特定する際には、撮像画像中において特定したレーン境界線よりも中央側の領域を走行レーンとして特定すればよい。   Note that when the region as the traveling lane is identified based on the lane boundary line, the region on the center side of the lane boundary line identified in the captured image may be identified as the traveling lane.

また、逸脱検出ECU10は、逸脱警報処理にて、先行車両の左右何れかの端部からの距離が等しい複数のレーン境界線候補が先行車両の内側および外側に存在する場合、先行車両の内側に位置するレーン境界線候補に対する確からしさの変更量と比較して、先行車両の外側に位置するレーン境界線候補の確からしさの変更量を、相対的に高い値に設定する。   Further, the departure detection ECU 10 determines that the departure warning process is performed on the inside of the preceding vehicle when there are a plurality of lane boundary line candidates having the same distance from the left or right end of the preceding vehicle on the inside and outside of the preceding vehicle. The amount of change in the probability of the lane boundary line candidate located outside the preceding vehicle is set to a relatively high value compared to the amount of change in the probability for the lane boundary line candidate located.

即ち、多くの場合、先行車両が走行レーンを跨いで走行することはないため、本実施形態では、先行車両の左右の端部よりも先行車両の内側に位置するレーン境界線候補(先行車両が跨いでいるレーン境界線候補)よりも外側に位置するレーン境界線候補(先行車両が跨いでいないレーン境界線候補)に対して、より高い確からしさを設定している。   That is, in many cases, the preceding vehicle does not travel across the traveling lane. Therefore, in the present embodiment, the lane boundary line candidate (the preceding vehicle is located on the inner side of the preceding vehicle from the left and right ends of the preceding vehicle). A higher probability is set for a lane boundary line candidate (a lane boundary line candidate that the preceding vehicle does not straddle) located outside the lane boundary line candidate).

このような走行レーン逸脱検出システム1によれば、先行車両が跨いでいないレーン境界線候補に対してより高い確からしさを設定するので、先行車両が走行レーンの内側を走行している多くの場合に、より精度よくレーン境界線を検出することができる。   According to such a traveling lane departure detection system 1, since a higher probability is set for a lane boundary line candidate that the preceding vehicle does not straddle, in many cases, the preceding vehicle travels inside the traveling lane. In addition, the lane boundary line can be detected with higher accuracy.

さらに、逸脱検出ECU10においては、レーン境界線候補の長さが長いほど確からしさを高い値に設定する。   Further, the departure detection ECU 10 sets the probability to a higher value as the length of the lane boundary line candidate is longer.

このような走行レーン逸脱検出システム1によれば、撮像画像中のレーン境界線候補の長さが比較的短い標識や文字等については確からしさを小さな値に設定し、レーン境界線候補の長さが比較的長い白線等については確からしさを大きな値に設定することができる。よって、標識や文字等をレーン境界線として誤検出することを防止することができる。   According to such a traveling lane departure detection system 1, the probability of a lane boundary line candidate in the captured image is set to a small value for a sign or a character with a relatively short lane boundary line length, and the length of the lane boundary line candidate is set. For a relatively long white line or the like, the probability can be set to a large value. Therefore, it is possible to prevent erroneous detection of a sign, a character, or the like as a lane boundary line.

また、逸脱検出ECU10は、当該車両の正面に相当する位置を基準として撮像画像中の領域を左右に分割したそれぞれの領域において、最も高い確からしさに対応するレーン境界線候補をそれぞれレーン境界線として特定する。   Further, the departure detection ECU 10 uses the lane boundary line candidate corresponding to the highest probability as the lane boundary line in each of the areas obtained by dividing the area in the captured image into the left and right with reference to the position corresponding to the front of the vehicle. Identify.

このような走行レーン逸脱検出システム1によれば、撮像画像中の領域を左右に分割したそれぞれの領域においてレーン境界線を検出するので、レーン境界線が両側にある場合に、それぞれのレーン境界線を検出することができる。   According to the traveling lane departure detection system 1 as described above, since the lane boundary line is detected in each region obtained by dividing the region in the captured image into the left and right, when the lane boundary line is on both sides, each lane boundary line is detected. Can be detected.

[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[Other Embodiments]
Embodiments of the present invention are not limited to the above-described embodiments, and can take various forms as long as they belong to the technical scope of the present invention.

例えば、上記実施形態において、レーン境界線候補の形状によって算出される第1の確からしさ(PFi)は、ハフ変換における投票数に基づいて算出したが、例えば、曲線よりは直線を優先する(高い確からしさを設定する)ようにしたり、破線よりも実線を優先するようにしたりしてもよい。また、走行レーンの幅の情報をナビゲーションECU30から取得できる場合には、走行レーンの幅に応じてレーン境界線が検出される領域を推定し、この領域に存在するレーン境界線候補に対して高い確からしさを設定するようにしてもよい。   For example, in the above embodiment, the first probability (PFi) calculated based on the shape of the lane boundary line candidate is calculated based on the number of votes in the Hough transform. For example, a straight line is given priority over a curve (higher) The probability may be set), or the solid line may be prioritized over the broken line. Further, when the information on the width of the traveling lane can be acquired from the navigation ECU 30, an area where the lane boundary line is detected is estimated according to the width of the traveling lane, and is higher than the lane boundary line candidate existing in this area. The certainty may be set.

1…走行レーン逸脱検出システム、5…通信線、10…逸脱検出ECU、11…CPU、12…ROM、13…RAM、15…カメラ、16…レーダ、20…車速センサ、30…ナビゲーションECU、35…ETC車載器、40…車両制御ECU、45…警報部。   DESCRIPTION OF SYMBOLS 1 ... Travel lane deviation detection system, 5 ... Communication line, 10 ... Deviation detection ECU, 11 ... CPU, 12 ... ROM, 13 ... RAM, 15 ... Camera, 16 ... Radar, 20 ... Vehicle speed sensor, 30 ... Navigation ECU, 35 ... ETC on-board unit, 40 ... vehicle control ECU, 45 ... alarm unit.

Claims (6)

車両に搭載され、当該車両が走行する走行レーンの境界であるレーン境界線を検出するレーン境界線検出装置であって、
当該車両の進行方向が撮像された撮像画像中から、当該車両の走行方向に沿って並ぶ複数のエッジ成分を表す走行方向成分を検出する走行方向成分検出手段と、
当該車両に先行して走行する車両を表す先行車両を、その位置とともに検出する先行車両検出手段と、
前記検出された走行方向成分毎に、該各走行方向成分が前記レーン境界線である可能性の高さを表すレーン期待値を、該各走行方向成分の形状に基づいて算出する期待値算出手段と、
前記検出された先行車両の位置の近傍にある走行方向成分に対応するレーン期待値をより高い値に変更する期待値変更手段と、
最も高いレーン期待値に対応する走行方向成分を、前記レーン境界線として特定するレーン境界線特定手段と、
を備えたことを特徴とするレーン境界線検出装置。
A lane boundary detection device that is mounted on a vehicle and detects a lane boundary that is a boundary of a traveling lane on which the vehicle travels,
A traveling direction component detecting means for detecting a traveling direction component representing a plurality of edge components arranged along the traveling direction of the vehicle from a captured image in which the traveling direction of the vehicle is captured;
Preceding vehicle detection means for detecting a preceding vehicle representing a vehicle traveling ahead of the vehicle together with its position;
Expected value calculation means for calculating, for each detected traveling direction component, a lane expected value that indicates the likelihood that each traveling direction component is the lane boundary line based on the shape of each traveling direction component. When,
Expected value changing means for changing the expected lane value corresponding to the traveling direction component in the vicinity of the detected position of the preceding vehicle to a higher value;
Lane boundary line specifying means for specifying a traveling direction component corresponding to the highest expected lane value as the lane boundary line;
A lane boundary line detection apparatus comprising:
請求項1に記載のレーン境界線検出装置において、
前記期待値変更手段は、前記先行車両の左右何れかの端部からの距離が等しい複数の走行方向成分が当該先行車両の内側および外側に存在する場合、当該先行車両の内側に位置する走行方向成分に対するレーン期待値の変更量と比較して、当該先行車両の外側に位置する走行方向成分のレーン期待値の変更量を、相対的に高い値に変更すること
を特徴とするレーン境界線検出装置。
In the lane boundary line detection apparatus according to claim 1,
The expected value changing means is configured such that when a plurality of travel direction components having the same distance from the left or right end portion of the preceding vehicle are present inside and outside the preceding vehicle, the traveling direction is located inside the preceding vehicle. Lane boundary detection characterized in that the amount of change in the expected lane value of the driving direction component located outside the preceding vehicle is changed to a relatively high value compared to the amount of change in the expected lane value for the component apparatus.
請求項1または請求項2に記載のレーン境界線検出装置において、
前記期待値算出手段は、前記走行方向成分の長さが長いほどレーン期待値を高い値に設定すること
を特徴とするレーン境界線検出装置。
In the lane boundary line detection apparatus according to claim 1 or 2,
The expected value calculation means sets the expected lane value to a higher value as the length of the traveling direction component is longer.
請求項1〜請求項3の何れかに記載のレーン境界線検出装置において、
前記レーン境界線特定手段は、当該車両の正面に相当する位置を基準として前記撮像画像中の領域を左右に分割したそれぞれの領域において、最も高いレーン期待値に対応する走行方向成分をそれぞれ前記レーン境界線として特定すること
を特徴とするレーン境界線検出装置。
In the lane boundary line detection apparatus according to any one of claims 1 to 3,
The lane boundary line specifying unit is configured to obtain a traveling direction component corresponding to the highest expected lane value in each region obtained by dividing a region in the captured image into left and right with reference to a position corresponding to the front of the vehicle. A lane boundary line detection device characterized by being identified as a boundary line.
コンピュータを、請求項1〜請求項4の何れかに記載のレーン境界線検出装置を構成する各手段として機能させることを特徴とする境界線検出プログラム。   A boundary line detection program for causing a computer to function as each means constituting the lane boundary line detection device according to any one of claims 1 to 4. 車両に搭載され、車両が走行レーンから逸脱する可能性がある際に警報を行う逸脱警報装置であって、
当該車両が走行する走行レーンの境界であるレーン境界線を当該車両の進行方向が撮像された撮像画像中から検出するレーン境界線検出手段と、
当該車両が前記レーン境界線に接近する接近速度を検出し、該接近速度に基づいて前記検出された走行レーンを逸脱する可能性を表す逸脱可能性を判定する逸脱判定手段と、
該逸脱可能性が所定の基準値よりも高い場合に、当該車両の乗員に対して警報を行う警報手段に対して、警報を行うよう指示する警報指示手段と、
を備え、
前記レーン境界線検出手段は、請求項1〜請求項5の何れかに記載のレーン境界線検出装置として構成されていること
を特徴とする逸脱警報装置。
A departure warning device that is mounted on a vehicle and issues a warning when the vehicle may deviate from the driving lane,
Lane boundary detection means for detecting a lane boundary that is a boundary of a traveling lane in which the vehicle travels from a captured image in which the traveling direction of the vehicle is captured;
Deviation determination means for detecting an approaching speed at which the vehicle approaches the lane boundary line, and determining a departure possibility indicating a possibility of departing from the detected traveling lane based on the approaching speed;
An alarm instruction means for instructing an alarm means for alarming an occupant of the vehicle when the possibility of departure is higher than a predetermined reference value;
With
The lane boundary line detection means is configured as the lane boundary line detection device according to any one of claims 1 to 5.
JP2009010966A 2009-01-21 2009-01-21 Lane boundary detection device, boundary detection program, and departure warning device Expired - Fee Related JP5233696B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009010966A JP5233696B2 (en) 2009-01-21 2009-01-21 Lane boundary detection device, boundary detection program, and departure warning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009010966A JP5233696B2 (en) 2009-01-21 2009-01-21 Lane boundary detection device, boundary detection program, and departure warning device

Publications (2)

Publication Number Publication Date
JP2010170255A true JP2010170255A (en) 2010-08-05
JP5233696B2 JP5233696B2 (en) 2013-07-10

Family

ID=42702366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009010966A Expired - Fee Related JP5233696B2 (en) 2009-01-21 2009-01-21 Lane boundary detection device, boundary detection program, and departure warning device

Country Status (1)

Country Link
JP (1) JP5233696B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0848937A (en) * 1994-08-04 1996-02-20 Cosmo Oil Co Ltd New coating agent composition for plastic working
JP2013097714A (en) * 2011-11-04 2013-05-20 Toyota Motor Corp Lane recognition device
JP2015184891A (en) * 2014-03-24 2015-10-22 株式会社日本自動車部品総合研究所 Travel compartment line recognition apparatus and travel compartment line recognition program
JP2016081361A (en) * 2014-10-20 2016-05-16 株式会社日本自動車部品総合研究所 Travel compartment line recognition apparatus
US20170060136A1 (en) * 2015-09-01 2017-03-02 Honda Motor Co., Ltd. Image processing device
WO2020070856A1 (en) * 2018-10-04 2020-04-09 三菱電機株式会社 Coordinate value integration device, coordinate value integration system, coordinate value integration method, and coordinate value integration program
US11161505B2 (en) 2018-06-04 2021-11-02 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and non-transitory computer-readable medium storing a program
US11396291B2 (en) 2018-06-04 2022-07-26 Honda Motor Co., Ltd. Inferring a lane boundary position by the detected position of other vehicles in different lanes

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728975A (en) * 1993-06-25 1995-01-31 Fujitsu Ltd Road environment recognizing device
JPH0896299A (en) * 1994-09-20 1996-04-12 Nissan Motor Co Ltd Traveling road recognition device for vehicle and alarm/ traveling controller using the device
JPH10208047A (en) * 1997-01-23 1998-08-07 Nissan Motor Co Ltd On-vehicle traveling environment recognizing device
JP2003123058A (en) * 2001-10-17 2003-04-25 Hitachi Ltd Traveling lane recognition device
JP2003223700A (en) * 2002-01-29 2003-08-08 Nissan Motor Co Ltd Method for judging preceding vehicle
JP2004145852A (en) * 2002-08-27 2004-05-20 Clarion Co Ltd Method for detecting position of lane marker, apparatus for detecting position of lane marker and alarm apparatus for lane deviation
JP2007299045A (en) * 2006-04-27 2007-11-15 Nissan Motor Co Ltd Lane recognition device
JP2008168811A (en) * 2007-01-12 2008-07-24 Honda Motor Co Ltd Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728975A (en) * 1993-06-25 1995-01-31 Fujitsu Ltd Road environment recognizing device
JPH0896299A (en) * 1994-09-20 1996-04-12 Nissan Motor Co Ltd Traveling road recognition device for vehicle and alarm/ traveling controller using the device
JPH10208047A (en) * 1997-01-23 1998-08-07 Nissan Motor Co Ltd On-vehicle traveling environment recognizing device
JP2003123058A (en) * 2001-10-17 2003-04-25 Hitachi Ltd Traveling lane recognition device
JP2003223700A (en) * 2002-01-29 2003-08-08 Nissan Motor Co Ltd Method for judging preceding vehicle
JP2004145852A (en) * 2002-08-27 2004-05-20 Clarion Co Ltd Method for detecting position of lane marker, apparatus for detecting position of lane marker and alarm apparatus for lane deviation
JP2007299045A (en) * 2006-04-27 2007-11-15 Nissan Motor Co Ltd Lane recognition device
JP2008168811A (en) * 2007-01-12 2008-07-24 Honda Motor Co Ltd Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0848937A (en) * 1994-08-04 1996-02-20 Cosmo Oil Co Ltd New coating agent composition for plastic working
JP2013097714A (en) * 2011-11-04 2013-05-20 Toyota Motor Corp Lane recognition device
JP2015184891A (en) * 2014-03-24 2015-10-22 株式会社日本自動車部品総合研究所 Travel compartment line recognition apparatus and travel compartment line recognition program
JP2016081361A (en) * 2014-10-20 2016-05-16 株式会社日本自動車部品総合研究所 Travel compartment line recognition apparatus
US20170060136A1 (en) * 2015-09-01 2017-03-02 Honda Motor Co., Ltd. Image processing device
JP2017049771A (en) * 2015-09-01 2017-03-09 本田技研工業株式会社 Image processing apparatus
US9963147B2 (en) 2015-09-01 2018-05-08 Honda Motor Co., Ltd. Image processing device
US11161505B2 (en) 2018-06-04 2021-11-02 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and non-transitory computer-readable medium storing a program
US11396291B2 (en) 2018-06-04 2022-07-26 Honda Motor Co., Ltd. Inferring a lane boundary position by the detected position of other vehicles in different lanes
WO2020070856A1 (en) * 2018-10-04 2020-04-09 三菱電機株式会社 Coordinate value integration device, coordinate value integration system, coordinate value integration method, and coordinate value integration program

Also Published As

Publication number Publication date
JP5233696B2 (en) 2013-07-10

Similar Documents

Publication Publication Date Title
JP5846034B2 (en) Boundary line detection device, deviation detection device, and boundary line detection program
JP4788778B2 (en) Deviation warning device and deviation warning program
CN108027422B (en) Automatic detection of a dangerous departing vehicle by means of a vehicle sensor
JP5233696B2 (en) Lane boundary detection device, boundary detection program, and departure warning device
JP4775391B2 (en) Obstacle detection device
CN107251127B (en) Vehicle travel control device and travel control method
US8520954B2 (en) Apparatus for detecting lane-marking on road
JP5878491B2 (en) Driving assistance device
JP6787157B2 (en) Vehicle control device
JP6354659B2 (en) Driving support device
US10930153B2 (en) Vehicle external notification device
JP2014197326A (en) Driving support apparatus
JP2012089114A (en) Obstacle recognition device
JP4506573B2 (en) In-vehicle fog determination device
JP6129268B2 (en) Vehicle driving support system and driving support method
JP2008204281A (en) Object detection device and inter-vehicle communication system
JP2009217492A (en) Lane marking recognition device, lane maintenance support device, and lane marking recognition method
JP2008037361A (en) Obstacle recognition device
JP4913101B2 (en) Road shape detection device for vehicles
JP5316392B2 (en) Driving assistance device
JP2009298362A (en) Lane departure warning device of vehicle
JP2016018256A (en) Branch-merger determination device
JP2008165610A (en) Road section line recognition device
JP6154348B2 (en) Travel route generator
JP4661602B2 (en) Rear vehicle analysis device and collision prediction device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130311

R151 Written notification of patent or utility model registration

Ref document number: 5233696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees