JP5402828B2 - Lane boundary detection device, lane boundary detection program - Google Patents

Lane boundary detection device, lane boundary detection program Download PDF

Info

Publication number
JP5402828B2
JP5402828B2 JP2010117319A JP2010117319A JP5402828B2 JP 5402828 B2 JP5402828 B2 JP 5402828B2 JP 2010117319 A JP2010117319 A JP 2010117319A JP 2010117319 A JP2010117319 A JP 2010117319A JP 5402828 B2 JP5402828 B2 JP 5402828B2
Authority
JP
Japan
Prior art keywords
line
boundary
lane
candidate
lane boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010117319A
Other languages
Japanese (ja)
Other versions
JP2011243161A (en
Inventor
一馬 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010117319A priority Critical patent/JP5402828B2/en
Publication of JP2011243161A publication Critical patent/JP2011243161A/en
Application granted granted Critical
Publication of JP5402828B2 publication Critical patent/JP5402828B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車線の境界を検出する車線境界検出装置、車線境界検出プログラムに関する。   The present invention relates to a lane boundary detection device and a lane boundary detection program for detecting a lane boundary.

車両が車線から逸脱しそうな場合に、警報を発生する車線逸脱警報装置等に利用するために、車両前方に向けて搭載したカメラで前方風景を撮影し、自車両が走行する車線の境界を示すための路面標示である車線境界線(道路上にペイントされた白線等)を検出して、その車線境界線に関するパラメータ(自車との相対位置、角度、車線の曲率等)を求める車線境界検出装置が知られている。   In order to be used for a lane departure warning device that generates a warning when the vehicle is likely to deviate from the lane, the front landscape is photographed with a camera mounted toward the front of the vehicle, and the boundary of the lane in which the vehicle travels is shown. Lane boundary detection that detects lane boundary lines (white lines painted on the road, etc.), which are road markings, and calculates parameters related to the lane boundary lines (relative position, angle, curvature of the lane, etc.) The device is known.

ところで、図11に示すように、車線境界線は、一又は複数の補助線と共に複合線を形成している場合がある。そして、車線境界検出装置は、このような場合でも、車線境界の位置(例えば、車線境界線の車線中央側エッジの位置)を正しく求める必要がある。   By the way, as shown in FIG. 11, the lane boundary line may form a composite line with one or a plurality of auxiliary lines. Even in such a case, the lane boundary detection device needs to correctly obtain the position of the lane boundary (for example, the position of the lane center side edge of the lane boundary line).

その一つの手法として、複合線が検出された場合には、複合線の標示パターンの特徴から、複合線であるか否か、および複合線の種類を判定し、複合線であると判定された場合には、車線境界線以外の標示パターン(即ち、補助標示等)をノイズとして除去することで、車線境界の位置を認識する手法が提案されている(例えば、特許文献1参照)。   As one of the methods, when a composite line is detected, whether or not it is a composite line and the type of the composite line are determined from the characteristics of the marking pattern of the composite line, and the composite line is determined. In this case, a method of recognizing the position of the lane boundary by removing a marking pattern other than the lane boundary line (that is, an auxiliary marking or the like) as noise has been proposed (for example, see Patent Document 1).

特許3748811号公報Japanese Patent No. 3748811

ところで、車線境界線等の路面標示は、道路にペイントされたものであるため、車両に踏まれることにより部分的に磨耗していたり、路側物の影や雨等の影響によって路面部分とペイント部分とのコントラストが著しく低下し、両者の識別が部分的に困難になっていたりする場合がある。   By the way, road markings such as lane boundary lines are painted on the road, so they are partially worn by being stepped on by the vehicle, or the road surface part and the paint part due to the influence of shadows, rain, etc. The contrast between the two may be significantly reduced, and it may be partially difficult to distinguish between the two.

従って、複合線の中から車線境界線を識別できたとしても、その識別した車線境界線の形状(ひいては車線境界の位置)を、精度良く検出することができないという問題があり、更には、車線境界の位置を利用する各種制御の信頼性を低下させてしまうという問題があった。   Therefore, even if the lane boundary line can be identified from the composite line, there is a problem that the shape of the identified lane boundary line (and thus the position of the lane boundary) cannot be detected with high accuracy. There was a problem that reliability of various controls using the position of the boundary was lowered.

本発明は、上記問題点を解決するために、撮像画像から得られる車線境界線以外の路面標示の情報を利用して、車線境界の検出精度を向上させることを目的とする。   In order to solve the above problems, an object of the present invention is to improve the detection accuracy of a lane boundary by using information on road markings other than the lane boundary obtained from a captured image.

上記目的を達成するためになされた本発明の車線境界検出装置では、候補抽出手段が、車両前方の路面を撮像した撮像画像中から、車線境界を示すための路面標示である車線境界線の可能性がある境界線候補を抽出し、その境界線候補の位置を示した近似線を規定するパラメータである候補位置パラメータを求める。なお、近似線は、直線であってもよし、n次関数,楕円関数,双曲線関数等によって規定される曲線であってもよい。   In the lane boundary detection device of the present invention made to achieve the above object, the candidate extraction means can detect a lane boundary line that is a road marking for indicating the lane boundary from the captured image obtained by imaging the road surface in front of the vehicle. A candidate for a boundary line is extracted, and a candidate position parameter, which is a parameter for defining an approximate line indicating the position of the boundary line candidate, is obtained. The approximate line may be a straight line or a curve defined by an n-order function, an elliptic function, a hyperbolic function, or the like.

そして、候補抽出手段にて複数の境界線候補が検出された場合、判定手段が、その複数の境界線候補の配置パターンに基づき、その複数の境界線候補が、車線境界線および一又は複数の補助線からなる複合線を形成しているか否かを判定する。   When a plurality of boundary line candidates are detected by the candidate extraction unit, the determination unit determines that the plurality of boundary line candidates are a lane boundary line and one or a plurality of boundary lines based on the arrangement pattern of the plurality of boundary line candidates. It is determined whether or not a composite line composed of auxiliary lines is formed.

この判定手段により、複数の境界線候補が複合線を形成していると判定された場合、線間間隔検出手段が、複合線を形成する境界線候補の配置パターンから、境界線候補のそれぞれが、車線境界線および補助線のうちいずれに該当するか線種を識別すると共に、補助線に識別された境界線候補毎に車線境界線に識別された境界線候補との間隔である線間隔を求める。   When it is determined by the determination means that a plurality of boundary line candidates form a composite line, the inter-line interval detection means determines that each of the boundary line candidates is obtained from the arrangement pattern of the boundary line candidates that form the composite line. In addition to identifying the line type that corresponds to the lane boundary line or the auxiliary line, a line interval that is an interval between the boundary line candidate identified as the lane boundary line is determined for each boundary line candidate identified as the auxiliary line. Ask.

また、本発明の車線境界検出装置では、基準線設定手段が、複合線を形成する境界線候補のうち、候補位置パラメータの信頼性が最も高いものを基準線として設定する。すると、境界パラメータ設定手段が、設定された基準線が車線境界線である場合は、その基準線について算出された候補位置パラメータが示す位置を、車線境界の位置を示す境界パラメータとして設定し、一方、設定された基準線が補助線である場合は、その基準線について算出された候補位置パラメータが示す位置を、その基準線について算出された線間隔だけ車線境界線側にシフトさせたものを、車線境界の位置を示す境界パラメータとして設定する。   In the lane boundary detection device of the present invention, the reference line setting means sets, as a reference line, the candidate position parameter with the highest reliability among the boundary line candidates forming the composite line. Then, when the set reference line is a lane boundary line, the boundary parameter setting means sets the position indicated by the candidate position parameter calculated for the reference line as a boundary parameter indicating the position of the lane boundary, When the set reference line is an auxiliary line, the position indicated by the candidate position parameter calculated for the reference line is shifted to the lane boundary side by the line interval calculated for the reference line. Set as a boundary parameter indicating the position of the lane boundary.

このように、本発明の車線境界検出装置では、複数の境界線候補が複合線を形成している場合、補助線の情報をノイズとして除去するのではなく、境界線候補の中で最も信頼性の高い候補位置パラメータの情報を用い、その情報を複合線の配置パターンの情報を用いて必要に応じて補正することによって、車線境界の位置を表す境界パラメータを求めている。   Thus, in the lane boundary detection device of the present invention, when a plurality of boundary line candidates form a composite line, the auxiliary line information is not removed as noise, but is the most reliable among the boundary line candidates. The boundary parameter indicating the position of the lane boundary is obtained by using the information on the candidate position parameter having a high value and correcting the information as necessary using the information on the arrangement pattern of the composite line.

従って、本発明の車線境界検出装置によれば、車線境界線の磨耗や、路側物の影や雨等の影響によって車線境界線の形状(ひいては候補位置パラメータ)を正確に検出することができない不安定な環境でも、車線境界線が複合線を形成している場合には、補助線の情報(候補位置パラメータ,線間隔)を用いることで、境界パラメータを精度良く求めることができる。   Therefore, according to the lane boundary detection device of the present invention, it is impossible to accurately detect the shape of the lane boundary line (and hence the candidate position parameter) due to the influence of lane boundary wear, roadside shadows, rain, and the like. Even in a stable environment, when the lane boundary line forms a composite line, the boundary parameter can be obtained with high accuracy by using the auxiliary line information (candidate position parameter, line interval).

即ち、補助線は、車線境界線に沿ってペイントされ、しかも両者の間隔(線間隔)は一定であるため、補助線の位置を正確に検出できれば、その検出結果を線間隔分だけシフトさせることによって、車線境界の境界パラメータを正確に検出することができるのである。   That is, the auxiliary line is painted along the lane boundary line, and the distance between the two lines (line interval) is constant, so if the position of the auxiliary line can be accurately detected, the detection result is shifted by the line interval. Thus, the boundary parameter of the lane boundary can be accurately detected.

本発明の車線境界検出装置において、候補抽出手段は、例えば、請求項2に記載のように、撮像画像を、画像中における車幅方向に沿って配列された画素の画素値の値が大きく変化するエッジ点の位置を検出値とし、その検出値に対してハフ変換を行うことにより候補位置パラメータを求めるように構成されていてもよい。   In the lane boundary detection device of the present invention, the candidate extraction means, for example, as described in claim 2, the value of the pixel values of the pixels arranged along the vehicle width direction in the captured image is greatly changed. The position of the edge point to be detected may be set as a detection value, and the candidate position parameter may be obtained by performing Hough transform on the detection value.

この場合、基準線設定手段は、請求項3に記載のように、候補位置パラメータの信頼性を、その候補位置パラメータに適合する検出値の数が多いほど高く設定するように構成されていてもよい。   In this case, as described in claim 3, the reference line setting means may be configured to set the reliability of the candidate position parameter to be higher as the number of detected values that match the candidate position parameter is larger. Good.

なお、候補位置パラメータに適合する検出値の数というのは、ハフ変換における投票数のことであり、ハフ変換によって得られた候補位置パラメータによって規定される近似線上に乗る検出値の数のことを表す。   Note that the number of detected values that match the candidate position parameter is the number of votes in the Hough transform, and the number of detected values that are on the approximate line defined by the candidate position parameter obtained by the Hough transform. Represent.

また、請求項4に記載のように、候補抽出手段が、候補位置パラメータと共に、境界線候補の線幅を求めるように構成されている場合、基準線設定手段は、候補位置パラメータの信頼性を、その候補位置パラメータに適合する検出値が属する境界線候補の線幅が、線間隔検出手段にて識別された線種について予め設定されているパターン幅に近いほど高く設定するように構成されていてもよい。   Further, as described in claim 4, when the candidate extracting unit is configured to obtain the line width of the boundary line candidate together with the candidate position parameter, the reference line setting unit determines the reliability of the candidate position parameter. The line width of the boundary line candidate to which the detection value matching the candidate position parameter belongs is configured to be set higher as the line type identified by the line interval detection means is closer to the preset pattern width. May be.

また、候補抽出手段は、請求項5に記載のように、処理の対象となる対象画素を中心として設定された規定サイズの領域内の画素値を処理するエッジ抽出フィルタを用いることで、対象画素での画素値の変化の度合いを求めると共に、判定手段での過去の判定結果に基づき、エッジ抽出フィルタの処理対象となる領域サイズを変化させるように構成されていてもよい。 Further, as described in claim 5, the candidate extraction unit uses an edge extraction filter that processes a pixel value in a region of a specified size set around the target pixel to be processed, thereby The degree of change of the pixel value at, and the size of the region to be processed by the edge extraction filter may be changed based on the past determination result by the determination means.

つまり、候補抽出手段にて使用するエッジ抽出フィルタの領域サイズは、車線境界線のエッジの検出に最適化(認識性能が最大となるように)することが望ましく、例えば、車線境界線の幅の2倍とすることが考えられる。   That is, it is desirable that the region size of the edge extraction filter used in the candidate extraction unit is optimized for the detection of the edge of the lane boundary line (so that the recognition performance is maximized), for example, the width of the lane boundary line It is conceivable to double it.

しかし、この設定では、複合線を構成する車線境界線と補助線との間隔が、車線境界線の幅より狭いと、複合線がペイントされた部分での認識性能が低下する可能性がある。そこで、複合線を検出した場合には、エッジ抽出フィルタの領域サイズを、複合線用に最適化した大きさに変更することが望ましく、例えば、車線境界線と補助線との間隔の2倍とすることが考えられる。   However, in this setting, if the distance between the lane boundary line and the auxiliary line constituting the composite line is narrower than the width of the lane boundary line, the recognition performance may be deteriorated at the portion where the composite line is painted. Therefore, when a composite line is detected, it is desirable to change the area size of the edge extraction filter to a size optimized for the composite line, for example, twice the interval between the lane boundary line and the auxiliary line. It is possible to do.

こうすることによって、複合線であるか否かによらず、エッジ抽出フィルタの認識性能を常に最大限に引き出すことができる。
ところで、候補位置パラメータは、請求項6に記載のように、例えば、車線の中心側に位置する境界線候補のエッジの位置を表すように設定することが考えられる。但し、これに限らず、境界線候補の中心位置であってもよいし、車線の外側に位置する境界線候補のエッジの位置であってもよい。
By doing so, the recognition performance of the edge extraction filter can always be maximized regardless of whether it is a composite line or not.
By the way, it is conceivable that the candidate position parameter is set so as to represent the position of the edge of the boundary line candidate positioned on the center side of the lane, for example, as described in claim 6. However, the present invention is not limited to this, and it may be the center position of the boundary line candidate, or the edge position of the boundary line candidate positioned outside the lane.

また、境界パラメータ設定手段は、請求項7に記載のように、撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域について、境界パラメータを求めるように構成されていてもよい。   The boundary parameter setting means is configured to obtain a boundary parameter for each region obtained by dividing the region into left and right with reference to a position corresponding to the front of the vehicle in the captured image, as defined in claim 7. May be.

更に、判定手段は、請求項8に記載のように、撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域にて判定を行い、両者の判定結果が異なる場合には、いずれも複合線ではないと判定するように構成されていてもよい。   Further, as described in claim 8, the determination means performs determination in each of the regions divided into left and right with reference to a position corresponding to the front of the vehicle in the captured image, and the determination result of both is When they are different from each other, they may be configured not to be composite lines.

つまり、複合線は、車線の左右両側に、同じパターンのものが設置されるため、この特徴を利用することによって、複合線でないものを、複合線であると誤判定してしまうことを防止することができる。   In other words, composite lines are installed on the left and right sides of the lane, and the same pattern is used. By using this feature, it is possible to prevent a non-composite line from being erroneously determined as a composite line. be able to.

ところで、請求項1〜請求項8のいずれか1項に記載の車線境界検出装置を構成する各手段は、ハードウェアによって実現してもよいが、請求項9に記載のように、コンピュータをこれら各手段として機能させる車線検出プログラムによって実現してもよい。   By the way, although each means which comprises the lane boundary detection apparatus of any one of Claims 1-8 may be implement | achieved by hardware, as described in Claim 9, these computers are these. You may implement | achieve by the lane detection program functioned as each means.

(A)は本発明の適用された車線逸脱警報システムの概略構成を示すブロック図、(B)はその主要部となる車線境界検出装置の構成を示すブロック図。(A) is a block diagram which shows schematic structure of the lane departure warning system to which this invention was applied, (B) is a block diagram which shows the structure of the lane boundary detection apparatus used as the principal part. メイン処理の内容を示すフローチャート。The flowchart which shows the content of the main process. メイン処理中の境界線候補抽出処理の内容を示すフローチャート。The flowchart which shows the content of the boundary line candidate extraction process in the main process. メイン処理中の複合線判定処理の内容を示すフローチャート。The flowchart which shows the content of the composite line determination process in the main process. メイン処理中の基準線選択処理の内容を示すフローチャート。The flowchart which shows the content of the reference line selection process in the main process. メイン処理中の境界パラメータ算出処理の内容を示すフローチャート。The flowchart which shows the content of the boundary parameter calculation process in the main process. エッジ抽出フィルタの構成および動作を示す説明図。Explanatory drawing which shows the structure and operation | movement of an edge extraction filter. 境界パラメータの算出方法を例示した説明図。Explanatory drawing which illustrated the calculation method of a boundary parameter. (A)はハフ変換による投票数と確からしさ(PFi)との関係を示すマップ、(B)は候補幅パラメータと確からしさ(PPi)との関係を示すマップ。(A) is a map showing the relationship between the number of votes by Hough transform and the probability (PFi), and (B) is a map showing the relationship between the candidate width parameter and the probability (PPi). エッジ抽出フィルタの変形例を示す説明図。Explanatory drawing which shows the modification of an edge extraction filter. 複合線を例示した説明図。Explanatory drawing which illustrated the compound line.

以下に本発明の実施形態を図面と共に説明する。
[全体構成]
図1は、車両に搭載された車線逸脱警報システム1の構成を示すブロック図であり、(A)は全体構成、(B)は主要部となる車線境界検出装置の詳細構成である。
Embodiments of the present invention will be described below with reference to the drawings.
[overall structure]
FIG. 1 is a block diagram showing a configuration of a lane departure warning system 1 mounted on a vehicle. FIG. 1A is an overall configuration, and FIG. 1B is a detailed configuration of a lane boundary detection device as a main part.

図1(A)に示すように、車線逸脱警報システム1は、自車両が走行中の車線の境界(以下「車線境界」という)となる位置等を示す境界パラメータを生成する車線境界検出装置10と、車線境界検出装置10とは車載LANを介して接続され、その車載LANを介して車線境界検出装置10から取得する境界パラメータに基づき、自車両が走行中の車線を逸脱する可能性を求めて、その旨をドライバに報知する各種処理を実行する車両制御ECU20とを備えている。   As shown in FIG. 1 (A), the lane departure warning system 1 generates a lane boundary detection device 10 that generates boundary parameters indicating positions and the like that are boundaries of a lane in which the host vehicle is traveling (hereinafter referred to as “lane boundary”). The lane boundary detection device 10 is connected to the lane boundary detection device 10 via the in-vehicle LAN. Based on the boundary parameters acquired from the lane boundary detection device 10 through the in-vehicle LAN, the possibility that the host vehicle deviates from the traveling lane is obtained. The vehicle control ECU 20 executes various processes for notifying the driver of the fact.

車線境界検出装置10は、図1(B)に示すように、車両前方の路面を撮像するように配置されたCCDカメラ11と、CCDカメラ11から出力されるアナログの画像信号をデジタルの画像データに変換するアナログ・デジタル変換器(ADC)12と、ADC12によって得られた画像データを格納する画像メモリ13と、画像メモリ13に記憶されている画像データに基づいて、境界パラメータを生成する処理等を実行するCPU14と、CPU14が実行する処理のプログラムなどを記憶するROM15と、CPU14の作業領域として機能するRAM16と、CPU14での処理結果などを、車載LANを介して外部へ出力するための通信IC17等を備えている。   As shown in FIG. 1B, the lane boundary detection device 10 includes a CCD camera 11 arranged to image a road surface ahead of the vehicle, and an analog image signal output from the CCD camera 11 as digital image data. An analog / digital converter (ADC) 12 for converting to image data, an image memory 13 for storing image data obtained by the ADC 12, processing for generating boundary parameters based on the image data stored in the image memory 13, etc. , A ROM 15 that stores a program for processing executed by the CPU 14, a RAM 16 that functions as a work area for the CPU 14, and a communication for outputting processing results in the CPU 14 to the outside via the in-vehicle LAN. IC17 etc. are provided.

車両制御ECU20は、車線境界検出装置10と同様に、CPU,ROM,RAM,通信ICを備える他、当該ECU20に直結されたセンサ等から検出信号を取り込んだり、制御対象に対する制御信号を出力したりするためのIOポート等を備えている。ここでは、制御対象として、警報音を発生させるスピーカが少なくとも接続されている。   Like the lane boundary detection device 10, the vehicle control ECU 20 includes a CPU, a ROM, a RAM, and a communication IC. In addition, the vehicle control ECU 20 receives a detection signal from a sensor directly connected to the ECU 20, and outputs a control signal for a control target. An IO port or the like is provided. Here, at least a speaker that generates an alarm sound is connected as a control target.

なお、車両制御ECU20は、車両が走行レーンから逸脱しないように操舵トルクを制御する操舵トルク制御装置等の交通事故を防止するための装置として機能するように構成されていてもよい。   The vehicle control ECU 20 may be configured to function as a device for preventing a traffic accident such as a steering torque control device that controls the steering torque so that the vehicle does not depart from the travel lane.

[メイン処理]
次に、CPU14が実行するメイン処理(車線境界検出プログラムによる処理の内容)を、図2に示すフローチャートに沿って説明する。本処理は、イグニションスイッチ等の車両の電源がON状態にされると開始され、その後、一定時間毎(例えば100ms毎)に繰り返し実施される。
[Main processing]
Next, main processing (contents of processing by the lane boundary detection program) executed by the CPU 14 will be described with reference to the flowchart shown in FIG. This process is started when the power source of the vehicle such as an ignition switch is turned on, and then repeatedly executed at regular time intervals (for example, every 100 ms).

本処理が起動すると、まず、CCDカメラ11,ADC12を作動させ、画像メモリ13に1画面分の画像データを格納する(S110)。
以下、後で詳述する境界線候補抽出処理(S120)、複合線判定処理(S130)、基準線選択処理(S140)、境界パラメータ算出処理(150)を実行して本処理を終了する。
When this process is started, first, the CCD camera 11 and ADC 12 are operated, and image data for one screen is stored in the image memory 13 (S110).
Thereafter, boundary line candidate extraction processing (S120), composite line determination processing (S130), reference line selection processing (S140), and boundary parameter calculation processing (150), which will be described in detail later, are executed, and this processing is terminated.

なお、S130〜S140については、撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域について処理を実行するものとする。つまり、自車両が走行中の車線の左右両端の車線境界について、境界パラメータが求められることになる。   In addition, about S130-S140, a process shall be performed about each area | region which divided | segmented the area | region into right and left on the basis of the position corresponded to the front of the said vehicle in a captured image. That is, the boundary parameter is obtained for the lane boundaries at the left and right ends of the lane in which the host vehicle is traveling.

[境界線候補抽出処理]
ここで、先のS120にて実行する境界線候補抽出処理を、図3に示すフローチャートに沿って説明する。なお、本処理は、自車両が走行している車線(以下「走行車線」という)の境界(左右両縁)を示す車線境界線である可能性がある路面標示(路面にペイントされた白線等)を境界線候補として抽出し、その境界線候補の位置を示す候補位置パラメータ等を生成する処理である。
[Boundary line extraction process]
Here, the boundary line candidate extraction process executed in the previous S120 will be described with reference to the flowchart shown in FIG. In addition, this processing is a road marking (a white line painted on the road surface, etc.) that may be a lane boundary indicating the boundary (left and right edges) of the lane in which the host vehicle is traveling (hereinafter referred to as “traveling lane”) ) Are extracted as boundary line candidates, and candidate position parameters indicating the position of the boundary line candidates are generated.

本処理では、まずS210にて、画像メモリ13に格納されている画像データを、規定サイズのエッジ抽出フィルタを用いて処理することにより、画素毎に、画像の水平ライン方向(画像中における車幅方向)に沿って隣接する画素の輝度値の変化の度合いを表す微分値を算出する。   In this process, first, in S210, the image data stored in the image memory 13 is processed using an edge extraction filter of a prescribed size, so that for each pixel, the horizontal line direction of the image (the vehicle width in the image). A differential value representing the degree of change in luminance value of pixels adjacent along (direction) is calculated.

なお、エッジ抽出フィルタは、図7(A)に示すように、例えば、1行2n列のフィルタサイズを有し、その1行が「1,1,…1,−1,−1,…−1」というように、n個のフィルタパラメータ‘1’と、n個のフィルタパラメータ‘−1’で構成されている。   As shown in FIG. 7A, the edge extraction filter has, for example, a filter size of 1 row and 2n columns, and one row includes “1, 1,..., −1, −1,. 1 ”, n filter parameters“ 1 ”and n filter parameters“ −1 ”.

このエッジ抽出フィルタは、図7(B)に示すように、画像上にて、1画素ずつずらしながら適用することにより、画像全体についてフィルタ出力を得る。また、ある対象画素に対してフィルタを適用した場合の出力値の算出方法は、以下の通りである。   As shown in FIG. 7B, this edge extraction filter is applied while shifting pixel by pixel on the image to obtain a filter output for the entire image. The output value calculation method when a filter is applied to a certain target pixel is as follows.

図7(C)に示す楕円形領域は、図7(B)に示した画像の一部を拡大したものであり、図中のマスは各画素を表現しており、各画素は画素値(輝度)Giを有している。また、画素中の番号は、画素列を識別する番号を示すものであり、k列目の画素を対象画素としてエッジ抽出フィルタを適用する場合を示している。   The elliptical region shown in FIG. 7C is an enlarged part of the image shown in FIG. 7B, and the squares in the drawing represent each pixel, and each pixel has a pixel value ( (Luminance) Gi. The number in the pixel indicates the number for identifying the pixel column, and indicates a case where the edge extraction filter is applied to the pixel in the kth column as the target pixel.

この場合、エッジ抽出フィルタの出力Hkは、対象画素近傍の画素値を用いて(1)式のように算出される。   In this case, the output Hk of the edge extraction filter is calculated as in equation (1) using pixel values near the target pixel.

なお、フィルタサイズは、車線境界線の幅の2倍となるように、エッジ抽出フィルタを適用する行によって異なる大きさに設定される。また、このようなエッジ抽出フィルタは、例えば特開2000−306110号等に詳述された公知のものである。 The filter size is set to a different size depending on the row to which the edge extraction filter is applied so as to be twice the width of the lane boundary line. Such an edge extraction filter is a known filter described in detail in, for example, Japanese Patent Application Laid-Open No. 2000-306110.

続くS220では、S210にて求めた微分値に基づき、微分値の絶対値が予め設定された閾値以上である点、即ち、隣接する画素の輝度値が大きく変化する地点をエッジ点として抽出し、その抽出したエッジ点の座標値を、RAM16に登録する。   In subsequent S220, based on the differential value obtained in S210, a point where the absolute value of the differential value is greater than or equal to a preset threshold value, that is, a point where the luminance value of an adjacent pixel greatly changes is extracted as an edge point. The coordinate value of the extracted edge point is registered in the RAM 16.

続くS230では、この登録されたエッジ点を用いて周知のハフ(Hough)変換処理を実施することにより、当該車両の進行方向に延びる(当該車両の進行方向とのなす角(ヨー角)が一定値未満の)直線パターンを検出する。   In subsequent S230, a well-known Hough conversion process is performed using the registered edge points, thereby extending in the traveling direction of the vehicle (an angle (yaw angle) formed with the traveling direction of the vehicle is constant). Detects linear patterns (less than values).

なお、ハフ変換処理では、画像データを構成する各画素の画像中における位置が座標(x,y)で表され、直線パターンが一次関数y=ax+bで近似されるものとして、この一次関数で表される近似線を規定する変数(a,b)が求められる。   In the Hough transform process, the position in the image of each pixel constituting the image data is represented by coordinates (x, y), and the linear pattern is approximated by a linear function y = ax + b. The variables (a, b) that define the approximate line to be obtained are obtained.

続くS240では、検出された直線パターンから、同一の標示パターンの両縁を表す隣接した直線パターンのペアを境界線候補として抽出しラベリングする。この抽出は、例えばエッジ点での微分値の極性等を用いる周知の手法によって行われる。   In subsequent S240, a pair of adjacent linear patterns representing both edges of the same marking pattern is extracted from the detected linear pattern as a boundary line candidate and labeled. This extraction is performed by a known method using, for example, the polarity of the differential value at the edge point.

なお、ラベリングとは、各境界線候補に対してi=0,1,…nというように番号付けをする処理を示す。
続くS250では、境界線候補毎に、候補パラメータを求めてRAM16に登録して、本処理を終了する。
Note that labeling refers to a process of numbering each boundary line candidate such as i = 0, 1,.
In the subsequent S250, candidate parameters are obtained and registered in the RAM 16 for each boundary line candidate, and this process is terminated.

なお、候補パラメータとしては、境界線候補の位置を表す候補位置パラメータ、境界線候補の線幅を表す候補幅パラメータが求められる。但し、境界線候補を構成する一対の直線パターンのうち、車線中央側に位置する直線パターンを代表パターンとして、候補位置パラメータとしては、代表パターンについてハフ変換処理によって得られた変数を用い、候補パラメータは、境界線候補を構成する一対の直線パターン間の距離の算出値を用いる。   As candidate parameters, a candidate position parameter indicating the position of the boundary line candidate and a candidate width parameter indicating the line width of the boundary line candidate are obtained. However, among the pair of straight line patterns constituting the boundary line candidate, the straight line pattern located on the lane center side is used as a representative pattern, and as the candidate position parameter, a variable obtained by the Hough transform process for the representative pattern is used, and the candidate parameter is set. Uses a calculated value of the distance between a pair of straight line patterns constituting the boundary line candidate.

更に、候補パラメータには、代表パターンに対するハフ変換処理での投票数(即ち、代表パターン上に存在するエッジ点の総数)も含まれる。
[複合線判定処理]
次に、先のS130にて実行する複合線判定処理を、図4に示すフローチャートに沿って説明する。
Further, the candidate parameters include the number of votes in the Hough transform process for the representative pattern (that is, the total number of edge points existing on the representative pattern).
[Compound line judgment processing]
Next, the composite line determination process executed in S130 will be described with reference to the flowchart shown in FIG.

本処理では、まず、S310にて、隣接する境界線候補間の間隔をそれぞれ求める。
なお、ここでは、境界線候補間の間隔として、各境界線候補の代表パターン間の距離を用いる。
In this process, first, in S310, intervals between adjacent boundary line candidates are obtained.
Here, the distance between the representative patterns of each boundary line candidate is used as the interval between the boundary line candidates.

続くS320では、S250で求めた候補幅パラメータとS310で求めた境界線候補間の間隔とに基づき、境界線候補の配置パターンが、予め規定された複合線の配置パターンと一致するか否かを判断し、一致しなければ、そのまま本処理を終了する。   In subsequent S320, based on the candidate width parameter obtained in S250 and the interval between the boundary line candidates obtained in S310, it is determined whether or not the arrangement pattern of the boundary line candidates matches the pre-defined composite line arrangement pattern. If it is determined and they do not match, the process is terminated as it is.

境界線候補の配置が複合線パターンと一致する場合には、S330にて、一致した複合線パターンの構成に従って、境界線候補の線種(車線境界線,補助線)を識別し、RAM16に登録する。   If the layout of the boundary line candidate matches the composite line pattern, the line type (lane boundary line, auxiliary line) of the boundary line candidate is identified and registered in the RAM 16 in S330 according to the configuration of the matched composite line pattern. To do.

S340では、S310での算出結果のうち、補助線(に識別された境界線候補)と車線境界線(に識別された境界線候補)との間隔(以下「線間隔」という)を表すものを、補助線毎にRAM16に登録して本処理を終了する。   In S340, the calculation result in S310 represents an interval (hereinafter referred to as “line interval”) between the auxiliary line (identified boundary line) and the lane boundary line (identified boundary line). Then, each auxiliary line is registered in the RAM 16 and this process is terminated.

つまり、図8(A)に示すように、車線境界線の両側に補助線が存在する場合には、S310では、境界線候補間の間隔としてD1,D2が算出され、S320,S340にて各境界線候補の線種が識別され、S340では、車線境界線より外側に位置する補助線の線間隔としてD1、車線境界線より内側に位置する補助線の線間隔としてD2が登録されることになる。   That is, as shown in FIG. 8A, when there are auxiliary lines on both sides of the lane boundary line, in S310, D1 and D2 are calculated as the distance between the boundary line candidates, and in S320 and S340, The line type of the boundary line candidate is identified, and in S340, D1 is registered as the line interval of the auxiliary line positioned outside the lane boundary line, and D2 is registered as the line interval of the auxiliary line positioned inside the lane boundary line. Become.

[基準線選択処理]
次に、先のS140にて実行する基準線選択処理を、図5に示すフローチャートに沿って説明する。
[Reference line selection processing]
Next, the reference line selection process executed in S140 will be described with reference to the flowchart shown in FIG.

本処理では、まずS410にて、先のS120にて実行される境界線候補抽出処理で抽出された境界線候補のうちの1つ(i=0のもの)を選択する。
S420では、選択した境界線候補について算出された候補位置パラメータの信頼度を表す第1の確からしさ(PFi)を算出する。
In this process, first, in S410, one of the boundary line candidates extracted in the boundary line candidate extraction process executed in the previous S120 (i = 0) is selected.
In S420, a first probability (PFi) representing the reliability of the candidate position parameter calculated for the selected boundary line candidate is calculated.

ここでは、S250の処理にて記録されたハフ変換による投票数が多いほど、第1の確からしさ(PFi)を高い値に設定する。具体的には、図9(A)に示すように、ハフ変換による投票数が決定すれば、確からしさが一義的に決定するマップを用いて第1の確からしさ(PFi)を算出する。図9(A)に示すマップでは、投票数が50以下の場合には第1の確からしさ(PFi)を0に設定するとともに、投票数が150以上の場合には第1の確からしさ(PFi)を0.5に設定している。 Here, the first probability (PFi) is set to a higher value as the number of votes by the Hough transform recorded in the process of S250 is larger. Specifically, as shown in FIG. 9A, if the number of votes by Hough transform is determined, a first probability (PFi) is calculated using a map whose probability is uniquely determined. In the map shown in FIG. 9A , when the number of votes is 50 or less, the first probability (PFi) is set to 0, and when the number of votes is 150 or more, the first probability (PFi). ) Is set to 0.5.

そして、投票数が50以上かつ150未満の場合には、投票数が多くなるにつれて比例的に第1の確からしさ(PFi)が増加するように設定している。なお、ハフ変換による投票数は、候補位置パラメータが示す直線に適合する(直線上に位置する)検出値の数を表す。   When the number of votes is 50 or more and less than 150, the first probability (PFi) is set to increase proportionally as the number of votes increases. The number of votes by the Hough transform represents the number of detection values that match (position on the straight line) the straight line indicated by the candidate position parameter.

S430では、選択した境界線候補について算出された候補幅パラメータの信頼度を表す第2の確からしさ(PPi)を算出する。
ここでは、S250にて算出された候補幅パラメータに応じて確からしさが一義的に決定するマップを用いて第2の確からしさ(PPi)を算出する。このマップにおいては、境界線候補幅が、車線境界線や補助線が採りうる幅に近いほど、第2の確からしさが、より高い値になるように設定されている。
In S430, the second probability (PPi) representing the reliability of the candidate width parameter calculated for the selected boundary line candidate is calculated.
Here, the second probability (PPi) is calculated using a map whose probability is uniquely determined according to the candidate width parameter calculated in S250. In this map, the second probability is set to be higher as the boundary line candidate width is closer to the width that can be taken by the lane boundary line or the auxiliary line.

具体的には、図9(B)に示すように、境界線候補幅が0.15m〜0.3mの範囲内であれば、第2の確からしさ(PPi)を最大値である0.5に設定すると共に、境界線候補幅が0.45m以上であれば、第2の確からしさ(PPi)を最小値である0に設定する。また、境界線候補幅が0〜0.15mの範囲内であれば、境界線候補幅が長いほど、第2の確からしさ(PPi)の値を比例的に大きく設定し、境界線候補幅が0.3〜0.45mの範囲内の場合、境界線候補幅が長いほど第2の確からしさ(PPi)の値を比例的に小さく設定する。   Specifically, as shown in FIG. 9B, if the boundary line candidate width is within a range of 0.15 m to 0.3 m, the second probability (PPi) is 0.5 which is the maximum value. When the boundary line candidate width is 0.45 m or more, the second probability (PPi) is set to 0 which is the minimum value. Also, if the boundary line candidate width is within the range of 0 to 0.15 m, the longer the boundary line candidate width, the larger the value of the second probability (PPi) is set proportionally. In the range of 0.3 to 0.45 m, the value of the second probability (PPi) is set proportionally smaller as the boundary line candidate width is longer.

S440では、各確からしさ(PFiおよびPPi)の和である総合的な確からしさ(Pi)を算出して、これをS410で選択した境界線候補と対応づけてRAM16に登録する。   In S440, a total likelihood (Pi) that is the sum of the respective likelihoods (PFi and PPi) is calculated, and this is registered in the RAM 16 in association with the boundary line candidate selected in S410.

S450では、全ての車線境界線候補についてS410〜S440の処理を実行したか否かを判定し、未処理の境界線候補が存在すれば、S410に戻って、未処理の境界線候補(ここではiの値が1だけ大きなもの)を選択し、S420以下の処理を繰り返す。   In S450, it is determined whether or not the processing of S410 to S440 has been executed for all lane boundary line candidates. If there are unprocessed boundary line candidates, the process returns to S410, and unprocessed boundary line candidates (here, i is larger by 1), and the processing from S420 onward is repeated.

一方、S450にて、全ての境界線候補を処理済みであると判定された場合は、S460に進み、撮像画像中の当該車両の正面に相当する位置(例えば左右方向における画像中央)を基準として領域を左右に分割したそれぞれの領域において、最も高い総合的な確からしさ(Pi)を有する境界線候補を基準線として選択し、これをRAM16に登録して、本処理を終了する。   On the other hand, if it is determined in S450 that all the boundary line candidates have been processed, the process proceeds to S460, and the position corresponding to the front of the vehicle in the captured image (for example, the center of the image in the left-right direction) is used as a reference. In each of the regions divided into the left and right regions, the boundary line candidate having the highest overall probability (Pi) is selected as the reference line, which is registered in the RAM 16 and the present process is terminated.

[境界パラメータ算出処理]
次に、先のS150にて実行する境界パラメータ算出処理を、図6に示すフローチャートに沿って説明する。
[Boundary parameter calculation processing]
Next, the boundary parameter calculation process executed in S150 will be described with reference to the flowchart shown in FIG.

本処理では、まずS510にて、S140にて選択された基準線に基づき、自車両から予め設定された規定距離だけ離れた位置での、基準線の横位置、角度を境界パラメータとして算出する。   In this process, first, in S510, based on the reference line selected in S140, the lateral position and angle of the reference line at a position away from the host vehicle by a predetermined distance set in advance are calculated as boundary parameters.

S520では、基準線は補助線であるか否かを判断し、補助線でなければ、即ち、車線境界線であれば、そのまま本処理を終了する。つまり、この場合、S510にて算出された境界パラメータがそのまま、車線境界を表す境界パラメータとなる。   In S520, it is determined whether or not the reference line is an auxiliary line. If the reference line is not an auxiliary line, that is, if it is a lane boundary line, the present process ends. That is, in this case, the boundary parameter calculated in S510 becomes the boundary parameter representing the lane boundary as it is.

基準線が補助線である場合は、S530に進み、S510にて算出された横位置を、基準線についてS340にて算出された線間隔だけ補正して、本処理を終了する。つまり、この場合、S510にて算出された境界パラメータを、S530の処理によって補正したものが、車線境界を表す境界パラメータとなる。   If the reference line is an auxiliary line, the process proceeds to S530, the lateral position calculated in S510 is corrected by the line interval calculated in S340 with respect to the reference line, and the present process ends. That is, in this case, the boundary parameter calculated in S510 and corrected by the processing in S530 is the boundary parameter representing the lane boundary.

具体的には、車線境界線より内側に位置する補助線が基準線に設定された場合は、S510では、基準線の横位置としてD3が算出され(図8(B)参照)、S530では、基準線となった補助線と車線境界線との間隔(線間隔)D2だけ、基準線の横位置D3を車線境界線側にシフトさせる補正をした位置D2+D3が境界パラメータとなる(図8(C)参照)。   Specifically, when the auxiliary line located inside the lane boundary line is set as the reference line, in S510, D3 is calculated as the lateral position of the reference line (see FIG. 8B), and in S530, The position D2 + D3 corrected to shift the lateral position D3 of the reference line to the lane boundary side by the distance (line interval) D2 between the auxiliary line that becomes the reference line and the lane boundary line becomes the boundary parameter (FIG. 8C )reference).

なお、このように算出され(場合によっては補正された)境界パラメータは、車載LANを介して車両制御ECU20に提供され、例えば、当該車両がレーン境界線に接近する接近速度を検出し、この接近速度に基づいて検出された走行レーンを逸脱する可能性を表す逸脱可能性を判定する周知の逸脱判定処理等に使用される。   Note that the boundary parameter calculated in this way (corrected in some cases) is provided to the vehicle control ECU 20 via the in-vehicle LAN, and detects, for example, the approach speed at which the vehicle approaches the lane boundary line. This is used for a well-known departure determination process for determining a departure possibility that indicates a possibility of departure from a traveling lane detected based on the speed.

[効果]
以上説明したように、車線逸脱警報システム1において、車線境界検出装置10は、車線境界線と補助線とからなる複合線が検出された場合に、複合線を構成する車線境界線および補助線の全てを境界線候補とし、これら境界線候補から求めた候補位置パラメータのうち最も信頼性の高いものと、複合線の配置パターン(線間隔)とを利用して、車線境界の位置を表す境界パラメータを求めている。
[effect]
As described above, in the lane departure warning system 1, the lane boundary detection device 10 detects the lane boundary line and the auxiliary line of the lane boundary line and the auxiliary line when the composite line composed of the lane boundary line and the auxiliary line is detected. Boundary parameters that represent the position of the lane boundary using all of the candidate position parameters obtained from these boundary line candidates and the most reliable candidate position parameters and the layout pattern (line spacing) of the composite line Seeking.

従って、車線境界検出装置10によれば、車線境界線の磨耗や、路側物の影や雨等の影響によって車線境界線の形状(ひいては候補位置パラメータ)を正確に検出することができない不安定な環境でも、車線境界線が複合線を形成している場合には、補助線の情報(候補位置パラメータ,線間隔)を用いることで、車線境界を表す境界パラメータを精度良く求めることができる。更には、この境界パラメータを利用する逸脱判定処理等の制御精度を向上させることができる。   Therefore, according to the lane boundary detection device 10, the shape of the lane boundary line (and hence the candidate position parameter) cannot be accurately detected due to wear of the lane boundary line, the shadow of the roadside object, rain, or the like. Even in the environment, when the lane boundary line forms a composite line, the boundary parameter representing the lane boundary can be obtained with high accuracy by using the auxiliary line information (candidate position parameter, line interval). Furthermore, it is possible to improve control accuracy such as deviation determination processing using this boundary parameter.

[発明との対応]
上記実施形態において、S120が候補抽出手段、S310〜S320が判定手段、S330〜S340が線間隔検出手段、S140が基準線設定手段、S150が境界パラメータ設定手段に相当する。
[Correspondence with Invention]
In the above embodiment, S120 corresponds to candidate extracting means, S310 to S320 as determining means, S330 to S340 as line interval detecting means, S140 as reference line setting means, and S150 as boundary parameter setting means.

[他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[Other Embodiments]
Embodiments of the present invention are not limited to the above-described embodiments, and can take various forms as long as they belong to the technical scope of the present invention.

例えば、上記実施形態では、S210において、画像データの微分値として、画素の輝度値の変化を求めているが、CCDカメラ11がカラーカメラである場合には、カラーカメラから出力されるRGB信号や、RGB信号を輝度信号と色差信号とに変換した際の色差信号の変化を求めるようにしてもよい。   For example, in the above embodiment, in S210, the change in the luminance value of the pixel is obtained as the differential value of the image data. However, when the CCD camera 11 is a color camera, the RGB signal output from the color camera, The change of the color difference signal when the RGB signal is converted into the luminance signal and the color difference signal may be obtained.

上記実施形態では、画像面内でエッジ抽出フィルタを適用する位置に応じて処理対象とする領域の大きさ(以下「フィルタサイズ」という)を変化させているが、画像に撮像されているものが複合線であるか否かによって、フィルタサイズを変化させるように構成してもよい。この場合、図10に示すように、検出対象が複合線ではない場合は、フィルタサイズを車線境界線の幅の2倍に設定し、検出対象が複合線である場合は、車線境界線と補助線との間の路面が露出した部分の幅の2倍に設定することが望ましい。   In the above embodiment, the size of the region to be processed (hereinafter referred to as “filter size”) is changed according to the position where the edge extraction filter is applied in the image plane. You may comprise so that a filter size may be changed by whether it is a compound line. In this case, as shown in FIG. 10, when the detection target is not a composite line, the filter size is set to twice the width of the lane boundary line, and when the detection target is a composite line, the lane boundary line and the auxiliary line are set. It is desirable to set it to twice the width of the exposed portion of the road surface between the lines.

また、上記実施形態では、エッジ抽出フィルタとして、対象画素を中心にして一次元的に設定された領域を処理対象とするものを用いているが、対象画素を中心にして二次元的に設定された領域を処理対象とするものを用いたり、その両者を組み合わせたものを用いたりしてもよい。   In the above embodiment, the edge extraction filter uses a region that is set one-dimensionally with the target pixel as the center, but is set two-dimensionally with the target pixel as the center. Alternatively, a region that is a target for processing may be used, or a combination of the two may be used.

上記実施形態では、候補位置パラメータおよび候補幅パラメータから、境界線候補の確からしさ(Pi)を求めているが、例えば、候補位置パラメータに適合する検出値での画素値の変化が大きいほど、その境界線候補の確からしさ(Pi)を高めるようしてもよい。また、走行車線の幅等に関する情報を図示しないナビゲーション装置から取得できる場合には、その情報に応じて車線境界線や補助線が検出される領域を推定し、その推定された領域に存在する境界線候補の確からしさを高めるようにしてもよい。   In the above embodiment, the probability (Pi) of the boundary line candidate is obtained from the candidate position parameter and the candidate width parameter. For example, as the change in the pixel value with the detection value that matches the candidate position parameter increases, The probability (Pi) of the boundary line candidate may be increased. In addition, when information about the width of the traveling lane or the like can be acquired from a navigation device (not shown), a region where a lane boundary line or an auxiliary line is detected is estimated according to the information, and the boundary existing in the estimated region You may make it raise the probability of a line candidate.

上記実施形態では、車線の左右両側で個別に複合線であるか否かの判定を行っているが、両側とも複合線であると判定された場合にだけ、複合線に対する処理を実行するように構成してもよい。但し、この場合、複数存在する境界線候補のうち、いずれが車線境界線であるかを、複合線のパターンから判定することができないため、例えば、基準線として選択される境界線候補を、そのまま、車線境界線として扱うように構成することが考えられる。   In the above embodiment, it is determined whether or not the lane is a composite line individually on both the left and right sides of the lane, but only when it is determined that both sides are composite lines, the process for the composite line is executed. It may be configured. However, in this case, it cannot be determined from the composite line pattern which of the plurality of boundary line candidates is a lane boundary line. For example, the boundary line candidate selected as the reference line is left as it is. It can be considered to be configured to handle as a lane boundary line.

1…車線逸脱警報システム 10…車線境界検出装置 11…CCDカメラ 12…アナログ・デジタル変換器(ADC) 13…画像メモリ 14…CPU 15…ROM 16…RAM 17…通信IC 20…車両制御ECU   DESCRIPTION OF SYMBOLS 1 ... Lane departure warning system 10 ... Lane boundary detection apparatus 11 ... CCD camera 12 ... Analog-digital converter (ADC) 13 ... Image memory 14 ... CPU 15 ... ROM 16 ... RAM 17 ... Communication IC 20 ... Vehicle control ECU

Claims (9)

車両に搭載され、走行中の車線である走行車線の境界を示す車線境界を検出する車線境界検出装置であって、
車両前方の路面を撮像した撮像画像中から、車線境界を示すための路面標示である車線境界線の可能性がある境界線候補を抽出し、該境界線候補の位置を示した近似線を規定するパラメータである候補位置パラメータを求める候補抽出手段と、
前記候補抽出手段にて複数の境界線候補が検出された場合、該複数の境界線候補の配置パターンから、該複数の境界線候補が車線境界線および一又は複数の補助線からなる複合線を形成しているか否かを判定する判定手段と、
前記判定手段により前記複数の境界線候補が複合線を形成していると判定した場合、該複合線を形成する前記境界線候補の配置パターンから、該境界線候補のそれぞれが、前記車線境界線および前記補助線のうちいずれに該当するか線種を識別すると共に、前記補助線に識別された前記境界線候補毎に前記車線境界線に識別された前記境界線候補との間隔である線間隔を求める線間隔検出手段と、
前記複合線を形成する前記境界線候補のうち、前記候補位置パラメータの信頼性が最も高いものを基準線として設定する基準線設定手段と、
前記基準線が前記車線境界線である場合は、該基準線について算出された前記候補位置パラメータが示す位置を、前記車線境界の位置を示す境界パラメータとして設定し、前記基準線が前記補助線である場合は、該基準線について算出された前記候補位置パラメータが示す位置を、該基準線について算出された前記線間隔だけ前記車線境界線側にシフトさせたものを、前記車線境界の位置を示す境界パラメータとして設定する境界パラメータ設定手段と、
を備えることを特徴とする車線境界検出装置。
A lane boundary detection device that is mounted on a vehicle and detects a lane boundary indicating a boundary of a traveling lane that is a traveling lane,
Boundary line candidates that may be lane boundary lines, which are road markings to indicate lane boundaries, are extracted from captured images obtained by capturing the road surface ahead of the vehicle, and an approximate line indicating the position of the boundary line candidates is defined. Candidate extracting means for obtaining a candidate position parameter which is a parameter to be
When a plurality of boundary line candidates are detected by the candidate extracting unit, a plurality of boundary line candidates are combined from lane boundary lines and one or a plurality of auxiliary lines from the arrangement pattern of the plurality of boundary line candidates. A determination means for determining whether or not it is formed;
When it is determined by the determining means that the plurality of boundary line candidates form a composite line, each of the boundary line candidates is determined from the arrangement pattern of the boundary line candidates forming the composite line. And a line interval that identifies a line type corresponding to one of the auxiliary lines, and is an interval between the boundary line candidates identified for the lane boundary line for each of the boundary line candidates identified for the auxiliary line A line interval detecting means for obtaining
Among the boundary line candidates forming the composite line, a reference line setting unit that sets a candidate line parameter having the highest reliability as a reference line;
When the reference line is the lane boundary line, the position indicated by the candidate position parameter calculated for the reference line is set as a boundary parameter indicating the position of the lane boundary, and the reference line is the auxiliary line. In some cases, the position indicated by the candidate position parameter calculated for the reference line is shifted to the lane boundary side by the line interval calculated for the reference line to indicate the position of the lane boundary. Boundary parameter setting means for setting as a boundary parameter;
A lane boundary detection device comprising:
前記候補抽出手段は、前記撮像画像を、画像中における車幅方向に沿って配列された画素の画素値の値が大きく変化するエッジ点の位置を検出値とし、該検出値に対してハフ変換を行うことにより前記候補位置パラメータを求めることを特徴とする請求項1に記載の車線境界検出装置。   The candidate extracting means uses the position of an edge point at which the pixel value of a pixel arranged in the vehicle width direction in the image as a detected value is detected as the detected value, and a Hough transform is performed on the detected value. The lane boundary detection device according to claim 1, wherein the candidate position parameter is obtained by performing the following. 前記基準線設定手段は、前記候補位置パラメータの信頼性を、該候補位置パラメータに適合する前記検出値の数が多いほど高く設定することを特徴とする請求項2に記載の車線境界検出装置。   The lane boundary detection device according to claim 2, wherein the reference line setting unit sets the reliability of the candidate position parameter to be higher as the number of detection values that match the candidate position parameter is larger. 前記候補抽出手段は、前記候補位置パラメータと共に、前記境界線候補の線幅を求め、
前記基準線設定手段は、前記候補位置パラメータの信頼性を、該候補位置パラメータに適合する前記検出値が属する前記線幅が、前記線間隔検出手段にて識別された線種について予め設定されているパターン幅に近いほど高く設定することを特徴とする請求項2又は請求項3に記載の車線境界検出装置。
The candidate extraction means obtains a line width of the boundary line candidate together with the candidate position parameter,
The reference line setting means sets the reliability of the candidate position parameter, the line width to which the detection value that matches the candidate position parameter belongs in advance for the line type identified by the line interval detection means. The lane boundary detection device according to claim 2, wherein the lane boundary detection device is set to be higher as the pattern width is closer.
前記候補抽出手段は、処理の対象となる対象画素を中心として設定された規定サイズの領域内の画素値を処理するエッジ抽出フィルタを用いることで、前記対象画素での画素値の変化の度合いを求めると共に、前記判定手段での過去の判定結果に基づき、前記エッジ抽出フィルタの処理対象となる領域サイズを変化させることを特徴とする請求項2乃至請求項4のいずれか1項に記載の車線境界検出装置。 The candidate extraction means uses an edge extraction filter that processes pixel values in a region of a prescribed size set around the target pixel to be processed, thereby determining the degree of change in the pixel value at the target pixel. 5. The lane according to claim 2, wherein the lane size is changed, and a region size to be processed by the edge extraction filter is changed based on a past determination result by the determination unit. Boundary detection device. 前記候補位置パラメータは、前記車線の中心側に位置する前記境界線候補のエッジの位置を表すことを特徴とする請求項1乃至請求項5のいずれかに記載の車線境界検出装置。   The lane boundary detection device according to any one of claims 1 to 5, wherein the candidate position parameter represents a position of an edge of the boundary line candidate positioned on a center side of the lane. 前記境界パラメータ設定手段は、前記撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域について、前記境界パラメータを求めることを特徴とする請求項1乃至請求項6のいずれか1項に記載の車線境界検出装置。   The boundary parameter setting means obtains the boundary parameter for each region obtained by dividing the region into left and right with reference to a position corresponding to the front of the vehicle in the captured image. The lane boundary detection device according to claim 6. 前記判定手段は、前記撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域にて判定を行い、両者の判定結果が異なる場合には、いずれも複合線ではないと判定することを特徴とする請求項1乃至請求項7のいずれか1項に記載の車線境界検出装置。   The determination means performs determination in each of the regions divided into left and right with reference to a position corresponding to the front of the vehicle in the captured image, and when both determination results are different, both are combined lines The lane boundary detection device according to any one of claims 1 to 7, wherein the lane boundary detection device is determined to be not. コンピュータを、請求項1〜請求項8のいずれか1項に記載の車線境界検出装置を構成する各手段として機能させることを特徴とする車線境界検出プログラム。   A lane boundary detection program for causing a computer to function as each means constituting the lane boundary detection device according to any one of claims 1 to 8.
JP2010117319A 2010-05-21 2010-05-21 Lane boundary detection device, lane boundary detection program Active JP5402828B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010117319A JP5402828B2 (en) 2010-05-21 2010-05-21 Lane boundary detection device, lane boundary detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010117319A JP5402828B2 (en) 2010-05-21 2010-05-21 Lane boundary detection device, lane boundary detection program

Publications (2)

Publication Number Publication Date
JP2011243161A JP2011243161A (en) 2011-12-01
JP5402828B2 true JP5402828B2 (en) 2014-01-29

Family

ID=45409708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010117319A Active JP5402828B2 (en) 2010-05-21 2010-05-21 Lane boundary detection device, lane boundary detection program

Country Status (1)

Country Link
JP (1) JP5402828B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5799784B2 (en) * 2011-12-06 2015-10-28 富士通株式会社 Road shape estimation apparatus and program
WO2013133086A1 (en) * 2012-03-05 2013-09-12 日産自動車株式会社 White line detection device, white line detection filter device, and white line detection method
JP5997962B2 (en) * 2012-07-27 2016-09-28 クラリオン株式会社 In-vehicle lane marker recognition device
JP6200780B2 (en) * 2013-11-06 2017-09-20 株式会社Subaru Lane recognition determination device
JP6608664B2 (en) * 2015-10-09 2019-11-20 株式会社Soken Own vehicle position recognition device
JP2018116369A (en) * 2017-01-16 2018-07-26 株式会社Soken Lane recognition device
CN110967026B (en) * 2018-09-30 2022-02-22 毫末智行科技有限公司 Lane line fitting method and system
CN111247525A (en) * 2019-01-14 2020-06-05 深圳市大疆创新科技有限公司 Lane detection method and device, lane detection equipment and mobile platform
CN113761990B (en) * 2020-06-12 2024-04-09 北京京东乾石科技有限公司 Road boundary detection method, device, unmanned vehicle and storage medium
CN116758106B (en) * 2023-07-13 2024-02-27 江苏中天吉奥信息技术股份有限公司 Water flow registration unit boundary line verification method based on unmanned aerial vehicle

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05314396A (en) * 1992-05-13 1993-11-26 Omron Corp Continuous line tracking device
JP4707823B2 (en) * 2000-11-24 2011-06-22 富士重工業株式会社 Lane displacement correction system and lane displacement correction method
JP4032727B2 (en) * 2001-12-12 2008-01-16 アイシン精機株式会社 Lane boundary detection device
JP3930366B2 (en) * 2002-04-18 2007-06-13 株式会社デンソー White line recognition device
JP2005018148A (en) * 2003-06-23 2005-01-20 Toshiba Corp White line estimation device
JP4204948B2 (en) * 2003-11-06 2009-01-07 三菱電機株式会社 Lane recognition device

Also Published As

Publication number Publication date
JP2011243161A (en) 2011-12-01

Similar Documents

Publication Publication Date Title
JP5402828B2 (en) Lane boundary detection device, lane boundary detection program
JP5083658B2 (en) Vehicle lane recognition device, vehicle, and vehicle lane recognition program
JP4607193B2 (en) Vehicle and lane mark detection device
US10685242B2 (en) Lane detection apparatus
JP4930046B2 (en) Road surface discrimination method and road surface discrimination device
JP4937030B2 (en) Image processing apparatus for vehicle
EP3082066B1 (en) Road surface gradient detection device
US9257043B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US9886773B2 (en) Object detection apparatus and object detection method
JP2014160322A (en) Lane boundary deviation suppression device
JP2015165376A (en) Apparatus and method for recognizing lane
JP6093314B2 (en) Boundary line recognition device
US20160210519A1 (en) Complex marking determining device and complex marking determining method
JP6086424B2 (en) In-vehicle image processing device
US8681221B2 (en) Vehicular image processing device and vehicular image processing program
JP6981850B2 (en) Driving support system
JP2010061375A (en) Apparatus and program for recognizing object
JP5091897B2 (en) Stop line detector
JP6389119B2 (en) Lane boundary recognition device
JP6993205B2 (en) Compartment line identification device
JP6367725B2 (en) Zebra zone recognition device and travel lane marking recognition device
JP6729358B2 (en) Recognition device
JP5472137B2 (en) Boundary detection device and boundary detection program
JP2015215235A (en) Object detection device and object detection method
JP5023363B2 (en) Vehicle travel support device, vehicle, vehicle travel support program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131014

R151 Written notification of patent or utility model registration

Ref document number: 5402828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250