JP2003118521A - White line detecting device - Google Patents

White line detecting device

Info

Publication number
JP2003118521A
JP2003118521A JP2001311935A JP2001311935A JP2003118521A JP 2003118521 A JP2003118521 A JP 2003118521A JP 2001311935 A JP2001311935 A JP 2001311935A JP 2001311935 A JP2001311935 A JP 2001311935A JP 2003118521 A JP2003118521 A JP 2003118521A
Authority
JP
Japan
Prior art keywords
white line
filter
line detection
edge
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001311935A
Other languages
Japanese (ja)
Other versions
JP3867542B2 (en
Inventor
Masabumi Tsuji
正文 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2001311935A priority Critical patent/JP3867542B2/en
Publication of JP2003118521A publication Critical patent/JP2003118521A/en
Application granted granted Critical
Publication of JP3867542B2 publication Critical patent/JP3867542B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To highly precisely detect a road while line. SOLUTION: A microcomputer 2 generates an edge image from an image inputted from a camera 1, sets a filter according to the inclination and the concentration value of the white line of in the edge image, and renews it as the filter used for generating the edge image. It also generates a while line model from the while line obtained from the edge image and sets it as a base in setting a white line detecting region. The white line model can be precisely calculated by renewing the edge filter by the inclination and the concentration value of the white line so that the road white line can be precisely detected.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、撮像手段により取
り込まれた道路画像から、白線の検出を行う白線検出装
置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a white line detecting device for detecting a white line from a road image captured by an image pickup means.

【0002】[0002]

【従来の技術】車両の自動走行などを考慮した場合、走
行車線内での自車両の位置を検出することは不可欠であ
る。走行車線内での自車両の位置を高精度で検出するた
めには、走行車線そのものを精度よく認識することが重
要である。走行車線を検出する方法は様々研究されてい
るが、ドライバは運転に必要な情報のほとんどを白線で
区切られた走行車線から得ているということから、走行
車線の白線を高精度で検出することが自車両の位置を検
出するために重要である。走行車線の白線を検出する手
段として、撮像手段により取り込まれた道路画像に画像
処理をするという方法がある。これは走行車線の白線を
認識するために、エッジ抽出を行いエッジ画像を生成し
て、得られたエッジ画像より白線を検出している。エッ
ジとは画像中の濃度変化が大きい部分、いわゆる輪郭線
であり、影や汚れによって濃度が変化しても検出しやす
いという利点がある。
2. Description of the Related Art In consideration of automatic driving of a vehicle, it is indispensable to detect the position of the vehicle within the driving lane. In order to detect the position of the host vehicle in the traveling lane with high accuracy, it is important to recognize the traveling lane itself with high accuracy. Although various methods have been studied to detect the driving lane, the driver obtains most of the information necessary for driving from the driving lanes separated by white lines. Is important for detecting the position of the own vehicle. As a means for detecting the white line of the traveling lane, there is a method of performing image processing on the road image captured by the imaging means. In order to recognize the white line of the traveling lane, edge extraction is performed to generate an edge image, and the white line is detected from the obtained edge image. An edge is a portion in the image where the density change is large, a so-called contour line, and has an advantage that it is easy to detect even if the density changes due to a shadow or dirt.

【0003】このように白線を検出する際には、エッジ
抽出して得たエッジ画像により行なわれるが、エッジ抽
出はフィルタ演算により行われるので、フィルタ演算処
理がうまくいくかどうかが白線検出の精度を決める。従
来、エッジ検出を行う際のフィルタを選択し、明瞭なエ
ッジ画像を得る技術として特開2001−101428
号公報記載のものがある。この技術は、画像からフィル
タによりエッジ抽出してエッジ画像を得る画像処理装置
であって、フィルタ選択手段を備えている。そして、フ
ィルタ選択手段は、画素の輝度やエッジ強度、およびエ
ッジを抽出し投影して得たヒストグラムのピーク値に応
じてフィルタを選択している。
Thus, when a white line is detected, the edge image obtained by edge extraction is used. However, since the edge extraction is performed by a filter calculation, whether the filter calculation process is successful depends on the accuracy of the white line detection. Decide. Conventionally, as a technique for selecting a filter for edge detection and obtaining a clear edge image, the method is disclosed in JP 2001-101428 A.
There is one described in the official gazette. This technique is an image processing apparatus that obtains an edge image by extracting edges from an image with a filter, and includes filter selection means. Then, the filter selection means selects a filter according to the luminance of the pixel, the edge strength, and the peak value of the histogram obtained by extracting and projecting the edge.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、このよ
うな上記従来の技術にあっては、フィルタ選択時の判断
が画像の輝度差すなわちコントラスト情報のみに基づい
ているので、実際の走行環境のように路面表示や走行車
両のようなノイズ成分が多い状態では、検出対象である
白線よりもノイズ成分の方が強調されたエッジ画像とな
り、そのエッジ画像から白線を検出するのが非常に困難
であるといった課題があった。また、選択されるフィル
タが垂直なエッジ成分に最も強く反応するものであるた
め、カーブしている道路の白線を検出しようとすると、
最適なエッジ画像が得られないといった問題があった。
However, in such a conventional technique as described above, since the judgment at the time of selecting the filter is based only on the brightness difference of the image, that is, the contrast information, it is possible to determine the actual driving environment. In a state where there are many noise components such as road surface display and traveling vehicles, the edge image in which the noise component is emphasized is more emphasized than the white line which is the detection target, and it is very difficult to detect the white line from the edge image. There were challenges. Also, the filter selected is the one that reacts most strongly to vertical edge components, so if you try to detect a white line on a curved road,
There was a problem that an optimal edge image could not be obtained.

【0005】そこで本発明は、このような従来の問題点
に鑑み、周囲の明るさや道路形状が変化しても、他のノ
イズ成分よりも検出対象である白線のエッジ画像が強調
されたエッジ画像を生成することができ、またカーブし
ている道路の白線に対しても、最適なエッジ画像を得る
ことができる白線検出装置を提供することを目的とす
る。
In view of such conventional problems, the present invention has an edge image in which the edge image of the white line to be detected is emphasized more than other noise components even if the ambient brightness or the road shape changes. It is an object of the present invention to provide a white line detection device that can generate the edge line and can obtain an optimum edge image even for a white line on a curved road.

【0006】[0006]

【課題を解決するための手段】請求項1記載の発明は、
車両に搭載された自車両の周りの所定領域を撮像する撮
像手段と、前記撮像手段から得られた画像を記憶する画
像記憶手段と、前記画像記憶手段により記憶された画像
に対して、自車両の走行車線の白線を検出するための領
域を設定する白線検出領域設定手段と、前記白線検出領
域設定手段により設定された領域に対して、フィルタ演
算によりエッジ抽出を行いエッジ画像を生成するエッジ
画像生成手段と、前記白線検出領域内で抽出されたエッ
ジ画像より白線検出を行う白線検出手段と、前記エッジ
画像生成手段でのフィルタ演算に用いるフィルタ係数を
更新するエッジフィルタ更新手段とを有し、前記エッジ
フィルタ更新手段は、前記白線検出領域内の濃度値と前
記白線検出手段により検出された白線の傾きの両方に基
づいてフィルタを更新するものとした。
The invention according to claim 1 is
An image pickup means for picking up a predetermined area around the own vehicle mounted on the vehicle, an image storage means for storing an image obtained from the image pickup means, and an own vehicle for the image stored by the image storage means The white line detection area setting means for setting the area for detecting the white line of the traveling lane, and the edge image for generating the edge image by performing the edge extraction by the filter calculation with respect to the area set by the white line detection area setting means. A generation means, a white line detection means for performing white line detection from the edge image extracted in the white line detection area, and an edge filter update means for updating the filter coefficient used in the filter calculation in the edge image generation means, The edge filter updating means applies a filter based on both the density value in the white line detection area and the slope of the white line detected by the white line detection means. It was that the new to.

【0007】請求項2記載の発明は、道路形状と車両挙
動を表わす複数のパラメータを用いて、道路白線の形状
を数式化モデルで表わしたものを白線モデルとし、この
白線モデルと前記白線検出手段で検出された結果が一致
するように前記白線モデルの複数のパラメータを更新す
るパラメータ更新手段を有するものとした。
According to a second aspect of the present invention, a white line model is used to represent the shape of the road white line by a mathematical model using a plurality of parameters representing the road shape and vehicle behavior, and the white line model and the white line detecting means are used. The parameter updating means for updating a plurality of parameters of the white line model is provided so that the results detected in step 1 are matched.

【0008】請求項3記載の発明は、前記画像記憶手段
により記憶された画像に対して、自車両の走行車線の白
線を検出するための複数の領域を、自車両から見て近い
方から遠い方へ順次設定するものとした。
According to a third aspect of the present invention, a plurality of areas for detecting a white line of the traveling lane of the host vehicle are located farther from the near side as viewed from the host vehicle in the image stored by the image storage means. It is supposed to be set to one direction.

【0009】請求項4記載の発明は、前記白線検出領域
設定手段で設定する領域ごとにフィルタ演算処理を行う
ものとした。
According to a fourth aspect of the present invention, the filter calculation processing is performed for each area set by the white line detection area setting means.

【0010】請求項5記載の発明は、前記白線検出領域
設定手段で設定された白線検出領域内の濃度値と前記白
線検出手段により検出された白線の傾きの両方に基づい
て、次の白線検出領域の白線のエッジが最も強調される
ようなフィルタを予測してエッジフィルタの更新をする
ものとした。
According to a fifth aspect of the present invention, the next white line detection is performed based on both the density value in the white line detection area set by the white line detection area setting means and the inclination of the white line detected by the white line detection means. The edge filter is updated by predicting the filter in which the edge of the white line of the area is most emphasized.

【0011】請求項6記載の発明は、次にフィルタ演算
する白線検出領域が自車両に一番近い領域である場合に
は、前回入力された画像上において自車両に一番近い白
線検出領域で演算され導き出された当該領域に用いたフ
ィルタを、フィルタ演算に用いるフィルタとして更新す
るものとした。
According to a sixth aspect of the present invention, when the white line detection area to be filtered next is the area closest to the host vehicle, the white line detection area closest to the host vehicle on the previously input image is selected. The filter used for the calculated and derived region is updated as the filter used for the filter calculation.

【0012】[0012]

【発明の効果】請求項1記載の発明によれば、エッジ画
像を生成するエッジフィルタを白線検出領域内の濃度値
と、白線の傾きの両方に基づいてフィルタ更新すること
によって、白線の傾きに応じた適切なフィルタ演算が行
えるため、カーブによる検出誤差の影響や自車両が走行
車線内で左右に寄って走行している場合の白線の見え方
による検出誤差による影響を無くすことができる。
According to the first aspect of the present invention, the edge filter for generating the edge image is updated on the basis of both the density value in the white line detection area and the inclination of the white line. Since an appropriate filter calculation can be performed according to the curve, it is possible to eliminate the influence of the detection error due to the curve and the influence of the detection error due to the appearance of the white line when the host vehicle is traveling to the left and right in the driving lane.

【0013】請求項2記載の発明によれば、白線検出手
段により検出された結果から道路白線を白線モデルによ
って表わすことにより、白線検出領域設定の際の基とす
ることができる。道路白線を白線モデルによって認識す
ることにより、小さな白線検出領域を設定するだけで道
路白線を捕らえることができるので、エッジフィルタ演
算処理する際の処理速度が向上する。
According to the second aspect of the present invention, the road white line is represented by the white line model from the result detected by the white line detecting means, which can be used as a basis for setting the white line detection area. By recognizing the road white line by the white line model, the road white line can be captured only by setting a small white line detection area, so that the processing speed at the time of edge filter calculation processing is improved.

【0014】請求項3記載の発明によれば、自車両に近
い白線検出領域はノイズが少ないので正確な道路白線を
検出しやすい。そこで自車両に一番近い白線検出領域で
検出された白線を基に順次遠方の方へ領域設定すること
により、白線検出領域は的確に道路白線を捕らえること
ができる。
According to the third aspect of the present invention, since the white line detection area near the own vehicle has little noise, it is easy to detect an accurate road white line. Therefore, the white line detection area can accurately capture the road white line by sequentially setting the area to the far side based on the white line detected in the white line detection area closest to the own vehicle.

【0015】請求項4記載の発明によれば、白線検出領
域設定で設定する領域ごとにフィルタ演算処理を行うこ
とにより、強調したい白線の線分の傾きが複数混在して
いるような場合でも、的確に白線の線分を強調すること
ができる。
According to the fourth aspect of the present invention, by performing the filter calculation processing for each area set in the white line detection area setting, even when a plurality of inclinations of the white line to be emphasized are mixed, The white line segment can be emphasized accurately.

【0016】請求項5記載の発明によれば、白線検出領
域設定手段で設定された白線検出領域内の濃度値と前記
白線検出手段により検出された白線の傾きの両方に基づ
いて、次に検出しようとする白線のエッジが最も強調さ
れるようなフィルタを予測してエッジフィルタを選ぶこ
とにより、道路白線がカーブしているような場合でも、
的確に道路白線のエッジ画像を得ることができる。
According to the fifth aspect of the invention, the next detection is performed based on both the density value in the white line detection area set by the white line detection area setting means and the inclination of the white line detected by the white line detection means. Even if the road white line is curved by predicting the filter that the edge of the white line you are trying to emphasize most and selecting an edge filter,
The edge image of the road white line can be obtained accurately.

【0017】請求項6記載の発明によれば、次にフィル
タ演算する白線検出領域が自車両に一番近い領域である
場合には、前回入力された画像の自車両に一番近い当該
領域で演算され導き出されたフィルタを、エッジ抽出す
るフィルタとして設定することにより、画面は変わって
いるものの大きくはずれたフィルタを選択してしまうよ
うなことはない。
According to the sixth aspect of the present invention, when the white line detection area to be subjected to the next filter calculation is the area closest to the host vehicle, the white line detection area closest to the host vehicle in the previously input image is detected. By setting the filter calculated and derived as the filter for edge extraction, there is no possibility of selecting a filter that is greatly deviated although the screen is changed.

【0018】[0018]

【発明の実施の形態】次に発明の実施の形態を説明す
る。図1は白線検出を車両制御装置に適用した実施の形
態の構成を示す図である。マイクロコンピュータ2は、
カメラ1から入力された画像に画像処理を施して道路上
の白線を検出する。そして道路形状と車両挙動を示す複
数のパラメータを用いて道路白線の形状を数式化モデル
で表わして、道路白線の検出結果と白線モデルが一致す
るように道路パラメータを更新することによって道路形
状を認識する。カメラ1は本発明における撮像手段を構
成する。
BEST MODE FOR CARRYING OUT THE INVENTION Next, embodiments of the present invention will be described. FIG. 1 is a diagram showing a configuration of an embodiment in which white line detection is applied to a vehicle control device. The microcomputer 2
Image processing is performed on the image input from the camera 1 to detect a white line on the road. Then, the shape of the road white line is represented by a mathematical model using a plurality of parameters indicating the road shape and vehicle behavior, and the road shape is recognized by updating the road parameters so that the detection result of the road white line and the white line model match. To do. The camera 1 constitutes the image pickup means in the present invention.

【0019】メモリ3は撮像された道路画像やマイクロ
コンピュータ2により処理されたエッジ画像、白線モデ
ルのパラメータなどを記憶する。メモリ3は本発明にお
ける画像記憶手段を構成する。センサ4は車両の挙動を
表わす車速、舵角などを検出しマイクロコンピュータ2
に検出結果を出力するものである。車両制御部5はマイ
クロコンピュータ2からの出力信号に基づいてステアリ
ングやアクセルブレーキ制御などを行うものである。警
報部6はマイクロコンピュータ2からの出力信号に基づ
いて車線逸脱などの警報を発するものである。表示部7
は検出結果の道路形状などを表示するためのものであ
る。
The memory 3 stores captured road images, edge images processed by the microcomputer 2, white line model parameters and the like. The memory 3 constitutes the image storage means in the present invention. The sensor 4 detects the vehicle speed, the steering angle, etc., which represent the behavior of the vehicle, and detects the vehicle 2.
The detection result is output to. The vehicle control unit 5 performs steering, accelerator brake control, and the like based on the output signal from the microcomputer 2. The alarm unit 6 issues an alarm such as a lane departure based on an output signal from the microcomputer 2. Display 7
Is for displaying the road shape and the like as the detection result.

【0020】図2にカメラ1の車両取り付け位置を示
す。図2の(a)は車両上方から見た図であり、図2の
(b)は車両側面から見た図である。カメラ1は車両2
3の室内のフロントウィンドウ上部の車幅方向中央に取
り付けられ車両前方の道路を撮像し、マイクロコンピュ
ータ2に撮像画像を出力する。
FIG. 2 shows the vehicle mounting position of the camera 1. 2A is a view seen from above the vehicle, and FIG. 2B is a view seen from the side of the vehicle. Camera 1 is vehicle 2
An image of a road in front of the vehicle, which is attached to the center of the vehicle in the vehicle width direction above the front window in 3, is output and the captured image is output to the microcomputer 2.

【0021】次に、図3、図4のフローチャートにした
がって、マイクロコンピュータ2における道路白線を検
出するための処理の流れを説明する。ステップ101に
おいて、道路形状や車両挙動を表わすパラメータ(以
下、単に道路パラメータとする)を初期設定する。図5
に示すような画面座標系xy上において、白線モデル2
2を道路パラメータにより次のように数式で示す。 x=(a+ie)(y−d)+b/(y−d)+c (1) 式(1)において、a〜eは道路パラメータであり、路
面からカメラ1の高さを一定とすると、それぞれ道路パ
ラメータは次のような道路および白線の形状または車両
挙動を表わす。aは走行車線内の自車両の車両位置を、
bは道路の曲率を、cは自車両(カメラ1の光軸)の道
路に対するヨー角を、dは自車両(カメラ1の光軸)の
道路に対するピッチ角を、eは道路の車線幅を、それぞ
れ表わす。また、cは自車両とカメラ1との取り付け角
度のうちパン角を、dは自車両とカメラ1との取り付け
角度のうちチルト角を含んだものである。また、初期状
態では道路および白線の形状や車両挙動が不明であるか
ら、各道路パラメータには例えば中央値に相当する値を
初期値として設定する。すなわち、車線内の位置aには
車線中央を設定し、車線に対するヨー角cにはパン角を
設定する。また、車線に対するピッチ角dには停止状態
のチルト角を設定し、車線幅eには道路構造令に示され
る高速道路の車線幅を設定する。
Next, the flow of processing for detecting a road white line in the microcomputer 2 will be described with reference to the flow charts of FIGS. In step 101, parameters indicating road shape and vehicle behavior (hereinafter simply referred to as road parameters) are initialized. Figure 5
The white line model 2 on the screen coordinate system xy as shown in
2 is represented by a mathematical expression as follows using road parameters. x = (a + ie) (y−d) + b / (y−d) + c (1) In the formula (1), a to e are road parameters, and if the height of the camera 1 from the road surface is constant, the roads are The parameters represent the following road and white line shapes or vehicle behavior. a is the vehicle position of the vehicle in the driving lane,
b is the curvature of the road, c is the yaw angle of the host vehicle (optical axis of the camera 1) with respect to the road, d is the pitch angle of the host vehicle (optical axis of the camera 1) with respect to the road, and e is the lane width of the road. , Respectively. Further, c includes the pan angle of the mounting angles of the host vehicle and the camera 1, and d includes the tilt angle of the mounting angles of the host vehicle and the camera 1. Further, since the shapes of roads and white lines and vehicle behavior are unknown in the initial state, a value corresponding to, for example, the median value is set as an initial value for each road parameter. That is, the lane center is set at the position a in the lane, and the pan angle is set at the yaw angle c with respect to the lane. Further, the tilt angle in the stopped state is set to the pitch angle d with respect to the lane, and the lane width of the expressway shown in the Road Structure Ordinance is set to the lane width e.

【0022】ステップ102において、カメラ1により
撮像された画像をマイクロコンピュータ2に入力する。
ステップ103において、マイクロコンピュータ2に入
力された画像をメモリ3に記憶する。
In step 102, the image taken by the camera 1 is input to the microcomputer 2.
In step 103, the image input to the microcomputer 2 is stored in the memory 3.

【0023】ステップ104において、図5に示すよう
に白線検出領域10〜21の設定を行う。白線検出領域
を設定する位置は、式(1)に表わされる白線モデル2
2が領域の中心となるように設定する。まず、白線モデ
ル22上の自車両に一番近いところに例えば白線検出領
域10を設定し、後述するステップ105からステップ
109までの処理が終わった後、ステップ110からス
テップ104に戻り、次の白線検出領域11または白線
検出領域16を設定する。すなわち、白線検出領域10
から白線検出領域15までを白線検出領域10、11、
12・・15のように順に設定した後、図中右側の白線
検出領域16から白線検出領域21までを白線検出領域
16、17、18・・21のように順に設定してもよ
く、また白線検出領域10を設定した後、白線検出領域
16を設定し次に白線検出領域11を設定するというよ
うに左右の白線交互に白線検出領域を設定してもよい。
白線検出領域を設定する設定順序は、左右の白線に対し
左右の順番は問わないが、検出しようとする白線に対し
ては自車両に近い方から遠い方へ白線検出領域を順次設
定していくものとする。このようにステップ104から
ステップ110までを繰り返すことにより、左右の道路
白線8上に6個ずつ計12個の白線検出領域が設定され
る。
In step 104, the white line detection areas 10 to 21 are set as shown in FIG. The position for setting the white line detection area is the white line model 2 expressed by the equation (1).
Set so that 2 becomes the center of the area. First, for example, the white line detection area 10 is set at a position closest to the host vehicle on the white line model 22, and after the processes from step 105 to step 109 described later are completed, the process returns from step 110 to step 104 to proceed to the next white line. The detection area 11 or the white line detection area 16 is set. That is, the white line detection area 10
From the white line detection area 15 to the white line detection areas 10, 11,
After setting 12 ... 15 in order, the white line detection area 16 to the white line detection area 21 on the right side in the figure may be set in order as white line detection areas 16, 17, 18 ,. After setting the detection area 10, the white line detection area 16 may be set, and then the white line detection area 11 may be set.
The setting order for setting the white line detection area does not matter to the left and right of the left and right white lines, but the white line detection areas are sequentially set from the side closer to the vehicle to the side farther from the white line to be detected. I shall. By repeating steps 104 to 110 in this manner, a total of twelve white line detection areas are set on the left and right road white lines 8 by six.

【0024】初期状態においては、道路パラメータに初
期値を設定した白線モデルと、実際の画面上の道路白線
との間には大きな開きがあると予想されるので、できる
限り大きく白線検出領域を設定する方がよい。なお前回
の処理で道路パラメータが更新されているような場合に
は、実際の道路白線と白線モデルとの差は小さいと考え
られるので、なるべく小さな領域を設定する方が白線以
外のものを誤検出する可能性が低く、しかも処理速度を
向上させることができる。
In the initial state, it is expected that there will be a large difference between the white line model in which the initial values are set for the road parameters and the actual road white line on the screen. Therefore, the white line detection area should be set as large as possible. It is better to do. If the road parameters have been updated in the previous process, it is considered that the difference between the actual road white line and the white line model is small, so it is better to set a small area as much as possible and to detect other than the white line. Is less likely to occur and the processing speed can be improved.

【0025】ステップ105において、設定されている
フィルタを用いてメモリ3に記憶されている入力画像に
対してフィルタ演算を施してエッジ画像を作成し、その
結果をメモリ3に記憶する。ここで用いるフィルタは、
初期状態では例えばSOBELフィルタを設定してお
き、以降の処理では後述するステップ109で更新され
たフィルタを用いる。
In step 105, the input image stored in the memory 3 is subjected to a filter operation using the set filter to create an edge image, and the result is stored in the memory 3. The filter used here is
For example, the SOBEL filter is set in the initial state, and the filter updated in step 109 described later is used in the subsequent processing.

【0026】ステップ106で、白線検出領域において
白線候補の検出を行う。図5中、白線検出領域10と白
線検出領域16の領域において抽出されたエッジ画像を
図6の(a)及び(b)に示す。白線候補の検出は、白
線検出領域の上底の一点と下底の一点とを結んでできる
すべての線分Lに対し、その線分上の画素の濃度が所定
値以上の画素を白線候補とする。さらに、すべての線分
Lの中で、白線候補が最も多い線分Lをその領域内での
検出直線とする。
In step 106, white line candidates are detected in the white line detection area. Edge images extracted in the white line detection area 10 and the white line detection area 16 in FIG. 5 are shown in FIGS. 6 (a) and 6 (b). The white line candidates are detected by selecting, for all the line segments L formed by connecting one point of the upper bottom and one point of the lower bottom of the white line detection area, the pixels whose density of pixels on the line segment is a predetermined value or more as white line candidates. To do. Further, among all the line segments L, the line segment L having the most white line candidates is set as the detection straight line in the area.

【0027】ステップ107では、検出直線上にある白
線候補の数が所定値以上かどうか判断する。検出直線上
に、所定値以上の濃度の画素数が、検出直線の長さに対
する所定の割合よりも少ない場合には、白線が検出され
なかったものとみなし、ステップ110へ進む。所定の
割合よりも多い場合は、ステップ108へ進む。
In step 107, it is judged whether or not the number of white line candidates on the detected straight line is equal to or larger than a predetermined value. If the number of pixels having the density equal to or higher than the predetermined value on the detection straight line is smaller than the predetermined ratio to the length of the detection straight line, it is considered that the white line is not detected, and the process proceeds to step 110. If it is higher than the predetermined ratio, the process proceeds to step 108.

【0028】ステップ108では、検出直線上の白線候
補が所定の割合よりも多い場合には、その検出直線を仮
に白線とみなす。そして、その白線の傾きをy/xとし
て出力する。例えば検出直線の長さが15画素数で、白
線候補の数が1/2以上、すなわち8画素以上検出され
れば仮に白線が検出されたとする白線検出領域において
は、検出直線上における白線候補の数が7画素以下の場
合には、その白線検出領域において白線が検出されなか
ったものとする。一方、白線候補の数が8画素以上の場
合は仮に白線が検出されたものとし、その白線の傾きを
検出結果とする。以上の処理をすべての白線検出領域に
対して実行する。この時、白線の検出有無を判断するた
めの、検出直線の長さに対する上記所定の割合は、すべ
ての白線検出領域に対して同一としてもよいし、白線検
出領域ごとに設定してもよい。また、上記濃度の所定値
もすべての白線検出領域に対して同一としてもよいし、
白線検出領域ごとに変えてもよい。
In step 108, if the number of white line candidates on the detected straight line is greater than a predetermined ratio, the detected straight line is temporarily regarded as a white line. Then, the inclination of the white line is output as y / x. For example, in the white line detection area in which the length of the detection straight line is 15 pixels and the number of white line candidates is 1/2 or more, that is, if a white line is detected if 8 pixels or more are detected, the white line candidates on the detection straight line are detected. When the number is 7 pixels or less, it is assumed that the white line is not detected in the white line detection area. On the other hand, if the number of white line candidates is 8 pixels or more, it is assumed that the white line is detected, and the inclination of the white line is used as the detection result. The above processing is executed for all the white line detection areas. At this time, the above-mentioned predetermined ratio with respect to the length of the detection line for determining whether or not the white line is detected may be the same for all the white line detection areas, or may be set for each white line detection area. Also, the predetermined value of the density may be the same for all the white line detection areas,
It may be changed for each white line detection area.

【0029】ステップ109では、上記ステップ108
で求められた白線の傾きに基づいてフィルタの形状を更
新して、さらに上記ステップ104で設定した白線検出
領域内の濃度値に基づいてフィルタの係数を更新する。
In step 109, the above step 108 is performed.
The shape of the filter is updated based on the slope of the white line obtained in step S1, and the coefficient of the filter is updated based on the density value in the white line detection area set in step S104.

【0030】図7、図8のフローチャートにしたがっ
て、ステップ109でのフィルタ更新の詳細について説
明する。ここで、白線内側の線分が図5中右上がりの場
合には傾きは負の値、左上がりの場合には正の値を取る
ものとする。まずステップ701で白線検出領域内で検
出された白線の傾きy/xを参照する。ステップ702
では、y/xについてy/x≧−2かどうか判断され
る。y/x≧−2が真の時はステップ703へ進む。y
/x≧−2が偽の時はステップ709へ進み、垂直エッ
ジ成分が最も強調されるフィルタ3を選択する。このフ
ィルタ3は例えば図9の(c)のようなものである。ス
テップ703では、y/xについてy/x>−1/2か
どうか判断される。y/x>−1/2が真の時はステッ
プ705へ進む。y/x>−1/2が偽の時はステップ
704へ進み、右上がりのエッジ成分が最も強調される
フィルタ2を選択する。このフィルタ2は例えば図9の
(b)のようなものである。
Details of the filter update in step 109 will be described with reference to the flowcharts of FIGS. 7 and 8. Here, it is assumed that the inclination takes a negative value when the line segment inside the white line rises to the right in FIG. 5, and takes a positive value when the line segment rises to the left. First, in step 701, the inclination y / x of the white line detected in the white line detection area is referred to. Step 702
Then, it is determined whether y / x ≧ -2 for y / x. When y / x ≧ -2 is true, the process proceeds to step 703. y
When / x ≧ -2 is false, the process proceeds to step 709, and the filter 3 in which the vertical edge component is most emphasized is selected. The filter 3 is, for example, as shown in FIG. In step 703, it is determined whether y / x> -1/2 for y / x. When y / x> -1/2 is true, the process proceeds to step 705. When y / x> -1/2 is false, the process proceeds to step 704, and the filter 2 in which the rising edge component is most emphasized is selected. The filter 2 is, for example, as shown in FIG.

【0031】ステップ705では、y/xについて、y
/x>1/2かどうか判断される。y/x>1/2が真
の時はステップ707へ進む。y/x>1/2が偽の時
はステップ706へ進み、水平エッジ成分が最も強調さ
れるフィルタ1を選択する。このフィルタ1は例えば図
9の(a)のようなものである。ステップ707では、
y/xについてy/x>2かどうか判断される。y/x
>2が真の時はステップ709へ進む。y/x>2が偽
の時はステップ708へ進み、左上がりのエッジ成分が
最も強調されるフィルタ4を選択する。このフィルタ4
は例えば図9の(d)のようなものである。ステップ7
09では、y/x<−2、または2<y/xなので垂直
エッジ成分が最も強調されるフィルタ3を選択し次のス
テップ710へ進む。
In step 705, for y / x, y
It is determined whether / x> 1/2. When y / x> 1/2 is true, the process proceeds to step 707. When y / x> 1/2 is false, the routine proceeds to step 706, and the filter 1 in which the horizontal edge component is most emphasized is selected. The filter 1 is, for example, as shown in FIG. In step 707,
It is determined whether y / x> 2 for y / x. y / x
When> 2 is true, the process proceeds to step 709. When y / x> 2 is false, the process proceeds to step 708, and the filter 4 in which the edge component rising to the left is most emphasized is selected. This filter 4
Is, for example, as shown in FIG. Step 7
In 09, since y / x <-2 or 2 <y / x, the filter 3 in which the vertical edge component is most emphasized is selected and the process proceeds to the next step 710.

【0032】本実施例では、フィルタの種類を5種類と
しているが、これに限定されることなく、フィルタの種
類を増やすことにより細かな白線の傾きに応じて適切な
フィルタを選択できる。さらにフィルタ形状を図9の
(a)〜(d)に示すように3×3の正方形としている
が、フィルタ形状を3×3に限定せず図9の(e)に示
すように6×3のフィルタとすることもできる。
In this embodiment, there are five types of filters, but the number is not limited to this, and by increasing the types of filters, an appropriate filter can be selected according to the fine inclination of the white line. Further, although the filter shape is a 3 × 3 square as shown in FIGS. 9A to 9D, the filter shape is not limited to 3 × 3, and 6 × 3 as shown in FIG. 9E. It can also be used as a filter.

【0033】次に、白線検出領域の濃度値に基づいてフ
ィルタの係数を決定する。画像のコントラストが低い時
は、よりコントラストが強調されるような係数を選択す
る。まずステップ710では、白線検出領域内の画像の
ヒストグラムを算出する。ステップ711では、ヒスト
グラムの輝度の高い方のピークを白線のピークと考え、
さらに低い方のピークを路面のピークと考え、この白線
のピーク値と路面のピーク値との差Hを算出する。
Next, the coefficient of the filter is determined based on the density value of the white line detection area. When the contrast of the image is low, a coefficient that enhances the contrast is selected. First, in step 710, the histogram of the image in the white line detection area is calculated. In step 711, the peak with the higher brightness in the histogram is considered to be the peak of the white line,
Considering the lower peak as the road peak, the difference H between the peak value of the white line and the road surface peak value is calculated.

【0034】ステップ712からステップ716で、前
記Hを所定の閾値であるT1、T2と比較し、前記各H
の値に応じて係数1〜3を選択する。所定の閾値T1、
T2はT1<T2の関係を満たすものとする。ステップ
712では、低い方の閾値であるT1と前記Hを比較す
る。前記Hについて、H>T1かどうか判断する。H>
T1が真の場合はステップ714へ進む。H>T1が偽
の時はステップ713へ進み、画像のコントラストが低
い時用の係数3を選択する。係数3は例えばα=2とし
て通常時の倍の係数を設定する。
In steps 712 to 716, the H is compared with predetermined threshold values T1 and T2, and the H
The coefficients 1 to 3 are selected according to the value of. A predetermined threshold T1,
It is assumed that T2 satisfies the relationship of T1 <T2. In step 712, the lower threshold value T1 is compared with the H value. Regarding H, it is determined whether H> T1. H>
If T1 is true, go to step 714. When H> T1 is false, the process proceeds to step 713, and the coefficient 3 for low image contrast is selected. For the coefficient 3, for example, α = 2, and a coefficient that is twice as large as the normal time is set.

【0035】ステップ714では、高い方の閾値である
T2と前記Hを比較する。前記Hについて、H>T2か
どうか判断される。H>T2が真の場合はステップ71
6へ進む。H>T2が偽の時はステップ715へ進み、
画像のコントラストが中間の時用の係数2を選択する。
係数2は例えばα=1.5のように設定される。ステッ
プ716では、前記HにつてT2<Hなので、画像のコ
ントラストが高い時用の係数1を選択する。係数1は例
えばα=1のように設定される。本実施例では係数の種
類を3種類としているが、これに限定されることなく係
数の種類を増やしたり、設定する値を変えることもでき
る。
In step 714, the higher threshold value T2 is compared with H. For H, it is determined whether H> T2. Step 71 if H> T2 is true
Go to 6. When H> T2 is false, the process proceeds to step 715,
Select a factor of 2 for medium image contrast.
The coefficient 2 is set as, for example, α = 1.5. In step 716, since T2 <H for the H, the coefficient 1 for high image contrast is selected. The coefficient 1 is set, for example, as α = 1. Although the number of types of coefficients is three in this embodiment, the number of types of coefficients is not limited to this, and the set value can be changed.

【0036】ステップ717では、ステップ701から
ステップ716で演算され導き出されたフィルタを、次
に白線検出領域を設定しフィルタ演算を行うために使用
するメモリ3に記憶されているフィルタと置き換える。
更新する新しいフィルタは、白線の傾きとエッジ画像の
コントラストの両方を考慮したものであり、例えばフィ
ルタの種類と係数の掛け算されたものである。例とし
て、フィルタ2と係数2が選択された場合における、更
新するフィルタを図10に示す。
In step 717, the filter calculated and derived in steps 701 to 716 is replaced with the filter stored in the memory 3 which is used for setting the white line detection area and performing filter calculation next.
The new filter to be updated considers both the slope of the white line and the contrast of the edge image, and is, for example, a product of the filter type and the coefficient. As an example, FIG. 10 shows a filter to be updated when the filter 2 and the coefficient 2 are selected.

【0037】一方の白線において、白線検出領域を設定
しエッジ画像抽出の際に用いるフィルタは、当該白線に
おいて自車両から見て前記白線検出領域を設定しようと
する領域の一つ手前の領域で導き出されたフィルタを使
用する。次にエッジ抽出する白線検出領域が自車両に一
番近いところである場合には、当該領域において前回入
力された画像から導き出されたフィルタを使用する。
On one of the white lines, the filter used for setting the white line detection area and extracting the edge image is derived from the area immediately before the area where the white line detection area is to be set in the white line as seen from the own vehicle. Use a filtered filter. If the white line detection area for edge extraction is the closest to the host vehicle, the filter derived from the previously input image in the area is used.

【0038】図3、図4のフローチャートに戻って、ス
テップ110では、白線検出領域の設定がすべて終了し
たかどうかを判断する。図5に示す例では、左右の道路
白線8上に6個ずつ計12個の白線検出領域を自車両に
近い方から順に設定するものとしたが、全部の白線検出
領域を設定していない場合はステップ104に戻り次の
白線検出領域を設定する。一方、全部の白線検出領域を
設定している場合にはステップ111へ進む。
Returning to the flowcharts of FIGS. 3 and 4, in step 110, it is determined whether or not the setting of the white line detection area is completed. In the example shown in FIG. 5, twelve white line detection areas, six in total, are set on the left and right road white lines 8 in order from the side closer to the host vehicle, but when all the white line detection areas are not set Returns to step 104 and sets the next white line detection area. On the other hand, if all the white line detection areas have been set, the process proceeds to step 111.

【0039】ステップ111では、すべての白線検出領
域で検出した仮の白線の数が所定値以上かどうかを確認
し、所定値より少なければ白線検出領域内に道路白線が
含まれていなかったと判断し、後述するステップ120
へ進む。一方、仮の白線が所定値以上検出された場合に
は、道路白線が検出されたとしてステップ112へ進
む。
In step 111, it is confirmed whether or not the number of temporary white lines detected in all the white line detection areas is equal to or larger than a predetermined value. If the number is less than the predetermined value, it is determined that the road white line is not included in the white line detection area. , Step 120 described later
Go to. On the other hand, if the temporary white line is detected to be equal to or larger than the predetermined value, it is determined that the road white line is detected and the process proceeds to step 112.

【0040】ステップ112では、今回検出した道路白
線と前回入力された画像から求めた白線モデルとのずれ
量を算出する。ステップ113でずれ量に基づいて道路
パラメータの変動量Δa〜Δeを算出する。この変動量
の算出方法は、例えば特開平8−5388号に開示され
ているような方法を取ることができる。
In step 112, the amount of deviation between the road white line detected this time and the white line model obtained from the previously input image is calculated. In step 113, the road parameter fluctuation amounts Δa to Δe are calculated based on the deviation amount. As a method of calculating the fluctuation amount, for example, the method disclosed in Japanese Patent Laid-Open No. 8-5388 can be used.

【0041】次にステップ114では算出した道路パラ
メータの変動量Δa〜Δeにより道路パラメータa〜e
を補正する。例えば式(1)に示す白線モデルの場合に
は次式により道路パラメータa〜eの補正を行う。a’
は補正結果であるaに対し前回の入力画像より求められ
た白線モデルの道路パラメータである。b’、c’、
d’、e’についても同様とする。 a=a’+Δa、 b=b’+Δb、 c=c’+Δc、 d=d’+Δd、 e=e’+Δe、 (2)
Next, at step 114, the road parameters a to e are calculated based on the calculated road parameter fluctuation amounts Δa to Δe.
To correct. For example, in the case of the white line model shown in Expression (1), the road parameters a to e are corrected by the following expressions. a '
Is the road parameter of the white line model obtained from the previous input image for the correction result a. b ', c',
The same applies to d'and e '. a = a '+ Δa, b = b' + Δb, c = c '+ Δc, d = d' + Δd, e = e '+ Δe, (2)

【0042】ステップ115では、道路パラメータの中
で道路形状を表わすパラメータが正常かどうかを確認
し、正常でない場合にはステップ116へ進み、道路形
状道路形状を表わすパラメータを初期化する。式(1)
に示す白線モデルの場合には、パラメータbが道路曲率
を、パラメータeが車線幅をそれぞれ反映する。したが
って、パラメータbから推測される道路曲率bが、セン
サ4による車両挙動検出値から判断して現在走行してい
る道路ではありえない道路曲率になった場合は、パラメ
ータbを初期化する。同様にパラメータeから推測され
る車線幅がセンサ4による車両挙動検出値から判断して
現在走行している道路ではあり得ない車線幅になった場
合には、パラメータeを初期化する。道路形状を表わす
パラメータが正常な場合にはステップ117へ進む。
In step 115, it is confirmed whether the parameter representing the road shape is normal among the road parameters, and if it is not normal, the routine proceeds to step 116, and the parameter representing the road shape road shape is initialized. Formula (1)
In the case of the white line model shown in, the parameter b reflects the road curvature and the parameter e reflects the lane width. Therefore, when the road curvature b estimated from the parameter b becomes a road curvature which cannot be determined by the vehicle behavior detection value by the sensor 4 on the road currently running, the parameter b is initialized. Similarly, when the lane width estimated from the parameter e becomes a lane width that cannot be determined on the road on which the vehicle is currently traveling based on the vehicle behavior detection value detected by the sensor 4, the parameter e is initialized. If the parameter indicating the road shape is normal, the process proceeds to step 117.

【0043】次にステップ117では車両挙動を表わす
パラメータが正常かどうかを確認し、正常でない場合は
ステップ118へ進み、車両挙動を表わすパラメータを
初期化する。式(1)に示す白線モデルの場合には、パ
ラメータaが車線内の自車両の位置を、パラメータcが
道路に対するヨー角を、パラメータdが路面に対するピ
ッチ角をそれぞれ反映する。したがってパラメータaか
ら推定される車両位置が、道路曲率の推定値あるいはセ
ンサ4による車両挙動検出値から判断して現在走行して
いる道路では有り得ない車両位置になった場合には、パ
ラメータaを初期化する。同様にパラメータcにより推
定されるヨー角が、道路曲率の推定値、あるいはセンサ
4による車両挙動検出値から判断して現在走行している
道路では有り得ない角度になった場合には、パラメータ
cを初期化する。さらに、パラメータdから推定される
ピッチ角が、センサ4に車両挙動検出値から判断して現
在走行している道路では有り得ない角度になった場合に
なった場合には、パラメータdを初期化する。車両挙動
を表わすパラメータが正常な場合にはステップ119へ
進む。
Next, at step 117, it is confirmed whether or not the parameter indicating the vehicle behavior is normal. If not, the routine proceeds to step 118, where the parameter indicating the vehicle behavior is initialized. In the case of the white line model shown in Expression (1), the parameter a reflects the position of the host vehicle in the lane, the parameter c reflects the yaw angle with respect to the road, and the parameter d reflects the pitch angle with respect to the road surface. Therefore, when the vehicle position estimated from the parameter a becomes a vehicle position which is not possible on the road currently running, as judged from the estimated value of the road curvature or the vehicle behavior detection value by the sensor 4, the parameter a is initialized. Turn into. Similarly, when the yaw angle estimated by the parameter c becomes an angle that is not possible on the road currently running, as judged from the estimated value of the road curvature or the detected value of the vehicle behavior by the sensor 4, the parameter c is set. initialize. Further, when the pitch angle estimated from the parameter d becomes an angle which is not possible on the road currently traveling, which is judged by the sensor 4 from the vehicle behavior detection value, the parameter d is initialized. . When the parameter indicating the vehicle behavior is normal, the process proceeds to step 119.

【0044】ステップ119では、補正した道路パラメ
ータa〜eを新しい白線モデルの道路パラメータとして
更新し、メモリ3に記憶する。最後にステップ120で
は、更新された道路パラメータから白線モデルを算出す
る。またステップ111で白線の検出数が所定値以下の
時は、前回の道路パラメータの推定値から白線モデルを
算出する。必要に応じ道路パラメータからの情報を車両
制御部5や警報部6や表示部7などに出力する。以上の
処理が終了したらステップ102へ戻り上述した処理を
繰り返す。
In step 119, the corrected road parameters a to e are updated as the road parameters of the new white line model and stored in the memory 3. Finally, in step 120, a white line model is calculated from the updated road parameters. If the number of white lines detected is less than or equal to the predetermined value in step 111, the white line model is calculated from the previous estimated values of road parameters. Information from the road parameters is output to the vehicle control unit 5, the alarm unit 6, the display unit 7 and the like as needed. When the above process is completed, the process returns to step 102 and the above process is repeated.

【0045】本実施例では、ステップ104が本発明の
白線検出領域設定手段を構成し、ステップ105がエッ
ジ画像生成手段を、ステップ108が白線検出手段を構
成する。また、ステップ109がエッジフィルタ更新手
段を構成し、ステップ119がパラメータ更新手段を構
成する。
In this embodiment, step 104 constitutes the white line detection area setting means of the present invention, step 105 constitutes the edge image generation means, and step 108 constitutes the white line detection means. Further, step 109 constitutes edge filter updating means, and step 119 constitutes parameter updating means.

【0046】本実施例は以上のように構成され、白線の
傾きに応じた最適なフィルタが得られるため、カーブに
よる検出誤差の影響や、自車両が走行車線内で左右に寄
って走行している等の場合において、白線の見え方によ
る検出誤差の影響を無くすことができる。例えば図11
に示す進行方向がカーブしている道路の白線を検出する
ような場合に、強調したい白線の線分の傾きが複数混在
(例えば図中左側白線の車両に近い領域は右上がりの4
5度の線分、左側白線の車両から遠い領域の白線の傾き
は水平に近い線分、図中右側白線の車両に近い領域の白
線の傾きは左上がりの45度の線分、右側白線の車両か
ら遠い領域の白線の傾きは垂直に近い線分)していて
も、的確に白線の線分を強調することができる。
Since the present embodiment is constructed as described above and the optimum filter is obtained according to the inclination of the white line, the influence of the detection error due to the curve and the own vehicle traveling to the left and right in the lane of travel. In the case of being present, the influence of the detection error due to the appearance of the white line can be eliminated. For example, in FIG.
When a white line on a road with a curving direction is detected, a plurality of slopes of the white line to be emphasized are mixed (for example, an area near the vehicle on the left white line in the figure is a right upward 4
The line segment of 5 degrees, the slope of the white line in the area far from the vehicle on the left side white line is close to the horizontal line segment, and the slope of the white line in the area on the right side white line in the figure near the vehicle is the 45 degree line segment that rises to the left and the right side white line. Even if the white line in the area distant from the vehicle has an inclination close to vertical, the white line can be accurately emphasized.

【0047】白線検出領域設定の際に白線モデルを基に
領域を設定することにより、小さな領域で道路白線を捕
らえることができ、白線検出領域が小さい分エッジフィ
ルタ演算の処理速度が速くなり、またノイズ成分を検出
する可能性が低くなるので、正確な道路白線が検出でき
る。
By setting the area based on the white line model when setting the white line detection area, it is possible to catch the road white line in a small area, and the processing speed of the edge filter calculation becomes faster as the white line detection area becomes smaller. Since it is less likely to detect a noise component, an accurate road white line can be detected.

【0048】なお、白線検出領域を設定する際に、過去
の白線モデルの変化の様子から白線モデルの変化の方向
にオフセットした位置に白線検出領域を設定してもよ
い。白線検出領域はメモリ3上に設定するようにしてい
るが、マイクロコンピュータがキャッシュメモリ等を有
しているのであれば、そのメモリを利用してもかまわな
い。
When setting the white line detection area, the white line detection area may be set at a position offset in the direction of change of the white line model from the past change state of the white line model. The white line detection area is set on the memory 3, but if the microcomputer has a cache memory or the like, that memory may be used.

【0049】図5において白線検出領域を自車両から見
て白線の内側のエッジ部分に設定したが、白線モデルが
自車両から見て白線の外側に設定されている等の時は、
その白線モデルが白線検出領域の中心となるように領域
設定する。
In FIG. 5, the white line detection area is set to the inside edge portion of the white line when viewed from the host vehicle, but when the white line model is set to the outside of the white line when viewed from the host vehicle,
The area is set so that the white line model becomes the center of the white line detection area.

【0050】初期状態において道路パラメータを設定す
る際には、センサ4で検出される車両の挙動を表わす値
に基づいて道路パラメータの初期値を設定してもよい。
例えば初期状態において、ステアリングが右または左に
転舵されているような時は、操舵角に応じた曲率の道路
を走行していると判断して、パラメータbに操舵角に応
じた値を設定してもよい。
When setting the road parameter in the initial state, the initial value of the road parameter may be set on the basis of the value representing the behavior of the vehicle detected by the sensor 4.
For example, in the initial state, when the steering wheel is steered to the right or left, it is determined that the vehicle is traveling on a road having a curvature corresponding to the steering angle, and the parameter b is set to a value corresponding to the steering angle. You may.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の実施例を示す図である。FIG. 1 is a diagram showing an embodiment of the present invention.

【図2】カメラの取り付け位置を示す図である。FIG. 2 is a diagram showing a mounting position of a camera.

【図3】道路白線検出処理を示すフローチャートであ
る。
FIG. 3 is a flowchart showing road white line detection processing.

【図4】道路白線検出処理を示すフローチャートであ
る。
FIG. 4 is a flowchart showing road white line detection processing.

【図5】白線検出領域を示す図である。FIG. 5 is a diagram showing a white line detection area.

【図6】白線検出領域における検出白線を示す図であ
る。
FIG. 6 is a diagram showing a detected white line in a white line detection area.

【図7】エッジフィルタの更新処理を示すフローチャー
トである。
FIG. 7 is a flowchart showing edge filter update processing.

【図8】エッジフィルタの更新処理を示すフローチャー
トである。
FIG. 8 is a flowchart showing an edge filter update process.

【図9】エッジフィルタの例を示す図である。FIG. 9 is a diagram illustrating an example of an edge filter.

【図10】更新されたフィルタの例を示す図である。FIG. 10 is a diagram showing an example of an updated filter.

【図11】カーブしている道路を示す図である。FIG. 11 is a diagram showing a curved road.

【符号の説明】[Explanation of symbols]

1 カメラ 2 マイクロコンピュータ 3 メモリ 4 センサ 5 車両制御部 6 警報部 7 表示部 8 白線 9 消失点 10〜21 白線検出領域 22 白線モデル 23 車両 1 camera 2 microcomputer 3 memory 4 sensors 5 Vehicle control unit 6 Alarm section 7 Display 8 white line 9 vanishing point 10-21 White line detection area 22 White line model 23 vehicles

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/60 200 G06T 7/60 200J G08G 1/16 G08G 1/16 C Fターム(参考) 5B057 AA16 CA08 CE03 CE06 CH01 CH11 DA15 DA16 DB09 DC08 DC16 DC22 DC33 5H180 AA01 CC04 CC24 LL01 LL02 LL07 LL08 LL15 5L096 AA06 BA04 CA02 CA24 DA01 DA03 FA06 FA14 GA55 HA07─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 identification code FI theme code (reference) G06T 7/60 200 G06T 7/60 200J G08G 1/16 G08G 1/16 C F term (reference) 5B057 AA16 CA08 CE03 CE06 CH01 CH11 DA15 DA16 DB09 DC08 DC16 DC22 DC33 5H180 AA01 CC04 CC24 LL01 LL02 LL07 LL08 LL15 5L096 AA06 BA04 CA02 CA24 DA01 DA03 FA06 FA14 GA55 HA07

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 車両に搭載された自車両の周りの所定領
域を撮像する撮像手段と、前記撮像手段から得られた画
像を記憶する画像記憶手段と、前記画像記憶手段により
記憶された画像に対して、自車両の走行車線の白線を検
出するための領域を設定する白線検出領域設定手段と、
前記白線検出領域設定手段により設定された領域に対し
て、フィルタ演算によりエッジ抽出を行いエッジ画像を
生成するエッジ画像生成手段と、前記白線検出領域内で
抽出されたエッジ画像より白線検出を行う白線検出手段
と、前記エッジ画像生成手段でのフィルタ演算に用いる
フィルタ係数を更新するエッジフィルタ更新手段とを有
し、前記エッジフィルタ更新手段は、前記白線検出領域
内の濃度値と前記白線検出手段により検出された白線の
傾きの両方に基づいてフィルタを更新することを特徴と
する白線検出装置。
1. An image pickup means for picking up a predetermined area around an own vehicle mounted on a vehicle, an image storage means for storing an image obtained from the image pickup means, and an image stored by the image storage means. On the other hand, a white line detection area setting means for setting an area for detecting the white line of the traveling lane of the own vehicle,
Edge image generation means for generating an edge image by performing edge extraction by a filter operation on the area set by the white line detection area setting means, and a white line for white line detection from the edge image extracted in the white line detection area. It has a detection means and an edge filter update means for updating a filter coefficient used in the filter calculation in the edge image generation means, and the edge filter update means uses the density value in the white line detection area and the white line detection means. A white line detection device characterized in that a filter is updated based on both of the detected inclinations of the white line.
【請求項2】 道路形状と車両挙動を表わす複数のパラ
メータを用いて、道路白線の形状を数式化モデルで表わ
したものを白線モデルとし、この白線モデルと前記白線
検出手段で検出された結果が一致するように前記白線モ
デルの複数のパラメータを更新するパラメータ更新手段
を有することを特徴とする請求項1に記載の白線検出装
置。
2. A white line model is obtained by expressing the shape of a road white line by a mathematical expression model using a plurality of parameters representing the road shape and vehicle behavior, and the white line model and the result detected by the white line detection means are obtained. The white line detection device according to claim 1, further comprising a parameter updating unit that updates a plurality of parameters of the white line model so as to match each other.
【請求項3】 前記白線検出領域設定手段は、前記画像
記憶手段により記憶された画像に対して、自車両の走行
車線の白線を検出するための複数の領域を、自車両から
見て近い方から遠い方へ順次設定することを特徴とする
請求項1または2に記載の白線検出装置。
3. The white line detection area setting unit, which is closer to the image stored by the image storage unit than the own vehicle, has a plurality of regions for detecting a white line in the traveling lane of the own vehicle. The white line detection device according to claim 1 or 2, wherein the white line detection device is sequentially set to a position farther from.
【請求項4】 前記エッジ画像生成手段は、前記白線検
出領域設定手段で設定する領域ごとにフィルタ演算処理
を行うことを特徴とする請求項3に記載の白線検出装
置。
4. The white line detection device according to claim 3, wherein the edge image generation means performs a filter calculation process for each area set by the white line detection area setting means.
【請求項5】 前記エッジフィルタ更新手段は、前記白
線検出領域設定手段で設定された白線検出領域内の濃度
値と前記白線検出手段により検出された白線の傾きの両
方に基づいて、次の白線検出領域内の白線のエッジが最
も強調されるようなフィルタを予測してエッジフィルタ
の更新をすることを特徴とする請求項3または4に記載
の白線検出装置。
5. The edge filter updating means, based on both the density value in the white line detection area set by the white line detection area setting means and the slope of the white line detected by the white line detection means, determines the next white line. The white line detecting apparatus according to claim 3 or 4, wherein the edge filter is updated by predicting a filter in which the edge of the white line in the detection area is most emphasized.
【請求項6】 前記エッジフィルタ更新手段は、次にフ
ィルタ演算する白線検出領域が自車両に一番近い領域で
ある場合には、前回入力された画像上において自車両に
一番近い白線検出領域で演算され導き出された当該領域
に用いたフィルタを、フィルタ演算に用いるフィルタと
して更新することを特徴とする請求項3、4または5に
記載の白線検出装置。
6. The edge filter updating means, when the white line detection area to be subjected to the next filter calculation is the area closest to the host vehicle, the white line detection area closest to the host vehicle on the previously input image. The white line detection device according to claim 3, 4 or 5, wherein the filter used for the region calculated and derived in step S3 is updated as a filter used in the filter calculation.
JP2001311935A 2001-10-09 2001-10-09 White line detector Expired - Fee Related JP3867542B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001311935A JP3867542B2 (en) 2001-10-09 2001-10-09 White line detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001311935A JP3867542B2 (en) 2001-10-09 2001-10-09 White line detector

Publications (2)

Publication Number Publication Date
JP2003118521A true JP2003118521A (en) 2003-04-23
JP3867542B2 JP3867542B2 (en) 2007-01-10

Family

ID=19130669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001311935A Expired - Fee Related JP3867542B2 (en) 2001-10-09 2001-10-09 White line detector

Country Status (1)

Country Link
JP (1) JP3867542B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2905725A2 (en) 2014-02-07 2015-08-12 Toyota Jidosha Kabushiki Kaisha Marking line detection system and marking line detection method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02162475A (en) * 1988-12-15 1990-06-22 Dainippon Screen Mfg Co Ltd Picture contour correcting method
JPH07105487A (en) * 1993-09-30 1995-04-21 Toshiba Corp Drive lane recognition device
JPH07248821A (en) * 1994-03-10 1995-09-26 Fujitsu Ltd Line tracking device
JPH07271952A (en) * 1994-03-30 1995-10-20 Mazda Motor Corp Running path recognizing device
JPH11259639A (en) * 1998-03-11 1999-09-24 Toyota Central Res & Dev Lab Inc Travel path recognizing device
JP2000019259A (en) * 1998-06-30 2000-01-21 Mazda Motor Corp Environmental recognition device
JP2000036037A (en) * 1998-07-16 2000-02-02 Toyota Central Res & Dev Lab Inc Travel path recognition device
JP2000209431A (en) * 1999-01-18 2000-07-28 Canon Inc Method for extracting contour and storage medium
JP2001266163A (en) * 2000-03-17 2001-09-28 Nissan Motor Co Ltd On-vehicle image processor

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02162475A (en) * 1988-12-15 1990-06-22 Dainippon Screen Mfg Co Ltd Picture contour correcting method
JPH07105487A (en) * 1993-09-30 1995-04-21 Toshiba Corp Drive lane recognition device
JPH07248821A (en) * 1994-03-10 1995-09-26 Fujitsu Ltd Line tracking device
JPH07271952A (en) * 1994-03-30 1995-10-20 Mazda Motor Corp Running path recognizing device
JPH11259639A (en) * 1998-03-11 1999-09-24 Toyota Central Res & Dev Lab Inc Travel path recognizing device
JP2000019259A (en) * 1998-06-30 2000-01-21 Mazda Motor Corp Environmental recognition device
JP2000036037A (en) * 1998-07-16 2000-02-02 Toyota Central Res & Dev Lab Inc Travel path recognition device
JP2000209431A (en) * 1999-01-18 2000-07-28 Canon Inc Method for extracting contour and storage medium
JP2001266163A (en) * 2000-03-17 2001-09-28 Nissan Motor Co Ltd On-vehicle image processor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2905725A2 (en) 2014-02-07 2015-08-12 Toyota Jidosha Kabushiki Kaisha Marking line detection system and marking line detection method
US9536155B2 (en) 2014-02-07 2017-01-03 Toyota Jidosha Kabushiki Kaisha Marking line detection system and marking line detection method of a distant road surface area

Also Published As

Publication number Publication date
JP3867542B2 (en) 2007-01-10

Similar Documents

Publication Publication Date Title
JP3736346B2 (en) Lane detection device
JP3780848B2 (en) Vehicle traveling path recognition device
JP3352655B2 (en) Lane recognition device
EP1193661B1 (en) Lane recognition apparatus for vehicle
JP4930046B2 (en) Road surface discrimination method and road surface discrimination device
JP4670528B2 (en) Imaging device deviation detection method, imaging device deviation correction method, and imaging device
JP2003168104A (en) Recognition device of white line on road
JP2002259995A (en) Position detector
JP2003051017A (en) White line detector
CN110415298B (en) Calculation method for lane departure
JP3525733B2 (en) Road white line detector
JP5310027B2 (en) Lane recognition device and lane recognition method
JP2003157499A (en) White road line recognizing device
JP3823782B2 (en) Leading vehicle recognition device
CN108256470A (en) A kind of lane shift judgment method and automobile
JP3807651B2 (en) White line recognition device
JPH0981734A (en) Image processor
JP2007299045A (en) Lane recognition device
JP2007018451A (en) Road boundary line detecting device
JP2003196798A (en) Device for detecting white line
JP3729005B2 (en) Vehicle rear monitoring device
JP3606039B2 (en) Road shape detection device
JP3867542B2 (en) White line detector
KR100540743B1 (en) Steering angle of the vehicle due to a travelling deviation revision / speed control data creation system and method
JPH08320998A (en) Lane marker detector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061002

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091020

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees