JP2002236912A - Road partition line recognizing device - Google Patents

Road partition line recognizing device

Info

Publication number
JP2002236912A
JP2002236912A JP2001035745A JP2001035745A JP2002236912A JP 2002236912 A JP2002236912 A JP 2002236912A JP 2001035745 A JP2001035745 A JP 2001035745A JP 2001035745 A JP2001035745 A JP 2001035745A JP 2002236912 A JP2002236912 A JP 2002236912A
Authority
JP
Japan
Prior art keywords
road
equation
parameter
line
partition line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001035745A
Other languages
Japanese (ja)
Inventor
Hiroyuki Kosho
裕之 古性
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2001035745A priority Critical patent/JP2002236912A/en
Publication of JP2002236912A publication Critical patent/JP2002236912A/en
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a road partition line recognizing device capable of estimating a road parameter with high accuracy. SOLUTION: A partition line candidate line becoming a candidate for a partition line is detected from an image photographed by a CCD camera 3, image coordinates of a representative point set on the partition line candidate line are calculated, and inclination of the partition line candidate line in each representative point is obtained. According to a first equation containing the respective parameters C, A, B, D and H, the image coordinates of the respective representative points and the inclination of the partition line candidate line, the product Z of the parameter B by H (=B*H) and the parameters C, D are estimated. Subsequently, according to a second equation containing the past value of the product Z, the parameter B is obtained, and two or more representative points are selected for one of the left partition line candidate line and the right partition line candidate line. According to the image coordinates of the respective representative points, the parameters B, C, D and a third equation containing the parameters C, A, B, D and H, the parameters A and H are estimated.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、道路に引かれた白
線等の仕切線を精度良く認識する仕切線認識装置に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a partition line recognition device for accurately recognizing a partition line such as a white line drawn on a road.

【0002】[0002]

【従来の技術】従来の白線(仕切線)認識装置として、
特開平6−20189号公報「道路形状計測装置」(以
下、従来例1という)、特開平8−261756号公報
「走行レーン認識装置」(以下、従来例2という)に記
載されたものが知られている。
2. Description of the Related Art As a conventional white line (partition line) recognition device,
Japanese Patent Application Laid-Open No. Hei 6-20189, "Road Shape Measuring Apparatus" (hereinafter referred to as Conventional Example 1) and Japanese Patent Application Laid-Open No. 8-261756, "Running Lane Recognition Apparatus" (hereinafter referred to as Conventional Example 2) are known. Have been.

【0003】上記の各従来例では、いずれにおいても、
道路白線に沿って現れる轍、影、水膜、2重白線等の疑
似白線を誤認識し、道路モデルの推定を失敗する可能性
がある。以下、従来例1に係る白線認識装置による処理
手順を、図8に示すフローチャートを参照しながら説明
する。
In each of the above conventional examples,
There is a possibility that a false white line such as a rut, a shadow, a water film, and a double white line appearing along the road white line is erroneously recognized, and the estimation of the road model fails. Hereinafter, a processing procedure by the white line recognition device according to the conventional example 1 will be described with reference to a flowchart shown in FIG.

【0004】<ステップs101;車両前方画像の採り
込み>車両に固定され、車両前方を撮像するために用意
されたカメラにて撮影された映像を所定周期毎に採り込
む。
<Step s101: Capture of image in front of vehicle> Images captured by a camera fixed to the vehicle and prepared for capturing an image in front of the vehicle are captured at predetermined intervals.

【0005】<ステップs102;ウィンドウの設定>
図9にウィンドの例を示す。ウィンドウは、一般に複数
個(図では、左5個、右5個の合計10個で描かれてい
る)用意され、白線は、このウィンドウ内で検知され
る。このウィンドウは、前回の映像採り込み時における
画像処理結果によって得られた道路モデルにより、その
位置が推定される。
<Step s102; Window setting>
FIG. 9 shows an example of the window. In general, a plurality of windows (in the figure, a total of ten windows, five on the left and five on the right) are prepared, and a white line is detected in this window. The position of this window is estimated based on the road model obtained by the image processing result at the time of the previous video capturing.

【0006】道路モデルは、以下に示す(5)式で示さ
れる。
The road model is represented by the following equation (5).

【0007】[0007]

【数4】 上記の(5)式は、従来例1に詳述されており、式の導
出等の詳細については省略する。(5)式は、車線幅を
定数と見なした定式化であり、その他にカメラ高さを定
数と見なした定式化がある。両者とも、未知パラメータ
数は5つであり、等価であるので、以下では、(5)式
に則って説明する。
(Equation 4) The above equation (5) is detailed in Conventional Example 1, and details such as derivation of the equation are omitted. Equation (5) is a formulation that considers the lane width as a constant, and there is another formulation that considers the camera height as a constant. In both cases, the number of unknown parameters is five, which is equivalent. Therefore, the following description will be made according to equation (5).

【0008】(5)式において、パラメータ{A,B,
C,D,H}は、それぞれ、自車両の車線に対する横位
置、道路曲率、自車両の車線に対するヨー角、ピッチ
角、カメラ高さに相当する。E0は車線幅(左側白線と
右側白線との間隔)、fv,fhはカメラ透視変換定数で
縦方向、横方向をそれぞれ表す。{x,y}は白線候補
線の任意の点の座標画像である。また、E0を車線内側
間の距離とすると、{x,y}は白線候補点内側の任意
の点の座標画像となる。
In equation (5), parameters {A, B,
C, D, and H} correspond to the lateral position of the own vehicle relative to the lane, the road curvature, the yaw angle, the pitch angle, and the camera height of the own vehicle relative to the lane, respectively. E0 is the lane width (the interval between the white line on the left side and the white line on the right side), and fv and fh are camera perspective conversion constants, which represent the vertical direction and the horizontal direction, respectively. {X, y} is a coordinate image of an arbitrary point on the white line candidate line. When E0 is the distance between the insides of the lanes, {x, y} is a coordinate image of an arbitrary point inside the white line candidate point.

【0009】以後、x,yは画像上の座標を意味するも
のとする。iは左白線では0、右白線では1を表す。N
番目のウインドウの上辺(y座標が小さい方)のy座標
をynとする。前回のパラメータ推定結果を{A-1,B-
1,C-1,D-1,H-1}とすると、今回のN番目のウイ
ンドウの中心座標xncは、次の(6)式で示される。
Hereinafter, x and y mean coordinates on an image. i represents 0 on the left white line and 1 on the right white line. N
The y coordinate of the upper side of the second window (smaller y coordinate) is yn. The previous parameter estimation results are expressed as {A-1, B-
1, C-1, D-1, H-1}, the center coordinate xnc of the Nth window this time is expressed by the following equation (6).

【0010】[0010]

【数5】 ウインドウのx方向の幅は固定値もあれば、従来例2に
示されるように、パラメータの分散から合理的に設定す
る方法も提示されている。
(Equation 5) A method has been proposed in which the width of the window in the x direction has a fixed value, or a method of rationally setting the variance of parameters as shown in Conventional Example 2.

【0011】<ステップs103;白線候補点選択>so
belフィルタ等のエッジ検知(輝度変化)を利用する。
図10に示すように、左(画像座標のx値が小さい方)
の画素の輝度が右の画素の輝度よりも大きい場合、フィ
ルタの出力が正であるとする。白線の内側を白線候補点
としているので、左白線の場合の白線候補点ではフィル
タの出力は正、右白線では負となる。左白線の場合、ウ
インドウすべての画像を走査して、フィルタの出力が所
定の正の値を越えたものを白線候補点と見なす。
<Step s103; white line candidate point selection> so
Use edge detection (brightness change) such as a bel filter.
As shown in FIG. 10, the left (the smaller the x value of the image coordinates)
If the luminance of the pixel is larger than the luminance of the right pixel, the output of the filter is assumed to be positive. Since the inside of the white line is a white line candidate point, the output of the filter is positive at the white line candidate point for the left white line and negative at the right white line. In the case of the left white line, the images of all the windows are scanned, and those whose output of the filter exceeds a predetermined positive value are regarded as white line candidate points.

【0012】<ステップs104;白線候補線選択>白
線候補点集合から白線候補線を得る処理としてハフ変
換、最小自乗法等がある。例えば、ハフ変換直線近似で
は、図11に示すように、ウインドウ内を通過する直線
のうち、最も白線候補点を多く貫いたものを選択する。
<Step s104: White Line Candidate Line Selection> Processing for obtaining a white line candidate line from a set of white line candidate points includes Hough transform, least square method, and the like. For example, in the Hough transform straight line approximation, as shown in FIG. 11, a straight line passing through the window and passing through the most white line candidate points is selected.

【0013】<ステップs105;白線候補線の代表点
算出>白線候補線の通過する点を1つ選択し、その画像
座標を求める。例えば、白線候補線とウインドウの上辺
の交点を代表点とする。これは、図12中の{xn,y
n}に相当する。
<Step s105: Calculation of representative point of white line candidate line> One point passing through the white line candidate line is selected, and its image coordinates are obtained. For example, the intersection of the white line candidate line and the upper side of the window is set as the representative point. This is represented by {xn, y in FIG.
It is equivalent to n}.

【0014】<ステップs106;道路モデルパラメー
タ推定>代表点の集合{x0,y0}〜{xn0,yn0}
(n0:代表点の個数)と、上記した(5)式に基づい
て、道路モデル{A,B,C,D,H}の推定が行われ
る。この推定方式の代表として、最小自乗法、カルマン
フィルタがある。
<Step s106: Road model parameter estimation> Set of representative points {x0, y0} to {xn0, yn0}
The road model {A, B, C, D, H} is estimated based on (n0: number of representative points) and the above equation (5). As representatives of this estimation method, there are a least square method and a Kalman filter.

【0015】[0015]

【発明が解決しようとする課題】次に、問題点について
説明する。ステップs106において、代表点として左
右それぞれ少なくとも1点以上与えられないと、道路パ
ラメータが推定できない。以下、これについて例を挙げ
て説明する。
Next, problems will be described. In step s106, the road parameters cannot be estimated unless at least one of the left and right points is given as the representative point. Hereinafter, this will be described with an example.

【0016】左側の白線しか与えられない場合には、上
記した(5)式は、以下の(7)式に書き直される。
When only the left white line is given, the above equation (5) is rewritten into the following equation (7).

【0017】[0017]

【数6】 (7)式から明らかなように、パラメータHをk倍して
も、パラメータAをk倍、パラメータBを(1/k)倍
すれば、同様の式が成立する。即ち、左側の白線しか与
えられない場合には、パラメータA、B、Hを確定する
ことができない。右側の白線しか与えられない場合につ
いても同様である。
(Equation 6) As is clear from the equation (7), even if the parameter H is multiplied by k, the same equation is established if the parameter A is multiplied by k and the parameter B is multiplied by (1 / k). That is, when only the left white line is given, the parameters A, B, and H cannot be determined. The same applies to the case where only the right white line is given.

【0018】ステレオ式のカメラを用いる場合には、
(7)式に相当する互いに等価でない2つの式が存在す
るため、片側の白線のみが与えられた場合であっても、
パラメータを推定することができるが、単眼式のカメラ
を用いる場合には(7)式が与えられるのみであり、道
路パラメータを推定することができない。
When using a stereo camera,
Since there are two non-equivalent equations corresponding to equation (7), even if only one white line is given,
Although parameters can be estimated, when a monocular camera is used, only equation (7) is given, and road parameters cannot be estimated.

【0019】この問題を解決する方法として、パラメー
タHを固定値Hsに仮定する方法がある。確かに、この
方法を用いることにより、パラメータA、B、C、Dを
推定することは可能になるが、前述したように、パラメ
ータHの真値が固定値Hsのk倍である場合、パラメー
タAの推定値はk倍、パラメータBの推定値は(1/
k)倍となり、誤差が発生することになる。
As a method for solving this problem, there is a method in which the parameter H is assumed to be a fixed value Hs. Although it is possible to estimate the parameters A, B, C, and D by using this method, as described above, when the true value of the parameter H is k times the fixed value Hs, The estimated value of A is k times, and the estimated value of parameter B is (1 /
k) times, and an error occurs.

【0020】本発明はこのような従来の課題を解決する
ためになされたものであり、その目的とするところは、
道路白線が片側だけの場合であっても、道路パラメータ
を精度良く推定することのできる道路の仕切線認識装置
を提供することにある。
The present invention has been made to solve such a conventional problem, and its object is to provide:
It is an object of the present invention to provide a road partition line recognition device capable of accurately estimating road parameters even when only one road white line exists.

【0021】[0021]

【課題を解決するための手段】上記目的を達成するた
め、本願請求項1に記載の発明は、車両前方の道路映像
を撮影する単眼の撮影手段を有し、該撮影手段にて撮影
された映像に基づき、離散時間的に、ヨー角相当のパラ
メータC、横変位相当のパラメータA、曲率相当のパラ
メータB、ピッチ角相当のパラメータD、及びカメラ高
さ相当のパラメータHを推定し、推定された各パラメー
タに基づいて、前記道路映像に含まれる仕切線を認識す
る道路の仕切線認識装置において、前記撮影手段にて撮
影された映像から、仕切線の候補となる仕切線候補線を
検出し、該仕切線候補線上にて設定される代表点の画像
座標を算出する手段と、前記各代表点における仕切線候
補線の傾きを求める手段と、前記各パラメータC、A、
B、D、Hを含む第1の方程式と、前記代表点の画像座
標、及び前記仕切線候補線の傾きに基づいて、パラメー
タBとHとの積Z(=B*H)、及びパラメータC、D
を推定する手段と、前記積Zの過去の値を保存する手段
と、前記積Zの過去の値を含む第2の方程式に基づい
て、前記パラメータBを求める手段と、前記左側の仕切
線候補線、或いは右側の仕切線候補線のいずれか一方に
ついて、前記代表点を2以上選択し、各代表点の画像座
標、前記パラメータB、C、D、及び前記パラメータ
C、A、B、D、Hを含む第3の方程式に基づいて、パ
ラメータA、Hを推定する手段と、を有し、前記求めら
れたC、A、B、D、Hの推定値に基づいて、前記道路
映像に含まれる仕切線位置を求めることが特徴である。
According to a first aspect of the present invention, there is provided a monocular photographing means for photographing a road image in front of a vehicle, wherein the photographing is performed by the photographing means. Based on the image, a parameter C corresponding to the yaw angle, a parameter A corresponding to the lateral displacement, a parameter B corresponding to the curvature, a parameter D corresponding to the pitch angle, and a parameter H corresponding to the camera height are estimated and estimated in discrete time. In the road partition line recognition device that recognizes the partition line included in the road image based on the respective parameters, a partition line candidate line serving as a partition line candidate is detected from the image captured by the image capturing unit. Means for calculating image coordinates of a representative point set on the partition line candidate line, means for calculating the inclination of the partition line candidate line at each of the representative points, and each of the parameters C, A,
Based on a first equation including B, D, and H, the image coordinates of the representative point, and the inclination of the candidate partition line, a product Z (= B * H) of the parameters B and H, and a parameter C , D
Means for estimating the parameter B; means for storing the past value of the product Z; means for obtaining the parameter B based on a second equation including the past value of the product Z; 2 or more representative points are selected for one of the line and the right partition line candidate line, and the image coordinates of each representative point, the parameters B, C, D, and the parameters C, A, B, D, Means for estimating parameters A and H based on a third equation including H, and including in the road image based on the obtained estimated values of C, A, B, D and H The feature is that a partition line position to be obtained is determined.

【0022】請求項2に記載の発明は、前記第1の方程
式は、前述した(1)式で示されることを特徴とする。
The invention according to claim 2 is characterized in that the first equation is represented by the above-mentioned equation (1).

【0023】請求項3に記載の発明は、前記第2の方程
式は、前述した(2)式で示されることを特徴とする。
The third aspect of the present invention is characterized in that the second equation is represented by the above-mentioned equation (2).

【0024】請求項4に記載の発明は、前記第3の方程
式は、前述した(3)式で示されることを特徴とする。
The invention according to a fourth aspect is characterized in that the third equation is expressed by the above-mentioned equation (3).

【0025】請求項5に記載の発明は、前記積Zの変化
を監視し、整数回振動したときの総計時間Tpを算出す
る手段を有し、前記積Zの過去の値の個数Nvを、前述
した(4)式で設定することを特徴とする。
According to a fifth aspect of the present invention, there is provided means for monitoring a change in the product Z and calculating a total time Tp when the product Z vibrates an integral number of times. It is characterized in that it is set by the aforementioned equation (4).

【0026】請求項6に記載の発明は、前記積Zの極大
値とその整数回前の極大値の間隔となる時間、或いは、
前記積Zの極小値とその整数回前の極小値の間隔となる
時間を、前記総計時間Tpとすることを特徴とする。
According to a sixth aspect of the present invention, there is provided a time interval between the maximum value of the product Z and the maximum value that is an integer number of times before the maximum value,
The time between the local minimum value of the product Z and the local minimum value that is an integer number of times before that is defined as the total time Tp.

【0027】請求項7に記載の発明は、前記積Zが所定
値となる時刻の整数回の間隔となる時間を、前記総計時
間Tpとすることを特徴とする。
The invention according to claim 7 is characterized in that a time that is an integer number of times of the time when the product Z reaches a predetermined value is the total time Tp.

【0028】請求項8に記載の発明は、前記積Zの所定
値を、該積Zの現在値とすることを特徴とする。
The invention according to claim 8 is characterized in that a predetermined value of the product Z is set as a current value of the product Z.

【0029】請求項9に記載の発明は、前記総計時間T
pが短い場合には、該総計時間Tpを算出するときの振動
回数を増加させることを特徴とする。
According to a ninth aspect of the present invention, the total time T
When p is short, the number of vibrations when calculating the total time Tp is increased.

【0030】[0030]

【発明の効果】請求項1の発明によれば、片側白線(仕
切線)の場合でも道路パラメータを精度良く推定するこ
とができる。これは、上記した(7)式の情報以外に、
道路曲率の変化率がカメラ高さに相当するパラメータH
の変化率と比較して、十分小さいことを利用しているこ
とによる。この仮定は、道路が急に曲がるような場合以
外には、当てはまるため、十分実用性があるといえる。
また、片側白線(真の白線)以外の疑似白線の情報を利
用することも可能なため、推定のロバスト性を向上させ
ることができる。
According to the first aspect of the present invention, road parameters can be accurately estimated even in the case of a one-sided white line (partition line). This means that, in addition to the information in the above equation (7),
Parameter H whose rate of change of road curvature is equivalent to camera height
This is due to the fact that it is sufficiently small compared to the rate of change. This assumption is applicable except when the road turns sharply, and is therefore sufficiently practical.
Further, it is possible to use information of a pseudo white line other than the one-sided white line (true white line), so that the robustness of estimation can be improved.

【0031】請求項2の発明によれば、第1の方程式と
して前述の(1)式を用いるので、精度の高い推定が可
能となる。
According to the second aspect of the present invention, since the above equation (1) is used as the first equation, highly accurate estimation is possible.

【0032】請求項3の発明によれば、第2の方程式と
して前述の(2)式を用いるので、精度の高い推定が可
能となる。
According to the third aspect of the present invention, since the above equation (2) is used as the second equation, highly accurate estimation is possible.

【0033】請求項4の発明によれば、第3の方程式と
して前述の(3)式を用いるので、精度の高い推定が可
能となる。
According to the fourth aspect of the present invention, since the above equation (3) is used as the third equation, highly accurate estimation is possible.

【0034】請求項5の発明によれば、ノイズ除去特性
と真値への追従性をより高いレベルで両立することがで
きる。これは、パラメータ推定上で仮定がより高い精度
で成立するためである。
According to the fifth aspect of the present invention, it is possible to achieve both the noise removal characteristic and the followability to the true value at a higher level. This is because the assumption is established with higher accuracy in parameter estimation.

【0035】請求項6の発明によれば、請求項5におけ
る振動数検知の機能を簡便な手法で実現することが可能
となる。
According to the invention of claim 6, it is possible to realize the function of frequency detection in claim 5 by a simple method.

【0036】請求項7の発明によれば、請求項5におけ
る振動数検知の機能を簡便な手法で実現することが可能
となる。
According to the invention of claim 7, it is possible to realize the function of detecting the frequency in claim 5 by a simple method.

【0037】請求項8の発明によれば、請求項5におけ
る振動数検知の機能を簡便な手法で実現することが可能
となる。
According to the invention of claim 8, it is possible to realize the function of frequency detection in claim 5 by a simple method.

【0038】請求項9の発明によれば、請求項1,2,
3,4,5における振動数検知の機能をより確実に実現
することが可能となる。
According to the ninth aspect of the present invention, the first, second, and third aspects of the present invention are provided.
It is possible to more reliably realize the frequency detection function in 3, 4, and 5.

【0039】[0039]

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図1は、本発明に係る仕切線認識装
置1が搭載された車両2を示す構成図である。同図に示
すように、仕切線認識装置1は、車両2の前方の映像を
撮影する単眼のCCDカメラ(撮影手段)3と、当該C
CDカメラ3で撮影された映像に基づいて、車両前方側
の道路の白線を認識処理を行うプロセッサ4と、から構
成されている。なお、以下の説明においては、道路に引
かれた仕切線を白線として説明するが、本発明は、これ
に限定されるものではなく、黄線等の仕切線においても
同様に適用することができる。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a configuration diagram showing a vehicle 2 on which a partition line recognition device 1 according to the present invention is mounted. As shown in FIG. 1, a partition line recognition device 1 includes a monocular CCD camera (photographing means) 3 for photographing an image in front of a vehicle 2,
A processor 4 for recognizing a white line on the road in front of the vehicle based on an image captured by the CD camera 3. In the following description, a partition line drawn on a road is described as a white line, but the present invention is not limited to this, and can be similarly applied to a partition line such as a yellow line. .

【0040】図2は、本発明の第1の実施形態に係る仕
切線認識装置1による画像処理の手順を示すフローチャ
ートである。以下、その詳細を各ステップ毎に説明す
る。
FIG. 2 is a flowchart showing a procedure of image processing by the partition line recognition device 1 according to the first embodiment of the present invention. Hereinafter, the details will be described for each step.

【0041】<s1;前方画像採り込み>従来例で示し
た手順と同様であり、所定周期でCCDカメラ3は車両
前方を撮影し、所定周期でプロセッサ4が画像情報を採
り込む。
<S1; Fetching Forward Image> The procedure is the same as that shown in the conventional example. The CCD camera 3 captures an image of the front of the vehicle at a predetermined cycle, and the processor 4 captures image information at a predetermined cycle.

【0042】<s2;ウインドウ設定>従来例で示した
手順と同様であり、前回の画像採り込み時にて推定され
た道路モデルに基づき、ウインドウのx方向の中心座標
xncが計算される。x方向の幅は、道路白線の画像上で
の動きを考慮して設定する。また、y方向の幅は固定と
する。
<S2; Window Setting> The procedure is the same as that of the conventional example, and the center coordinate xnc of the window in the x direction is calculated based on the road model estimated at the time of the previous image capturing. The width in the x direction is set in consideration of the movement of the road white line on the image. The width in the y direction is fixed.

【0043】<s3;白線候補点選択>従来例で示した
手順(図8のステップs103の処理)と同様である。
<S3; White Line Candidate Point Selection> This is the same as the procedure shown in the conventional example (the processing of step s103 in FIG. 8).

【0044】<s4;白線候補線検出>従来例で示した
手順と同様であり、ハフ変換により、ウインドウ内の白
線候補点の列を直線近似する。座標{x,y}を通過す
る直線はパラメータa,bを用いて、以下の(8)式の
ように表すことができる。
<S4: White Line Candidate Line Detection> The procedure is the same as that shown in the conventional example, and a line of white line candidate points in the window is linearly approximated by Hough transform. A straight line passing through the coordinates {x, y} can be expressed by the following equation (8) using the parameters a and b.

【0045】x=ay+b ・・・(8) 白線候補点の座標を{x,y}とすると、パラメータa
を決めることにより、パラメータbが(8)式により計
算できる。
X = ay + b (8) Assuming that the coordinates of the white line candidate point are {x, y}, the parameter a
Is determined, the parameter b can be calculated by the equation (8).

【0046】これにより図3に示す如くの配列を得るこ
とができる。配列の空欄は零を意味している。1が立っ
ている{a,b}の組合せの中に真値が含まれる。そし
て、この操作を白線候補点すべてに関して行う。その結
果、図4に示す配列を得ることができる。
Thus, an arrangement as shown in FIG. 3 can be obtained. A blank in the array means zero. The true value is included in the combination of {a, b} where 1 stands. This operation is performed for all the white line candidate points. As a result, the arrangement shown in FIG. 4 can be obtained.

【0047】配列要素{ar,br}の数zrは、以下の
(9)式で与えられる直線が貫く白線候補点の数を表し
ている。
The number zr of the array elements {ar, br} represents the number of white line candidate points through which the straight line given by the following equation (9) passes.

【0048】x=ar*y+br ・・・(9) 配列要素の数が所定値以上のものを白線候補点とする。
N番目のウインドウでの白線候補線は以下に示す形で記
憶される。
X = ar * y + br (9) An array element whose number of array elements is equal to or more than a predetermined value is set as a white line candidate point.
The candidate white line in the N-th window is stored in the following form.

【0049】 {{an1,bn1),{an2,bn2},・・・} 例えば、2重白線の場合、an1,an2は同一となる。{An1, bn1), {an2, bn2},...} For example, in the case of a double white line, an1 and an2 are the same.

【0050】<s5;代表点座標算出>代表点は白線候
補線とウインドウ上辺との交点とする。N番目のウイン
ドウの上辺のy座標をynとすると、x座標xnmは、以
下の(10)式で示される。
<S5: Calculation of Representative Point Coordinate> The representative point is an intersection between the white line candidate line and the upper side of the window. Assuming that the y-coordinate of the upper side of the N-th window is yn, the x-coordinate xnm is expressed by the following equation (10).

【0051】 xnm=anm*yn+bnm ・・・(10) xの添え字nはウインドウ番号を表し、添え字mはウイ
ンドウ内での白線候補線番号、yの添え字はウインドウ
番号を表している。代表点の画像座標の集合は以下のよ
うになる。
Xnm = anm * yn + bnm (10) The suffix n of x represents the window number, the suffix m represents the white line candidate line number in the window, and the suffix of y represents the window number. The set of image coordinates of the representative points is as follows.

【0052】{{x11,y1},・・,{xnm,yn},
・・} <s6;候補線傾き算出>n番目のウインドウの中のm
番目の白線候補線の画像上の傾きは、次の(11)式で
得られる。
{X11, y1},..., {Xnm, yn},
··} <s6: Candidate line inclination calculation> m in the n-th window
The inclination of the white line candidate line on the image is obtained by the following equation (11).

【0053】[0053]

【数7】 <s7;B*H,C,Dの推定>擬似白線を含めた白線
候補線は真の白線に平行であると見なして良い場合が圧
倒的に多く、(12)式が成立すると言える。
(Equation 7) <S7; Estimation of B * H, C, D> In many cases, white line candidate lines including pseudo white lines can be considered to be parallel to the true white line, and it can be said that equation (12) holds.

【0054】[0054]

【数8】 n番目のウインドウの第m候補について書き直すと、
(13)式となる。
(Equation 8) Rewriting the m-th candidate in the n-th window,
Equation (13) is obtained.

【0055】[0055]

【数9】 (13)式中で、道路パラメータB,C,D,H以外は
すべて既知である。複数の代表点にわたって(13)式
を連立しパラメータB,C,D,Hを推定する手法に最
小2乗法、カルマンフィルタがあるが、ここではその詳
細は省略する。ただし、注意点として、B,Hは式の構
造上、その積しか推定できない。結果として、B*H,
C,Dが推定される。C、Dは、今回の推定値とする。
(Equation 9) In the equation (13), all of the parameters other than the road parameters B, C, D, and H are known. A method of estimating parameters B, C, D, and H by simultaneously formulating equation (13) over a plurality of representative points includes a least square method and a Kalman filter, but details thereof are omitted here. However, it should be noted that B and H can be estimated only by their products due to the formula structure. As a result, B * H,
C and D are estimated. C and D are the current estimated values.

【0056】<s8;GAHの作成>現在から、(Nv
−1)サンプル前(Nvはサンプル回数)までの積B*
H(=Z)の集合をGBHとし、該集合GBHを保存す
るメモリを用意し、サンプリングの度に更新する。即
ち、集合GBHは、下記のように示すことができる。
<S8; Creation of GAH> From now, (Nv
-1) Product B * up to before sample (Nv is the number of samples)
A set of H (= Z) is defined as GBH, a memory for storing the set GBH is prepared, and updated at each sampling. That is, the set GBH can be represented as follows.

【0057】GBH:{Z0,Z1,・・・Z(Nv-1)} ここで、Znは、以下の(14)式で定義するものとす
る。添え字のnは、nサンプル前のデータであることを
意味する。
GBH: {Z0, Z1,... Z (Nv-1)} Here, Zn is defined by the following equation (14). The subscript n means that the data is n samples before.

【0058】Zn=Bn*Hn ・・・(14) なお、サンプル回数Nvの値の設定については、後述す
る(ステップs9にて説明する)。
Zn = Bn * Hn (14) The setting of the number of samples Nv will be described later (described in step s9).

【0059】<s9;Bの推定>パラメータBの推定値
を、以下に示す(15)式で算出する。
<S9; Estimation of B> The estimated value of the parameter B is calculated by the following equation (15).

【0060】[0060]

【数10】 但し、Hsは車両標準状態で想定されるCCDカメラ3
の高さである。
(Equation 10) However, Hs is the CCD camera 3 assumed in the standard condition of the vehicle.
Height.

【0061】以下、(15)式により、パラメータBを
推定することができる理由、及びその推定精度が高いこ
とについて説明する。(15)式の右辺の分子を変形す
ると、以下の(16)式のように示すことができる。
Hereinafter, the reason why the parameter B can be estimated by the equation (15) and the high estimation accuracy will be described. By transforming the numerator on the right side of the equation (15), it can be expressed as the following equation (16).

【0062】[0062]

【数11】 ここで、注目した点は、パラメータB、Hの変化率に大
きな隔たりがあることである。車両がバウンスし(上下
に振幅し)、パラメータH(CCDカメラ3の高さに相
当)が1周期変化する間にパラメータB(曲率に相当)
は変化しないと仮定することは妥当であるといえる。ま
た、これを厳密に1周期と規定しなくても、パラメータ
Bを一定と見なせる時間は、パラメータHの周期よりは
るかに大きいことは、高速道路等曲率が急激に変化しな
い道路で満たされているといえる。
[Equation 11] Here, the point to which attention is paid is that there is a large difference between the change rates of the parameters B and H. The parameter B (corresponding to the curvature) while the vehicle bounces (amplitude up and down) and the parameter H (corresponding to the height of the CCD camera 3) changes by one cycle.
It is reasonable to assume that does not change. Even if this is not strictly defined as one cycle, the time during which the parameter B can be regarded as constant is much larger than the cycle of the parameter H, which is satisfied by a road such as an expressway where the curvature does not change rapidly. It can be said that.

【0063】パラメータBの変化が小さいと見なせる範
囲でサンプル回数Nvを大きくとると、(16)式のパ
ラメータHnが平均のパラメータHsに近づくため、下記
の(17)式に示すように、B*Hの和を近似すること
ができる。
If the number of samples Nv is made large within a range in which the change in the parameter B can be considered to be small, the parameter Hn in the equation (16) approaches the average parameter Hs, and therefore, as shown in the following equation (17), B * The sum of H can be approximated.

【0064】 B0・H0+B1・H1+・・・+BNv-1・HNv-1 =B・(H0+H1+・・・+HNv-1) =B・Nv・Hs ・・・(17) そして、(17)式の両辺を「Nv・Hs」で除すること
により、上述の(15)式を得ることができる。従っ
て、(15)式により、高い推定精度でパラメータBを
推定することができる。
.. + BNv-1 · HNv-1 = B · (H0 + H1 +... + HNv-1) = B · Nv · Hs (17) And both sides of the equation (17) Is divided by “Nv · Hs”, the above-mentioned equation (15) can be obtained. Therefore, the parameter B can be estimated with high estimation accuracy by the equation (15).

【0065】<s10;A、Hの推定>白線候補線代表
点を左白線のみ、或いは右白線のみにて複数個選択す
る。この代表点(n個)の画像座標を{xn ,yn }と
する。
<S10; Estimation of A and H> A plurality of white line candidate line representative points are selected using only the left white line or only the right white line. The image coordinates of these representative points (n) are {xn, yn}.

【0066】そして、パラメータB,C,Dは既に確定
しているので、該パラメータB,C,Dと、画像座標
{xn,yn }を、以下に示す(18)に代入して連立
方程式を作成し、最小2乗法、或いはカルマンフィルタ
等の技法を適用してパラメータA,Hを推定する。
Since the parameters B, C and D have already been determined, the simultaneous equations are substituted by substituting the parameters B, C and D and the image coordinates {xn, yn} into (18) shown below. Then, parameters A and H are estimated by applying a technique such as the least square method or the Kalman filter.

【0067】[0067]

【数12】 なお、最小2乗法、カルマンフィルタは公知技術である
ため、ここでの説明は省略する。
(Equation 12) Note that the least square method and the Kalman filter are well-known technologies, and thus description thereof will be omitted.

【0068】もちろん、両側白線が検知できている場合
には、従来の手法を用いてパラメータA、Hを推定して
も良いことは明らかである。
Obviously, if the white lines on both sides can be detected, the parameters A and H may be estimated by using the conventional method.

【0069】また、例えば両側白線が検出できている場
合でも、このうち一方の白線の検出点数が少ない場合
は、本手法を用いても良い。これは、一方の白線の検出
点数が少なく、疑似白線が含まれる場合においては、従
来の手法では大きな推定誤差を生じるためである。
Also, for example, even when both white lines can be detected, if one of the white lines has a small number of detection points, the present method may be used. This is because, when the number of detected white lines is small and a pseudo white line is included, a large estimation error occurs in the conventional method.

【0070】こうして、CCDカメラ3により撮影され
る画像中に、左側白線、或いは右側白線のうちの一方の
みが現れている場合においても、精度良く、各パラメー
タB,C,D,A,Hを推定することができるのであ
る。
Thus, even when only one of the left white line and the right white line appears in the image captured by the CCD camera 3, the parameters B, C, D, A, and H can be accurately determined. It can be estimated.

【0071】このようにして、本実施形態に係る仕切線
認識装置1では、道路曲率の変化率(パラメータBに対
応)がCCDカメラ3の高さに相当するパラメータHの
変化率に対して充分に小さいことを利用することによ
り、左側白線、或いは右側白線のうちの一方の白線のみ
を検出し、車両前方の道路白線を認識することができ
る。
As described above, in the partition line recognition device 1 according to the present embodiment, the change rate of the road curvature (corresponding to the parameter B) is sufficiently larger than the change rate of the parameter H corresponding to the height of the CCD camera 3. By using the small white line, only one of the left white line and the right white line is detected, and the road white line ahead of the vehicle can be recognized.

【0072】次に、本発明の第2の実施形態について説
明する。第2の実施形態に係る仕切線認識装置のハード
ウェア構成は、図1に示した装置と同様である。
Next, a second embodiment of the present invention will be described. The hardware configuration of the partition line recognition device according to the second embodiment is the same as that of the device shown in FIG.

【0073】以下、第2の実施形態に係る仕切線認識装
置の動作を図5に示すフローチャートを参照しながら説
明する。なお、該フローチャートにおいて、ステップs
28までの処理は、図2に示したステップs8までの処
理と同一であり、また、ステップs30,s31の処理
は、図2に示したステップs9,s10の処理と同一で
ある。即ち、第2の実施形態と第1の実施形態とを比較
すると、ステップs29の処理のみが相違しており、こ
のステップs29の処理について以下説明する。
Hereinafter, the operation of the partition line recognition device according to the second embodiment will be described with reference to the flowchart shown in FIG. In the flowchart, step s
The processing up to 28 is the same as the processing up to step s8 shown in FIG. 2, and the processing at steps s30 and s31 is the same as the processing at steps s9 and s10 shown in FIG. That is, when the second embodiment is compared with the first embodiment, only the processing in step s29 is different, and the processing in step s29 will be described below.

【0074】<s29;B*Hの変動周期推定>図6に
示すフローチャートによる処理手順にて、変動するk周
期相当のサンプル回数(振動時間)Nv を検出する。そ
のために、カウンタCA、CBを用意する。
<S29: Estimation of fluctuation cycle of B * H> In the processing procedure according to the flowchart shown in FIG. For this purpose, counters CA and CB are prepared.

【0075】まず、カウンタCAを「0」とし(ステッ
プs41)、カウンタCBを「−1」とする(ステップ
s42)。次いで、カウンタCAをインクリメントし
(ステップs43)、このとき、パラメータZの極大値
が検出されたかどうかが判断される(ステップs4
4)。そして、極大が検出されない場合には(ステップ
s44でNO)、再度ステップs43の処理を繰り返
す。
First, the counter CA is set to "0" (step s41), and the counter CB is set to "-1" (step s42). Next, the counter CA is incremented (step s43). At this time, it is determined whether or not the maximum value of the parameter Z is detected (step s4).
4). If the local maximum is not detected (NO in step s44), the process of step s43 is repeated.

【0076】また、パラメータZの極大が検出された場
合には(ステップs44でYES)、カウンタCBの否
定(CB!は、CBの否定(NOT)を示す)が−1に
等しいかどうかが判断される(ステップs45)。そし
て、等しくない場合には(ステップs45でNO)、カ
ウンタCA、及びカウンタCBを共に「0」として、ス
テップs43からの処理を繰り返す。
If the maximum of the parameter Z is detected (YES in step s44), it is determined whether or not the negation of the counter CB (CB! Indicates negation of CB (NOT)) is equal to -1. Is performed (step s45). If not equal (NO in step s45), both the counter CA and the counter CB are set to “0”, and the processing from step s43 is repeated.

【0077】CBの否定(CB!)が−1である場合に
は(ステップs45でYES)、カウンタCBの値をイ
ンクリメントする(ステップs46)。次いで、CBの
否定(CB!)が周期回数kと等しいかどうかが判断さ
れ(ステップs47)、等しくない場合には(ステップ
s47でNO)、サンプル回数NvをカウンタCAの値
とし、カウンタCA、及びCBを共に「0」として、ス
テップs43からの処理に戻る(ステップs49)。
If the negative of CB (CB!) Is -1 (YES in step s45), the value of the counter CB is incremented (step s46). Next, it is determined whether or not the negative of CB (CB!) Is equal to the number of cycles k (step s47). If not (NO in step s47), the number of samples Nv is set to the value of the counter CA, and the counter CA, And CB are both set to “0”, and the process returns to step s43 (step s49).

【0078】他方、CBの否定(CB!)が周期回数k
と等しい場合には(ステップs47でYES)、ステッ
プs43からの処理に戻る。こうして、k周期相当のサ
ンプル回数Nvを求めることができる。そして、このサ
ンプル回数Nvを用いてステップs30の処理(図2に
示したs9の処理)により、パラメータBを推定する。
On the other hand, negation of CB (CB!) Is the number of cycles k
If (YES in step s47), the process returns to step s43. Thus, the number of samples Nv corresponding to k periods can be obtained. Then, the parameter B is estimated by the process of step s30 (the process of s9 shown in FIG. 2) using the number of samples Nv.

【0079】第2の実施形態による処理手順を用いる
と、(17)式の近似精度は更に向上する。サンプル回
数Nv を小さめに設定すると、Hn の平均値がHs との
間で偏差を生じるようになることは述べた。例えば、パ
ラメータHがサイン状に変化する場合、例えば、プラス
側の半周期の平均値は標準状態におけるカメラ高さHs
よりプラス側にずれることは明らかである。また、マイ
ナス側の半周期の平均値はカメラ高さHs のマイナス側
にずれることは明らかである。結果として、この半周期
を用いると、パラメータHの平均値もサイン状に変化し
てしまう。
When the processing procedure according to the second embodiment is used, the approximation accuracy of the equation (17) is further improved. It has been mentioned that if the number of samples Nv is set to a small value, the average value of Hn will deviate from Hs. For example, when the parameter H changes in a sine shape, for example, the average value of the plus half cycle is the camera height Hs in the standard state.
It is clear that the position shifts to the more positive side. It is also apparent that the average value of the half cycle on the minus side shifts to the minus side of the camera height Hs. As a result, when this half cycle is used, the average value of the parameter H also changes in a sine shape.

【0080】しかしながら、サンプル回数Nv を過渡に
大きく設定してはならない。この間、パラメータBは一
定と仮定するためである。サンプル回数Nv を大きくす
ると、パラメータBの推定の真値への追従性が悪化す
る。このトレードオフを解決する手法として、丁度サン
プル回数Nv を周期の定数倍にすることが挙げられる。
例えば、パラメータHが「サイン波形+定数オフセッ
ト」状に変化した場合、1周期の平均はどの時間を指定
してもオフセットは一定となる。従って、振動の整数回
の総計時間をTpとし、サンプリング間隔をTsとした場
合、Nv=Tp/Tsなる関係が成立するようにサンプル
回数Nvを設定することが望ましい。
However, the number of samples Nv must not be set excessively large. During this time, the parameter B is assumed to be constant. If the number of samples Nv is increased, the followability of the estimation of the parameter B to the true value is deteriorated. As a technique for solving this trade-off, the number of times of sampling Nv can be just set to a constant multiple of the period.
For example, when the parameter H changes in the form of “sine waveform + constant offset”, the offset in the average of one cycle is constant regardless of which time is specified. Therefore, when Tp is the total time of an integral number of vibrations and Ts is the sampling interval, it is desirable to set the number of samples Nv so that the relationship of Nv = Tp / Ts holds.

【0081】第2の実施形態はその実現手法の一つであ
る。(17)の近似精度が向上するため、結果として得
られる道路パラメータの推定値の精度も第1の実施形態
と比較して向上する。
The second embodiment is one of the realization methods. Since the approximation accuracy of (17) is improved, the accuracy of the resulting estimated value of the road parameter is also improved as compared with the first embodiment.

【0082】また、変動が生じた場合、例えば、サイン
状に変化した場合、ある特定の値を採った時点から次に
その値を採るまでの時間も1周期となる。一般には、サ
イン状とはならないが、数周期間で考えると、この近似
精度は向上する。よって、パラメータZが特定の値を採
る時間間隔を持って変動周期を推定しても良い。また、
その特定値をパラメータZの現在値とすれば、推定遅れ
が無く、推定性能が向上する。
When a change occurs, for example, when it changes in a sine shape, the time from when a certain value is taken to when the next value is taken is also one cycle. Generally, the approximation accuracy is improved although it does not have a sine shape, but when considered in several cycles. Therefore, the fluctuation period may be estimated with a time interval at which the parameter Z takes a specific value. Also,
If the specific value is used as the current value of the parameter Z, there is no estimation delay, and the estimation performance is improved.

【0083】このようにして、第2の実施形態に係る仕
切線検出装置では、好適なサンプル回数Nvを求めるこ
とができるので、より一層高精度に、各パラメータB,
C,D,A,Hを推定することができる。
As described above, in the partition line detecting device according to the second embodiment, a suitable number of samples Nv can be obtained, so that each parameter B,
C, D, A, H can be estimated.

【0084】次に、本発明の第3の実施形態について説
明する。第3の実施形態に係る仕切線認識装置のハード
ウェア構成は、図1に示した装置と同様である。
Next, a third embodiment of the present invention will be described. The hardware configuration of the partition line recognition device according to the third embodiment is the same as that of the device shown in FIG.

【0085】以下、第3の実施形態に係る仕切線認識装
置の動作について説明する。
Hereinafter, the operation of the partition line recognition device according to the third embodiment will be described.

【0086】なお、第3の実施形態は図5に示した第2
の実施形態の動作に係るフローチャートの、ステップs
29以外は同一であり、以下、ステップs29′の処理
動作について説明する。
The third embodiment is similar to the second embodiment shown in FIG.
Step s of the flowchart according to the operation of the embodiment
Steps other than step 29 are the same, and the processing operation of step s29 'will be described below.

【0087】<s29′;B*Hの変動周期推定>図7
は、B*H(=Z)の変動周期を推定する手順を示すフ
ローチャートであり、該フローチャートに示す処理手順
にて、変動するk周期相当のサンプル回数Nv を検出す
る。そのために、カウンタCA、CBを用意する。
<S29 '; Estimation of fluctuation period of B * H> FIG.
Is a flowchart showing the procedure for estimating the variation cycle of B * H (= Z). In the processing procedure shown in the flowchart, the number of samples Nv corresponding to the fluctuating k cycle is detected. For this purpose, counters CA and CB are prepared.

【0088】まず、カウンタCAを「0」とし(ステッ
プs51)、カウンタCBを「−1」とする(ステップ
s52)。次いで、カウンタCAをインクリメントし
(ステップs53)、このとき、パラメータZの極大値
が検出されたかどうかが判断される(ステップs5
4)。そして、極大が検出されない場合には(ステップ
s54でNO)、再度ステップs53の処理を繰り返
す。
First, the counter CA is set to "0" (step s51), and the counter CB is set to "-1" (step s52). Next, the counter CA is incremented (step s53). At this time, it is determined whether or not the maximum value of the parameter Z is detected (step s5).
4). If the local maximum is not detected (NO in step s54), the process of step s53 is repeated.

【0089】また、パラメータZの極大が検出された場
合には(ステップs54でYES)、カウンタCBの否
定(CB!)が−1に等しいかどうかが判断される(ス
テップs55)。そして、等しくない場合には(ステッ
プs55でNO)、カウンタCA、及びカウンタCBを
共に「0」として、ステップs53からの処理を繰り返
す(ステップs58)。
When the maximum of the parameter Z is detected (YES in step s54), it is determined whether or not the negative value (CB!) Of the counter CB is equal to -1 (step s55). If they are not equal (NO in step s55), both the counter CA and the counter CB are set to “0”, and the processing from step s53 is repeated (step s58).

【0090】CBの否定(CB!)が−1である場合に
は(ステップs55でYES)、カウンタCBの値をイ
ンクリメントする(ステップs56)。次いで、CBの
否定(CB!)が周期回数kと等しいかどうかが判断さ
れ(ステップs57)、等しくない場合には(ステップ
s57でNO)、サンプル回数NvがカウンタCAより
も大きいかどうかが判断される(ステップs59)。そ
して、サンプル回数Nvの方がカウンタCAよりも小さ
い場合には(ステップs59でNO)、サンプル回数N
vをカウンタCAの値とし、且つカウンタCA、CBを
共に「0」とし、(ステップs53)からの処理を繰り
返す。
If the negative of CB (CB!) Is -1 (YES in step s55), the value of counter CB is incremented (step s56). Next, it is determined whether or not the negative of CB (CB!) Is equal to the number of cycles k (step s57). If not (NO in step s57), it is determined whether or not the number of samples Nv is larger than the counter CA. Is performed (step s59). If the number of samples Nv is smaller than the counter CA (NO in step s59), the number of samples N
v is set to the value of the counter CA, and both the counters CA and CB are set to “0”, and the processing from (step s53) is repeated.

【0091】他方、サンプル回数Nvの方がカウンタC
Aよりも大きい場合には(ステップs59でYES)、
周期回数kの値をインクリメントし(ステップs6
0)、再度ステップs53からの処理を繰り返す。こう
して、k周期相当のサンプル回数Nvを求めることがで
きる。そして、このサンプル回数Nvを用いてステップ
S30の処理(図2に示したステップs9の処理)を行
うことにより、パラメータBを推定する。
On the other hand, the counter C
If it is larger than A (YES in step s59),
The value of the cycle number k is incremented (step s6)
0), and repeat the processing from step s53 again. Thus, the number of samples Nv corresponding to k periods can be obtained. Then, the parameter B is estimated by performing the process of step S30 (the process of step s9 shown in FIG. 2) using the number of samples Nv.

【0092】第3の実施形態において、前述の第2の実
施形態と異なる点は、あらかじめ指定した回数の振動時
間が所定時間より短い場合、回数をインクリメントする
ことである。通常のバウンスでは1回の振動で極大が1
つ現れるが、例えば、路面不整による突き上げが存在す
る場合、極大と極大の間のパラメータHは車両標準姿勢
時のカメラ高さHs より非常に大きい(極大と極大の間
のHは車両標準姿勢時のHs より常に小さい)。
The third embodiment differs from the above-described second embodiment in that when the vibration time of a predetermined number of times is shorter than a predetermined time, the number is incremented. In a normal bounce, the maximum is 1 in one vibration
For example, in the case where there is a thrust due to irregular road surface, the parameter H between the maximum and the maximum is much larger than the camera height Hs at the time of the standard posture of the vehicle (H between the maximum and the maximum at the time of the standard posture of the vehicle). Hs is always smaller).

【0093】その時間内の平均はカメラ高さHs 以上で
あり、パラメータ推定誤差が発生するのは明らかである
(その時間内の平均はHs 以下であり、パラメータの推
定誤差が発生するのは明らかである)。
It is clear that the average in that time is equal to or higher than the camera height Hs and a parameter estimation error occurs (the average in that time is equal to or less than Hs, and the parameter estimation error occurs. Is).

【0094】この場合、極大と極大の時間間隔、或いは
極小と極小の時間間隔が小さいことに着目した。即ち、
整数回の振動時間が短い場合、前記現象が発生すると想
定し、整数回を必要最小限に大きくすれば、推定誤差を
小さくすることが可能となる。つまり、振動の整数回の
総計時間Tpが短い場合には、該総計時間Tpを算出する
ときの振動回数を増やせば良い。
In this case, attention has been paid to the fact that the time interval between the local maximums and the local time between the local minimums is small. That is,
It is assumed that the above phenomenon occurs when the vibration time is an integral number of times, and the estimation error can be reduced by increasing the integral number to a necessary minimum. That is, when the total time Tp of the integral number of vibrations is short, the number of vibrations for calculating the total time Tp may be increased.

【0095】このようにして、第3の実施形態に係る仕
切線検出装置では、好適なサンプル回数Nvを求めるこ
とができるので、より一層高精度に、各パラメータB,
C,D,A,Hを推定することができる。
As described above, in the partition line detecting device according to the third embodiment, a suitable number of samples Nv can be obtained, so that each parameter B,
C, D, A, H can be estimated.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の各実施形態に係る仕切線認識装置の構
成図である。
FIG. 1 is a configuration diagram of a partition line recognition device according to each embodiment of the present invention.

【図2】本発明の第1の実施形態に係る仕切線認識装置
の処理手順を示すフローチャートである。
FIG. 2 is a flowchart illustrating a processing procedure of the partition line recognition device according to the first embodiment of the present invention.

【図3】ハフ変換を示す第1の説明図である。FIG. 3 is a first explanatory diagram showing a Hough transform.

【図4】ハフ変換を示す第2の説明図である。FIG. 4 is a second explanatory diagram showing the Hough transform.

【図5】本発明の第2の実施形態、及び第3の実施形態
係る仕切線認識装置の処理手順を示すフローチャートで
ある。
FIG. 5 is a flowchart illustrating a processing procedure of the partition line recognition device according to the second embodiment and the third embodiment of the present invention.

【図6】第2の実施形態に係るサンプル回数Nvを求め
る処理手順を示すフローチャートである。
FIG. 6 is a flowchart illustrating a processing procedure for obtaining a number of samples Nv according to the second embodiment.

【図7】第3の実施形態に係るサンプル回数Nvを求め
る処理手順を示すフローチャートである。
FIG. 7 is a flowchart illustrating a processing procedure for obtaining the number of times of sampling Nv according to the third embodiment.

【図8】従来における仕切線認識装置の処理手順を示す
フローチャートである。
FIG. 8 is a flowchart showing a processing procedure of a conventional partition line recognition device.

【図9】白線に沿って設定されるウインドウを示す説明
図である。
FIG. 9 is an explanatory diagram showing a window set along a white line.

【図10】白線候補点を示す説明図である、FIG. 10 is an explanatory diagram showing white line candidate points;

【図11】ハフ変換により得られる白線候補線を示す説
明図である。
FIG. 11 is an explanatory diagram showing white line candidate lines obtained by Hough transform.

【図12】白線候補線の代表点を示す説明図である。FIG. 12 is an explanatory diagram showing representative points of white line candidate lines.

【符号の説明】[Explanation of symbols]

1 仕切線認識装置 2 車両 3 CCDカメラ 4 プロセッサ DESCRIPTION OF SYMBOLS 1 Partition line recognition apparatus 2 Vehicle 3 CCD camera 4 Processor

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2F065 AA11 BB12 CC40 FF04 FF26 GG10 JJ03 JJ26 PP01 QQ01 QQ17 QQ18 QQ29 QQ51 UU05 5B057 AA16 BA11 CA13 CB12 CC03 CE15 CH01 DA07 DB03 DC08 DC32 5H180 AA01 CC04 CC24 LL01 LL02 LL04 5L096 BA02 BA18 CA14 DA01 FA03 FA33 FA67 FA69 FA76 GA17 ──────────────────────────────────────────────────続 き Continued on the front page F-term (reference) 2F065 AA11 BB12 CC40 FF04 FF26 GG10 JJ03 JJ26 PP01 QQ01 QQ17 QQ18 QQ29 QQ51 UU05 5B057 AA16 BA11 CA13 CB12 CC03 CE15 CH01 DA07 DB03 DC08 DC32 5H180 AA01 CC02 CC02 CC02 CC24 CE02 CA14 DA01 FA03 FA33 FA67 FA69 FA76 GA17

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 車両前方の道路映像を撮影する単眼の撮
影手段を有し、該撮影手段にて撮影された映像に基づ
き、離散時間的に、ヨー角相当のパラメータC、横変位
相当のパラメータA、曲率相当のパラメータB、ピッチ
角相当のパラメータD、及びカメラ高さ相当のパラメー
タHを推定し、推定された各パラメータに基づいて、前
記道路映像に含まれる仕切線を認識する道路の仕切線認
識装置において、 前記撮影手段にて撮影された映像から、仕切線の候補と
なる仕切線候補線を検出し、該仕切線候補線上にて設定
される代表点の画像座標を算出する手段と、 前記各代表点における仕切線候補線の傾きを求める手段
と、 前記各パラメータC、A、B、D、Hを含む第1の方程
式と、前記代表点の画像座標、及び前記仕切線候補線の
傾きに基づいて、パラメータBとHとの積Z(=B*
H)、及びパラメータC、Dを推定する手段と、 前記積Zの過去の値を保存する手段と、 前記積Zの過去の値を含む第2の方程式に基づいて、前
記パラメータBを求める手段と、 前記左側の仕切線候補線、或いは右側の仕切線候補線の
いずれか一方について、前記代表点を2以上選択し、各
代表点の画像座標、前記パラメータB、C、D、及び前
記パラメータC、A、B、D、Hを含む第3の方程式に
基づいて、パラメータA、Hを推定する手段と、を有
し、 前記求められたC、A、B、D、Hの推定値に基づい
て、前記道路映像に含まれる仕切線位置を求めることを
特徴とする道路の仕切線認識装置。
1. A monocular photographing means for photographing a road image in front of a vehicle, wherein a parameter C corresponding to a yaw angle and a parameter corresponding to a lateral displacement are discretely based on an image photographed by the photographing means. A, a parameter B corresponding to a curvature, a parameter D corresponding to a pitch angle, and a parameter H corresponding to a camera height, and a road partition for recognizing a partition line included in the road image based on the estimated parameters. In the line recognition device, from a video image captured by the image capturing unit, a partition line candidate line serving as a partition line candidate is detected, and image coordinate of a representative point set on the partition line candidate line is calculated. Means for determining the inclination of the partition line candidate line at each of the representative points; a first equation including each of the parameters C, A, B, D, and H; the image coordinates of the representative point; Based on the slope of Therefore, the product Z (= B *) of the parameters B and H
H) means for estimating parameters C and D; means for storing past values of the product Z; means for obtaining the parameter B based on a second equation including past values of the product Z And selecting one or more of the representative points for either the left partition line candidate line or the right partition line candidate line, and selecting the image coordinates of each representative point, the parameters B, C, D, and the parameter. Means for estimating parameters A, H based on a third equation including C, A, B, D, H, wherein the estimated values of C, A, B, D, H A partition line recognition device for a road, wherein a partition line position included in the road image is determined based on the road image.
【請求項2】 前記第1の方程式は、下記(1)式で示
されることを特徴とする請求項1に記載の道路の仕切線
認識装置。 【数1】 但し、fh、fvは実空間3次元座標を2次元画像座標に
透視変換する際の水平、垂直方向の定数、nは各代表点
の番号、n0は代表点の総数である。
2. The road partitioning line recognition device according to claim 1, wherein the first equation is expressed by the following equation (1). (Equation 1) Here, fh and fv are constants in the horizontal and vertical directions when the three-dimensional coordinates in the real space are perspective-transformed into two-dimensional image coordinates, n is the number of each representative point, and n0 is the total number of representative points.
【請求項3】 前記第2の方程式は、下記(2)式で示
されることを特徴とする請求項1または請求項2のいず
れかに記載の道路の仕切線認識装置。 【数2】 但し、Hsは車両標準状態で想定されるパラメータH、
Nvは積Zの過去の値の個数である。
3. The road partition line recognition device according to claim 1, wherein the second equation is expressed by the following equation (2). (Equation 2) Here, Hs is a parameter H assumed in a vehicle standard state,
Nv is the number of past values of the product Z.
【請求項4】 前記第3の方程式は、下記(3)式で示
されることを特徴とする請求項1〜請求項2のいずれか
1項に記載の道路の仕切線認識装置。 【数3】 但し、iは左白線で0、右白線で1、E0は、左右白線
の幅、nは各代表点に付した番号、nfは左右を合計し
た代表点の総数である。
4. The road partition line recognition device according to claim 1, wherein the third equation is expressed by the following equation (3). (Equation 3) Here, i is 0 for the left white line, 1 for the right white line, E0 is the width of the left and right white lines, n is the number assigned to each representative point, and nf is the total number of representative points obtained by summing the left and right.
【請求項5】 前記積Zの変化を監視し、整数回振動し
たときの総計時間Tpを算出する手段を有し、前記積Z
の過去の値の個数Nvを、下記(4)式で設定すること
を特徴とする請求項3または請求項4のいずれかに記載
の道路の仕切線認識装置。 Nv=Tp/Ts ・・・(4) 但し、Tsはサンプリング間隔である。
5. A monitor for monitoring a change in the product Z and calculating a total time Tp when the product Z vibrates an integer number of times.
The road partition line recognition device according to any one of claims 3 and 4, wherein the number Nv of past values is set by the following equation (4). Nv = Tp / Ts (4) where Ts is a sampling interval.
【請求項6】 前記積Zの極大値とその整数回前の極大
値の間隔となる時間、或いは、前記積Zの極小値とその
整数回前の極小値の間隔となる時間を、前記総計時間T
pとすることを特徴とする請求項5に記載の道路の仕切
線認識装置。
6. A time interval between a local maximum value of the product Z and a local maximum value thereof an integral number of times before, or a time interval between a local minimum value of the product Z and a local minimum value thereof an integral number of times before the total. Time T
The road partition line recognition device according to claim 5, wherein p is set to p.
【請求項7】 前記積Zが所定値となる時刻の整数回の
間隔となる時間を、前記総計時間Tpとすることを特徴
とする請求項5に記載の道路の仕切線認識装置。
7. The road partitioning line recognition device according to claim 5, wherein a period of time at which the product Z takes a predetermined value becomes an interval of an integer number of times is the total time Tp.
【請求項8】 前記積Zの所定値を、該積Zの現在値と
することを特徴とする請求項7に記載の道路の仕切線認
識装置。
8. The road partition line recognition device according to claim 7, wherein the predetermined value of the product Z is a current value of the product Z.
【請求項9】 前記総計時間Tpが短い場合には、該総
計時間Tpを算出するときの振動回数を増加させること
を特徴とする道路の仕切線認識装置。
9. An apparatus for recognizing a partition line for a road, wherein when the total time Tp is short, the number of vibrations for calculating the total time Tp is increased.
JP2001035745A 2001-02-13 2001-02-13 Road partition line recognizing device Pending JP2002236912A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001035745A JP2002236912A (en) 2001-02-13 2001-02-13 Road partition line recognizing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001035745A JP2002236912A (en) 2001-02-13 2001-02-13 Road partition line recognizing device

Publications (1)

Publication Number Publication Date
JP2002236912A true JP2002236912A (en) 2002-08-23

Family

ID=18899151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001035745A Pending JP2002236912A (en) 2001-02-13 2001-02-13 Road partition line recognizing device

Country Status (1)

Country Link
JP (1) JP2002236912A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236911A (en) * 2001-02-13 2002-08-23 Nissan Motor Co Ltd Road partition line recognizing device
JP2012185134A (en) * 2011-03-08 2012-09-27 Toyota Central R&D Labs Inc Course estimating device and program
JP2013117811A (en) * 2011-12-02 2013-06-13 Fujitsu Ltd Road shape estimation device and program
JP2014194361A (en) * 2013-03-28 2014-10-09 Fujitsu Ltd Movement distance estimation device, movement distance estimation method, and program
US9821824B2 (en) 2013-01-29 2017-11-21 Mitsubishi Heavy Industries, Ltd. Vehicle and track transportation system
WO2019234548A1 (en) * 2018-06-06 2019-12-12 株式会社半導体エネルギー研究所 Method for actuating display device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236911A (en) * 2001-02-13 2002-08-23 Nissan Motor Co Ltd Road partition line recognizing device
JP4696370B2 (en) * 2001-02-13 2011-06-08 日産自動車株式会社 Road divider recognition device
JP2012185134A (en) * 2011-03-08 2012-09-27 Toyota Central R&D Labs Inc Course estimating device and program
JP2013117811A (en) * 2011-12-02 2013-06-13 Fujitsu Ltd Road shape estimation device and program
US9821824B2 (en) 2013-01-29 2017-11-21 Mitsubishi Heavy Industries, Ltd. Vehicle and track transportation system
JP2014194361A (en) * 2013-03-28 2014-10-09 Fujitsu Ltd Movement distance estimation device, movement distance estimation method, and program
US9311757B2 (en) 2013-03-28 2016-04-12 Fujitsu Limited Movement distance estimating device and movement distance estimating method
WO2019234548A1 (en) * 2018-06-06 2019-12-12 株式会社半導体エネルギー研究所 Method for actuating display device
JPWO2019234548A1 (en) * 2018-06-06 2021-07-08 株式会社半導体エネルギー研究所 How to drive the display device
US11455940B2 (en) 2018-06-06 2022-09-27 Semiconductor Energy Laboratory Co., Ltd. Method for actuating display device
JP7446995B2 (en) 2018-06-06 2024-03-11 株式会社半導体エネルギー研究所 display device

Similar Documents

Publication Publication Date Title
US8406474B2 (en) Method and apparatus for identifying obstacle in image
US9536147B2 (en) Optical flow tracking method and apparatus
CN105335955B (en) Method for checking object and object test equipment
US7062071B2 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image using optical flow
US8897546B2 (en) Semi-global stereo correspondence processing with lossless image decomposition
US8587666B2 (en) Object detection from image profiles within sequences of acquired digital images
US8705894B2 (en) Image rotation from local motion estimates
US11138742B2 (en) Event-based feature tracking
JP4943034B2 (en) Stereo image processing device
US8094884B2 (en) Apparatus and method for detecting object
US9576204B2 (en) System and method for automatic calculation of scene geometry in crowded video scenes
WO2008020598A1 (en) Subject number detecting device and subject number detecting method
JP3979894B2 (en) Object detection apparatus and method
US8587665B2 (en) Fast rotation estimation of objects in sequences of acquired digital images
JPH07167649A (en) Distance measuring equipment
Rao et al. Real-time speed estimation of vehicles from uncalibrated view-independent traffic cameras
JP7145770B2 (en) Inter-Vehicle Distance Measuring Device, Error Model Generating Device, Learning Model Generating Device, Methods and Programs Therefor
JP2002236912A (en) Road partition line recognizing device
KR100994722B1 (en) Method for tracking moving object on multiple cameras using probabilistic camera hand-off
WO2023102102A1 (en) Systems and methods for temporal autocalibration in a camera system
JP4055785B2 (en) Moving object height detection method and apparatus, and object shape determination method and apparatus
JP3615909B2 (en) Moving object detection device
JP4696370B2 (en) Road divider recognition device
JP4555635B2 (en) Image processing apparatus and image processing method
CN115546876B (en) Pupil tracking method and device