JP2003252149A - Lane recognition image processing device, and program for performing the processing - Google Patents
Lane recognition image processing device, and program for performing the processingInfo
- Publication number
- JP2003252149A JP2003252149A JP2002056167A JP2002056167A JP2003252149A JP 2003252149 A JP2003252149 A JP 2003252149A JP 2002056167 A JP2002056167 A JP 2002056167A JP 2002056167 A JP2002056167 A JP 2002056167A JP 2003252149 A JP2003252149 A JP 2003252149A
- Authority
- JP
- Japan
- Prior art keywords
- lane marking
- point
- points
- lane
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、自動車の予防安
全を目的とした車線逸脱警報や運転者の負担軽減を目的
としたレーンキープ操舵アシストなど、車両制御のため
の道路に対する車両位置情報を提供する車線認識画像処
理装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention provides vehicle position information with respect to roads for vehicle control such as lane departure warning for the purpose of preventive safety of automobiles and lane keep steering assist for the purpose of reducing the burden on the driver. The present invention relates to a traffic lane recognition image processing device.
【０００２】[0002]
【従来の技術】従来の車線認識画像処理装置としては、
例えば、特開２０００−１０５８９８号公報や特開平１
１−２３２４６７号公報のように、左右レーンマーキン
グ間隔の増加、レーンマーキング幅の増加から分岐路を
判定する分岐判定手段を備えるものがある。2. Description of the Related Art As a conventional lane recognition image processing apparatus,
For example, JP 2000-105898 A and JP 1
Some Japanese Patent Application Laid-Open No. 1-232267 includes a branch determination unit that determines a branch road based on an increase in the left and right lane marking intervals and an increase in the lane marking width.
【０００３】また、特開２０００―５５６７７号公報の
ようなナビゲーション装置との連携により分岐情報を得
るものがある。Further, there is one that obtains branch information in cooperation with a navigation device as disclosed in Japanese Patent Laid-Open No. 2000-55677.
【０００４】また、特開平１１−２８１３５２号公報、
特開平６−２２５３０８号公報のように、車両挙動から
レーンマーキングの検出パラメータやレーンマーキング
探索ウィンドウ位置を設定する方法がある。Further, Japanese Patent Laid-Open No. 11-281352,
As disclosed in Japanese Patent Laid-Open No. 6-225308, there is a method of setting the lane marking detection parameter and the lane marking search window position from the vehicle behavior.
【０００５】また、特開平９−９１４４０号公報のよう
に所定のモデルデータと比較することにより、レーンマ
ーキング候補が複数存在する場合でも自車線のレーンマ
ーキングを正しく認識するというものがある。[0005] Further, as disclosed in Japanese Unexamined Patent Publication No. 9-91440, there is a method in which the lane marking of the own lane is correctly recognized even if there are a plurality of lane marking candidates by comparing with predetermined model data.
【０００６】[0006]
【発明が解決しようとする課題】左右レーンマーキング
間隔の広がりから分岐路を判定する場合は、ナビゲーシ
ョン装置の経路案内における自車位置同定には有効であ
るが、車両制御を目的としたリアルタイム画像処理であ
る車線認識においては、既に出口側レーンマーキングを
誤認識していることを示し、事前に誤認識を回避するに
は適さない。When determining a branch road from the spread of the left and right lane marking intervals, it is effective for identifying the position of the own vehicle in the route guidance of the navigation device, but real time image processing for the purpose of vehicle control. In the case of lane recognition, it indicates that the lane marking on the exit side has already been erroneously recognized, which is not suitable for avoiding erroneous recognition in advance.
【０００７】ナビゲーション装置から分岐情報を得る場
合は、車両にナビゲーション装置搭載が前提条件となる
うえ、自車位置同定において進行方向の誤差がなく、か
つ走行車線・追い越し車線いずれを走行中かを同定でき
なければ分岐情報を有効に活用することはできない。When obtaining the branch information from the navigation device, it is a prerequisite that the navigation device is installed in the vehicle, and there is no error in the traveling direction in identifying the position of the vehicle, and whether the vehicle is traveling or the passing lane is identified. If this is not possible, the branch information cannot be used effectively.
【０００８】分岐路形状の記憶データと比較することに
より分岐路であることを判定する場合は、事前に分岐路
の存在を知ることができるが、画像処理装置内にモデル
データ格納用の大容量のメモリを搭載する必要があり、
またデータ比較のために膨大な処理時間を必要とするた
め、ハードウェア・ソフトウェア負荷が非常に大きくな
る。When it is determined that a branch is a branch by comparing it with stored data of the shape of the branch, it is possible to know the existence of the branch in advance, but a large capacity for storing model data in the image processing apparatus. Memory must be installed,
In addition, since a huge amount of processing time is required for data comparison, the hardware / software load becomes very large.
【０００９】レーンマーキング数学的モデル式係数その
ものに対して時間的な低周波数域フィルタ処理を施す
と、車線認識結果にフィルタ時定数分の位相遅れが生
じ、車両制御を行うためのリアルタイム性が崩れる。When the low-frequency band filtering is applied to the lane marking mathematical model coefficient itself, a phase delay corresponding to the filter time constant occurs in the lane recognition result, and the real-time property for vehicle control is lost. .
【００１０】レーンマーキング探索ウィンドウに対して
時間的な低周波数域フィルタ処理を施すと、車線認識結
果の位相遅れは防ぐことができるが、車両の急な横移動
時にはレーンマーキングが探索ウィンドウ外になり検出
できなくなるため、急変時にはフィルタ処理をキャンセ
ルするという例外的処理を追加しなければならない。か
つ例外処理実施の判定には、左右いずれかのレーンマー
キングの横位置の動きを常にモニタする必要があり、し
たがってフィルタ処理を施すレーンマーキングは左右い
ずれかに限定される。When the lane marking search window is subjected to temporal low frequency band filter processing, a phase delay of the lane recognition result can be prevented, but the lane marking is out of the search window when the vehicle moves suddenly laterally. Since it cannot be detected, it is necessary to add an exceptional process of canceling the filtering process when there is a sudden change. In addition, it is necessary to constantly monitor the movement of the lateral position of either the left or right lane marking to determine whether to perform the exceptional processing, and therefore, the lane marking to be filtered is limited to either the left or the right.
【００１１】数学的モデル式算出において、候補点集合
に誤検出点が混在すると、得られるモデル式の信頼性が
著しく低下する。特に、分岐路出口では出口側レーンマ
ーキングを誤検出すると、車両が進むにつれて、本来、
誤りである出口側レーンマーキング上の検出点数の割合
が増し、本線側レーンマーキングを見失うという悪循環
に陥る。In the calculation of the mathematical model formula, if the false detection points are mixed in the candidate point set, the reliability of the obtained model formula is remarkably reduced. In particular, if the exit side lane marking is erroneously detected at the exit of the branch road, as the vehicle advances, originally,
The ratio of the number of detection points on the exit side lane marking, which is incorrect, increases, causing a vicious circle of losing sight of the lane marking on the main line side.
【００１２】この発明は、レーンマーキング候補点を候
補点同士の傾き比較により取捨選択するという平易なア
ルゴリズムでソフトウェア的に処理し、分岐路通過時に
おいて、ナビゲーション装置などの他のインフラ情報の
助けを必要とせずに、本線側のレーンマーキングを正し
く認識しようとする車線認識画像処理装置及びその処理
を実行させるためのプログラムを得ることを目的とす
る。According to the present invention, the lane marking candidate points are processed by software by a simple algorithm of selecting the candidate points by comparing the inclinations of the candidate points with each other and assisting other infrastructure information such as a navigation device when passing through a branch road. An object of the present invention is to obtain a lane recognition image processing device that attempts to correctly recognize the lane marking on the main line side without requiring it, and a program for executing the processing.
【００１３】[0013]
【課題を解決するための手段】この発明に係わる車線認
識画像処理装置は、前方を撮影する撮影手段と、この撮
影手段により得られた画像を一時記憶する画像記憶手段
と、この画像記憶手段より読み出した画像に対してレー
ンマーキング探索範囲を設定するレーンマーキング探索
ウィンドウ設定手段と、このレーンマーキング探索ウィ
ンドウ内よりレーンマーキング候補点を検出するレーン
マーキング候補点抽出手段と、このレーンマーキング候
補点抽出手段により選択されたレーンマーキング候補点
の集合を数学的モデル式により近似してレーンマーキン
グ数学的モデル式を推定する車線認識手段を備え、上記
レーンマーキング候補点抽出手段は、これにより抽出さ
れたレーンマーキング候補点を候補点同士の傾き比較に
より取捨選択するレーンマーキング候補点選択手段を備
えるものである。A lane recognition image processing apparatus according to the present invention includes a photographing means for photographing the front, an image storing means for temporarily storing an image obtained by this photographing means, and an image storing means for storing the image. Lane marking search window setting means for setting a lane marking search range for the read image, lane marking candidate point extracting means for detecting lane marking candidate points from within the lane marking search window, and this lane marking candidate point extracting means The lane marking candidate point extraction means is provided with lane recognition means for approximating a set of lane marking candidate points selected by to a lane marking mathematical model expression to estimate the lane marking mathematical model expression. Select candidate points by comparing the inclination of candidate points Those comprising over emissions marking candidate point selecting means.
【００１４】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きが同符号と
なる場合は選択対象の端点を有効とし、異符号となる場
合は選択対象の端点を無効にする処理を行うものであ
る。Further, the lane marking candidate point selecting means is located adjacent to the lane marking candidate points which have already become valid in the orthogonal coordinate system having the horizontal line as one axis.
Adjacent to two points and a total of three points with one point that determines whether or not to select from this as the end point (that is, the selection target)
The inclination of the straight line connecting the points is obtained, and if the inclinations have the same sign, the end points to be selected are validated, and if the inclinations are different, the end points to be selected are invalidated.
【００１５】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うものである。Further, the lane marking candidate point selecting means adjoins an already valid adjacent lane marking candidate point in an orthogonal coordinate system having a horizontal line as one axis.
Adjacent to two points and a total of three points with one point that determines whether or not to select from this as the end point (that is, the selection target)
The inclinations of the straight lines connecting the points are obtained, and when the absolute value of one of the inclinations is less than or equal to a predetermined threshold value, the inclinations are treated as the same sign.
【００１６】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、最
初の1点と消失点を結ぶ直線の傾きと最初の点とこれか
ら選択するか否かを決定する１点（すなわち選択対象）
を結ぶ直線の傾きを求め、これらの傾きが同符号となる
場合は選択対象の１点を有効とし、異符号となる場合は
選択対象の１点を無効にする処理を行うものである。Further, the lane marking candidate point selecting means determines the inclination of the straight line connecting the first point and the vanishing point, the first point and whether or not to select from this in the orthogonal coordinate system having the horizontal line as one axis. One point to decide (that is, selection target)
The inclinations of the straight lines connecting the lines are obtained, and if the inclinations have the same sign, one point to be selected is validated, and if the inclinations are different, one point to be selected is invalidated.
【００１７】また、上記レーンマーキング候補点選択手
段を、左又は右レーンマーキングが特定の種類の場合に
動作させるようにしたものである。さらにまた、上記レ
ーンマーキング候補点選択手段を、ウィンカ・スイッチ
がオフの場合に動作させるようにしたものである。The lane marking candidate point selecting means is operated when the left or right lane marking is of a specific type. Furthermore, the lane marking candidate point selecting means is operated when the winker switch is off.
【００１８】また、この発明に係わる車線認識画像処理
を実行させるためのプログラムは、前方を撮影する撮影
手段により得られた画像を一時記憶し、記憶された画像
を読み出してレーンマーキング探索範囲を設定し、レー
ンマーキング探索ウィンドウ内よりレーンマーキング候
補点を検出し、検出したレーンマーキング候補点を候補
点同士の傾き比較により取捨選択し、選択されたレーン
マーキング候補点の集合を数学的モデル式により近似し
てレーンマーキング数学的モデル式を推定するようにし
たものである。The program for executing the lane recognition image processing according to the present invention temporarily stores the image obtained by the photographing means for photographing the front, and reads the stored image to set the lane marking search range. Then, the lane marking candidate points are detected from within the lane marking search window, the detected lane marking candidate points are sorted by comparing the inclinations of the candidate points, and the set of selected lane marking candidate points is approximated by a mathematical model formula. Then, the lane marking mathematical model formula is estimated.
【００１９】また、水平線を１つの軸とする直交座標系
において、レーンマーキング候補点のうち既に有効とな
った隣接する2点と、これから選択するか否かを決定す
る１点を端点（すなわち選択対象）とする計3点を対象
に、隣接する2点間を結ぶ直線の傾きを求め、これらの
傾きが同符号となる場合は選択対象の端点を有効とし、
異符号となる場合は選択対象の端点を無効にする処理を
行うようにしたものである。Also, in an orthogonal coordinate system having a horizontal line as one axis, two adjacent lane marking candidate points that have already become valid and one point that determines whether or not to select from these are the end points (that is, the selected points). Target), the slope of the straight line connecting the two adjacent points is calculated for a total of 3 points, and if these slopes have the same sign, the end point of the selection target is validated,
In the case of a different sign, processing for invalidating the end point of the selection target is performed.
【００２０】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うものである。さらに
また、水平線を１つの軸とする直交座標系において、最
初の1点と消失点を結ぶ直線の傾きと最初の点とこれか
ら選択するか否かを決定する１点（すなわち選択対象）
を結ぶ直線の傾きを求め、これらの傾きが同符号となる
場合は選択対象の１点を有効とし、異符号となる場合は
選択対象の１点を無効にする処理を行うようにしたもの
である。Further, the lane marking candidate point selecting means is located adjacent to the lane marking candidate points which have already become valid in the orthogonal coordinate system having the horizontal line as one axis.
Adjacent to two points and a total of three points with one point that determines whether or not to select from this as the end point (that is, the selection target)
The inclinations of the straight lines connecting the points are obtained, and when the absolute value of one of the inclinations is less than or equal to a predetermined threshold value, the inclinations are treated as the same sign. Furthermore, in an orthogonal coordinate system with a horizontal line as one axis, the slope of the straight line connecting the first point and the vanishing point, and the first point and the one point that determines whether or not to select from it (that is, the selection target)
The slopes of the straight lines connecting the two are obtained, and if the slopes have the same sign, one point to be selected is validated, and if the slopes have different signs, the one point to be selected is invalidated. is there.
【００２１】[0021]
【発明の実施の形態】実施の形態１．以下、この発明の
実施の形態を図面とともに説明する。図中同一符号は同
一または相当する部分を示す。なお、この発明と関連す
る発明は、平成１３年４月１２日付けで出願した特願２
００１−１１４４８８号明細書「車線認識のための画像
処理装置並びに画像処理法」に記載されている。図１
は、この発明の実施の形態１の車線認識画像処理装置の
構成を示すブロック図である。図２は、実施の形態１の
車線認識画像処理装置の処理フローを示すフローチャー
トである。BEST MODE FOR CARRYING OUT THE INVENTION Embodiment 1. Embodiments of the present invention will be described below with reference to the drawings. In the drawings, the same reference numerals indicate the same or corresponding parts. The invention related to this invention is disclosed in Japanese Patent Application No. 2 filed on April 12, 2001.
No. 001-114488 "Image processing apparatus and image processing method for lane recognition". Figure 1
FIG. 1 is a block diagram showing a configuration of a lane recognition image processing device according to a first embodiment of the present invention. FIG. 2 is a flowchart showing a processing flow of the lane recognition image processing apparatus according to the first embodiment.
【００２２】撮像手段である車載カメラ１が車両の前部
に設置され、車両前方の路面を撮影する。得られた画像
は画像処理ＥＣＵ（Electronic Control Unit）２に入
力され画像処理される。画像処理ＥＣＵ２からの信号
は，メインＥＣＵ３に入力され、画像記憶手段４に一時
的に記憶される。一方、進行方向検出器としてのウイン
カ・スイッチ５からターンシグナルがメインＥＣＵ３に
入力される。メインＥＣＵ３は画像記憶手段４より読み
出した画像に対して、レーンマーキング探索ウィンドウ
設定手段６でレーンマーキング探索範囲を探索ウインド
ウとして設定する。このレーンマーキング探索ウィンド
ウ内よりレーンマーキング候補点抽出手段７でレーンマ
ーキング候補点を検出する。検出したレーンマーキング
候補点をレーンマーキング候補点選択手段８で、候補点
同士の傾き比較により取捨選択する。選択されたレーン
マーキング候補点の集合を車線認識手段９で、数学的モ
デル式により近似してレーンマーキング数学的モデル式
を推定する。これを車線認識結果出力部１０に出力し、
舵角指示などに利用する。An in-vehicle camera 1 as an image pickup means is installed in the front part of the vehicle and photographs the road surface in front of the vehicle. The obtained image is input to an image processing ECU (Electronic Control Unit) 2 and subjected to image processing. A signal from the image processing ECU 2 is input to the main ECU 3 and temporarily stored in the image storage means 4. On the other hand, a turn signal is input to the main ECU 3 from the blinker switch 5 as a traveling direction detector. The main ECU 3 sets the lane marking search range as a search window in the lane marking search window setting means 6 for the image read from the image storage means 4. The lane marking candidate point extracting means 7 detects the lane marking candidate points from the lane marking search window. The detected lane marking candidate points are selected by the lane marking candidate point selecting means 8 by comparing the inclinations of the candidate points. The lane recognition means 9 approximates the selected set of lane marking candidate points by a mathematical model formula to estimate the lane marking mathematical model formula. This is output to the lane recognition result output unit 10,
It is used to indicate the steering angle.
【００２３】図２のフローチャートについて説明する。
この種の前述した従来例の車線画像処理装置と基本部分
のハードウェア構成は共通であるが、ステップＳ４’の
レーンマーキング候補点選択において、レーンマーキン
グ候補点を取捨選択する部分が大きく異なる。The flowchart of FIG. 2 will be described.
This type of lane image processing apparatus of the above-described conventional example has a common hardware configuration, but in the lane marking candidate point selection in step S4 ′, the portion for selecting lane marking candidate points is significantly different.
【００２４】ステップＳ１において、図３に示すよう
に、車両１２に取り付けたカメラ１により車両前方を撮
影する。得られた画像は図４に示すように、自車線の左
右レーンマーキング１３，１４が水平画角内に収まって
いるものとする。ステップＳ２において、図４に示すよ
うな画像を画像記憶手段（画像メモリ）４に取り込む。
ステップＳ３において、レーンマーキング候補点１５，
１６を探索する水平方向走査範囲を、図５に示すレーン
マーキング探索ウィンドウ１９,２０（破線で囲んだ部
分）により設定する。In step S1, the front of the vehicle is photographed by the camera 1 attached to the vehicle 12, as shown in FIG. In the obtained image, as shown in FIG. 4, it is assumed that the left and right lane markings 13 and 14 of the own lane are within the horizontal angle of view. In step S2, an image as shown in FIG. 4 is loaded into the image storage means (image memory) 4.
In step S3, the lane marking candidate points 15,
The horizontal scanning range for searching 16 is set by the lane marking search windows 19 and 20 (portion surrounded by broken lines) shown in FIG.
【００２５】ステップＳ４において、図５に示す所定の
垂直方向位置Ｖのライン２５を、レーンマーキング探索
ウィンドウ１９，２０内で、水平Ｈ方向に走査し、画像
メモリ４より読み出した輝度分布を基に、○で表すレー
ンマーキング候補点１５，１６を検出する。このＨ方向
走査線であるレーンマーキング探索ライン２５は、左右
共通のV座標で、 Ｖn ｎ＝０，１，----，Ｎ−１のN
本設定する。ステップＳ４’において、ステップＳ４で
得られたレーンマーキング候補点１５，１６の取捨選択
を行う。図６に示す左側分岐を例に、本線側レーンマー
キング２１に対して出口側レーンマーキング２２上の候
補点２４を除去する手順について説明する。図６に示す
ように、候補点同士の傾きとは、水平座標／垂直座標＝
△Ｈ／△Ｖを指す。この傾きを手前から比較し、同符号
ならば候補点有効、異符号ならば無効とする。In step S4, the line 25 at the predetermined vertical position V shown in FIG. 5 is scanned in the horizontal H direction within the lane marking search windows 19 and 20, and based on the luminance distribution read from the image memory 4. , Lane marking candidate points 15 and 16 represented by circles are detected. The lane marking search line 25, which is a scanning line in the H direction, has V coordinates common to the left and right, and V n n = 0,1, ----, N-1 N
Set this. In step S4 ', the lane marking candidate points 15 and 16 obtained in step S4 are selected. A procedure for removing the candidate point 24 on the exit side lane marking 22 from the main line side lane marking 21 will be described by taking the left branch shown in FIG. 6 as an example. As shown in FIG. 6, the inclination between the candidate points means the horizontal coordinate / vertical coordinate =
Indicates ΔH / ΔV. This inclination is compared from the front, and if the same code is used, the candidate point is valid, and if it is a different code, it is invalid.
【００２６】以下、図６のステップＳ-０，---，Ｓ-８
について説明する。ｎはレーンマーキング探索ラインＮ
ｏ．を指す。ただし、便宜上、すべてのレーンマーキン
グ探索ライン上にレーンマーキング候補点が存在するも
のとして説明するが、実際は間欠白線の場合など候補点
が存在しない探索ラインＮｏ．は以下の処理では欠番と
なる。ステップＳ-０では，図７（ａ）（ｂ）に示すよ
うに、候補点ｎ＝０と消失点との傾き（０，ｆ0e）と候
補点ｎ＝０，１の傾きを算出する。なお、この発明で
消失点とは画像上の走行車線の先端で消失する点をい
う。処理上では、近傍の候補点、例えば、ｎ<８までの
候補点に対して左右それぞれ直線近似し、得られた左右
の近似直線の交点を消失点とする。傾き（０，ｆ0e）と
傾きの符号を比較する。同符号のため、候補点ｎ＝１
は有効とする。Hereinafter, steps S-0, ---, S-8 in FIG. 6 will be described.
Will be described. n is a lane marking search line N
o. Refers to. However, for the sake of convenience, the description will be made assuming that lane marking candidate points exist on all lane marking search lines, but in reality, search line numbers having no candidate points such as intermittent white lines do not exist. Is a missing number in the following process. In step S-0, as shown in FIGS. 7A and 7B, the slope (0, f 0e ) between the candidate point n = 0 and the vanishing point and the slope between the candidate point n = 0 and 1 are calculated. In the present invention, the vanishing point means a vanishing point at the tip of the driving lane on the image. In the process, the candidate points in the vicinity, for example, the candidate points up to n <8 are linearly approximated to the left and right respectively, and the intersection points of the obtained left and right approximated straight lines are set as vanishing points. The slope (0, f 0e ) and the sign of the slope are compared. Because of the same sign, candidate point n = 1
Is valid.
【００２７】ステップＳ-１では、候補点ｎ＝１，２か
ら、候補点同士の傾きを算出する。ステップＳ-２で
は、傾きと傾きの符号を比較する。同符号のため、
候補点ｎ＝２は有効とする。ステップＳ-３では、候補
点ｎ＝２，３から、傾きを算出する。ステップＳ-４
では、傾きと傾きの符号を比較する。異符号のた
め、候補点ｎ＝３は無効とする。
ステップＳ-５では、候補点ｎ＝３が無効となったた
め、候補点ｎ＝２，４から、傾きを算出する。ステッ
プＳ-６では、傾きと傾きの符号を比較する。異符号
のため、候補点ｎ＝４は無効とする。
ステップＳ-７では、候補点ｎ＝４が無効となったた
め、候補点ｎ＝２，５から、傾きを算出する。ステッ
プＳ-８では、傾きと傾きの符号を比較する。同符号
のため、候補点ｎ＝５は有効とする。In step S-1, the inclination between candidate points is calculated from the candidate points n = 1, 2. In step S-2, the inclination and the sign of the inclination are compared. Because of the same sign,
Candidate point n = 2 is valid. In step S-3, the inclination is calculated from the candidate points n = 2 and 3. Step S-4
Then, the slope and the sign of the slope are compared. Because of the different sign, the candidate point n = 3 is invalid. In step S-5, since the candidate point n = 3 is invalid, the slope is calculated from the candidate points n = 2 and 4. In step S-6, the slope and the sign of the slope are compared. Because of the different sign, the candidate point n = 4 is invalid. In step S-7, since the candidate point n = 4 is invalid, the slope is calculated from the candidate points n = 2 and 5. In step S-8, the slope and the sign of the slope are compared. Because of the same sign, candidate point n = 5 is valid.
【００２８】このように、着目点ｎに対して最も近くで
有効となった候補点ｎ−ｉ（ｉ＜ｎ）との傾き（ｎ−
ｉ，ｎ）を算出し、候補点ｎ−ｉに対して最も近くで有
効となった候補点ｎ−ｉ―ｊ（ｉ＋ｊ＜ｎ）との傾き
（ｎ−ｉ―ｊ，ｎ−ｉ）と符号比較し、図８に示すよう
に、同符号ならば着目点ｎは有効、異符号ならば着目点
ｎは無効という手順を繰り返すことにより、図９に示す
ように、出口側レーンマーキング２２上の候補点群２４
を除去し、本線側レーンマーキング２１上の候補点群２
３のみを選択する。In this way, the slope (n−) with the candidate point n−i (i <n) which is the closest to the point of interest n and becomes valid.
i, n), and the gradient (n−i−j, n−i) with the candidate point n−i−j (i + j <n) that is the closest and valid to the candidate point n−i. By comparing the signs, as shown in FIG. 8, if the same sign is given, the point of interest n is valid, and if the sign is different, the point of interest n is invalid, and as a result, as shown in FIG. Candidate point group 24
Is removed, and the candidate point group 2 on the lane marking 21 on the main line side is removed.
Select only 3.
【００２９】ステップＳ-０，---，Ｓ-８における傾き
の符号判定において、傾きの積により同符号、異符号を
判定する。すなわち傾きの積が正ならば同符号、負なら
ば異符号とする。ただし、傾きの積０は同符号に含める
ものとする。なお、傾きの絶対値が所定の閾値以下なら
ば０とする。この閾値は、検出対象道路において分岐路
出口を除いて存在する最小曲率半径のカーブの候補点群
を用いて求められる傾きのうち、少なくとも1つが０と
判定されるように選べばよい。In the determination of the sign of the slope in steps S-0, ---, S-8, the same sign or different sign is determined by the product of the slopes. That is, if the product of the slopes is positive, the sign is the same, and if the product is negative, the sign is different. However, the product 0 of the slopes is included in the same sign. In addition, if the absolute value of the inclination is equal to or less than a predetermined threshold value, it is set to 0. This threshold may be selected so that at least one of the slopes obtained by using the candidate point group of the curve having the minimum radius of curvature existing on the detection target road excluding the branch road exit is determined to be 0.
【００３０】ステップＳ５において、Ｓ４’で選択され
たレーンマーキング候補点１５，１６の集合を基に、数
学的モデル式、例えば２次式で近似すると、図１０に示
すように、車線を表すレーンマーキング数学的モデル式
１７，１８が得られる。Ｓ６において、レーンマーキン
グ数学的モデル式係数を車線認識結果として車両制御装
置へ例えば舵角指示として、送信出力する。In step S5, if a mathematical model equation, for example, a quadratic equation, is used for approximation based on the set of lane marking candidate points 15 and 16 selected in S4 ', the lane representing a lane as shown in FIG. The marking mathematical model equations 17, 18 are obtained. In S6, the lane marking mathematical model equation coefficient is transmitted and output to the vehicle control device as a lane recognition result, for example, as a steering angle instruction.
【００３１】ステップＳ３のレーンマーキング探索ウィ
ンドウにおいては、前回の処理周期ステップＳ１〜Ｓ６
のステップＳ５のレーンマーキング数学的モデル式推定
で得られたレーンマーキング数学的モデル式を基準に、
レーンマーキング探索ウィンドウを設定する。前回の処
理周期において、レーンマーキング数学的モデル式が得
られなかった場合、すなわちレーンマーキング未検出の
場合は別途、広範囲なレーンマーキング探索ウィンドウ
を設定するものとする。In the lane marking search window of step S3, the previous processing cycle steps S1 to S6 are performed.
Based on the lane marking mathematical model formula obtained in the step S5 lane marking mathematical model formula estimation,
Set the lane marking search window. In the previous processing cycle, when the lane marking mathematical model formula is not obtained, that is, when the lane marking is not detected, a wide range lane marking search window is set separately.
【００３２】実施の形態２．実施の形態２は、実施の形
態１記載の車線認識画像処理装置のレーンマーキング候
補点選択処理に対する実施条件として、レーンマーキン
グ種類条件を付加したものである。レーンマーキング候
補点選択処理は、例えば、分岐直前のレーンマーキング
種類が「実線」であることに着目し、レーンマーキング
種類が「実線」である場合のみ実施とする。Embodiment 2. In the second embodiment, a lane marking type condition is added as an implementation condition for the lane marking candidate point selection process of the lane recognition image processing apparatus described in the first embodiment. For example, the lane marking candidate point selection process is performed only when the lane marking type immediately before branching is “solid line” and only when the lane marking type is “solid line”.
【００３３】レーンマーキング種類判定は、時間的な候
補点検出点数の平均値により行う。図１１に示すよう
に、左レーンマーキング種類が「実線」、右レーンマー
キング種類が「間欠白線」となる場合は、候補点数平均
値において明確な差が現れる。例えば、「実線」では９
０％以上、「間欠白線」では４０％以下となる。レーン
マーキング候補点選択処理実施において、レーンマーキ
ング種類を限定することにより、図１２のような導流レ
ーンなど特殊レーンマーキング時に、本処理が実行され
て車線認識が不安定になることを防ぐことができる。ま
た、レーンマーキング候補点選択処理実施において、レ
ーンマーキング種類を限定することにより、分岐の無い
区間を走行中の処理時間、あるいは左右いずれか分岐の
無い側の処理時間を削減できる。The lane marking type determination is performed by the average value of the candidate point detection points over time. As shown in FIG. 11, when the left lane marking type is “solid line” and the right lane marking type is “intermittent white line”, a clear difference appears in the average value of the candidate points. For example, "solid line" is 9
It is 0% or more and 40% or less in the "intermittent white line". By limiting the types of lane markings in the lane marking candidate point selection processing, it is possible to prevent the lane recognition from becoming unstable due to the execution of this processing at the time of special lane marking such as a guide lane as shown in FIG. it can. Further, by limiting the types of lane markings in the lane marking candidate point selection processing, it is possible to reduce the processing time during traveling in a section without a branch, or the processing time on the left or right side without a branch.
【００３４】実施の形態３．実施の形態３では、実施の
形態１の車線認識画像処理装置のレーンマーキング候補
点選択処理の実施条件として、ウィンカ・スイッチ５の
ターンシグナルの条件を付加したものである。図２のフ
ローチャートに対し、図１３のフローチャートに示すよ
うに、ステップＳ４”においてウィンカ・スイッチ５の
ターンシグナルのＯＮ／ＯＦＦを判定し、ウィンカ・ス
イッチ５のターンシグナルのＯＦＦの場合のみステップ
Ｓ４’のレーンマーキング候補点選択処理を実施する。Embodiment 3. In the third embodiment, the condition of the turn signal of the winker switch 5 is added as the execution condition of the lane marking candidate point selection process of the lane recognition image processing device of the first embodiment. In contrast to the flowchart of FIG. 2, as shown in the flowchart of FIG. 13, it is determined in step S4 ″ whether the turn signal of the winker switch 5 is ON / OFF, and only when the turn signal of the winker switch 5 is OFF, step S4 ′. The lane marking candidate point selection process is performed.
【００３５】ウィンカ・スイッチ５のターンシグナルの
ＯＮ操作時に、レーンマーキング候補点選択処理をキャ
ンセルとすることで、図１４のように実際に自車が出口
側レーンに向かう場合、自車線のレーンマーキング候補
点を除去することなく、速やかに出口側レーンマーキン
グに移行できるものである。By canceling the lane marking candidate point selection process when the turn signal of the winker switch 5 is turned on, when the vehicle is actually heading to the exit lane as shown in FIG. 14, the lane marking of the vehicle lane is performed. It is possible to move to the exit side lane marking promptly without removing the candidate points.
【００３６】図１４（ａ）において、出口へ向かうため
にウィンカ・スイッチがＯＮとなっていれば、レーンマ
ーキング候補点選択処理が実施されないため、出口側レ
ーンマーキング上の候補点はそのまま維持される。図１
４（ｂ）において、前回の数学的モデル式を基準に次の
探索基準位置を設定するため、本線側レーンマーキング
は探索範囲外となり、出口側レーンマーキング上に候補
点が検出される。図１４（ｃ）において、本線側レーン
マーキング候補点はなくなり、出口側レーンマーキング
候補点のみとなる。図１４（ｄ）において、車両はほぼ
出口側レーンに移っており、左側レーンマーキングの認
識対象移行は完了している。右側レーンマーキングの移
行は左側レーンマーキング位置から車線幅分右へオフセ
ットした位置を探索基準位置とすることで行う。このよ
うに、実際に出口側レーンに向かう場合でもウィンカ・
スイッチ５のモニタにより速やかに出口側レーンマーキ
ングに移行することができる。In FIG. 14 (a), if the winker switch is ON for heading to the exit, the candidate point on the exit side lane marking is maintained as it is because the lane marking candidate point selection processing is not executed. . Figure 1
In 4 (b), since the next search reference position is set on the basis of the previous mathematical model formula, the main line side lane marking is outside the search range, and the candidate point is detected on the exit side lane marking. In FIG. 14C, there are no main line side lane marking candidate points, and only exit side lane marking candidate points. In FIG. 14D, the vehicle has almost moved to the exit lane, and the transfer of the recognition target of the left lane marking has been completed. The transition of the right lane marking is performed by setting the position offset to the right by the lane width from the left lane marking position as the search reference position. In this way, even when actually going to the exit side lane, the winker
By monitoring the switch 5, it is possible to quickly shift to the exit side lane marking.
【００３７】実施の形態４．レーンマーキング候補点を
候補点同士の傾き比較により取捨選択し、分岐路判定を
行わないため、分岐路に限定されない。このため、図１
５に示すようにレーンマーキング以外の誤検出された候
補点除去に対しても有効である。これにより、レーンマ
ーキング数学的モデル式の信頼性をさらに高めることが
できる。Fourth Embodiment The lane marking candidate points are not limited to the branch roads because the candidate roads are selected and sorted by comparing the inclinations of the candidate points and the branch roads are not determined. For this reason,
As shown in FIG. 5, it is also effective for removing erroneously detected candidate points other than lane marking. This can further increase the reliability of the lane marking mathematical model formula.
【００３８】実施の形態５．傾きの符号比較により候補
点の有効／無効を判定するため、分岐路出口以外の、極
点で傾きが符号反転するカーブに対しては、本線側レー
ンマーキング候補点が除去されることはない。この原理
について、以下、図１５，１６により説明する。図１６
において、傾きと傾きは値が０となっている。これ
は、画素単位で同一Ｈ座標となって傾き０の場合と、実
施の形態１で述べた所定の閾値以下で０となった場合を
含む。このように、分岐路とは異なり、２次曲線で近似
できるカーブでは滑らかに形状が変化するため、傾き０
となる極点２６が存在する。この極点により、傾きの積
による符号判定において、積が０すなわち「異符号では
ない」となり、同符号扱いで、候補点は有効となる。よ
って、傾きからに係る候補点は有効となる。このよ
うに、通常のカーブでは候補点選択処理により、本線上
のレーンマーキング候補点は無効とならない。Embodiment 5. Since the validity / invalidity of the candidate points is determined by comparing the signs of the slopes, the main-lane side lane marking candidate points are not removed from curves other than the exit of the branch road where the slopes of the polarities are reversed. This principle will be described below with reference to FIGS. FIG.
In, the values of the slope and the slope are 0. This includes the case where the same H coordinate is obtained for each pixel and the inclination is 0, and the case where the inclination is 0 at the predetermined threshold value or less described in the first embodiment. In this way, unlike a branch road, a curve that can be approximated by a quadratic curve smoothly changes its shape, so
There is a pole point 26 where With this pole point, the product is 0, that is, "not a different sign", in the code determination based on the product of the slopes, and the candidate points are valid with the same sign. Therefore, the candidate points related to the inclination are effective. As described above, the lane marking candidate points on the main line are not invalidated by the candidate point selection processing in the normal curve.
【００３９】図１５は、Ｈ軸を縦軸にＶ軸を横軸にとっ
て、左カーブでの候補点の位置関係を表したものであ
る。レーンマーキング探索ラインｎ＝０，１，２，---
の順に傾きの符号判定を行い、候補点を逐次、取捨選択
していく。ｎ＝４の候補点は傾き異符号となるため、除
去される。続いてｎ＝８においてＨは極大値をとる。こ
のように、カーブでは滑らかに形状が変化するため、傾
き０となる極点２６が存在する。極点２６の前後で傾き
の符号は反転するが、傾きの符号判定において傾きの積
０を同符号と同じ扱いとしているため、ｎ＝９，１０，
１１の候補点は無効とならない。FIG. 15 shows the positional relationship of the candidate points on the left curve with the H axis as the vertical axis and the V axis as the horizontal axis. Lane marking search line n = 0, 1, 2, ---
The sign of the slope is determined in this order, and candidate points are sequentially selected. The candidate points of n = 4 have different slopes and are therefore eliminated. Then, at n = 8, H takes a maximum value. In this way, since the shape of the curve changes smoothly, there is a pole point 26 having a slope of 0. The sign of the slope is inverted before and after the pole 26, but since the product 0 of the slope is treated the same as the same sign in the sign determination of the slope, n = 9, 10,
Eleven candidate points are not invalidated.
【００４０】実施の形態６．レーンマーキング候補点を
候補点同士の傾き比較により取捨選択するが、最初の基
準となる傾きは、消失点との傾きを用いるため、図１７
に示すように、逆に出口側レーンマーキング候補点を選
択してしまうことを予め回避することができる。図１７
について説明する。ただし、便宜上、手前から順に候補
点選択を行うものとして説明する。Sixth Embodiment The lane marking candidate points are selected by comparing the inclinations of the candidate points with each other. However, since the inclination as the first reference is the inclination with the vanishing point, FIG.
As shown in, it is possible to avoid selecting the exit side lane marking candidate point in advance. FIG. 17
Will be described. However, for convenience, it is assumed that candidate points are selected in order from the front.
【００４１】最近傍であるレーンマーキング探索ライン
ｎ＝０および次のｎ＝１において、出口側レーンマーキ
ング候補点が検出されると、傾きは出口側を指す方向
にセットされる。次に、傾きと傾きの比較では異符
号となるため、候補点ｎ＝２は除去される。手前から遠
方に向かって、レーンマーキング候補点選択処理を繰り
返すと、傾きが出口側を指す限り本線側レーンマーキ
ング候補点群２３（ｎ＝２，---，６）が除去され、出
口側レーンマーキング候補点群２４のみが選択される。
このように、本来の目的とは逆の結果となってしまう。When an exit side lane marking candidate point is detected in the nearest lane marking search line n = 0 and the next n = 1, the inclination is set in the direction pointing to the exit side. Next, in the comparison between the slopes, since the signs are different, the candidate point n = 2 is removed. When the lane marking candidate point selection process is repeated from the near side to the distance, the main line side lane marking candidate point group 23 (n = 2, ---, 6) is removed as long as the inclination points to the exit side, and the exit side lane is removed. Only the marking candidate point group 24 is selected.
In this way, the result is opposite to the original purpose.
【００４２】これは、基準となる開始点における傾きが
本来、誤りである出口側レーンマーキング方向となるこ
とに原因があるため、レーンマーキング候補点選択処理
の開始点において、消失点との傾きとすることにより回
避することができる。このとき、開始点が出口側レーン
マーキング上にあったとしても、開始点１点のみとな
り、候補点数全体でみると、本線側レーンマーキング上
の候補点数が上回るため、影響は軽微で済む。This is because the inclination at the reference start point is originally the wrong lane marking direction on the exit side, and therefore the inclination at the start point of the lane marking candidate point selection processing is different from the inclination at the vanishing point. It can be avoided by doing. At this time, even if the starting point is on the exit side lane marking, there is only one starting point, and the total number of candidate points is greater than the number of candidate points on the main line side lane marking, so the impact is minimal.
【００４３】実施の形態７．レーンマーキング候補点を
候補点同士の傾き比較により取捨選択するため、左右い
ずれの分岐に対しても有効であり、ソフトウェアを左側
通行ならば左側分岐専用、右側通行ならば右側分岐専用
というように使い分ける必要がなく、ソフトウェアを左
右共通とすることができる。Embodiment 7. Lane selection candidate points are selected by comparing the slopes of the candidate points, so it is effective for both left and right branches, and the software is used for left branch only for right-hand traffic and right branch for right-hand traffic. There is no need, and the software can be shared between the left and right.
【００４４】[0044]
【発明の効果】以上説明したように、この発明の車線認
識画像処理装置によれば、前方を撮影する撮影手段と、
この撮影手段により得られた画像を一時記憶する画像記
憶手段と、この画像記憶手段より読み出した画像に対し
てレーンマーキング探索範囲を設定するレーンマーキン
グ探索ウィンドウ設定手段と、このレーンマーキング探
索ウィンドウ内よりレーンマーキング候補点を検出する
レーンマーキング候補点抽出手段と、このレーンマーキ
ング候補点抽出手段により選択されたレーンマーキング
候補点の集合を数学的モデル式により近似してレーンマ
ーキング数学的モデル式を推定する車線認識手段を備
え、上記レーンマーキング候補点抽出手段は、これによ
り抽出されたレーンマーキング候補点を候補点同士の傾
き比較により取捨選択するレーンマーキング候補点選択
手段を備えるものであるので、レーンマーキング候補点
を候補点同士の傾き比較により取捨選択するという平易
なアルゴリズムでソフトウェア的に処理するため、分岐
路通過時においてナビゲーション装置などの他のインフ
ラ情報の助けを必要とせず、本線側のレーンマーキング
を正しく認識することができるものである。As described above, according to the lane recognition image processing apparatus of the present invention, the photographing means for photographing the front,
An image storage means for temporarily storing the image obtained by the photographing means, a lane marking search window setting means for setting a lane marking search range for the image read from the image storage means, and a lane marking search window A lane marking candidate point extracting means for detecting lane marking candidate points and a set of lane marking candidate points selected by the lane marking candidate point extracting means are approximated by a mathematical model equation to estimate the lane marking mathematical model equation. The lane marking candidate point extraction means is provided with lane recognition means, and the lane marking candidate point extraction means is provided with lane marking candidate point selection means for selecting the extracted lane marking candidate points by comparing the inclinations of the candidate points. Inclination between candidate points Since it is processed by software with a simple algorithm of selecting according to the comparison, it is possible to correctly recognize the lane marking on the main line side without requiring the help of other infrastructure information such as navigation equipment when passing through the branch road. Is.
【００４５】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きが同符号と
なる場合は選択対象の端点を有効とし、異符号となる場
合は選択対象の端点を無効にする処理を行うので、レー
ンマーキング候補点を候補点同士の傾き比較により取捨
選択するため、分岐路に限定されず、レーンマーキング
以外の誤検出された候補点除去に対しても有効である。Further, the lane marking candidate point selecting means is located adjacent to the lane marking candidate points which have already become valid among the lane marking candidate points in an orthogonal coordinate system having a horizontal line as one axis.
Adjacent to two points and a total of three points with one point that determines whether or not to select from this as the end point (that is, the selection target)
The slope of the straight line connecting the points is calculated.If these slopes have the same sign, the end points of the selection target are validated, and if they have different signs, the end points of the selection target are invalidated. Since the points are selected by comparing the inclinations of the candidate points with each other, the method is not limited to the branch road, and is also effective for removing the erroneously detected candidate points other than the lane marking.
【００４６】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うので、分岐路出口以
外の、極点で傾きが符号反転するカーブに対しても、本
線側レーンマーキング候補点が除去されることはない。Further, the lane marking candidate point selecting means is located adjacent to the lane marking candidate points which have already become valid in the orthogonal coordinate system having the horizontal line as one axis.
Adjacent to two points and a total of three points with one point that determines whether or not to select from this as the end point (that is, the selection target)
If the absolute value of one of these slopes is less than or equal to a predetermined threshold value, the process is performed so that these slopes are treated as the same sign. The main line side lane marking candidate points are not removed even for a curve in which the slope has a sign reversal.
【００４７】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、最
初の1点と消失点を結ぶ直線の傾きと最初の点とこれか
ら選択するか否かを決定する１点（すなわち選択対象）
を結ぶ直線の傾きを求め、これらの傾きが同符号となる
場合は選択対象の１点を有効とし、異符号となる場合は
選択対象の１点を無効にする処理を行うので、最初の基
準となる傾きは消失点との傾きを用いるため、出口側レ
ーンマーキング候補点を選択してしまうことを回避する
ことができる。In addition, the lane marking candidate point selecting means determines the slope of the straight line connecting the first point and the vanishing point, the first point, and whether or not to select from this in an orthogonal coordinate system with the horizontal line as one axis. One point to decide (that is, selection target)
The slopes of the straight lines connecting the lines are calculated. If these slopes have the same sign, one point to be selected is validated, and if the slopes are different, one point to be selected is invalidated. Since the inclination with respect to the vanishing point is used as the inclination, the selection of the exit side lane marking candidate point can be avoided.
【００４８】また、上記レーンマーキング候補点選択手
段を、左又は右レーンマーキングが特定の種類の場合に
動作させるようにしたので、レーンマーキング候補点選
択処理実施において、レーンマーキング種類を限定する
ことにより、本処理が実行されて車線認識が不安定にな
ることを防ぐことができる。また、上記レーンマーキン
グ候補点選択手段を、ウィンカ・スイッチがオフの場合
に動作させるようにしたので、動作をより確実にするこ
とができる。Further, since the lane marking candidate point selecting means is operated when the left or right lane marking is of a specific type, by limiting the lane marking type in the lane marking candidate point selection processing. It is possible to prevent the lane recognition from becoming unstable due to the execution of this process. Further, since the lane marking candidate point selecting means is operated when the winker switch is off, the operation can be made more reliable.
【００４９】また、この発明の車線認識画像処理を実行
させるためのプログラムによれば、前方を撮影する撮影
手段により得られた画像を一時記憶し、記憶された画像
を読み出してレーンマーキング探索範囲を設定し、レー
ンマーキング探索ウィンドウ内よりレーンマーキング候
補点を検出し、検出したレーンマーキング候補点を候補
点同士の傾き比較により取捨選択し、選択されたレーン
マーキング候補点の集合を数学的モデル式により近似し
てレーンマーキング数学的モデル式を推定するようにし
たので、レーンマーキング候補点を候補点同士の傾き比
較により取捨選択するという平易なアルゴリズムでソフ
トウェア的に処理するため、分岐路通過時においてナビ
ゲーション装置などの他のインフラ情報の助けを必要と
せず、本線側のレーンマーキングを正しく認識すること
ができる。According to the program for executing the lane recognition image processing of the present invention, the image obtained by the photographing means for photographing the front is temporarily stored, and the stored image is read out to set the lane marking search range. Lane marking candidate points are detected from the lane marking search window, the detected lane marking candidate points are selected by comparing the inclinations of the candidate points, and the set of selected lane marking candidate points is selected by a mathematical model formula. Since the lane marking mathematical model formula is approximated, the lane marking candidate points are processed by software using a simple algorithm that selects and discards by comparing the slopes of the candidate points. It does not require the help of other infrastructure information such as equipment, It is possible to recognize the down marking correctly.
【００５０】また、水平線を１つの軸とする直交座標系
において、レーンマーキング候補点のうち既に有効とな
った隣接する2点と、これから選択するか否かを決定す
る１点を端点（すなわち選択対象）とする計3点を対象
に、隣接する2点間を結ぶ直線の傾きを求め、これらの
傾きが同符号となる場合は選択対象の端点を有効とし、
異符号となる場合は選択対象の端点を無効にする処理を
行うようにしたので、レーンマーキング候補点を候補点
同士の傾き比較により取捨選択するため、分岐路に限定
されず、レーンマーキング以外の誤検出された候補点除
去に対しても有効である。Also, in an orthogonal coordinate system having a horizontal line as one axis, two adjacent lane marking candidate points that have already become valid and one point that determines whether or not to select from this are end points (that is, selected points). Target), the slope of the straight line connecting the two adjacent points is calculated for a total of 3 points, and if these slopes have the same sign, the end point of the selection target is validated,
In case of different signs, the process of invalidating the end point of the selection target is performed.Since the lane marking candidate points are selected and sorted by comparing the inclinations of the candidate points, it is not limited to the branch road, and other than the lane marking. It is also effective for removing the erroneously detected candidate points.
【００５１】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うので、分岐路出口以
外の、極点で傾きが符号反転するカーブに対しても、本
線側レーンマーキング候補点が除去されることはない。In addition, the lane marking candidate point selecting means adjoins an already valid adjacent lane marking candidate point in an orthogonal coordinate system having a horizontal line as one axis.
Adjacent to two points and a total of three points with one point that determines whether or not to select from this as the end point (that is, the selection target)
If the absolute value of one of these slopes is less than or equal to a predetermined threshold value, the process is performed so that these slopes are treated as the same sign. The main line side lane marking candidate points are not removed even for a curve in which the slope has a sign reversal.
【００５２】また、水平線を１つの軸とする直交座標系
において、最初の1点と消失点を結ぶ直線の傾きと最初
の点とこれから選択するか否かを決定する１点（すなわ
ち選択対象）を結ぶ直線の傾きを求め、これらの傾きが
同符号となる場合は選択対象の１点を有効とし、異符号
となる場合は選択対象の１点を無効にする処理を行うよ
うにしたので、最初の基準となる傾きは消失点との傾き
を用いるため、出口側レーンマーキング候補点を選択し
てしまうことを回避することができる。Also, in an orthogonal coordinate system having a horizontal line as one axis, the slope of the straight line connecting the first point and the vanishing point, and the first point and one point that determines whether or not to select from this point (that is, selection target) Since the slopes of the straight lines connecting the two lines are obtained, and if the slopes have the same sign, one point to be selected is validated, and if the slopes have different signs, the one point to be selected is invalidated. Since the inclination as the first reference is the inclination with the vanishing point, it is possible to avoid selecting the exit side lane marking candidate point.
【図１】 この発明の実施の形態１の車線認識画像処理
装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a lane recognition image processing device according to a first embodiment of the present invention.
【図２】 実施の形態１の車線認識画像処理装置の処理
フローを示すフローチャートである。FIG. 2 is a flowchart showing a processing flow of the lane recognition image processing apparatus according to the first embodiment.
【図３】 車両へのカメラ取り付け例を示す説明図であ
る。FIG. 3 is an explanatory diagram showing an example of attaching a camera to a vehicle.
【図４】 車両前方を撮影したカメラ出力画像図であ
る。FIG. 4 is a camera output image view of a front of the vehicle.
【図５】 レーンマーキング探索ライン上のレーンマー
キング候補点検出の説明図である。FIG. 5 is an explanatory diagram of detecting lane marking candidate points on a lane marking search line.
【図６】 出口側レーンマーキング候補点除去の手順を
表す説明図である。FIG. 6 is an explanatory diagram showing a procedure for removing exit side lane marking candidate points.
【図７】 消失点，最初の候補点，選択対象の候補点の
3点を対象とした傾きの説明図である。FIG. 7 shows vanishing points, first candidate points, and candidate points to be selected.
It is explanatory drawing of the inclination which made three points the object.
【図８】 有効となった候補点２点と選択対象の候補点
の有効／無効を判定する際の傾きを表す図である。FIG. 8 is a diagram showing a slope when determining valid / invalid of two valid candidate points and a candidate point to be selected.
【図９】 出口側と本線側のレーンマーキング候補点の
位置関係を表す説明図である。FIG. 9 is an explanatory diagram showing a positional relationship between lane marking candidate points on the exit side and the main line side.
【図１０】 レーンマーキング候補点から推定したレー
ンマーキング数学的モデル式を示す説明図である。FIG. 10 is an explanatory diagram showing a lane marking mathematical model formula estimated from lane marking candidate points.
【図１１】 時間的候補点密度によるレーンマーキング
種類判定を行う説明図である。FIG. 11 is an explanatory diagram for performing lane marking type determination based on temporal candidate point density.
【図１２】 導流レーンの説明図である。FIG. 12 is an explanatory diagram of a flow lane.
【図１３】 実施の形態３の車線認識画像処理装置の処
理フローを示すフローチャートである。FIG. 13 is a flowchart showing a processing flow of the lane recognition image processing apparatus according to the third embodiment.
【図１４】 ウィンカ・スイッチＯＮ状態で出口側レー
ンへ移行するときの説明図である。FIG. 14 is an explanatory diagram when shifting to an exit side lane with the winker switch ON.
【図１５】 カーブにおける候補点選択処理を示す説明
図である。FIG. 15 is an explanatory diagram showing a candidate point selection process on a curve.
【図１６】 カーブにおける候補点選択処理を示す説明
図である。FIG. 16 is an explanatory diagram showing a candidate point selection process on a curve.
【図１７】 出口側を選択する候補点選択処理を示す説
明図である。FIG. 17 is an explanatory diagram showing a candidate point selection process for selecting an exit side.
１ 撮像手段、 ２ 画像処理
ＥＣＵ、３ メインＥＣＵ、 ４
画像記憶手段、５ ウインカ・スイッチ、６ レーンマ
ーキング探索ウィンドウ設定手段、７ レーンマーキン
グ候補点抽出手段、８ レーンマーキング候補点選択手
段、 ９ 車線認識手段、１０ 車線認識結果出力部、
１２ 車両、１３ 左レーンマーキング、
１４ 右レーンマーキング、１５ レーン
マーキング候補点、 １６ レーンマーキング候
補点、１７ レーンマーキング数学的モデル式、１８
レーンマーキング数学的モデル式、１９ レーンマーキ
ング探索ウィンドウ、２０ レーンマーキング探索ウィ
ンドウ、２１ 本線側レーンマーキング、 ２２
出口側レーンマーキング、２３ 本線側レーンマーキ
ング候補点群、２４ 出口側レーンマーキング候補点
群、２５ レーンマーキング探索ライン、 ２６ 極
点。1 image pickup means, 2 image processing ECU, 3 main ECU, 4
Image storage means, 5 blinker switches, 6 lane marking search window setting means, 7 lane marking candidate point extracting means, 8 lane marking candidate point selecting means, 9 lane recognition means, 10 lane recognition result output section,
12 vehicles, 13 left lane markings,
14 right lane marking, 15 lane marking candidate points, 16 lane marking candidate points, 17 lane marking mathematical model formula, 18
Lane Marking Mathematical Model Formula, 19 Lane Marking Search Window, 20 Lane Marking Search Window, 21 Main Line Side Lane Marking, 22
Exit side lane marking, 23 main line side lane marking candidate point group, 24 Exit side lane marking candidate point group, 25 lane marking search line, 26 poles.
Claims (10)
段により得られた画像を一時記憶する画像記憶手段と、
この画像記憶手段より読み出した画像に対してレーンマ
ーキング探索範囲を設定するレーンマーキング探索ウィ
ンドウ設定手段と、このレーンマーキング探索ウィンド
ウ内よりレーンマーキング候補点を検出するレーンマー
キング候補点抽出手段と、このレーンマーキング候補点
抽出手段により選択されたレーンマーキング候補点の集
合を数学的モデル式により近似してレーンマーキング数
学的モデル式を推定する車線認識手段を備え、上記レー
ンマーキング候補点抽出手段は、これにより抽出された
レーンマーキング候補点を候補点同士の傾き比較により
取捨選択するレーンマーキング候補点選択手段を備える
ことを特徴とする車線認識画像処理装置。1. A photographing means for photographing the front, and an image storing means for temporarily storing an image obtained by the photographing means,
Lane marking search window setting means for setting the lane marking search range for the image read out from the image storage means, lane marking candidate point extracting means for detecting lane marking candidate points from within the lane marking search window, and this lane The lane marking candidate point extracting means is provided with lane recognition means for approximating a set of lane marking candidate points selected by the marking candidate point extracting means by a mathematical model expression and estimating the lane marking mathematical model expression. A lane recognition image processing device, comprising: lane marking candidate point selection means for selecting the extracted lane marking candidate points by comparing inclinations of the candidate points.
は、水平線を１つの軸とする直交座標系において、レー
ンマーキング候補点のうち既に有効となった隣接する2
点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きが同符号と
なる場合は選択対象の端点を有効とし、異符号となる場
合は選択対象の端点を無効にする処理を行うことを特徴
とする請求項１記載の車線認識画像処理装置。2. The lane marking candidate point selecting means, in an orthogonal coordinate system having a horizontal line as one axis, adjacent two lane marking candidate points which have already become valid.
Adjacent to two points and a total of three points with one point that determines whether or not to select from this point as the end point (that is, the selection target)
It is characterized in that the inclination of a straight line connecting points is obtained, and if these inclinations have the same sign, the end points of the selection target are made effective, and if they have different signs, the end points of the selection object are made invalid. The lane recognition image processing device according to claim 1.
は、水平線を１つの軸とする直交座標系において、レー
ンマーキング候補点のうち既に有効となった隣接する2
点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うことを特徴とする請
求項２記載の車線認識画像処理装置。3. The lane marking candidate point selecting means is arranged in an orthogonal coordinate system having a horizontal line as one axis, and adjacent two lane marking candidate points which have already become valid are adjacent to each other.
Adjacent to two points and a total of three points with one point that determines whether or not to select from this point as the end point (that is, the selection target)
3. The inclination of a straight line connecting points is calculated, and when the absolute value of any one of these inclinations is less than or equal to a predetermined threshold value, processing is performed so that these inclinations are treated as the same sign. Lane recognition image processing device.
は、水平線を１つの軸とする直交座標系において、最初
の1点と消失点を結ぶ直線の傾きと最初の点とこれから
選択するか否かを決定する１点（すなわち選択対象）を
結ぶ直線の傾きを求め、これらの傾きが同符号となる場
合は選択対象の１点を有効とし、異符号となる場合は選
択対象の１点を無効にする処理を行うことを特徴とする
請求項１記載の車線認識画像処理装置。4. The lane marking candidate point selection means determines, in an orthogonal coordinate system having a horizontal line as one axis, the slope of a straight line connecting the first point and the vanishing point, the first point, and whether or not to select from this. The slope of the straight line connecting the one point to be determined (that is, the selection target) is obtained, and if the slopes have the same sign, the selection target point is valid, and if the slopes have different signs, the selection target point is invalid. The lane recognition image processing device according to claim 1, wherein the lane recognition image processing device is configured to perform the following processing.
を、左又は右レーンマーキングが特定の種類の場合に動
作させるようにしたことを特徴とする請求項１〜請求項
４のいずれか１項に記載の車線認識画像処理装置。5. The lane marking candidate point selecting means is operated when the left or right lane marking is of a specific type, according to any one of claims 1 to 4. Lane recognition image processing device.
を、ウィンカ・スイッチがオフの場合に動作させるよう
にしたことを特徴とする請求項１〜請求項４のいずれか
１項に記載の車線認識画像処理装置。6. The lane recognition image according to any one of claims 1 to 4, wherein the lane marking candidate point selecting means is operated when a winker switch is off. Processing equipment.
画像を一時記憶し、記憶された画像を読み出してレーン
マーキング探索範囲を設定し、レーンマーキング探索ウ
ィンドウ内よりレーンマーキング候補点を検出し、検出
したレーンマーキング候補点を候補点同士の傾き比較に
より取捨選択し、選択されたレーンマーキング候補点の
集合を数学的モデル式により近似してレーンマーキング
数学的モデル式を推定するようにした車線認識画像処理
を実行させるためのプログラム。7. A lane marking candidate point is detected from within a lane marking search window by temporarily storing an image obtained by a photographing means for photographing the front, reading the stored image to set a lane marking search range, Lane lane recognition is performed by selecting the detected lane marking candidate points by comparing the slopes of the candidate points and approximating the set of selected lane marking candidate points by a mathematical model formula to estimate the lane marking mathematical model formula. A program for executing image processing.
いて、レーンマーキング候補点のうち既に有効となった
隣接する2点と、これから選択するか否かを決定する１
点を端点（すなわち選択対象）とする計3点を対象に、
隣接する2点間を結ぶ直線の傾きを求め、これらの傾き
が同符号となる場合は選択対象の端点を有効とし、異符
号となる場合は選択対象の端点を無効にする処理を行う
ようにした請求項７記載の車線認識画像処理を実行させ
るためのプログラム。8. In an orthogonal coordinate system having a horizontal line as one axis, two adjacent lane marking candidate points that have already become valid, and whether or not to select from these 1 are determined.
For a total of 3 points with the points as endpoints (that is, the selection target),
Obtain the slope of a straight line connecting two adjacent points.If these slopes have the same sign, the end points of the selection target are validated, and if they have different signs, the end points of the selection target are invalidated. A program for executing the lane recognition image processing according to claim 7.
は、水平線を１つの軸とする直交座標系において、レー
ンマーキング候補点のうち既に有効となった隣接する2
点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うことを特徴とする請
求項８記載の車線認識画像処理を実行させるためのプロ
グラム。9. The lane marking candidate point selecting means is arranged in an orthogonal coordinate system having a horizontal line as one axis, and adjacent two lane marking candidate points which have already become valid are adjacent to each other.
Adjacent to two points and a total of three points with one point that determines whether or not to select from this point as the end point (that is, the selection target)
9. The inclination of a straight line connecting points is calculated, and when the absolute value of one of these inclinations is less than or equal to a predetermined threshold value, processing is performed so that these inclinations are treated as the same sign. A program for executing the lane recognition image processing of.
おいて、最初の1点と消失点を結ぶ直線の傾きと最初の
点とこれから選択するか否かを決定する１点（すなわち
選択対象）を結ぶ直線の傾きを求め、これらの傾きが同
符号となる場合は選択対象の１点を有効とし、異符号と
なる場合は選択対象の１点を無効にする処理を行うよう
にした請求項７記載の車線認識画像処理を実行させるた
めのプログラム。10. In a Cartesian coordinate system having a horizontal line as one axis, the slope of a straight line connecting the first point and the vanishing point, and the first point and one point that determines whether or not to select from this point (that is, a selection target) A process for obtaining the slopes of straight lines connecting the lines and performing processing to validate one selection target point when these slopes have the same sign and invalidate one selection target point when the slopes have different signs. A program for executing the lane recognition image processing described in 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002056167A JP3626733B2 (en) | 2002-03-01 | 2002-03-01 | Lane recognition image processing apparatus and program for executing the processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002056167A JP3626733B2 (en) | 2002-03-01 | 2002-03-01 | Lane recognition image processing apparatus and program for executing the processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003252149A true JP2003252149A (en) | 2003-09-10 |
| JP3626733B2 JP3626733B2 (en) | 2005-03-09 |
Family
ID=28666813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002056167A Expired - Lifetime JP3626733B2 (en) | 2002-03-01 | 2002-03-01 | Lane recognition image processing apparatus and program for executing the processing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3626733B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182303A (en) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | Traffic lane recognition image processor |
| JP2008542895A (en) * | 2005-05-31 | 2008-11-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and system for detecting roads at night |
| WO2009113225A1 (en) * | 2008-03-12 | 2009-09-17 | 本田技研工業株式会社 | Vehicle travel support device, vehicle, and vehicle travel support program |
| JP2010221859A (en) * | 2009-03-24 | 2010-10-07 | Hitachi Automotive Systems Ltd | Vehicle driving support device |
| JP2010271966A (en) * | 2009-05-22 | 2010-12-02 | Fuji Heavy Ind Ltd | Lane recognition device |
| US8306700B2 (en) | 2008-03-12 | 2012-11-06 | Honda Motor Co., Ltd. | Vehicle travel support device, vehicle, and vehicle travel support program |
| WO2013018962A1 (en) * | 2011-08-04 | 2013-02-07 | Lg Electronics Inc. | Traffic lane recognizing apparatus and method thereof |
| WO2018020589A1 (en) * | 2016-07-26 | 2018-02-01 | 日産自動車株式会社 | Self-position estimation method and self-position estimation apparatus |
| CN115512542A (en) * | 2022-09-21 | 2022-12-23 | 山东高速集团有限公司 | Trackside laser radar-based track restoration method and system considering shielding |
-
2002
- 2002-03-01 JP JP2002056167A patent/JP3626733B2/en not_active Expired - Lifetime
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182303A (en) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | Traffic lane recognition image processor |
| JP2008542895A (en) * | 2005-05-31 | 2008-11-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and system for detecting roads at night |
| JP4772115B2 (en) * | 2005-05-31 | 2011-09-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and system for detecting roads at night |
| JP2009214786A (en) * | 2008-03-12 | 2009-09-24 | Honda Motor Co Ltd | Vehicle travel support device, vehicle, and vehicle travel support program |
| WO2009113225A1 (en) * | 2008-03-12 | 2009-09-17 | 本田技研工業株式会社 | Vehicle travel support device, vehicle, and vehicle travel support program |
| US8306700B2 (en) | 2008-03-12 | 2012-11-06 | Honda Motor Co., Ltd. | Vehicle travel support device, vehicle, and vehicle travel support program |
| US8346427B2 (en) | 2008-03-12 | 2013-01-01 | Honda Motor Co., Ltd. | Vehicle travel support device, vehicle, and vehicle travel support program with imaging device for recognizing a travel area |
| JP2010221859A (en) * | 2009-03-24 | 2010-10-07 | Hitachi Automotive Systems Ltd | Vehicle driving support device |
| JP2010271966A (en) * | 2009-05-22 | 2010-12-02 | Fuji Heavy Ind Ltd | Lane recognition device |
| WO2013018962A1 (en) * | 2011-08-04 | 2013-02-07 | Lg Electronics Inc. | Traffic lane recognizing apparatus and method thereof |
| WO2018020589A1 (en) * | 2016-07-26 | 2018-02-01 | 日産自動車株式会社 | Self-position estimation method and self-position estimation apparatus |
| JPWO2018020589A1 (en) * | 2016-07-26 | 2019-03-28 | 日産自動車株式会社 | Self-position estimation method and self-position estimation apparatus |
| US11243080B2 (en) | 2016-07-26 | 2022-02-08 | Nissan Motor Co., Ltd. | Self-position estimation method and self-position estimation device |
| CN115512542A (en) * | 2022-09-21 | 2022-12-23 | 山东高速集团有限公司 | Trackside laser radar-based track restoration method and system considering shielding |
| CN115512542B (en) * | 2022-09-21 | 2023-08-18 | 山东高速集团有限公司 | Track restoration method and system considering shielding based on roadside laser radar |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3626733B2 (en) | 2005-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7307545B2 (en) | Vehicle lane detector | |
| US7403219B2 (en) | Driving lane recognizer and driving lane recognizing method | |
| JP5276637B2 (en) | Lane estimation device | |
| JP4107587B2 (en) | Lane recognition image processing device | |
| JPH0728975A (en) | Road environment recognizing device | |
| CN107924569B (en) | Image processing apparatus, image processing method, and storage medium | |
| JP6045888B2 (en) | In-vehicle image processing device | |
| JP4878256B2 (en) | Branch line recognition device and car navigation system | |
| JP2000357233A (en) | Body recognition device | |
| JP7077910B2 (en) | Bound line detection device and lane marking method | |
| JP2007179386A (en) | Method and apparatus for recognizing white line | |
| JP2007220013A (en) | Device for detecting white line for vehicle | |
| US20090201370A1 (en) | Traveling Lane Detector | |
| JP2000230834A (en) | Updating equipment of road map information and its control method | |
| CN110088807B (en) | Separation line identification device | |
| JP2003252149A (en) | Lane recognition image processing device, and program for performing the processing | |
| JP2003281700A (en) | Cutting-in vehicle detecting device and method | |
| JPH1185999A (en) | White line detecting device for vehicle | |
| JP7068017B2 (en) | Vehicle travel path recognition device and travel control device | |
| CN112124304B (en) | Library position positioning method and device and vehicle-mounted equipment | |
| JPH0935198A (en) | Traveling road detector for vehicle | |
| JP3304905B2 (en) | Object tracking recognition device | |
| JP4225242B2 (en) | Travel path recognition device | |
| JP2003252150A (en) | Parking type determining device | |
| JP6475140B2 (en) | Road curvature measuring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041203 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3626733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |