JP2000055659A - Position-detecting device of vehicle - Google Patents

Position-detecting device of vehicle

Info

Publication number
JP2000055659A
JP2000055659A JP10224967A JP22496798A JP2000055659A JP 2000055659 A JP2000055659 A JP 2000055659A JP 10224967 A JP10224967 A JP 10224967A JP 22496798 A JP22496798 A JP 22496798A JP 2000055659 A JP2000055659 A JP 2000055659A
Authority
JP
Japan
Prior art keywords
vehicle
image
traveling line
determining
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10224967A
Other languages
Japanese (ja)
Other versions
JP3952604B2 (en
Inventor
Kosuke Morimoto
康介 森本
Koichi Kojima
浩一 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP22496798A priority Critical patent/JP3952604B2/en
Publication of JP2000055659A publication Critical patent/JP2000055659A/en
Application granted granted Critical
Publication of JP3952604B2 publication Critical patent/JP3952604B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent a recognition error of a traveling line such as a traffic lane dividing line with a road surface indication such as a restriction speed indication and to accurately detect a vehicle position against the traveling line. SOLUTION: A traveling line 3 at a vehicle side is photographed with a camera 2 by both of a short time exposure and a long time exposure. A temporary position XO of the traveling line 3 is detected from a picture photographed by the long time exposure. A final position X of the traveling line is determined from a picture photographed by the short time exposure making the above temporary position as a standard. A vehicle position against the traveling line 3 is measured from the final position X of the traveling line 3 thus obtained.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は車両の位置検出装置
に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle position detecting device.

【0002】[0002]

【従来の技術】走行路上における車両位置、例えば走行
領域を示す路面表示された車線区分線に対する車両の位
置(横位置)を検出するために、カメラによって車両の
横方向を撮像して、撮像された画像上での車線区分線の
位置から、車線区分線と車両との実際の横方向位置つま
り横方向距離を決定することが行われている。特開昭6
4−6115号公報には、車両横方向を撮像するカメラ
から得られる画像に基づいて、車両のヨー角を決定する
ことが提案されている。また、特開平4−299710
号公報には、車線区分線が間欠的に表示されている場合
でも、車線区分線は事実上連続性を有するという前提の
処理を行って、車両位置の誤検出を防止することが開示
されている。
2. Description of the Related Art In order to detect a position of a vehicle on a traveling road, for example, a position (lateral position) of the vehicle with respect to a lane marking displayed on a road surface indicating a traveling area, a lateral image of the vehicle is imaged by a camera. The actual lateral position of the lane marking and the vehicle, that is, the lateral distance is determined from the position of the lane marking on the image. JP 6
Japanese Patent Application Laid-Open No. 4-6115 proposes determining a yaw angle of a vehicle based on an image obtained from a camera that captures an image in a lateral direction of the vehicle. Further, Japanese Patent Application Laid-Open No. 4-299710
Japanese Patent Application Laid-Open Publication No. H11-163873 discloses that even when the lane markings are displayed intermittently, the lane markings are presumed to have continuity in effect, thereby preventing erroneous detection of the vehicle position. I have.

【0003】[0003]

【発明が解決しようとする課題】ところで、走行領域を
決定する走行ライン、特に路面表示された車線区分線の
付近には、例えば制限速度表示等の路面表示が行われて
いることが多い。このような路面表示がある部分では、
この路面表示を車線区分線と誤って認識してしまうおそ
れが多分にあり、このことは車線区分線に対する車両位
置の誤計測となってしまう。
By the way, in many cases, a road surface such as a speed limit display is often displayed in the vicinity of a traveling line for determining a traveling area, particularly in the vicinity of a lane marking on a road surface. Where there is such a road marking,
There is a possibility that this road surface display may be erroneously recognized as a lane marking, which may result in an erroneous measurement of the vehicle position with respect to the lane marking.

【0004】本発明は以上のような事情を勘案してなさ
れたもので、その第1の目的は、走行ラインでない路面
表示に基づいて車両位置を計測してしまう事態を確実に
防止できるようにした車両の位置検出装置を提供するこ
とにある。本発明の第2の目的は、走行ラインと路面表
示とを明確に識別しつつ、走行ラインに対する車両位置
を常に精度よく計測できるようにした車両の位置検出装
置を提供することにある。
SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and a first object of the present invention is to reliably prevent a situation in which a vehicle position is measured based on a road surface display other than a traveling line. The present invention provides a vehicle position detecting device. A second object of the present invention is to provide a vehicle position detecting device capable of always accurately measuring a vehicle position with respect to a traveling line while clearly distinguishing a traveling line from a road surface display.

【0005】[0005]

【課題を解決するための手段】前記第1の目的を達成す
るため、本発明はその解決手法として次のようにしてあ
る。すなわち、特許請求の範囲における請求項1に記載
のように、カメラにより車両の走行領域を決定する走行
ラインを撮像し、撮像された画像上における走行ライン
の位置から、走行ラインに対する相対的な車両位置を計
測するようにした車両の位置検出装置において、前記カ
メラのシャッター速度が通常よりも十分遅くされて、長
時間露光された画像を得るようにされ、前記長時間露光
により得られた画像上において、走行ラインの位置が決
定される、ようにしてある。前記第2の目的を達成する
ため、本発明はその第1の解決手法として次のようにし
てある。すなわち、特許請求の範囲における請求項2に
記載のように、撮像手段により車両の走行領域を決定す
る走行ラインを撮像し、撮像された画像上における走行
ラインの位置から、走行ラインに対する相対的な車両位
置を計測するようにした車両の位置検出装置において、
シャッター速度が遅くされて長時間露光された画像を得
るための第1撮像手段と、前記第1撮像手段よりもシャ
ッター速度が十分早くされて短時間露光された画像を得
るための第2撮像手段と、長時間露光画像上において、
走行ラインの位置を仮決定する第1位置決定手段と、短
時間露光画像上において、走行ラインの位置を、前記第
1位置決定手段で決定された仮位置を基準として決定す
る第2位置決定手段と、前記第2位置決定手段で決定さ
れた短時間露光画像上における走行ラインの位置に基づ
いて、車両位置を計測する車両位置計測手段と、を備え
たものとしてある。上記解決手法を前提とした好ましい
態様は、特許請求の範囲における請求項3〜請求項8に
記載のとおりである。
In order to achieve the first object, the present invention has the following solution. That is, as described in claim 1 of the claims, a camera captures an image of a travel line that determines a travel region of the vehicle, and a position of the travel line on the captured image is used to determine a vehicle relative to the travel line. In the vehicle position detection device configured to measure a position, the shutter speed of the camera is sufficiently slower than usual, so that a long-time exposed image is obtained, and an image obtained by the long-time exposure is obtained. In, the position of the traveling line is determined. In order to achieve the second object, the present invention is as follows as a first solution. That is, as described in claim 2 of the claims, the imaging unit captures an image of the travel line that determines the travel area of the vehicle, and the position of the travel line on the captured image is relative to the travel line. In a vehicle position detecting device that measures a vehicle position,
First imaging means for obtaining a long-time exposed image with a reduced shutter speed, and second imaging means for obtaining a short-time exposed image with a shutter speed sufficiently faster than the first imaging means And on the long exposure image,
First position determining means for temporarily determining the position of the traveling line; and second position determining means for determining the position of the traveling line on the short-time exposure image based on the temporary position determined by the first position determining means. And a vehicle position measuring means for measuring a vehicle position based on the position of the traveling line on the short-time exposure image determined by the second position determining means. Preferred embodiments based on the above solution are as described in claims 3 to 8 in the claims.

【0006】前記第2の目的を達成するため、本発明は
その第2の解決手法として次のようにしてある。すなわ
ち、特許請求の範囲における請求項9に記載のように、
撮像手段により車両の走行領域を決定する走行ラインを
撮像し、撮像された画像上における走行ラインの位置か
ら、走行ラインに対する相対的な車両位置を計測するよ
うにした車両の位置検出装置において、シャッター速度
が遅くされて長時間露光された画像を得るための第1撮
像手段と、前記第1撮像手段よりもシャッター速度が十
分早くされて短時間露光された画像を得るための第2撮
像手段と、長時間露光画像上において、走行ラインの位
置を仮決定する第1位置決定手段と、長時間露光画像上
において、前記仮決定位置での濃度値と濃度の最大値と
の比となる重み係数と、該仮決定位置での濃度の傾きと
に基づいて、真の走行ライン位置からのずれを推定する
推定手段と、短時間露光画像上において、前記仮決定位
置と前記推定されたずれとから、走行ライン位置を決定
する第2位置決定手段と、前記第2位置決定手段で決定
された短時間露光画像上における走行ラインの位置に基
づいて、車両位置を計測する車両位置計測手段と、を備
えたものとしてある。
In order to achieve the second object, the present invention is as follows as a second solution. That is, as described in claim 9 in the claims,
In a vehicle position detection device configured to image a traveling line that determines a traveling region of a vehicle by an imaging unit and measure a vehicle position relative to the traveling line from a position of the traveling line on the captured image, a shutter is provided. A first imaging means for obtaining a long-exposure image with a reduced speed; and a second imaging means for obtaining a short-exposure image with a shutter speed sufficiently faster than the first imaging means. A first position determining means for temporarily determining the position of the traveling line on the long-time exposure image; and a weighting coefficient which is a ratio between the density value at the temporary determination position and the maximum value of the density on the long-time exposure image. Estimating means for estimating a deviation from a true travel line position based on the density gradient at the tentatively determined position, and the tentatively determined position and the estimated Second position determining means for determining the position of the traveling line from the deviation, and vehicle position measuring means for measuring the vehicle position based on the position of the traveling line on the short-time exposure image determined by the second position determining means And that there is.

【0007】長時間露光画像では、走行ラインと路面表
示とを明確に識別できる。ただし、長時間露光画像で
は、走行ラインのきわがぼけてしまうので、長時間露光
画像では走行ラインの仮の位置を決定するだけとされ
る。短時間露光画像では、走行ライン等の画像のきわが
ぼけることがない一方、走行ラインと路面表示との識別
がむずかしいものとなる。そして、短時間露光画像にお
いて、上記仮の位置に基づいて走行ラインを路面表示と
識別して(最終的な走行ライン位置の決定)、この識別
された短時間露光画像上での走行ラインに基づいて車両
位置が精度よく計測される。
[0007] In the long-time exposure image, the traveling line and the road surface display can be clearly distinguished. However, in the long-time exposure image, the running line is blurred, so that in the long-time exposure image, only the temporary position of the running line is determined. In the short-time exposure image, while the image of the traveling line or the like is not blurred, the distinction between the traveling line and the road surface display is difficult. Then, in the short-time exposure image, the traveling line is identified as a road surface display based on the temporary position (determination of the final traveling line position), and based on the identified traveling line on the short-time exposure image. The vehicle position is accurately measured.

【0008】[0008]

【発明の効果】請求項1によれば、走行ラインを路面表
示等と確実に識別して、路面表示を走行ラインであると
誤って認識してしまう事態を防止して、車両位置の大き
な計測誤差発生を防止することができる。
According to the first aspect of the present invention, the traveling line is reliably identified as a road surface display or the like, and a situation in which the road surface display is erroneously recognized as the traveling line is prevented, and the vehicle position can be largely measured. An error can be prevented from occurring.

【0009】請求項2によれば、請求項1に対応した効
果に加えて、走行ライン位置を短時間露光画像上におい
て精度よく決定して、走行ラインに対する車両位置を常
に精度よく計測することができる。
According to the second aspect, in addition to the effect corresponding to the first aspect, it is possible to accurately determine the position of the traveling line on the short-time exposure image and always accurately measure the vehicle position with respect to the traveling line. it can.

【0010】請求項3によれば、車両の横方向にある走
行ラインに対する車両の横方向位置を計測する上で好ま
しいものとなる。請求項4によれば、走行ラインとして
一般的でありかつ付近に路面表示がなされることが多い
車線区分線に対して、車両位置を精度よく決定すること
ができる。
According to the third aspect, it is preferable to measure the position of the vehicle in the lateral direction with respect to the traveling line in the lateral direction of the vehicle. According to the fourth aspect, the vehicle position can be accurately determined with respect to the lane marking, which is general as a traveling line and the road surface is often displayed nearby.

【0011】請求項5によれば、路面の明るさに応じ
て、走行ラインと路面表示とを明確に識別できるような
長時間露光用の最適なシャッター速度を得ることができ
る。請求項6によれば、車速に応じた短時間露光用の最
適なシャッター速度を得ることができる。
According to the fifth aspect, it is possible to obtain an optimum shutter speed for long-time exposure so that the traveling line and the road surface display can be clearly distinguished according to the road surface brightness. According to the sixth aspect, an optimal shutter speed for short-time exposure according to the vehicle speed can be obtained.

【0012】請求項7によれば、1つのカメラを有効に
利用して、長時間露光画像と短時間露光画像とを得るこ
とができる。請求項8によれば、1つの画像フレームに
おいて、長時間露光画像と短時間露光画像とを得ること
ができる。
According to the seventh aspect, a long exposure image and a short exposure image can be obtained by effectively using one camera. According to the eighth aspect, a long-time exposure image and a short-time exposure image can be obtained in one image frame.

【0013】請求項9によれば、請求項2に対応した効
果を得ることができると共に、短時間露光画像上におけ
る真の走行ライン位置を極めて精度よく決定して、最終
的に走行ラインに対する車両位置を極めて精度よく計測
することができる。
According to the ninth aspect, the effect corresponding to the second aspect can be obtained, and the true traveling line position on the short-time exposure image is determined extremely accurately, and finally the vehicle with respect to the traveling line is determined. The position can be measured very accurately.

【0014】[0014]

【発明の実施の形態】まず、本発明が適用される車両の
横方向位置決定の全体について、図1〜図14を参照し
つつ説明し、その後、長時間露光画像と短時間露光画像
とに基づく車両位置の検出(計測)の点について、図1
5以下を参照しつつ説明することとする。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS First, the overall lateral position determination of a vehicle to which the present invention is applied will be described with reference to FIGS. 1 to 14, and thereafter, a long exposure image and a short exposure image will be described. FIG. 1 shows the detection (measurement) of the vehicle position based on
Description will be made with reference to 5 and below.

【0015】図1〜図7の説明 図1において、車両としての自動車1の側面には、位置
検出用センサとしてのカメラ(実施形態ではビデオカメ
ラ)2が設置されている。このカメラ2は、横方向でか
つ下方の路面状況を撮像するものとなっており、より具
体的には自動車1の横方向にある車線区分線(図面では
白線として記載)3を撮像するためのものとなってい
る、図1では、自動車1の左側面にのみカメラ2を設け
た場合が示されるが、右側面にも同様にカメラ2が設け
られているものである(右側方撮像用)。カメラ2で撮
像された画像(車線区分線の画像)から、自動車1と撮
像されている車線区分線3との間の横方向距離(相対距
離)Yが、後述のようにして決定される。
Description of FIGS. 1 to 7 In FIG. 1, a camera (video camera in the embodiment) 2 as a position detecting sensor is installed on the side of an automobile 1 as a vehicle. The camera 2 captures an image of a road surface condition in a lateral direction and a downward direction. More specifically, the camera 2 captures an image of a lane marking 3 (shown as a white line in the drawing) in the lateral direction of the automobile 1. FIG. 1 shows a case where the camera 2 is provided only on the left side of the car 1, but the camera 2 is also provided on the right side (for right side imaging). . From the image captured by the camera 2 (the image of the lane marking), the lateral distance (relative distance) Y between the car 1 and the captured lane marking 3 is determined as described below.

【0016】図2には、自動車1と車線区分線3との距
離決定と、決定された距離に基づいて所定の安全制御を
行うための制御系統がブロック図的に示される。この図
2において、Uはマイクロコンピュ−タを利用して構成
された制御ユニット(コントロ−ラ)であり、この制御
ユニットUは、横位置決定部4と、車線逸脱判断部5と
を有する。横位置決定部4は、基本的にカメラ2で撮像
された車線区分線の画像から、自動車1と車線区分線3
との横方向距離を決定する。また、横位置決定部4は、
後述するように、検出手段としてのセンサZ1〜Z3か
ら得られる車速とヨーレートと道路形状(道路の曲率半
径)とに基づいて、自動車1の走行軌跡を決定して、こ
の決定された走行軌跡に基づいて、カメラ2を利用して
得られた横位置を補正する。なお、道路形状を検出する
センサZ3は、車両外部から発信される道路形状情報を
受信するものとされており、道路形状情報の発信源とし
ては、ナビゲーション(人工衛星)、道路に埋め込まれ
た磁気ネイル、道路脇に設置された発信アンテナ等があ
る。
FIG. 2 is a block diagram showing a control system for determining the distance between the automobile 1 and the lane marking 3 and performing a predetermined safety control based on the determined distance. In FIG. 2, U is a control unit (controller) configured using a microcomputer, and the control unit U has a lateral position determination unit 4 and a lane departure determination unit 5. The lateral position determining unit 4 basically determines the car 1 and the lane marking 3 from the lane markings captured by the camera 2.
To determine the lateral distance between In addition, the horizontal position determination unit 4
As will be described later, the traveling locus of the automobile 1 is determined based on the vehicle speed, the yaw rate, and the road shape (the radius of curvature of the road) obtained from the sensors Z1 to Z3 as the detecting means. Based on this, the horizontal position obtained by using the camera 2 is corrected. Note that the sensor Z3 for detecting the road shape receives the road shape information transmitted from outside the vehicle, and the sources of the road shape information include navigation (artificial satellites) and magnetic information embedded in the road. There are nails, transmitting antennas installed on the side of the road, and the like.

【0017】車線逸脱判断部5は、横位置決定部4で決
定された横位置(横方向距離Yを補正した後のy)に基
づいて、現在の走行状況からして自動車1が車線区分線
3を逸脱する可能性を判断する。そして、車線逸脱判断
部5によって、車線逸脱の可能性が高いと判断されたと
きは、ブザー等の警報器6が作動され、車線逸脱の可能
性が極めて高いときはブレーキ7が自動作動されて自動
車1が減速される。なお、上記5〜7の構成要素は、自
動車1と車線区分線3との横方向距離をどのように利用
するかの例示のために記載されているものであり、上記
横方向距離の利用の仕方はこれに限定されるものではな
い。
The lane departure judging unit 5 determines whether the car 1 is in the lane marking based on the current running conditions based on the lateral position determined by the lateral position determining unit 4 (y after correcting the lateral distance Y). 3 is determined. When the lane departure determining unit 5 determines that the possibility of the lane departure is high, the alarm device 6 such as a buzzer is activated, and when the possibility of the lane departure is extremely high, the brake 7 is automatically activated. The vehicle 1 is decelerated. The above-mentioned components 5 to 7 are described for the purpose of illustrating how to use the lateral distance between the automobile 1 and the lane marking 3. The method is not limited to this.

【0018】次に、車速とヨーレート道路形状(曲率半
径)とに基づいて、自動車1の走行軌跡を理論的に求め
る場合について説明する。いま、車線区分線3に対する
直交方向での自動車1の横偏差をy(t)、ヨー角をθ
(t)、サンプリング間隔を△tとすると、横偏差y
(t)は式1に示すように、またヨー角θ(t)は式2
に示すように、ヨーレートr(t)、車速v(t)、道
路曲率半径R(t)を用いた漸化式で示される(tは時
間)。なお、横偏差の初期値y0はy(t0)であり、
ヨー角の初期値θ0はθ(t0)である。
Next, a case will be described in which the running locus of the vehicle 1 is theoretically obtained based on the vehicle speed and the yaw rate road shape (curvature radius). Now, the lateral deviation of the vehicle 1 in the direction orthogonal to the lane marking 3 is y (t), and the yaw angle is θ.
(T), when the sampling interval is Δt, the lateral deviation y
(T) is given by equation (1), and yaw angle θ (t) is given by equation (2)
As shown in (1), it is represented by a recurrence formula using a yaw rate r (t), a vehicle speed v (t), and a road curvature radius R (t) (t is time). Note that the initial value y0 of the lateral deviation is y (t0),
The initial value of the yaw angle θ0 is θ (t0).

【0019】[0019]

【数1】 (Equation 1)

【0020】上記式1、式2の関係を用いて、時間T1
からT2までの所定時間DTの間での横偏差の履歴S1
を計算すると、例えば図3のようになる。一方、カメラ
2の画像から計測した横偏差の履歴S2は、例えば図4
に示すようになる。なお、図3、図4でのSは、自動車
1の真の横偏差履歴である。上記履歴S1は、上記漸化
式の初期値誤差、センサ信号の累積誤差のために、真の
履歴Sとは一致しないことが多い。また、履歴S2は、
カメラ2の振動や車線区分線3の汚れ、かすれ等による
計測誤差のために、真の履歴Sと一致しないことが多
い。
The time T1 is calculated using the relations of the above equations 1 and 2.
History S1 of the lateral deviation during a predetermined time DT from T2 to T2
Is calculated, for example, as shown in FIG. On the other hand, the history S2 of the lateral deviation measured from the image of the camera 2 is shown in FIG.
It becomes as shown in. Note that S in FIGS. 3 and 4 is the true lateral deviation history of the automobile 1. The history S1 often does not match the true history S due to the initial value error of the recurrence formula and the accumulated error of the sensor signal. The history S2 is
Due to the measurement error due to the vibration of the camera 2 or the stain or blur of the lane marking 3, the actual history S often does not match.

【0021】上記2つの履歴S1とS2とのマッチング
をとることにより、真の横偏差履歴Sが推定される。こ
のマッチングにより、初期値誤差、累積誤差、計測誤差
(ばらつき)が除去されて、高精度かつ信頼性の高い横
偏差計測を行うことが可能となる。上記マッチングの手
法としては、例えば、履歴S1とS2との誤差を最小に
する初期値y0、θ0を最小自乗法により求め、求めら
れた初期値y0、θ0と式1、式2から計算した横偏差
を、現在の横偏差yとして決定(推定)される。このよ
うにして決定された横偏差yが、図2の車線逸脱部5で
の判断用として用いられる。
A true lateral deviation history S is estimated by matching the two histories S1 and S2. By this matching, the initial value error, the accumulated error, and the measurement error (variation) are removed, so that highly accurate and highly reliable lateral deviation measurement can be performed. As the matching method, for example, the initial values y0 and θ0 that minimize the error between the histories S1 and S2 are obtained by the least square method, and the horizontal values calculated from the obtained initial values y0 and θ0 and Expressions 1 and 2 are used. The deviation is determined (estimated) as the current lateral deviation y. The lateral deviation y determined in this way is used for determination in the lane departure unit 5 in FIG.

【0022】マッチング処理の対象とする時間幅DTが
長くなると、S1に含まれる累積誤差が大きくなる。累
積誤差が大きくなり過ぎるのを防止するために、センサ
仕様から計算される累積誤差予想値とDTとの関係を例
えば図6に示すようにあらかじめ求め、累積誤差がしき
い値Aと等しくなる時間幅をDTとして用いるようにす
ることができる。なお、しきい値Aは、例えばビデオカ
メラ2による計測の誤差最大値の数分の1にする等の方
法で決定することができる。
When the time width DT to be subjected to the matching process becomes longer, the accumulated error included in S1 becomes larger. In order to prevent the accumulated error from becoming too large, the relationship between the accumulated error expected value calculated from the sensor specifications and DT is obtained in advance as shown in FIG. The width can be used as DT. Note that the threshold value A can be determined by, for example, setting the threshold value to a fraction of the maximum error value of the measurement by the video camera 2.

【0023】走行開始直後においては、履歴のデータが
ないためマッチングの処理は行わずに、カメラ2による
計測結果をそのまま最終的な横偏差(横方向位置)とし
て決定すればよい。また、S1とS2との誤差が大きく
なりすぎたとき、例えばS1とS2との誤差の最小値が
所定のしきい値を越えたときは、カメラ2やセンサZ1
〜Z3の異常等が考えられるので、この場合は位置決定
を中止して、システム異常を示すフェイル信号を出力す
ることができる。
Immediately after the start of traveling, since there is no history data, the matching process is not performed, and the measurement result by the camera 2 may be determined as the final lateral deviation (lateral position). When the error between S1 and S2 becomes too large, for example, when the minimum value of the error between S1 and S2 exceeds a predetermined threshold, camera 2 or sensor Z1
In this case, position determination can be stopped and a fail signal indicating a system abnormality can be output.

【0024】前述した制御内容を図7のフロ−チャ−ト
を参照しつつ説明するが、このフロ−チャ−トは図2の
横位置決定部4での制御内容に相当する。なお、以下の
説明でQはステップを示す。まず、Q1において、履歴
計測時間DTが設定された後、Q2において、カメラ2
で撮像された車線区分線3の画像が入力される。次い
で、Q3において、画像上において、車線区分線に対す
る横偏差Yが検出(計測)される。
The above-described control will be described with reference to the flowchart of FIG. 7. This flowchart corresponds to the control of the horizontal position determining unit 4 of FIG. In the following description, Q indicates a step. First, in Q1, after the history measurement time DT is set, in Q2, the camera 2
The image of the lane marking 3 picked up by is input. Next, in Q3, the lateral deviation Y with respect to the lane marking is detected (measured) on the image.

【0025】Q4では、走行開始後、DT以上の時間が
経過したか否かが判別される。このQ4の判別でYES
のときは、Q5において、センサZ1〜Z3からの信
号、つまり車速vと、ヨーレートrと、道路曲率半径R
とが読み込まれる。Q6では、車速vとヨーレートrと
道路曲率半径Rとから、式1、式2を用いて、横偏差
y′の履歴(S1)が演算される。Q7では、2つの履
歴y′とYとのマッチングにより、初期値y0、θ0が
決定される。Q8においては、マッチングの誤差が所定
のしきい値よりも大きいか否かが判別される。Q8の判
別でNOのときは、Q9において、上記初期値y0、θ
0を用いて、式1、式2により、現在の横偏差yが演算
される。この後、Q10において、横偏差yが車線逸脱
判断部5へ出力される。
In Q4, it is determined whether or not a time equal to or longer than DT has elapsed after the start of traveling. YES in this Q4 discrimination
At Q5, the signals from the sensors Z1 to Z3, that is, the vehicle speed v, the yaw rate r, and the road curvature radius R
Is read. In Q6, the history (S1) of the lateral deviation y 'is calculated from the vehicle speed v, the yaw rate r, and the radius of curvature R of the road using Expressions 1 and 2. In Q7, initial values y0 and θ0 are determined by matching the two histories y 'and Y. In Q8, it is determined whether or not the matching error is larger than a predetermined threshold. If the determination in Q8 is NO, in Q9, the initial values y0, θ
The current lateral deviation y is calculated from Equations 1 and 2 using 0. Thereafter, in Q10, the lateral deviation y is output to the lane departure determination unit 5.

【0026】前記Q4の判別でNOのときは、Q11に
おいて、カメラ2を用いて決定された横偏差Yが、その
まま最終的な横偏差yとして設定された後、Q10へ移
行する。前記Q8の判別でYESのときは、Q12にお
いて、横位置決定の処理が中断(中止)されると共に、
ランプ、ブザー等の警報器が作動される。
If the determination in Q4 is NO, in Q11, the lateral deviation Y determined by using the camera 2 is set as the final lateral deviation y as it is, and the process proceeds to Q10. If the determination in Q8 is YES, the process of determining the horizontal position is interrupted (stopped) in Q12,
Alarms such as lamps and buzzers are activated.

【0027】以上の説明から理解されるように、図2に
おいて、横位置決定部4が、特許請求の範囲における請
求項1での位置決定手段と、走行軌跡決定手段と、補正
手段とを構成する。また、図7においては、Q3が位置
決定手段となり、Q6が走行軌跡決定手段となり、Q
7、Q9が補正手段となる。
As can be understood from the above description, in FIG. 2, the lateral position determining unit 4 comprises the position determining means, the traveling trajectory determining means, and the correcting means in claim 1 of the present invention. I do. In FIG. 7, Q3 serves as position determining means, Q6 serves as travel path determining means,
7, Q9 is the correction means.

【0028】図8〜図10の説明 図8〜図10は、車体のロール角変動を補償して、横方
向位置を精度よく検出するための手法を示すものである
(図7のQ3での横方向距離Yそのものを高精度に決
定)。まず、図8において、車線区分線が、互いに所定
の小間隔を有する2本によって構成され、その所定間隔
Dは既知とされている(Dは真の値)。また、自動車1
(の車体)が、車線区分線3の方へθだけロールされて
いる。図8の状態において、カメラ2で撮像された2本
の車線区分線3のエッジが、図9のように示される。こ
の場合、近い方の車線区分線3に対する自動車1の実際
の横方向位置はa1であり、遠い方の車線区分線3に対
する実際の横方向位置はa2であるが、ロールによりa
1をb1として、またa2をb2として誤計測してしま
う。
Description of FIGS. 8 to 10 FIGS. 8 to 10 show a method for accurately detecting the lateral position by compensating the roll angle fluctuation of the vehicle body (Q3 in FIG. 7). The lateral distance Y itself is determined with high accuracy). First, in FIG. 8, the lane marking is composed of two lines having a predetermined small interval, and the predetermined interval D is known (D is a true value). Also, car 1
Is rolled by θ toward the lane marking 3. In the state of FIG. 8, the edges of the two lane markings 3 captured by the camera 2 are shown as in FIG. In this case, the actual lateral position of the vehicle 1 with respect to the near lane marking 3 is a1 and the actual lateral position with respect to the far lane marking 3 is a2,
1 is erroneously measured as b1 and a2 as b2.

【0029】図9は、図8を幾何学的に示したもので、
カメラ2の高さ位置hは、ロール変動にかかわらず一定
とみなしてある。この図9の幾何学関係において、以下
に示す式3〜式6が成立する。2本の車線区分線3の間
隔Dが真の値として既知なので、式3、式4より、以下
に示す式5が成立する。式1、式2、式5より、θ、φ
1、φ2を数値計算などにより求めることにより、ロー
ル角θが求められる。求められたロール角θとφ1を用
いることで、真の横偏差a1は、以下の式8により求め
られる。
FIG. 9 is a geometrical representation of FIG.
The height position h of the camera 2 is assumed to be constant regardless of the roll fluctuation. In the geometrical relationship shown in FIG. 9, the following expressions 3 to 6 hold. Since the interval D between the two lane markings 3 is known as a true value, the following Expression 5 is established from Expressions 3 and 4. From Equations 1, 2, and 5, θ, φ
The roll angle θ is obtained by obtaining 1, φ2 by numerical calculation or the like. By using the obtained roll angles θ and φ1, the true lateral deviation a1 is obtained by the following equation 8.

【0030】[0030]

【数2】 (Equation 2)

【0031】真の値としての間隔Dは、自動車1の横方
向片側に位置する2本の車線区分線3の間隔に限らず、
1本の車線区分線3の自動車1に近い側と遠い側とのエ
ッジ部同士の間隔でもよく、また、自動車1を挟んで自
動車1の左右に位置する2本の車線区分線3同士の間隔
でもよい。なお、前記各式2〜式8による演算(図2の
横位置決定部4での演算内容)が、特許請求の範囲にお
ける請求項8でのロール角決定手段、補正手段の内容を
示すものとなる。
The interval D as a true value is not limited to the interval between the two lane markings 3 located on one side in the lateral direction of the vehicle 1, and
The distance between the edges of the one lane marking 3 on the side closer to and farther from the car 1 may be the distance between the two lane markings 3 located on the left and right sides of the car 1 with the car 1 interposed therebetween. May be. It should be noted that the calculations by the above equations 2 to 8 (calculation contents in the lateral position determination unit 4 in FIG. 2) indicate the contents of the roll angle determination means and the correction means in claim 8 in the claims. Become.

【0032】図11〜図14の説明 図11〜図14は、車体のヨー角変動を補償して、横方
向位置を精度よく検出するための手法を示すものである
(図7のQ3での横方向距離Yそのものを高精度に決
定)。まず、図11において、自動車1の車体前後方向
中心線が車線区分線3に対してθだけ傾いていると(ヨ
ー角がθ)、実際の横方向位置がYであるのに対して、
カメラ2で得られる画像に基づいて得られる横方向位置
は、Yとは異なるY′を計測してしまうことになる。カ
メラ2により得られる画像は、図12に示すようになる
が、上記実際の横方向位置Yは、画面の基準点に対して
もっとも近い距離である。図12に示すように、画像上
の基準点(カメラ2の基準位置)から画像上の車線区分
線3に対して垂線を下ろすことにより、この垂線上の距
離が最小距離Yとなる(最小距離決定の一手法)。
Description of FIGS. 11 to 14 FIGS. 11 to 14 show a method for accurately detecting the lateral position by compensating the yaw angle fluctuation of the vehicle body (Q3 in FIG. 7). The lateral distance Y itself is determined with high accuracy). First, in FIG. 11, when the center line of the vehicle 1 in the vehicle longitudinal direction is inclined by θ with respect to the lane marking 3 (the yaw angle is θ), the actual lateral position is Y,
The horizontal position obtained based on the image obtained by the camera 2 will measure Y ′ different from Y. The image obtained by the camera 2 is as shown in FIG. 12, but the actual horizontal position Y is the closest distance to the reference point on the screen. As shown in FIG. 12, by making a perpendicular from the reference point on the image (the reference position of the camera 2) to the lane marking 3 on the image, the distance on this perpendicular becomes the minimum distance Y (minimum distance One method of determination).

【0033】また、図13に示すように、上記基準点を
中心として、画像上での車線区分線3に対しての距離を
全て計測していくと(走査角度φの変更)、図14のよ
うになり、図14上での最小距離が実際の距離Yとなる
(最小距離決定の別の手法)。さらに、図12での画像
上におけるXY軸平面上における車線区分線3を1次関
数として決定して、この決定された1次関数から最小距
離Yを決定するようにすることもできる((最小距離決
定のさらに別の手法)。
Further, as shown in FIG. 13, when all the distances from the reference point to the lane marking 3 on the image are measured (change of the scanning angle φ), as shown in FIG. Thus, the minimum distance on FIG. 14 becomes the actual distance Y (another method for determining the minimum distance). Further, the lane marking 3 on the XY-axis plane on the image in FIG. 12 may be determined as a linear function, and the minimum distance Y may be determined from the determined linear function ((min. Yet another method of distance determination).

【0034】図15〜図18の説明 図15〜図18は、車線区分線3と、その付近において
路面に表示されている制限速度表示等の路面表示とを識
別して、車線区分線3までの横方向距離を精度よく計測
するための手法を示すものである。このため、基本的
に、同じ位置を撮像する2つのカメラ2が用いられる
(図1のカメラ2が2台存在する)。一方のカメラで路
面の明るさに応じて長時間露光させるが、図25に示す
ように、路面が明るいほどシャッター速度が小さくされ
る(通常のシャッター速度よりは小さくされる)。ま
た、他方のカメラでは、車速に応じた短時間露光を行う
が、図18に示すように、車速が大きいほどシャッター
速度が小さくされる。
Description of FIGS. 15 to 18 FIGS. 15 to 18 show lane markings 3 and road surface indications such as speed limit indications displayed on the road surface in the vicinity of the lane markings 3, and the lane markings 3 to 3 are shown. 1 shows a method for accurately measuring the horizontal distance of the object. Therefore, basically, two cameras 2 that image the same position are used (there are two cameras 2 in FIG. 1). One of the cameras performs exposure for a long time according to the brightness of the road surface. As shown in FIG. 25, as the road surface is brighter, the shutter speed is reduced (slower than the normal shutter speed). The other camera performs short-time exposure according to the vehicle speed. As shown in FIG. 18, as the vehicle speed increases, the shutter speed decreases.

【0035】長時間露光により得られる画像は、図15
に示すように、路面表示に影響されない車線区分線を識
別するための2値化のしきい値Tの設定が容易となる。
そして、しきい値Tでもって2値化された後の車線区分
線のエッジ位置が、仮の位置x0として決定される。た
だし、仮位置x0は、長時間露光であるためにエッジ部
がぼけた状態での車線区分線に基づいており、仮位置x
0が正確に横方向距離を示すものとはなり難い。一方、
短時間露光で得られた画像は、車線区分線等のエッジ部
を明確に示すものの、図16に示すように、車線区分線
と路面表示とが明確に識別しにくいものとなる。そこ
で、短時間露光で得られた画像上において、その2値化
後に、長時間露光で得られた仮位置x0にもっとも近い
位置xを選択して、この選択された位置xが最終的な横
方向距離を示す位置とされる。
The image obtained by the long exposure is shown in FIG.
As shown in (1), it is easy to set the threshold value T for binarization for identifying lane markings that are not affected by the road surface display.
Then, the edge position of the lane marking after binarization by the threshold value T is determined as the provisional position x0. However, the tentative position x0 is based on the lane marking with the edge part blurred due to long exposure, and the tentative position x0
It is difficult for 0 to accurately indicate the lateral distance. on the other hand,
Although the image obtained by the short-time exposure clearly shows an edge portion such as a lane marking, the lane marking is hardly distinguished from the road surface display as shown in FIG. Therefore, on the image obtained by the short-time exposure, after the binarization, a position x closest to the temporary position x0 obtained by the long-time exposure is selected, and the selected position x is set to the final horizontal position. The position indicates the directional distance.

【0036】図19、図20の説明 図10、図20は、短時間露光と長時間露光との2つの
画像を利用して、車線区分線3のかすれや汚れによる部
分的な欠落を補償して、横方向距離を精度よく計測する
ようにした例を示す。まず、図19には、長時間露光に
より得られた画像から、車線区分線3のエッジ部(ぼけ
ている)の位置が仮位置x0として決定される。図20
には、短時間露光により得られた車線区分線の画像が示
されるが、かすれ等により部分的に欠落がある。そこ
で、短時間露光により得られた画像上において、図20
に示すように検出ラインを複数設定して、この複数の検
出ライン上において上記位置x0にもっとも近い位置x
が、最終的な横方向距離のための位置として決定され
る。
Description of FIGS. 19 and 20 FIGS. 10 and 20 show that two images of short exposure and long exposure are used to compensate for partial loss of the lane marking 3 due to blurring or dirt. An example in which the lateral distance is accurately measured will be described. First, in FIG. 19, the position of the edge portion (blurred) of the lane marking 3 is determined as the temporary position x0 from the image obtained by the long-time exposure. FIG.
Shows an image of a lane marking obtained by short-time exposure, but is partially missing due to blurring or the like. Therefore, on an image obtained by short-time exposure, FIG.
A plurality of detection lines are set as shown in FIG. 3, and a position x closest to the position x0 on the plurality of detection lines is set.
Is determined as the position for the final lateral distance.

【0037】図21〜図23の説明 図21〜図23は、図19、図20の例の変形例を示
す。図22は、図20に対応するものであり、短時間露
光により得られた画像である。なお、長時間露光により
得られる画像は図19と同じなので、省略してある。図
21は、長時間露光画像での仮位置x0における濃度値
がv1として示され、濃度の最大値がv2として示され
る、そして、v1/v2が重み係数Wとして設定され
る。さらに、仮位置x0における濃度の傾きが、Rとて
設定される。
Description of FIGS. 21 to 23 FIGS. 21 to 23 show modifications of the examples of FIGS. FIG. 22 corresponds to FIG. 20 and is an image obtained by short-time exposure. The image obtained by the long-time exposure is the same as that in FIG. In FIG. 21, the density value at the temporary position x0 in the long-time exposure image is indicated as v1, the maximum value of the density is indicated as v2, and v1 / v2 is set as the weight coefficient W. Further, the gradient of the density at the tentative position x0 is set as R.

【0038】重み係数Wと傾きRとを用いれば、真の車
線区分線(のエッジ部)位置が位置x0とどの程度離れ
ているのかかが正確に推定される。すなわち、図20の
例では、x0にもっとも近い位置xが最終的に選択され
るが、図22のxtで示すように、真の車線区分線に近
い位置を最終決定することができる。本例によれば、W
とRとを基準にして探索範囲を絞ることも可能となり、
処理の高速化の上でも好ましいものとなる。
By using the weighting coefficient W and the slope R, it is possible to accurately estimate how far (the edge portion of) the true lane marking is apart from the position x0. That is, in the example of FIG. 20, the position x closest to x0 is finally selected, but as shown by xt in FIG. 22, a position close to the true lane marking can be finally determined. According to this example, W
It is also possible to narrow the search range based on R and R,
This is preferable in terms of speeding up the processing.

【0039】図23は、上記重み係数Wと傾きRとを用
いて最終的に位置xtを選択するまでの具体的な手法を
示すフロ−チャ−トである。この図23のQ31におい
て、長時間露光画像の2値化用のしきい値Tが設定され
る。Q32において、しきい値Tを用いて2値化した後
の状態から、位置x0が決定される。Q33では、位置
x0での濃度v1が求められる。Q34では、濃度の最
大値v2とその位置x0′とが求められる。
FIG. 23 is a flowchart showing a specific method for finally selecting the position xt using the weight coefficient W and the inclination R. In Q31 of FIG. 23, a threshold value T for binarizing a long-time exposure image is set. In Q32, the position x0 is determined from the state after binarization using the threshold value T. In Q33, the density v1 at the position x0 is obtained. In Q34, the maximum value v2 of the density and its position x0 'are obtained.

【0040】Q35では、v1とv2との比となる重み
係数Wが算出される。Q36では、位置x0での濃度の
傾きRが演算される。Q37では、WとRとが乗算され
る。画像上での各検出ラインのそれぞれについてWとR
との乗算値を得た後、Q38において、この乗算値を最
大とする検出ライン上での位置xtが最終選択される。
In Q35, a weight coefficient W which is a ratio between v1 and v2 is calculated. In Q36, the gradient R of the density at the position x0 is calculated. In Q37, W and R are multiplied. W and R for each of the detection lines on the image
Is obtained, the position xt on the detection line that maximizes the multiplied value is finally selected in Q38.

【0041】図24の説明 図24は、1つのカメラでもって、長時間露光画像と短
時間画像とを得るための例を示すものである。まず、カ
メラ2としてCCDカメラが用いられる。11は、カメ
ラ駆動回路であり、シャッター速度切替部12と、2つ
のタイミングICと、シャッター制御部15と、画像読
み出し部16とを有する。タイミングIC13は、画像
の偶数フィールド用(または奇数フィールド用)であ
り、長時間露光用のシャッター速度を設定する(例えば
1/100秒)。タイミングIC14は、画像の奇数フ
ィールド用(または偶数フィールド用)であり、短時間
露光用のシャッター速度を設定する(例えば1/300
秒)。制御部15は、所定時間(例えば1/60秒)毎
に、タイミングIC13と14との設定速度でもって交
互にシャッターを切らせるように制御する。画像読出し
部16での画像読み出し(例えば1/60秒毎)と同期
してシャッター速度の切替えが行われ、これにより、偶
数フィールドには長時間露光画像が得られ、奇数フィー
ルドには短時間露光画像が得られる。なお、フレーム
(実施形態では1/30秒)毎の切換も可能であるた
め、時間分解能は1/2に低下するが、解像度は低下さ
せずに1/15秒でシャッター時間の異なる2枚の画像
を得ることが可能である。
Description of FIG. 24 FIG. 24 shows an example for obtaining a long-time exposure image and a short-time image with one camera. First, a CCD camera is used as the camera 2. Reference numeral 11 denotes a camera driving circuit, which includes a shutter speed switching unit 12, two timing ICs, a shutter control unit 15, and an image reading unit 16. The timing IC 13 is for an even field (or an odd field) of an image, and sets a shutter speed for long-time exposure (for example, 1/100 second). The timing IC 14 is for an odd field (or for an even field) of an image and sets a shutter speed for short-time exposure (for example, 1/300).
Seconds). The control unit 15 controls so as to alternately release the shutter at a predetermined speed (for example, 1/60 second) at the set speed of the timing ICs 13 and 14. The shutter speed is switched in synchronization with the image reading (for example, every 1/60 second) in the image reading unit 16, whereby a long-time exposure image is obtained in an even field and a short-time exposure image is obtained in an odd field. An image is obtained. In addition, since the switching can be performed every frame (1/30 second in the embodiment), the time resolution is reduced to 1 /, but the resolution is not reduced and two shutters having different shutter times of 1/15 second are used. It is possible to obtain an image.

【0042】図25〜図27の説明 図25〜図27は、自動車1の前後方向に隔置された2
台のカメラ2A、2Bから得られる画像の相関処理によ
って、ヨー角θを検出すると共に、その処理速度を向上
させるようにしたものである。まず、図25において、
2台のカメラ2A、2Bの間隔が符号Wで示される。前
方カメラ2Aで得られる画像が図26に、後方カメラ2
Bで得られる画像が図27に示されるが、図27の破線
が、前画像での車線区分線位置に相当する。
Description of FIGS. 25 to 27 FIGS. 25 to 27 show two vehicles 2 separated in the front-rear direction of the automobile 1.
The yaw angle θ is detected by the correlation processing of the images obtained from the cameras 2A and 2B, and the processing speed is improved. First, in FIG.
An interval between the two cameras 2A and 2B is indicated by a symbol W. FIG. 26 shows an image obtained by the front camera 2A.
The image obtained in B is shown in FIG. 27, and the broken line in FIG. 27 corresponds to the position of the lane marking in the previous image.

【0043】画像の横方向(y方向)シフト量を相関処
理により演算する。すなわち、画像全体に対して、次の
式9に示す演算を行う(i=−y・・・・y)。そして
得られたF(i)の最小値をとるiが、シフト量となる
(車線区分線3に対する前方カメラ位置と後方カメラ位
置との偏差に相当)。したがって、ヨー角θは、次の式
10によって得られることになる。
The shift amount in the horizontal direction (y direction) of the image is calculated by a correlation process. That is, the calculation shown in the following Expression 9 is performed on the entire image (i = −y... Y). Then, i, which is the minimum value of the obtained F (i), is the shift amount (corresponding to the deviation between the front camera position and the rear camera position with respect to the lane marking 3). Therefore, the yaw angle θ is obtained by the following equation (10).

【0044】[0044]

【数3】 (Equation 3)

【0045】図28、図29の説明 図28、図29は、2つのカメラを用いて、検出レンジ
を拡大しつつ、車線区分線の認識の信頼性をも十分確保
するようにしたものである。すなわち、図28に示すよ
うに、一方のカメラの視野を近い位置とし(視野1)、
他方のカメラの視野を遠い位置とする(視野2で、視野
1と連続するように設定)。視野1となる一方のカメラ
のみでもって視野2の範囲まで検出しようとすると、図
29波線で示すように距離分解能が悪くなってしまう。
一方のカメラのみでは距離分解能が悪くなる視野2を他
方のカメラでもって分担することにより、全体として、
視野1と視野2との広い検出レンジについて距離分解能
を悪くすることなく撮像することが可能となる。
Description of FIGS. 28 and 29 FIGS. 28 and 29 show the case where two cameras are used to increase the detection range and ensure sufficient recognition of lane markings. . That is, as shown in FIG. 28, the field of view of one camera is set to a close position (field of view 1),
The field of view of the other camera is set to a distant position (set so as to be continuous with field 1 in field 2). If it is attempted to detect up to the range of the visual field 2 using only one of the cameras that is the visual field 1, the distance resolution is deteriorated as shown by the broken line in FIG.
By sharing the field of view 2 in which the distance resolution is poor with only one camera with the other camera,
It is possible to image a wide detection range between the visual field 1 and the visual field 2 without deteriorating the distance resolution.

【0046】図30、図31の説明 図30、図31は、2つのカメラを用いて、路面の反射
状況にかかわらず車線区分線を明確に識別できるように
した例を示す。本例では、2台のカメラ共に、それぞれ
偏向フィルタを通して撮像する。ただし、2つのカメラ
の間での偏向フィルタの偏向方向が互いに異なるように
設定される(一方が縦偏向用、他方が横偏向用)。この
ように設定した場合、例えば一方のカメラで得られた画
像の濃度分布おいて、図31に示すように路面反射によ
るノイズが大きいときでも、他方のカメラにより得られ
る画像の濃度分布は図30に示すようにノイズの少ない
ものとなる。ノイズの少ない方の濃度分布の画像を用い
て、車線区分線を明確に識別(認識)することが可能と
なる。
Description of FIGS. 30 and 31 FIGS. 30 and 31 show examples in which two cameras are used so that lane markings can be clearly identified regardless of the road surface reflection state. In this example, both cameras capture images through the respective deflection filters. However, the deflection direction of the deflection filter between the two cameras is set to be different from each other (one for vertical deflection and the other for horizontal deflection). In such a case, for example, in the density distribution of the image obtained by one camera, even when the noise due to road surface reflection is large as shown in FIG. 31, the density distribution of the image obtained by the other camera is as shown in FIG. As shown in FIG. The lane marking can be clearly identified (recognized) using the image of the density distribution with less noise.

【0047】以上実施形態について説明したが、路面表
示を車線区分線であると誤認識しないようにするため、
次のようにすることもできる。すなわち、図3〜図7で
説明したように、理論的な走行軌跡とカメラにより検出
された前回の横方向位置(車線区分線位置)とから、今
回の横方向位置を所定範囲に絞り込むことにより(予
測)、この絞り込まれた範囲外にある路面表示を確実に
除外して、車線区分線をより精度よく認識することが可
能となる。
Although the embodiment has been described above, in order to prevent the road surface display from being erroneously recognized as a lane marking,
You can also do the following: That is, as described with reference to FIGS. 3 to 7, the current horizontal position is narrowed down to a predetermined range from the theoretical traveling locus and the previous horizontal position (lane lane marking position) detected by the camera. (Prediction) It is possible to reliably exclude the road surface display outside the narrowed range and to recognize the lane marking more accurately.

【0048】フロ−チャ−トに示す各ステップあるいは
センサ等の各種部材は、その機能の上位表現に手段の名
称を付して表現することができる。また、本発明の目的
は、明記されたものに限らず、実質的に好ましいあるい
は利点として表現されたものを提供することをも暗黙的
に含むものである。さらに、本発明は、位置検出方法と
して表現することも可能である。
Various members such as each step or sensor shown in the flowchart can be expressed by adding a name of a means to a higher-level expression of its function. In addition, the object of the present invention is not limited to what is explicitly specified, but also implicitly includes providing what is expressed as substantially preferable or advantageous. Further, the present invention can be expressed as a position detection method.

【図面の簡単な説明】[Brief description of the drawings]

【図1】自動車に搭載されたカメラと車線区分線とを示
す平面図。
FIG. 1 is a plan view showing a camera mounted on an automobile and lane markings.

【図2】横位置決定のための制御系統図。FIG. 2 is a control system diagram for determining a lateral position.

【図3】理論的に得られた走行軌跡の一例を示す図。FIG. 3 is a diagram showing an example of a traveling trajectory obtained theoretically.

【図4】カメラ画像から得られた横方向位置の一例を示
す図。
FIG. 4 is a diagram showing an example of a horizontal position obtained from a camera image.

【図5】図3の走行軌跡と図4の横方向位置の履歴との
マッチングを示す図。
FIG. 5 is a diagram showing matching between the traveling locus of FIG. 3 and the history of the lateral position of FIG. 4;

【図6】走行軌跡を演算する時間の設定例を説明するた
めの図。
FIG. 6 is a diagram for explaining an example of setting a time for calculating a traveling locus.

【図7】走行軌跡とカメラ画像から得られた横方向位置
とに基づいて、最終的な横方向位置を決定するためのフ
ロ−チャ−ト。
FIG. 7 is a flowchart for determining a final lateral position based on a traveling locus and a lateral position obtained from a camera image.

【図8】ロール角変動を加味した横方向位置を決定する
ための説明図。
FIG. 8 is an explanatory diagram for determining a lateral position in consideration of roll angle fluctuation.

【図9】画像上での2つの車線区分線を示す図。FIG. 9 is a diagram showing two lane markings on an image.

【図10】図8を幾何学的に示す図。FIG. 10 is a view geometrically showing FIG. 8;

【図11】ヨー角変動を加味した横方向位置を決定する
ための説明図。
FIG. 11 is an explanatory diagram for determining a lateral position in consideration of yaw angle fluctuation.

【図12】ヨー角があるときに得られる画像から、横方
向位置を決定する一例を示す図。
FIG. 12 is a diagram showing an example of determining a horizontal position from an image obtained when there is a yaw angle.

【図13】ヨー角があるときに得られる画像から、横方
向位置を決定する別の例を示す説明図。
FIG. 13 is an explanatory diagram showing another example of determining a horizontal position from an image obtained when there is a yaw angle.

【図14】図13の例において、横方向位置を最終決定
するときの説明図。
FIG. 14 is an explanatory diagram when the horizontal position is finally determined in the example of FIG. 13;

【図15】長時間露光のときの画像と濃度とを示す図。FIG. 15 is a diagram showing an image and density during long-time exposure.

【図16】短時間露光のときの画像と濃度とを示す図。FIG. 16 is a diagram illustrating an image and a density during short-time exposure.

【図17】長時間露光のときのシャッター速度設定例を
示す図。
FIG. 17 is a diagram illustrating an example of setting a shutter speed during long-time exposure.

【図18】短時間露光のときのシャッター速度設定例を
示す図。
FIG. 18 is a diagram showing an example of setting a shutter speed during short-time exposure.

【図19】長時間露光画像の一例を示す図。FIG. 19 is a diagram showing an example of a long-time exposure image.

【図20】図19の部分拡大図。FIG. 20 is a partially enlarged view of FIG. 19;

【図21】長時間露光画像での濃度分布を示す図。FIG. 21 is a diagram showing a density distribution in a long-time exposure image.

【図22】短時間露光画像の部分拡大図。FIG. 22 is a partially enlarged view of a short-time exposure image.

【図23】図21の濃度分布を利用して横方向位置を精
度よく決定するために用いるフロ−チャ−ト。
FIG. 23 is a flowchart used to accurately determine a horizontal position using the density distribution of FIG. 21;

【図24】1つのカメラで、長時間露光画像と短時間露
光画像とを得るための構成例を示す図。
FIG. 24 is a diagram showing a configuration example for obtaining a long exposure image and a short exposure image with one camera.

【図25】2つのカメラを用いてヨー角を決定するため
の説明図。
FIG. 25 is an explanatory diagram for determining a yaw angle using two cameras.

【図26】図25の前方カメラから得られる画像を示す
図。
FIG. 26 is a diagram showing an image obtained from the front camera of FIG. 25.

【図27】図25の後方カメラから得られる画像を示す
図。
FIG. 27 is a diagram showing an image obtained from the rear camera of FIG. 25.

【図28】2つのカメラ同士の間での視野を異ならる場
合の例を示す図。
FIG. 28 is a diagram showing an example of a case where the fields of view between two cameras are different.

【図29】図28の設定例での各カメラの距離分解能を
示す図。
FIG. 29 is a view showing a distance resolution of each camera in the setting example of FIG. 28;

【図30】偏向フィルタを用いて撮像する例を示す図。FIG. 30 is a diagram showing an example in which imaging is performed using a deflection filter.

【図31】図30の場合とは異なる偏向方向とされた偏
向フィルタを用いて撮像する例を示す図。
FIG. 31 is a diagram illustrating an example in which imaging is performed using a deflection filter whose deflection direction is different from that in FIG. 30;

【符号の説明】[Explanation of symbols]

1:自動車 2:カメラ 2A:カメラ 2B:カメラ 3:車線区分線 4:横位置決定部 Z1:車速センサ Z2:ヨーレートセンサ Z3:道路形状検出センサ 1: automobile 2: camera 2A: camera 2B: camera 3: lane marking 4: lateral position determination unit Z1: vehicle speed sensor Z2: yaw rate sensor Z3: road shape detection sensor

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 7/18 J Fターム(参考) 2F065 AA02 AA06 CC11 DD11 FF04 FF65 JJ03 JJ05 JJ07 JJ26 LL21 MM22 QQ38 UU05 2F112 AD03 BA20 CA05 DA19 FA38 FA45 5C054 CE11 CH00 FC15 HA30 5H301 AA03 CC03 DD07 EE07 GG01 HH01 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI theme coat ゛ (Reference) H04N 7/18 H04N 7/18 J F term (Reference) 2F065 AA02 AA06 CC11 DD11 FF04 FF65 JJ03 JJ05 JJ07 JJ26 LL21 MM22 QQ38 UU05 2F112 AD03 BA20 CA05 DA19 FA38 FA45 5C054 CE11 CH00 FC15 HA30 5H301 AA03 CC03 DD07 EE07 GG01 HH01

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】カメラにより車両の走行領域を決定する走
行ラインを撮像し、撮像された画像上における走行ライ
ンの位置から、走行ラインに対する相対的な車両位置を
計測するようにした車両の位置検出装置において、 前記カメラのシャッター速度が通常よりも十分遅くされ
て、長時間露光された画像を得るようにされ、 前記長時間露光により得られた画像上において、走行ラ
インの位置が決定される、ことを特徴とする車両の位置
検出装置。
1. A vehicle position detection system in which a camera captures an image of a travel line that determines a travel area of a vehicle, and measures a vehicle position relative to the travel line from a position of the travel line on the captured image. In the apparatus, the shutter speed of the camera is made sufficiently slower than usual to obtain a long-exposure image, and a position of a traveling line is determined on the image obtained by the long exposure. A position detecting device for a vehicle.
【請求項2】撮像手段により車両の走行領域を決定する
走行ラインを撮像し、撮像された画像上における走行ラ
インの位置から、走行ラインに対する相対的な車両位置
を計測するようにした車両の位置検出装置において、 シャッター速度が遅くされて長時間露光された画像を得
るための第1撮像手段と、 前記第1撮像手段よりもシャッター速度が十分早くされ
て短時間露光された画像を得るための第2撮像手段と、 長時間露光画像上において、走行ラインの位置を仮決定
する第1位置決定手段と、 短時間露光画像上において、走行ラインの位置を、前記
第1位置決定手段で決定された仮位置を基準として決定
する第2位置決定手段と、 前記第2位置決定手段で決定された短時間露光画像上に
おける走行ラインの位置に基づいて、車両位置を計測す
る車両位置計測手段と、を備えていることを特徴とする
車両の位置検出装置。
2. A vehicle position in which a traveling line for determining a traveling area of a vehicle is imaged by an imaging means, and a vehicle position relative to the traveling line is measured from a position of the traveling line on the captured image. A first imaging unit configured to obtain a long-time exposed image with a reduced shutter speed; and a first exposure unit configured to obtain a short-time exposed image with a shutter speed sufficiently higher than the first imaging unit. A second imaging unit; a first position determining unit for temporarily determining a position of the traveling line on the long exposure image; and a first position determining unit for determining the position of the traveling line on the short exposure image. Second position determining means for determining the temporary position as a reference, and a vehicle position based on the position of the traveling line on the short-time exposure image determined by the second position determining means. Position detecting apparatus for a vehicle, characterized in that it and a vehicle position measuring unit for measuring.
【請求項3】請求項2において、 前記各撮像手段がそれぞて、車両の横方向を撮像するよ
うに設定されている、ことを特徴とする車両の位置検出
装置。
3. The vehicle position detecting device according to claim 2, wherein each of said image pickup means is set so as to take an image in a lateral direction of the vehicle.
【請求項4】請求項3において、 前記走行ラインが、路面に表示された走行区分線とされ
ている、ことを特徴とする車両の位置検出装置。
4. The vehicle position detecting device according to claim 3, wherein the traveling line is a traveling dividing line displayed on a road surface.
【請求項5】請求項2において、 前記第1撮像手段のシャッター速度が、路面が明るいほ
ど遅くなるように変更される、ことを特徴とする車両の
位置検出装置。
5. The vehicle position detecting device according to claim 2, wherein a shutter speed of the first image pickup means is changed so as to be slower as the road surface is brighter.
【請求項6】請求項2において、 前記第2撮像手段のシャッター速度が、車速が大きくな
るほど遅くなるように変更される、ことを特徴とする車
両の位置検出装置。
6. The vehicle position detecting device according to claim 2, wherein the shutter speed of the second imaging means is changed so as to decrease as the vehicle speed increases.
【請求項7】請求項2において、 1つのカメラを備え、 前記第1撮像手段と第2撮像手段とが、前記1つのカメ
ラのシャッター速度を早い状態と遅い状態とで交互に切
換えて撮像するものとして構成されている、ことを特徴
とする車両の位置検出装置。
7. The apparatus according to claim 2, further comprising one camera, wherein the first imaging means and the second imaging means alternately switch the shutter speed of the one camera between a fast state and a slow state to capture an image. A position detection device for a vehicle, characterized in that the position detection device is configured as a vehicle.
【請求項8】請求項7において、 前記シャッター速度の異なる2種類の画像が、1つの画
像フレームでの奇数フィールドと偶数フィールドとに分
けて撮像される、ことを特徴とする車両の位置検出装
置。
8. The vehicle position detecting device according to claim 7, wherein the two kinds of images having different shutter speeds are picked up in an odd field and an even field in one image frame. .
【請求項9】撮像手段により車両の走行領域を決定する
走行ラインを撮像し、撮像された画像上における走行ラ
インの位置から、走行ラインに対する相対的な車両位置
を計測するようにした車両の位置検出装置において、 シャッター速度が遅くされて長時間露光された画像を得
るための第1撮像手段と、 前記第1撮像手段よりもシャッター速度が十分早くされ
て短時間露光された画像を得るための第2撮像手段と、 長時間露光画像上において、走行ラインの位置を仮決定
する第1位置決定手段と、 長時間露光画像上において、前記仮決定位置での濃度値
と濃度の最大値との比となる重み係数と、該仮決定位置
での濃度の傾きとに基づいて、真の走行ライン位置から
のずれを推定する推定手段と、 短時間露光画像上において、前記仮決定位置と前記推定
されたずれとから、走行ライン位置を決定する第2位置
決定手段と、 前記第2位置決定手段で決定された短時間露光画像上に
おける走行ラインの位置に基づいて、車両位置を計測す
る車両位置計測手段と、を備えていることを特徴とする
車両の位置検出装置。
9. A vehicle position in which a traveling line for determining a traveling area of a vehicle is imaged by an imaging means, and a vehicle position relative to the traveling line is measured from a position of the traveling line on the captured image. A first imaging unit configured to obtain a long-time exposed image with a reduced shutter speed; and a first exposure unit configured to obtain a short-time exposed image with a shutter speed sufficiently higher than the first imaging unit. A second imaging unit; a first position determining unit for temporarily determining a position of the traveling line on the long-time exposure image; and a density value at the temporary determination position and a maximum value of the density on the long-time exposure image. Estimating means for estimating a deviation from a true travel line position based on a weighting coefficient serving as a ratio and a gradient of density at the tentatively determined position; Second position determining means for determining the position of the traveling line from the estimated displacement and measuring the vehicle position based on the position of the traveling line on the short-time exposure image determined by the second position determining means And a vehicle position measuring means.
JP22496798A 1998-08-07 1998-08-07 Vehicle position detection device Expired - Fee Related JP3952604B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22496798A JP3952604B2 (en) 1998-08-07 1998-08-07 Vehicle position detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22496798A JP3952604B2 (en) 1998-08-07 1998-08-07 Vehicle position detection device

Publications (2)

Publication Number Publication Date
JP2000055659A true JP2000055659A (en) 2000-02-25
JP3952604B2 JP3952604B2 (en) 2007-08-01

Family

ID=16822023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22496798A Expired - Fee Related JP3952604B2 (en) 1998-08-07 1998-08-07 Vehicle position detection device

Country Status (1)

Country Link
JP (1) JP3952604B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009139281A1 (en) * 2008-05-14 2009-11-19 アイシン精機株式会社 Periphery monitoring device
JP2011095846A (en) * 2009-10-27 2011-05-12 Fujitsu Ltd Device, method and program for detection of vehicle position

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009139281A1 (en) * 2008-05-14 2009-11-19 アイシン精機株式会社 Periphery monitoring device
JP2009278349A (en) * 2008-05-14 2009-11-26 Aisin Seiki Co Ltd Perimeter monitoring device
JP4716139B2 (en) * 2008-05-14 2011-07-06 アイシン精機株式会社 Perimeter monitoring device
JP2011095846A (en) * 2009-10-27 2011-05-12 Fujitsu Ltd Device, method and program for detection of vehicle position

Also Published As

Publication number Publication date
JP3952604B2 (en) 2007-08-01

Similar Documents

Publication Publication Date Title
JP3941252B2 (en) Vehicle position detection device
JP2002096702A (en) Vehicle-to-vehicle distance estimation device
JP2007164636A (en) Lane line detection device
JP2011180982A (en) Lane marker detecting apparatus
JPH0812072B2 (en) Distance measuring device
EP1820020B1 (en) Apparatus and method for detecting objects
JP3823782B2 (en) Leading vehicle recognition device
JPH06229759A (en) System for estimating distance and speed of preceding vehicle using image
US7430305B2 (en) Image velocity computer and method for computing image velocity
JP2009243963A (en) Object detector
JPH0552562A (en) Vehicular gap detector for tracking advance vehicle
JP3952604B2 (en) Vehicle position detection device
JP2009014645A (en) Distance measuring device used for vehicle
JP2001357396A (en) Image processor and image recognizing device
AU2011351897B2 (en) Method for safely identifying a vehicle captured by a radiation sensor in a photograph
JP2000163691A (en) Traffic flow measuring instrument
JP2000057319A (en) Vehicle position detector
JP3875889B2 (en) Image speed detection system and image speed detection method
JP3099692B2 (en) Method of measuring the position of an object on a traveling path
JP2005329765A (en) Run lane recognition device
JP2635232B2 (en) Inter-vehicle distance detection device
JPH07198349A (en) Measurement device of road shape and self attitude of vehicle
JP3393767B2 (en) Obstacle detection device for vehicles
JP2001160200A (en) Forward road information acquiring means selector
JP2001283202A (en) Vehicle state recognizing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070423

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees