JP2002259995A - Position detector - Google Patents
Position detectorInfo
- Publication number
- JP2002259995A JP2002259995A JP2001061550A JP2001061550A JP2002259995A JP 2002259995 A JP2002259995 A JP 2002259995A JP 2001061550 A JP2001061550 A JP 2001061550A JP 2001061550 A JP2001061550 A JP 2001061550A JP 2002259995 A JP2002259995 A JP 2002259995A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- vehicle
- road
- vanishing point
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims description 102
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 abstract description 16
- 230000008034 disappearance Effects 0.000 abstract 3
- 238000000034 method Methods 0.000 description 16
- 230000006399 behavior Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 101100366710 Arabidopsis thaliana SSL12 gene Proteins 0.000 description 1
- 101100366563 Panax ginseng SS13 gene Proteins 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、車載カメラが検出
する路面に描かれた車線（白線や黄線）と消失点とに基
づいて、撮像データを走行中に補正する位置検出装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a position detecting device that corrects image data during traveling based on a lane (white line or yellow line) drawn on a road surface and a vanishing point detected by a vehicle-mounted camera.
【０００２】[0002]
【従来の技術】自動走行技術において、走行中の車輌の
自車位置を検出することは不可欠である。白線を検出す
る画像処理を用いた自車位置検出装置として、例えば特
開平９−８１７５７号に開示されたものが知られてい
る。これは車載カメラにより道路の車線区画線である白
線を撮像し、この白線の二点間を結ぶ画像上の位置と傾
斜角とにより走行車線内における自車位置を検出するも
のである。このように車載カメラを使用して位置検出を
行うことは有効な手段であるが、車載カメラの光軸にず
れが生じた場合には計測値に誤差が生じるため正確な位
置検出ができない。このため、車載カメラの取付は慎重
に行われ、車載カメラの光軸の設定・検査には多大な工
数を必要とする。さらに、車両走行中に生じた光軸のず
れを調整することは困難であった。こうした車載カメラ
の取付姿勢の修正及び使用中の車載カメラの光軸の調整
に関し、特開平８−１６９９９号公報には、車載カメラ
の視野内に認識マークを設置して認識マークの位置を画
像処理装置に記憶させることによりずれ量を検出して車
載カメラの位置を補正する技術が開示されている。2. Description of the Related Art In an automatic driving technique, it is indispensable to detect a position of a running vehicle. As an own-vehicle position detecting apparatus using image processing for detecting a white line, for example, an apparatus disclosed in Japanese Patent Application Laid-Open No. 9-81757 is known. In this method, a white line, which is a lane marking of a road, is captured by an on-vehicle camera, and the position of the host vehicle in the traveling lane is detected based on the position on an image connecting two points of the white line and the inclination angle. Performing position detection using an in-vehicle camera as described above is an effective means. However, if the optical axis of the in-vehicle camera is displaced, an error occurs in a measured value, so that accurate position detection cannot be performed. For this reason, the mounting of the vehicle-mounted camera is performed carefully, and setting and inspecting the optical axis of the vehicle-mounted camera requires a great number of man-hours. Further, it has been difficult to adjust the deviation of the optical axis that occurs during traveling of the vehicle. Japanese Patent Application Laid-Open No. 8-16999 discloses a method of correcting the mounting posture of a vehicle-mounted camera and adjusting the optical axis of the vehicle-mounted camera in use. There has been disclosed a technique for correcting a position of a vehicle-mounted camera by detecting a shift amount by storing the shift amount in a device.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上述し
た自車位置検出装置では、認識マークを車載カメラの視
野内の所定位置に（位置変動がないように）設ける必要
があり、車体の設計の自由度を制限するという問題があ
った。また、認識マークが車載カメラに対して幾何学的
に正確に設定されたとしても、車輌の前後方向の中心線
と車輌の進行方向とは車輪のアライメントなどによりず
れが生じるため、直進状態の車輌においても車載カメラ
は車輌の進行方向を正確に捉えることができず、走行車
線内における自車位置の検出に誤差を生じてしまうとい
う問題があった。However, in the above-described vehicle position detecting device, it is necessary to provide the recognition mark at a predetermined position in the field of view of the vehicle-mounted camera (so that the position does not fluctuate). There was a problem of limiting the degree. Even if the recognition mark is set geometrically accurately with respect to the on-board camera, the center line in the front-rear direction of the vehicle and the traveling direction of the vehicle may be misaligned due to wheel alignment or the like. However, there is a problem that the in-vehicle camera cannot accurately detect the traveling direction of the vehicle, and an error occurs in the detection of the position of the own vehicle in the traveling lane.
【０００４】本発明は、このような従来の問題点に鑑
み、車載カメラにより撮像された車線区画線を利用して
車載カメラの光軸と車輌の進行方向とを一致させて、車
載カメラの光軸のずれを補正することにより、自車位置
を正確に検出する車輌位置検出装置を提供することを目
的とする。また、本発明では、特別な光軸修正装置を設
けることなく光軸のずれを補正できるため、車輌の車載
カメラの取付位置の自由度及び車体設計の自由度が確保
された車輌位置検出装置を提供することを目的とする。The present invention has been made in view of the above-mentioned conventional problems, and uses the lane markings picked up by a vehicle-mounted camera to match the optical axis of the vehicle-mounted camera with the traveling direction of the vehicle, thereby obtaining the light of the vehicle-mounted camera. It is an object of the present invention to provide a vehicle position detecting device that accurately detects the position of the vehicle by correcting the displacement of the shaft. Further, in the present invention, since the deviation of the optical axis can be corrected without providing a special optical axis correcting device, a vehicle position detecting device in which the degree of freedom of the mounting position of the vehicle-mounted camera and the degree of freedom of the vehicle body design are ensured. The purpose is to provide.
【０００５】[0005]
【課題を解決するための手段】（１）上記目的を達成す
るために、請求項１記載の発明によれば、車両に搭載さ
れ自車両の所定領域を撮像手段と、道路の形状を道路モ
デルとして記憶する道路形状記憶手段と、前記所定領域
の座標系を画像上の座標系に変換して座標値を求める座
標変換手段と、前記撮像手段により撮像した画像上に自
車両の走行路の車線を検出するための領域を設定する車
線検出領域設定手段と、前記車線検出領域設定手段によ
り設定された検出領域内で直線成分を検出することで車
線を検出し、その検出結果として少なくとも一つの車線
候補点の画像座標値を出力する車線候補点検出手段と、
前記車線候補点検出手段で抽出した車線候補点の座標値
と、前記道路形状記憶手段に記憶されている道路モデル
の、前記座標変換手段により変換した画像座標値とを比
較して、道路形状を表すパラメータ（曲率、勾配など）
と前記撮像手段の姿勢を表すパラメータ（基準位置から
の偏位、高さ、ヨー角、ピッチ角、ロール角など）のう
ち、少なくとも基準位置からの偏位と曲率の変化成分を
算出する変化量算出手段と、前記変化量算出手段で算出
された変化量から、前記道路形状記憶手段に記憶されて
いる道路モデルや座標変換手段その他の各パラメータを
更新するパラメータ更新手段と、少なくとも基準位置か
らの偏位を車両制御側に出力する出力信号選択手段とを
備え、さらに、前記変化量算出手段は、少なくとも道路
の曲率と前記車線候補点検出手段が検出した車線に対す
る前記車両の横位置とから基準消失点を算出し、この基
準消失点に基づいて前記撮像手段の姿勢を表す前記パラ
メータを補正する消失点学習部を有する位置検出装置が
提供される。(1) In order to achieve the above object, according to the first aspect of the present invention, a predetermined area of an own vehicle mounted on a vehicle is photographed by an image pickup means, and a road shape is determined by a road model. Road shape storage means, coordinate conversion means for converting a coordinate system of the predetermined area into a coordinate system on an image to obtain a coordinate value, and a lane of a traveling road of the own vehicle on an image captured by the imaging means. Detecting a lane by detecting a linear component within the detection area set by the lane detection area setting means, and detecting at least one lane as a detection result. Lane candidate point detecting means for outputting image coordinate values of the candidate points,
By comparing the coordinate values of the lane candidate points extracted by the lane candidate point detection means with the image coordinate values of the road model stored in the road shape storage means and converted by the coordinate conversion means, the road shape is calculated. Parameters to represent (curvature, slope, etc.)
And a change amount for calculating at least a deviation component from the reference position and a change component of curvature among parameters representing the posture of the imaging unit (deviation from the reference position, height, yaw angle, pitch angle, roll angle, and the like). Calculating means, and a parameter updating means for updating the road model, the coordinate transforming means, and other parameters stored in the road shape storing means from the change amount calculated by the change amount calculating means; and Output signal selection means for outputting the deviation to the vehicle control side, and the change amount calculation means further comprises a reference based on at least a curvature of the road and a lateral position of the vehicle with respect to the lane detected by the lane candidate point detection means. There is provided a position detection device including a vanishing point learning unit that calculates a vanishing point and corrects the parameter representing the attitude of the imaging unit based on the reference vanishing point.
【０００６】この発明では、少なくとも道路の曲率と撮
像手段によって検出された自車両の走行路の車線に対す
る車両の横位置とを用いて基準消失点を算出し、これに
基づいて撮像手段の姿勢を表すパラメータを補正する。In the present invention, a reference vanishing point is calculated using at least the curvature of the road and the lateral position of the vehicle with respect to the lane of the own vehicle detected by the imaging means, and the attitude of the imaging means is determined based on the reference vanishing point. Correct the parameters represented.
【０００７】これにより、実際の走行において乗員数、
振動、経時劣化等により撮像手段の光軸にずれが生じて
しまった場合であっても、これを補正し、変化量算出手
段の算出結果の精度を維持し、車線及び自車両の位置を
正確に検出する位置検出装置を提供することができる。
また、この発明では、撮像手段等に光軸修正のための手
段を新たに設ける必要がないため、撮像手段の装着位置
が自由であり、車体設計の自由度が確保された位置検出
装置を提供することができる。As a result, the number of occupants in actual driving,
Even if the optical axis of the image pickup device is displaced due to vibration, deterioration over time, etc., this is corrected, the accuracy of the calculation result of the change amount calculation device is maintained, and the position of the lane and the own vehicle is accurately determined. Can be provided.
Further, according to the present invention, since there is no need to newly provide a means for correcting the optical axis in the imaging means or the like, there is provided a position detection device in which the mounting position of the imaging means is free and the degree of freedom in designing the vehicle body is ensured. can do.
【０００８】（２）上記目的を達成するために、上記発
明において特に限定されないが、請求項２記載の発明に
よれば、前記消失点学習部は、道路が実質的に直線で、
且つ前記自車両が前記車線の略中央にあると判断した場
合に基準消失点を算出し、この基準消失点に基づいて前
記撮像手段の姿勢を表す前記パラメータを補正する位置
検出装置が提供される。また、請求項３記載の発明によ
れば、前記消失点学習部は、道路が実質的に直線で、且
つ前記車両が所定時間より長く前記車線の略中央にある
と判断した場合に基準消失点を算出し、この基準消失点
に基づいて前記撮像手段の姿勢を表す前記パラメータを
補正する位置検出装置が提供される。この発明では、道
路の曲率から道路が実質的に直線と判断され、車線に対
する自車両の横位置から自車両が車線の略中央にあると
判断された場合に、また、連設されたタイマーにより車
両が略直線の車線の略中央を一定時間以上走行している
と判断された場合に、各タイミングで基準消失点を算出
する。すなわち、撮像手段の補正の基準となる基準消失
点が計測されるタイミングは、車両が実質的に直線の道
路の略中央を（一定時間以上）走行している場合とな
る。このため、カーブ時の検出誤差による影響、車線の
左右いずれかに寄っているために生じる車線の検出誤差
による影響、蛇行道路走行時の検出誤差による影響を排
除して基準消失点を計測することができる。すなわち、
基準消失点は安定した走行状態で計測・算出されるた
め、走行条件の相違による誤差を防止し、車線及び自車
両の位置を正確に判断する位置検出装置を提供すること
ができる。この発明において、道路が実質的に直線であ
るという判断は、一例を示せば、消失点の軌跡、道路の
曲率、自車両の舵角その他の自車両の進行方向が検知で
きる値の変化量が所定の範囲に含まれるか否かの観点か
ら判断することができる。この所定の範囲は、理論値又
は経験値若しくは実験値に基づき設定することができ
る。(2) In order to achieve the above object, the present invention is not particularly limited, but according to the second aspect of the present invention, the vanishing point learning unit includes a substantially straight road,
And a position detecting device that calculates a reference vanishing point when it is determined that the host vehicle is substantially at the center of the lane, and corrects the parameter representing the attitude of the imaging unit based on the reference vanishing point. . According to the third aspect of the present invention, the vanishing point learning unit determines the reference vanishing point when it is determined that the road is substantially straight and the vehicle is substantially at the center of the lane for more than a predetermined time. Is calculated, and the position detection device that corrects the parameter representing the attitude of the imaging unit based on the reference vanishing point is provided. According to the present invention, when the road is determined to be substantially straight from the curvature of the road, and when the vehicle is determined to be substantially at the center of the lane based on the lateral position of the vehicle with respect to the lane, a continuous timer is used. When it is determined that the vehicle has been traveling substantially in the center of the substantially straight lane for a predetermined time or more, the reference vanishing point is calculated at each timing. In other words, the timing at which the reference vanishing point serving as the reference for correction of the imaging unit is measured is when the vehicle is traveling substantially at the center of a substantially straight road (for a fixed time or longer). Therefore, it is necessary to measure the reference vanishing point by excluding the influence of the detection error at the time of the curve, the influence of the detection error of the lane caused by moving to the left or right of the lane, and the influence of the detection error at the time of traveling on a meandering road. Can be. That is,
Since the reference vanishing point is measured and calculated in a stable traveling state, an error due to a difference in traveling conditions can be prevented, and a position detecting device that accurately determines the lane and the position of the host vehicle can be provided. In the present invention, the determination that the road is substantially a straight line is, for example, a change in the locus of the vanishing point, the curvature of the road, the steering angle of the own vehicle, and other values that can detect the traveling direction of the own vehicle. It can be determined from the viewpoint of being included in the predetermined range. This predetermined range can be set based on theoretical values, empirical values, or experimental values.
【０００９】（３）上記目的を達成するために、請求項
４記載の発明によれば、前記消失点学習部は、前記車両
の舵角が所定角度より小さい場合、前記車両速度が所定
速度より大きい場合、前記車線の少なくとも一部を所定
距離以上に渡って検出できた場合のいずれか一つ以上の
条件を満たす場合に基準消失点を算出し、この基準消失
点に基づいて前記撮像手段の姿勢を表す前記パラメータ
を補正する位置検出装置が提供される。この発明では、
上記３つの条件のうちいずれか一つの条件を満たす場合
に、そのタイミングで基準消失点を算出する。車両の舵
角が所定角度より小さい場合には車線の曲率も小さい
（連続して車線を検出できる）ものと考えられ、車両速
度が所定速度より大きい場合には車両が順調に運転され
ているものと考えられ、前記車線の少なくとも一部を所
定距離以上に渡って検出できた場合には先行車両等の障
害物が少なく十分に遠方まで車線が検出できるものと考
えられる。このため、カーブ時の検出誤差による影響、
車両速度の変化時に生じる車線の検出誤差による影響、
車両前方の障害物による影響を排除して基準消失点を計
測することができる。すなわち、基準消失点は安定した
走行状態又は障害のない環境において計測・算出される
ため、走行条件及び道路条件の相違による誤差を防止
し、車線及び自車両の位置を正確に判断する位置検出装
置を提供することができる。この発明のおいて、車両の
舵角に関する所定角度、車両の速度に関する所定速度及
び車線検出に関する所定距離は、それぞれ理論値又は経
験値若しくは実験値に基づき設定することができる。(3) In order to achieve the above object, according to the invention described in claim 4, the vanishing point learning unit is configured such that when the steering angle of the vehicle is smaller than a predetermined angle, the vehicle speed becomes lower than a predetermined speed. If it is large, a reference vanishing point is calculated when at least one of the lanes can be detected over a predetermined distance or more, and at least one of the conditions is satisfied. A position detecting device for correcting the parameter representing the posture is provided. In the present invention,
If any one of the above three conditions is satisfied, the reference vanishing point is calculated at that timing. If the steering angle of the vehicle is smaller than the predetermined angle, it is considered that the curvature of the lane is small (the lane can be detected continuously), and if the vehicle speed is higher than the predetermined speed, the vehicle is driving smoothly. It is considered that if at least a part of the lane can be detected over a predetermined distance, there are few obstacles such as a preceding vehicle and the lane can be detected sufficiently far. For this reason, the influence of the detection error at the time of curve,
The effect of lane detection errors that occur when the vehicle speed changes,
The reference vanishing point can be measured while eliminating the influence of the obstacle in front of the vehicle. That is, since the reference vanishing point is measured and calculated in a stable running state or in an environment without obstacles, a position detecting device that prevents errors due to differences in running conditions and road conditions and accurately determines the position of the lane and the own vehicle. Can be provided. In the present invention, the predetermined angle related to the steering angle of the vehicle, the predetermined speed related to the speed of the vehicle, and the predetermined distance related to the detection of the lane can be set based on theoretical values, empirical values, or experimental values, respectively.
【００１０】（４）上記目的を達成するために、請求項
５記載の発明によれば、前記車線候補点検出手段は車線
の検出状態を判定し、当該判定結果を前記変化量算出手
段へ向けて送出する検出状態判定部を有する位置検出装
置が提供される。また、請求項５記載の発明において、
請求項６記載の発明によれば、前記消失点学習部は、前
記検出状態判定部が検出状態が所定基準より良好である
と判断した場合に基準消失点を算出して一時的に記憶
し、前記検出状態判定部が検出状態が所定基準より不良
であると判断した場合に前記一時的に記憶された基準消
失点に基づいて前記撮像手段の姿勢を表す前記パラメー
タを補正する位置検出装置が提供される。(4) In order to achieve the above object, according to the invention as set forth in claim 5, the lane candidate point detecting means determines the detection state of the lane, and sends the determination result to the change amount calculating means. A position detecting device having a detection state determining unit for transmitting the detected position. In the invention according to claim 5,
According to the invention of claim 6, the vanishing point learning unit calculates a reference vanishing point when the detection state determination unit determines that the detection state is better than a predetermined reference, and temporarily stores the reference vanishing point, Provided is a position detection device that corrects the parameter representing the attitude of the imaging unit based on the temporarily stored reference vanishing point when the detection state determination unit determines that the detection state is poorer than a predetermined reference. Is done.
【００１１】この発明では、検出状態判定部が判定した
車線の検出状態の判定結果が、変化量算出手段へ送出さ
れ、変化量算出手段はこの判定結果を参照して変化量の
算出を行う。具体的には、「車線の検出状態は良好」と
判断された場合には、この状態において車線を検出する
ことは適当であり、この状態で検出された車線及び車線
に基づく基準消失点は撮像手段の姿勢の基準として採用
される。また、「車線の検出状態は良好」と判断される
と、このタイミングで車線を検出して記憶する。そし
て、「車線の検出状態は不良」と判断された場合に、こ
の記憶した基準消失点に基づきパラメータを補正する。
これは、車線検出状態が良好な場合に基準消失点の位置
の更新を行うと、変化量算出手段における算出結果が安
定しなくなる可能性があるためである。According to the present invention, the determination result of the lane detection state determined by the detection state determination unit is sent to the change amount calculating means, and the change amount calculating means calculates the change amount with reference to the determination result. Specifically, when it is determined that the “lane detection state is good”, it is appropriate to detect the lane in this state, and the lane detected in this state and the reference vanishing point based on the lane are imaged. Used as a measure of the attitude of the means. When it is determined that "the detection state of the lane is good", the lane is detected and stored at this timing. Then, when it is determined that “the detection state of the lane is bad”, the parameter is corrected based on the stored reference vanishing point.
This is because if the position of the reference vanishing point is updated when the lane detection state is good, there is a possibility that the calculation result by the change amount calculating means becomes unstable.
【００１２】これにより、撮像手段の姿勢を表すパラメ
ータを補正する場合に基準となる基準消失点の信頼性を
判断した上で基準消失点の採否を決定できるため、パラ
メータの補正を適切に行い、変化量算出手段の算出結果
の精度を維持する位置検出装置を提供することができ
る。[0012] With this, it is possible to determine whether to adopt the reference vanishing point after determining the reliability of the reference vanishing point serving as a reference when correcting the parameter representing the attitude of the imaging means. A position detection device that maintains the accuracy of the calculation result of the change amount calculation means can be provided.
【００１３】この発明において、車線の検出状態の判定
は、車線として認識された直線上又は領域中に所定値以
上の濃度の画素数が、所定値以上であれば車線の検出状
態は良好と判定することができ、所定値以下であれば不
良であると判定することができる。この検出状態に関す
る所定値は理論値又は経験値若しくは実験値に基づき設
定することができる。In the present invention, the lane detection state is determined if the number of pixels having a density equal to or higher than a predetermined value on a straight line or an area recognized as a lane is equal to or higher than a predetermined value. If the value is equal to or less than a predetermined value, it can be determined that the device is defective. The predetermined value for the detection state can be set based on a theoretical value, an empirical value, or an experimental value.
【００１４】[0014]
【発明の効果】請求項１〜６記載の発明によれば、実際
の走行において乗員数、振動、経時劣化等により撮像手
段の光軸にずれが生じてしまった場合であっても、これ
を補正し、変化量算出手段の算出結果の精度を維持し、
自車の位置を正確に判断する位置検出装置を提供するこ
とができる。また、この発明では、撮像手段等に光軸修
正のための手段を新たに設ける必要がないため、撮像手
段の装着位置が自由であり、車体設計の自由度を確保し
うる位置検出装置を提供することができる。According to the first to sixth aspects of the present invention, even if the optical axis of the image pickup means is deviated due to the number of occupants, vibration, deterioration over time, etc. in actual traveling, this is corrected. Correction, maintaining the accuracy of the calculation result of the change amount calculating means,
A position detecting device that accurately determines the position of the vehicle can be provided. Further, according to the present invention, since there is no need to newly provide a means for correcting the optical axis in the imaging means or the like, the position of the imaging means can be freely set, and a position detecting device capable of securing the degree of freedom in designing the vehicle body is provided. can do.
【００１５】[0015]
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図１（Ａ）（Ｂ）は本発明の車線検
出装置の実施形態を示すブロック図、図２は本発明に係
る撮像手段の取付位置を示す平面図及び側面図、図３は
本発明の実施形態の動作を説明するためのフローチャー
ト、図４は本発明に係る消失点、車線モデル及び車線候
補点検出領域を示す図である。Embodiments of the present invention will be described below with reference to the drawings. 1 (A) and 1 (B) are block diagrams showing an embodiment of a lane detecting device of the present invention, FIG. 2 is a plan view and a side view showing an attachment position of an image pickup means according to the present invention, and FIG. FIG. 4 is a flowchart for explaining the operation of the embodiment, and FIG. 4 is a diagram showing vanishing points, lane models, and lane candidate point detection areas according to the present invention.
【００１６】本例の位置検出装置は、図１（Ａ）に示す
ようにカメラ１、画像処理装置２、マイクロコンピュー
タ３、メモリ４及びセンサ５から構成され、外部装置と
して、車両制御装置６、警報装置７及びディスプレイ８
が接続される。As shown in FIG. 1A, the position detecting device of this embodiment comprises a camera 1, an image processing device 2, a microcomputer 3, a memory 4, and a sensor 5. As an external device, a vehicle control device 6, Alarm device 7 and display 8
Is connected.
【００１７】図２に示すように、カメラ１は車幅方向中
央の、車室内のフロントウィンド上部に、レンズの光軸
と車両中心線とのパン角αが０、チルト角βがβとなる
ように取り付けられ、車両前方の道路風景を撮像する。As shown in FIG. 2, the camera 1 has a pan angle α between the optical axis of the lens and the vehicle center line of 0 and a tilt angle β of β at the center of the vehicle width, above the front window in the vehicle interior. To capture the road scene ahead of the vehicle.
【００１８】画像処理装置２は、カメラ１により撮像さ
れた画像を処理して道路上の白線を検出する。The image processing device 2 processes an image taken by the camera 1 to detect a white line on a road.
【００１９】マイクロコンピュータ３は、道路形状と車
両挙動を示す複数のパラメータを用いて道路白線の形状
を数式化モデルで表し、道路白線の検出結果と道路モデ
ルとが一致するようにパラメータを更新することによ
り、道路白線を検出して道路形状を認識する。さらに、
左右の白線を結んで得られる消失点の位置を、道路に対
する車両のヨー角とピッチ角とに基づいて補正する。The microcomputer 3 uses a plurality of parameters indicating the road shape and the vehicle behavior to represent the shape of the road white line with a mathematical model, and updates the parameters so that the road white line detection result matches the road model. Thereby, the road shape is recognized by detecting the road white line. further,
The position of the vanishing point obtained by connecting the left and right white lines is corrected based on the yaw angle and the pitch angle of the vehicle with respect to the road.
【００２０】メモリ４は、道路モデルのパラメータなど
を記憶する記憶装置であり、センサ５は、車両の挙動を
表す車速や操舵角などを検出する装置である。また、車
両制御装置６は、出力結果に基づいてステアリング、ア
クセル、ブレーキなどの制御を実行するものである。さ
らに、警報装置７は、出力信号に基づいて車線逸脱など
の警報を発する装置である。ディスプレイ８は、検出結
果の道路形状などを表示するための表示装置である。The memory 4 is a storage device for storing parameters of a road model and the like, and the sensor 5 is a device for detecting a vehicle speed, a steering angle, and the like representing the behavior of the vehicle. Further, the vehicle control device 6 executes control of steering, accelerator, brake, and the like based on the output result. Further, the alarm device 7 is a device that issues an alarm such as a lane departure based on the output signal. The display 8 is a display device for displaying a road shape or the like as a detection result.
【００２１】なお、図１（Ｂ）は本例の位置検出装置を
機能的に表現したものであり、これと同図（Ａ）に示す
ハードウェアとして表現したものとを対比させると、カ
メラ１及び画像処理装置２が撮像手段２１、メモリ４が
道路形状記憶手段２７、マイクロコンピュータ３が座標
変換手段２２、車線検出領域設定手段２３、車線候補点
検出手段２４、変化量算出手段２５、パラメータ更新手
段２６及び出力信号選択手段２８に相当する。また、車
線候補点検出手段２４には検出状態判定部２４１が設け
られ、変化量算出手段２５には消失点学習部２５１が設
けられている。FIG. 1B is a functional representation of the position detection device of the present embodiment. When this is compared with the hardware shown in FIG. And the image processing device 2 is the imaging unit 21, the memory 4 is the road shape storage unit 27, the microcomputer 3 is the coordinate conversion unit 22, the lane detection area setting unit 23, the lane candidate point detection unit 24, the change amount calculation unit 25, and the parameter update. It corresponds to the means 26 and the output signal selecting means 28. The lane candidate point detecting means 24 is provided with a detection state determining section 241, and the change amount calculating means 25 is provided with a vanishing point learning section 251.
【００２２】次に図３に基づき処理手順を説明する。ま
ずステップ１において、道路形状や車両挙動を表すパラ
メータ（以下、単に道路パラメータとも言う。）を初期
設定する。ここで、図４に示すような画面座標系ｘ−ｙ
上において、白線モデル１２を道路パラメータを用いて
次のように数式で表す。Next, the processing procedure will be described with reference to FIG. First, in step 1, parameters representing the road shape and the vehicle behavior (hereinafter, also simply referred to as road parameters) are initialized. Here, the screen coordinate system xy as shown in FIG.
In the above, the white line model 12 is represented by a mathematical expression using road parameters as follows.
【００２３】[0023]
【数１】 ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ …（１） 上記（１）式において、ａ乃至ｅは道路パラメータであ
り、路面からのカメラ１の高さを一定とすると、それぞ
れの道路パラメータを次のような道路および白線の形状
または車両挙動を表す。X = (a + ie) (yd) + b / (yd) + c (1) In the above equation (1), a to e are road parameters, and the height of the camera 1 from the road surface. Is constant, each road parameter represents the following road and white line shapes or vehicle behavior.
【００２４】すなわち、ａは走行車線内の自車両の横偏
位、ｂは道路の曲率、ｃは自車両（カメラ１の光軸）の
道路に対するヨー角、ｄは自車両（カメラ１の光軸）の
道路に対するピッチ角、ｅは道路の車線幅をそれぞれ表
す。また、ｃは自車両とカメラ１との取付角度のうちパ
ン角αを含んだものであり、ｄは自車両とカメラ１との
取付角度のうちチルト角βを含んだものである。That is, a is the lateral displacement of the vehicle in the lane of travel, b is the curvature of the road, c is the yaw angle of the vehicle (optical axis of the camera 1) with respect to the road, and d is the light of the vehicle (light of the camera 1). (Axis) represents the pitch angle of the road, and e represents the lane width of the road. In addition, c includes the pan angle α among the mounting angles between the own vehicle and the camera 1, and d includes the tilt angle β among the mounting angles between the own vehicle and the camera 1.
【００２５】ちなみに、初期状態においては道路および
白線の形状や車両挙動が不明であるから、各道路パラメ
ータには、たとえば中央値に相当する値を初期値として
設定する。すなわち、車線内の横偏位（位置）ａには車
線中央を設定し、車線に対するヨー角ｃにはパン角αを
設定する。また、車線に対するピッチ角ｄには停止状態
のピッチ角αを設定し、車線幅ｅには道路構造令に示さ
れる高速道路の車線幅を設定する。Incidentally, in the initial state, the shape of the road and the white line and the behavior of the vehicle are unknown, so that, for each road parameter, for example, a value corresponding to the median value is set as the initial value. That is, the center of the lane is set for the lateral deviation (position) a in the lane, and the pan angle α is set for the yaw angle c with respect to the lane. Further, the pitch angle d for the lane is set to the pitch angle α in the stopped state, and the lane width e is set to the lane width of the expressway indicated by the road structure order.
【００２６】なお、センサ５で検出される車両の挙動を
示す値に基づいて道路パラメータを初期設定しても良
い。たとえば、初期状態においてステアリングが右また
は左に転舵されているような場合には、操舵角に応じた
曲率の道路を走行していると判断してパラメータｂに操
舵角に応じた値を設定しても良い。The road parameters may be initialized based on a value indicating the behavior of the vehicle detected by the sensor 5. For example, if the steering is turned to the right or left in the initial state, it is determined that the vehicle is traveling on a road having a curvature corresponding to the steering angle, and a value corresponding to the steering angle is set in the parameter b. You may.
【００２７】ステップ２では、図４に示すように白線候
補点を検出するための検出領域１１の初期設定を行う。
初期状態においては、道路パラメータに初期値を設定し
た白線モデルと、実際の画面上の道路白線との間には大
きな開きがあると予想されるので、できる限り大きな領
域を設定することが望ましい。図４に示す例では、左右
の白線９に６個ずつ、計１２個の白線候補点検出領域を
設定している。In step 2, as shown in FIG. 4, an initial setting of a detection area 11 for detecting a white line candidate point is performed.
In the initial state, it is expected that there is a large gap between the white line model in which the road parameter is set to the initial value and the road white line on the actual screen. Therefore, it is desirable to set a region as large as possible. In the example shown in FIG. 4, a total of twelve white line candidate point detection areas are set, six on each of the left and right white lines 9.
【００２８】なお、前回の処理までに道路白線が既に検
出されている場合には、実際の道路白線と白線モデルと
の差は小さいと考えられるので、なるべく小さな領域を
設定する方が白線以外のものを誤検出する可能性が低く
なり、しかも処理速度も短縮できるので好ましい。If the road white line has already been detected by the previous processing, the difference between the actual road white line and the white line model is considered to be small. This is preferable because the possibility of erroneously detecting the object is reduced and the processing speed can be reduced.
【００２９】次のステップ３では、カメラ１により撮像
され、画像処理装置２で処理された画像を入力する。そ
して、ステップ４において、入力した道路画像上に白線
候補点の検出領域を設定する。このとき、ステップ２ま
たは後述するステップ２１で設定した白線候補点検出領
域と、ステップ１または後述するステップ１２およびス
テップ１４並びにステップ１５で算出した道路パラメー
タによる白線モデルとに基づいて、前回の処理で求めた
白線モデルが領域の中心になるように、白線候補点検出
領域を設定する。In the next step 3, an image captured by the camera 1 and processed by the image processing device 2 is input. Then, in step 4, a detection area of a white line candidate point is set on the input road image. At this time, based on the white line candidate point detection area set in Step 2 or Step 21 described later, and the white line model based on the road parameters calculated in Step 1 or Steps 12 and 14 and Step 15 described later, the previous processing is performed. The white line candidate point detection area is set so that the obtained white line model is at the center of the area.
【００３０】なお、過去の白線モデルの変化の様子か
ら、白線モデルの変化方向にオフセットした位置に白線
候補点検出領域を設定するようにしても良い。It should be noted that a white line candidate point detection area may be set at a position offset in the change direction of the white line model based on the past change of the white line model.
【００３１】ステップ５では、上記のように設定された
白線候補点検出領域において白線候補点の検出を行う。
この白線候補点の検出は、まず入力画像をソーベルフィ
ルタなどを通すことで微分画像を生成する。In step 5, a white line candidate point is detected in the white line candidate point detection area set as described above.
In detecting the white line candidate points, first, a differential image is generated by passing an input image through a Sobel filter or the like.
【００３２】次に、白線候補点検出領域の上底の一点と
下底の一点とを結んでできる全ての線分に対し、その線
分上の画素の濃度が所定値以上の画素の数を計測する。
さらに全ての線分の中で濃度が所定値以上の画素が最も
多い線分を検出直線とし、その線分の始点（画像中にお
いて白線候補点検出領域の上底の１点）の座標値を白線
候補点の出力値とする。Next, for all line segments formed by connecting one point at the upper base and one point at the lower base of the white line candidate point detection area, the number of pixels whose pixel density on the line segment is equal to or more than a predetermined value is determined. measure.
Further, a line segment having the largest number of pixels having a density equal to or more than a predetermined value among all the line segments is set as a detection straight line, and the coordinate value of the start point of the line segment (the upper bottom point of the white line candidate point detection area in the image) The output value is a white line candidate point.
【００３３】このとき、検出された直線上の所定値以上
の濃度の画素数が、白線候補点検出領域の長さに対する
所定の割合よりも少ない場合には白線候補点が検出され
なかったものとみなす。たとえば、白線候補点検出領域
の長さが１５画素で、所定値以上の濃度の画素が１／２
以上（すなわち８画素以上）検出されたら、白線候補点
が検出されたとする白線候補点検出領域においては、所
定値以上の濃度の画素数が最も多い線分上における画素
数が７画素以下の場合は、その白線候補点検出領域にお
いて白線候補点が検出されなかったものとみなす。一
方、９画素の場合は白線候補点が検出されたものとし、
その線分の始点（画像中において白線候補点検出領域の
上底の１点）の座標値を検出結果とし、そのときの終点
（画像中において白線候補点検出領域の下底の１点）の
座標を記憶する。At this time, if the number of pixels having a density equal to or higher than a predetermined value on the detected straight line is smaller than a predetermined ratio to the length of the white line candidate point detection area, it is determined that no white line candidate point has been detected. I reckon. For example, the length of the white line candidate point detection area is 15 pixels, and pixels having a density equal to or higher than a predetermined value are １ ／.
If the number of pixels on the line segment having the density of more than a predetermined value is the largest in the white line candidate point detection area, the number of pixels on the line segment is 7 or less. Indicates that no white line candidate point was detected in the white line candidate point detection area. On the other hand, in the case of 9 pixels, it is assumed that a white line candidate point has been detected,
The coordinate value of the start point of the line segment (the upper bottom point of the white line candidate point detection area in the image) is used as the detection result, and the end point (the lower bottom point of the white line candidate point detection area in the image) at that time is determined. Store the coordinates.
【００３４】以上の処理を順次遠方から近場へ向けて、
全ての白線候補点検出領域について実行する。このと
き、白線候補点の検出の有無を判断するための、白線候
補点検出領域の長さに対する上記所定の割合は、全ての
白線候補点検出領域に対して同一の値としても良いし、
或いは白線候補点検出領域毎に設定しても良い。また、
上記濃度の所定値も、全ての白線候補点検出領域に対し
て同一の値としても良いし、或いは白線候補点検出領域
毎に設定しても良い。The above processing is sequentially performed from a distant place to a near field.
This is executed for all the white line candidate point detection areas. At this time, the predetermined ratio to the length of the white line candidate point detection area for determining whether or not the white line candidate point is detected may be the same value for all the white line candidate point detection areas,
Alternatively, it may be set for each white line candidate point detection area. Also,
The predetermined value of the density may be the same value for all the white line candidate point detection areas, or may be set for each white line candidate point detection area.
【００３５】なお、本例では、白線候補点の出力結果と
して白線候補点検出領域における上底の座標を用いると
ともに、白線候補点検出領域の処理の順序を遠方から近
場に向けて行っているが、本発明はこれに限定されるこ
とはなく、たとえば白線候補点の出力結果として検出領
域の下底の座標を用いても良いし、また検出領域の処理
順序は近場から遠方へ行っても良い。In this example, the coordinates of the upper bottom of the white line candidate point detection area are used as the output result of the white line candidate point, and the processing order of the white line candidate point detection area is performed from a distant place to a near field. However, the present invention is not limited to this. For example, the coordinates of the bottom of the detection area may be used as an output result of the white line candidate point, and the processing order of the detection area may be performed from near field to far field. Is also good.
【００３６】ステップ６では、全ての白線候補点検出領
域で検出した白線候補点の点数が所定値以上かどうかを
確認し、所定値より少なければ白線候補点検出領域内に
道路白線が含まれていなかったと判断し、ステップ２へ
戻って白線候補点検出領域を初期設定する。一方、白線
候補点が所定値以上検出された場合にはステップ７へ進
む。In step 6, it is checked whether or not the number of white line candidate points detected in all the white line candidate point detection areas is equal to or greater than a predetermined value. If the number is less than the predetermined value, a road white line is included in the white line candidate point detection area. It is determined that there is not, and the process returns to step 2 to initialize the white line candidate point detection area. On the other hand, when the white line candidate point is detected to be equal to or more than the predetermined value, the process proceeds to step 7.
【００３７】ステップ７では、検出した白線候補点と前
回の処理で求められた白線モデル上の点とのズレ量を各
点毎に算出する。In step 7, the amount of deviation between the detected white line candidate point and the point on the white line model obtained in the previous processing is calculated for each point.
【００３８】次のステップ８では、各点のズレ量に基づ
いて道路パラメータの変動量Δａ〜Δｅを算出する。こ
の変動量の算出方法は、たとえば特開平８−５３８８号
公報に開示された方法などを用いることができる。In the next step 8, the variations .DELTA.a to .DELTA.e of the road parameters are calculated based on the deviations of the respective points. As a method of calculating the amount of fluctuation, for example, a method disclosed in Japanese Patent Application Laid-Open No. 8-5388 can be used.
【００３９】ステップ９では、算出された道路パラメー
タの変動量Δａ〜Δｅにより道路パラメータａ〜ｅを補
正する。たとえば、上述した（１）式に示す白線モデル
の場合には、次式により道路パラメータａ〜ｅを補正す
る。In step 9, the road parameters a to e are corrected based on the calculated variation amounts of the road parameters Δa to Δe. For example, in the case of the white line model shown in the above equation (1), the road parameters a to e are corrected by the following equation.
【００４０】[0040]
【数２】ａ＝ａ＋Δａ，ｂ＝ｂ＋Δｂ，ｃ＝ｃ＋Δｃ，
ｄ＝ｄ＋Δｄ，ｅ＝ｅ＋Δｅ 次のステップ１０では、道路パラメータの中で道路形状
を表すパラメータが正常であるかどうかを確認し、正常
でない場合にはステップ１４へ進んで道路形状を表すパ
ラメータを初期化する。既述した（１）式で表される白
線モデルにあっては、パラメータｂが道路曲率、パラメ
ータｅが車線幅をそれぞれ反映する。したがって、パラ
メータｂから推定される道路曲率が、センサ５による車
両挙動検出値から判断して、現在走行している道路では
あり得ない曲率になった場合にはパラメータｂを初期化
する。同様に、パラメータｅから推定される車線幅が、
センサ５による車両挙動検出値から判断して、現在走行
している道路ではあり得ない車線幅になった場合にはパ
ラメータｅを初期化する。## EQU2 ## a = a + .DELTA.a, b = b + .DELTA.b, c = c + .DELTA.c,
d = d + Δd, e = e + Δe In the next step 10, it is checked whether the parameters representing the road shape among the road parameters are normal. If not, the process proceeds to step 14, where the parameters representing the road shape are initialized. Become In the white line model represented by the above-described equation (1), the parameter b reflects the road curvature, and the parameter e reflects the lane width. Therefore, when the curvature of the road estimated from the parameter b is determined from the vehicle behavior detection value by the sensor 5 and becomes a curvature that is impossible on the road on which the vehicle is currently traveling, the parameter b is initialized. Similarly, the lane width estimated from the parameter e is
Judging from the vehicle behavior detection value by the sensor 5, if the lane width becomes impossible on the road on which the vehicle is currently traveling, the parameter e is initialized.
【００４１】道路形状を表すパラメータが正常である場
合は、ステップ１１へ進み、今度は車両挙動を表すパラ
メータが正常であるかどうかを確認し、正常でない場合
にはステップ１５へ進んで車両挙動を表すパラメータを
初期化する。既述した（１）式で表される白線モデルに
あっては、パラメータａが車線内の横偏位、パラメータ
ｃが路面に対するヨー角、パラメータｄが路面に対する
ピッチ角をそれぞれ反映する。したがって、パラメータ
ａから推定される横偏位が、道路曲率の推定値あるいは
センサ５による車両挙動検出値から判断して、現在走行
している道路ではあり得ない横偏位になった場合にはパ
ラメータａを初期化する。同様に、パラメータｃから推
定されるヨー角が、道路曲率の推定値あるいはセンサ５
による車両挙動検出値から判断して、現在走行している
道路ではあり得ない角度になった場合にはパラメータｃ
を初期化する。また、パラメータｄから推定されるピッ
チ角が、センサ５による車両挙動検出値から判断して、
現在走行している道路ではあり得ない角度になった場合
にはパラメータｄを初期化する。If the parameter representing the road shape is normal, the process proceeds to step 11, and it is checked whether the parameter representing the vehicle behavior is normal. If not, the process proceeds to step 15 to determine the vehicle behavior. Initialize the parameters to represent. In the white line model represented by the aforementioned equation (1), the parameter a reflects the lateral deviation in the lane, the parameter c reflects the yaw angle with respect to the road surface, and the parameter d reflects the pitch angle with respect to the road surface. Therefore, when the lateral deviation estimated from the parameter a is determined from the estimated value of the road curvature or the vehicle behavior detected value by the sensor 5, when the lateral deviation is impossible on the road on which the vehicle is currently traveling, Initialize the parameter a. Similarly, the yaw angle estimated from the parameter c is the estimated value of the road curvature or the sensor 5
When the angle becomes impossible on the road on which the vehicle is currently traveling, the parameter c is used.
Is initialized. Further, the pitch angle estimated from the parameter d is determined from the vehicle behavior detection value by the sensor 5,
When the angle becomes impossible on the road on which the vehicle is currently traveling, the parameter d is initialized.
【００４２】車両挙動を表すパラメータが正常である場
合は、ステップ１２へ進み、ステップ９にて補正した道
路パラメータａ〜ｅを新たな白線モデルの道路パラメー
タとしてメモリ４に記憶する。If the parameters representing the vehicle behavior are normal, the process proceeds to step 12, where the road parameters a to e corrected in step 9 are stored in the memory 4 as road parameters of a new white line model.
【００４３】次のステップ１３では、新しい道路パラメ
ータにより道路形状を推定し、車両制御装置６、警報装
置７、ディスプレイ８に出力する。In the next step 13, the road shape is estimated based on the new road parameters and output to the vehicle control device 6, the alarm device 7 and the display 8.
【００４４】ステップ１６では、カーブによる検出誤差
の影響や自車両が走行車線内で左右に寄って走行してい
る場合の白線の見え方による検出誤差の影響をなくすた
め、道路が直線で、かつ自車両が走行車線の中央付近に
いるかどうかを判定する。In step 16, in order to eliminate the influence of the detection error due to the curve and the influence of the detection error due to the appearance of the white line when the host vehicle is traveling left and right in the traveling lane, the road is straight and It is determined whether the host vehicle is near the center of the driving lane.
【００４５】ステップ１７では消失点１０の位置を学習
する。この際、所定時間以上継続して自車両が走行車線
の中央付近にいる条件を加えることで、以下のステップ
１７においてより確実な消失点の位置の学習が行える。
前記条件を満たしていれば、ステップ１７で消失点１０
の位置を学習する。これは、例えば現在のヨー角及びピ
ッチ角を考慮した消失点の座標を算出し、このデータを
過去のデータと現在のデータとを一定の割合で積算演算
することにより学習する。このデータは、画像座標系と
車両座標系との間の透視変換時の定数となる。In step 17, the position of the vanishing point 10 is learned. At this time, by adding a condition that the vehicle is in the vicinity of the center of the traveling lane continuously for a predetermined time or more, the position of the vanishing point can be learned more reliably in the following step 17.
If the above condition is satisfied, the vanishing point 10
Learn the position of. This is learned by, for example, calculating the coordinates of the vanishing point in consideration of the current yaw angle and pitch angle, and integrating the data with the past data and the current data at a fixed rate. This data is a constant at the time of perspective transformation between the image coordinate system and the vehicle coordinate system.
【００４６】次にステップ１８では透視変換時に使用す
るデータを更新するべきかどうかを判断する。これは、
例えば白線検出状態を調べ、白線検出状態が悪い場合に
のみステップ１９において光軸データである消失点１０
の位置を更新（補正）する。これは、白線検出状態が良
好な場合に光軸データである消失点１０の位置の更新を
行うと、透視変換時の定数を変更することになり出力デ
ータの横位置情報が安定しなくなる可能性があるためで
ある。Next, at step 18, it is determined whether or not the data used at the time of the perspective transformation should be updated. this is,
For example, the white line detection state is checked, and only when the white line detection state is bad is the vanishing point
Is updated (corrected). This is because if the position of the vanishing point 10 as the optical axis data is updated when the white line detection state is good, the constant at the time of perspective transformation is changed, and the lateral position information of the output data may become unstable. Because there is.
【００４７】ステップ２０では、今回の処理における白
線候補点検出領域がステップ２で設定された初期値であ
るか、あるいはステップ２１で設定されたものであるか
を確認する。初期値の場合には白線候補点検出領域の大
きさが最適でないとしてステップ２１に進む。ステップ
２１では上述したようにできる限り小さい領域を設定す
る方が白線以外のものを誤検出する可能性が低く、処理
速度を向上させることができるので、白線候補点検出領
域を最適化する。In step 20, it is confirmed whether the white line candidate point detection area in this process is the initial value set in step 2 or the one set in step 21. In the case of the initial value, it is determined that the size of the white line candidate point detection area is not optimal, and the process proceeds to step 21. In step 21, as described above, setting a region as small as possible reduces the possibility of erroneous detection of an object other than a white line and improves the processing speed. Therefore, the white line candidate point detection region is optimized.
【００４８】なお、以上説明した実施形態は、本発明の
理解を容易にするために記載されたものであって、本発
明を限定するために記載されたものではない。したがっ
て、上記の実施形態に開示された各要素は、本発明の技
術的範囲に属する全ての設計変更や均等物をも含む趣旨
である。The embodiments described above are described for facilitating the understanding of the present invention, and are not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
【図１】本発明の位置検出装置の実施形態を示すブロッ
ク図である。FIG. 1 is a block diagram illustrating an embodiment of a position detection device according to the present invention.
【図２】本発明に係る撮像手段の取付位置を示す平面図
及び側面図である。FIGS. 2A and 2B are a plan view and a side view showing a mounting position of an imaging unit according to the present invention.
【図３】本発明の実施形態の動作を説明するためのフロ
ーチャートである。FIG. 3 is a flowchart for explaining the operation of the embodiment of the present invention.
【図４】本発明に係る消失点、車線モデル及び車線候補
点検出領域を示す図である。FIG. 4 is a diagram showing a vanishing point, a lane model, and a lane candidate point detection area according to the present invention.
１・・・カメラ（撮像手段） ２・・・画像処理装置（撮像手段） ３・・・マイクロコンピュータ（座標変換手段、車線検出
領域設定手段、車線候補点検出手段、変化量算出手段、
パラメータ更新手段及び出力信号選択手段） ４・・・メモリ（道路形状記憶手段） ５・・・センサ ８・・・ディスプレイ ９…白線 １０・・・消失点 １１・・・検出領域 １２・・・道路モデル ２１・・・撮像手段 ２２・・・座標変換手段 ２３・・・車線検出領域設定手段 ２４・・・車線候補点検出手段 ２４１・・・検出状態判定部 ２５・・・変化量算出手段 ２５１・・・消失点学習部 ２６・・・パラメータ更新手段 ２７・・・道路形状記憶手段 ２８・・・出力信号選択手段DESCRIPTION OF SYMBOLS 1 ... Camera (image pick-up means) 2 ... Image processing apparatus (image pick-up means) 3 ... Microcomputer (coordinate conversion means, lane detection area setting means, lane candidate point detection means, change amount calculation means,
Parameter updating means and output signal selecting means) 4 ... Memory (road shape storing means) 5 ... Sensor 8 ... Display 9 ... White line 10 ... Void point 11 ... Detection area 12 ... Road Model 21 ... Imaging means 22 ... Coordinate transformation means 23 ... Lane detection area setting means 24 ... Lane candidate point detection means 241 ... Detection state determination unit 25 ... Change amount calculation means 251 ..Void point learning unit 26: parameter updating unit 27: road shape storage unit 28: output signal selection unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２７ Ｂ６０Ｒ 21/00 ６２７ Ｇ０１Ｂ 11/00 Ｇ０１Ｂ 11/00 Ｈ 11/24 Ｇ０６Ｔ 7/20 １００ Ｇ０６Ｔ 7/20 １００ Ｇ０５Ｄ 1/02 Ｋ // Ｇ０５Ｄ 1/02 Ｇ０８Ｇ 1/16 Ｃ Ｇ０８Ｇ 1/16 Ｇ０１Ｂ 11/24 Ｋ Ｆターム(参考） 2F065 AA03 AA31 BB13 CC40 DD02 FF04 FF63 FF64 JJ19 KK01 QQ31 SS09 SS13 SS15 5H180 AA01 CC04 LL01 LL04 LL06 5H301 AA03 CC03 GG01 5L096 AA09 BA04 BA18 CA02 DA02 FA67 FA68 FA69 HA08 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification code FI Theme coat ゛ (Reference) B60R 21/00 627 B60R 21/00 627 G01B 11/00 G01B 11/00 H 11/24 G06T 7/20 100 G06T 7/20 100 G05D 1/02 K // G05D 1/02 G08G 1/16 C G08G 1/16 G01B 11/24 K F term (reference) 2F065 AA03 AA31 BB13 CC40 DD02 FF04 FF63 FF64 JJ19 KK01 QQ31 SS09 SS13 5H180 AA01 CC04 LL01 LL04 LL06 5H301 AA03 CC03 GG01 5L096 AA09 BA04 BA18 CA02 DA02 FA67 FA68 FA69 HA08
Claims (6)
る撮像手段と、 道路の形状を道路モデルとして記憶する道路形状記憶手
段と、 前記所定領域の座標系を画像上の座標系に変換して座標
値を求める座標変換手段と、 前記撮像手段により撮像した画像上に、自車両の走行路
の車線を検出するための複数の検出領域を設定する車線
検出領域設定手段と、 前記車線検出領域設定手段により設定された検出領域内
で直線成分を検出することで車線を検出し、その検出結
果として少なくとも一つの車線候補点の画像座標値を出
力する車線候補点検出手段と、 前記車線候補点検出手段が抽出した車線候補点の座標値
と、前記道路形状記憶手段に記憶されている道路モデル
の、前記座標変換手段により変換された画像座標値とを
比較して、道路形状を表すパラメータと前記撮像手段の
姿勢を表すパラメータのうち、少なくとも基準位置から
の偏位と曲率の変化成分を算出する変化量算出手段と、 前記変化量算出手段で算出された変化量から、前記道路
形状記憶手段に記憶されている道路モデルや前記座標変
換手段その他の各パラメータを更新するパラメータ更新
手段と、 少なくとも基準位置からの偏位を車両制御側に出力する
出力信号選択手段と、を有する位置検出装置において、 前記変化量算出手段は、少なくとも道路の曲率と前記車
線候補点検出手段が検出した車線に対する前記車両の横
位置とから基準消失点を算出し、この基準消失点に基づ
いて前記撮像手段の姿勢を表す前記パラメータを補正す
る消失点学習部を有する位置検出装置。1. An image pickup device mounted on a vehicle for taking an image of a predetermined area of the vehicle, a road shape storage means for storing a road shape as a road model, and converting a coordinate system of the predetermined area into a coordinate system on an image. Coordinate conversion means for obtaining coordinate values, and lane detection area setting means for setting a plurality of detection areas for detecting a lane of the travel path of the vehicle on an image taken by the imaging means; and A lane candidate point detecting means for detecting a lane by detecting a straight line component within the detection area set by the area setting means and outputting an image coordinate value of at least one lane candidate point as a detection result; By comparing the coordinate values of the lane candidate points extracted by the point detecting means with the image coordinate values of the road model stored in the road shape storing means and converted by the coordinate converting means, the road shape is compared. A change amount calculating unit that calculates at least a deviation component from a reference position and a change component of a curvature of the parameter representing the orientation of the image pickup unit; A parameter updating means for updating the road model and the coordinate transformation means and other parameters stored in the shape memory means; and an output signal selecting means for outputting at least a deviation from the reference position to the vehicle control side. In the detection device, the change amount calculation means calculates a reference vanishing point from at least a curvature of a road and a lateral position of the vehicle with respect to the lane detected by the lane candidate point detecting means, and the imaging based on the reference vanishing point is performed. A position detecting device having a vanishing point learning unit for correcting the parameter representing the posture of the means.
で、且つ前記自車両が前記車線の略中央にあると判断し
た場合に基準消失点を算出し、この基準消失点に基づい
て前記撮像手段の姿勢を表す前記パラメータを補正する
請求項１記載の位置検出装置。2. The vanishing point learning unit calculates a reference vanishing point when it is determined that the road is substantially straight and the vehicle is substantially at the center of the lane, and based on the reference vanishing point. The position detecting device according to claim 1, wherein the parameter representing the attitude of the imaging unit is corrected by using the parameter.
で、且つ前記車両が所定時間より長く前記車線の略中央
にあると判断した場合に基準消失点を算出し、この基準
消失点に基づいて前記撮像手段の姿勢を表す前記パラメ
ータを補正する請求項１記載の位置検出装置。3. The vanishing point learning unit calculates a reference vanishing point when it is determined that the road is substantially straight and the vehicle is substantially at the center of the lane for more than a predetermined time. The position detecting device according to claim 1, wherein the parameter representing the attitude of the imaging unit is corrected based on a point.
定角度より小さい場合、前記車両速度が所定速度より大
きい場合、前記車線の少なくとも一部を所定距離以上に
渡って検出できた場合のいずれか一つ以上の条件を満た
す場合に基準消失点を算出し、この基準消失点に基づい
て前記撮像手段の姿勢を表す前記パラメータを補正する
請求項１記載の位置検出装置。4. The vanishing point learning unit can detect at least a part of the lane over a predetermined distance when the steering angle of the vehicle is smaller than a predetermined angle and when the vehicle speed is larger than a predetermined speed. The position detecting device according to claim 1, wherein a reference vanishing point is calculated when at least one of the conditions is satisfied, and the parameter representing the attitude of the imaging unit is corrected based on the reference vanishing point.
を判定し、当該判定結果を前記変化量算出手段へ向けて
送出する検出状態判定部を有する請求項１〜４記載の位
置検出装置。5. A position detecting apparatus according to claim 1, wherein said lane candidate point detecting means has a detection state determining section for determining a detection state of a lane and sending the determination result to said change amount calculating means. .
が検出状態が所定基準より良好であると判断した場合に
基準消失点を算出して一時的に記憶し、前記検出状態判
定部が検出状態が所定基準より不良であると判断した場
合に前記一時的に記憶された基準消失点に基づいて前記
撮像手段の姿勢を表す前記パラメータを補正する請求項
５記載の位置検出装置。6. The vanishing point learning section calculates and temporarily stores a reference vanishing point when the detection state judging section judges that the detection state is better than a predetermined reference. 6. The position detection device according to claim 5, wherein when the detection unit determines that the detection state is worse than a predetermined reference, the parameter representing the attitude of the imaging unit is corrected based on the temporarily stored reference vanishing point.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001061550A JP2002259995A (en) | 2001-03-06 | 2001-03-06 | Position detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001061550A JP2002259995A (en) | 2001-03-06 | 2001-03-06 | Position detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002259995A true JP2002259995A (en) | 2002-09-13 |
Family
ID=18920829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001061550A Pending JP2002259995A (en) | 2001-03-06 | 2001-03-06 | Position detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002259995A (en) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007215169A (en) * | 2006-01-19 | 2007-08-23 | Valeo Vision | Method of adjusting orientation of a camera installed on a vehicle and system for implementing this method |
| JP2008011174A (en) * | 2006-06-29 | 2008-01-17 | Hitachi Ltd | Calibration device of on-vehicle camera, program, and car navigation system |
| JP2009204385A (en) * | 2008-02-27 | 2009-09-10 | Mitsubishi Electric Corp | Targeting device, method, and program |
| JP2009211678A (en) * | 2008-02-05 | 2009-09-17 | Yazaki Corp | Traffic accident analyzing device, traffic accident analyzing method, and program |
| WO2010146695A1 (en) * | 2009-06-18 | 2010-12-23 | 富士通株式会社 | Image processing device and image processing method |
| JP2011055342A (en) * | 2009-09-03 | 2011-03-17 | Honda Motor Co Ltd | Imaging apparatus for vehicle |
| JP2011053774A (en) * | 2009-08-31 | 2011-03-17 | Yazaki Corp | Drive recorder |
| WO2011039989A1 (en) | 2009-09-30 | 2011-04-07 | パナソニック株式会社 | Vehicle-surroundings monitoring device |
| JP2011185753A (en) * | 2010-03-09 | 2011-09-22 | Mitsubishi Electric Corp | Camera calibration apparatus of onboard camera |
| US20110238252A1 (en) * | 2010-03-26 | 2011-09-29 | Nissan Motor Co., Ltd. | Vehicle environment recognizing apparatus |
| WO2012131947A1 (en) * | 2011-03-30 | 2012-10-04 | パイオニア株式会社 | Image processing device and image display device |
| WO2012172713A1 (en) * | 2011-06-13 | 2012-12-20 | 日産自動車株式会社 | Device for determining road profile, onboard image-recognition device, device for adjusting image-capturing axis, and lane-recognition method. |
| WO2013030932A1 (en) * | 2011-08-29 | 2013-03-07 | パイオニア株式会社 | Navigation device, image display device, server, adjustment device, and forward image display method |
| WO2014003168A1 (en) * | 2012-06-29 | 2014-01-03 | 株式会社デンソー | Vehicle-mounted image analysis device |
| WO2014003167A1 (en) * | 2012-06-29 | 2014-01-03 | 株式会社デンソー | Vehicle-mounted image analysis device |
| WO2014021421A1 (en) * | 2012-08-03 | 2014-02-06 | クラリオン株式会社 | Camera parameter computation device, navigation system, and camera parameter computation method |
| JP2015011645A (en) * | 2013-07-02 | 2015-01-19 | 日産自動車株式会社 | Optical axis correction device |
| JPWO2013030932A1 (en) * | 2011-08-29 | 2015-03-23 | パイオニア株式会社 | Navigation device, image display control device, server, adjustment device, and front image display control method |
| JP2015204062A (en) * | 2014-04-16 | 2015-11-16 | 株式会社デンソー | Drive recorder and acceleration correction program in drive recorder |
| JP2015207888A (en) * | 2014-04-18 | 2015-11-19 | 富士通株式会社 | Imaging-direction normality determination method, imaging-direction normality determination program, and imaging-direction normality determination device |
| JP2016001397A (en) * | 2014-06-11 | 2016-01-07 | キヤノン株式会社 | Image processor, image processing method, and computer program |
| WO2016047498A1 (en) * | 2014-09-24 | 2016-03-31 | 株式会社デンソー | Object-detecting device |
| JP2016046556A (en) * | 2014-08-20 | 2016-04-04 | 株式会社日本自動車部品総合研究所 | Traveling partition line recognition device, traveling partition line recognition program |
| WO2016157666A1 (en) * | 2015-03-27 | 2016-10-06 | パナソニックＩｐマネジメント株式会社 | Camera attitude estimating device, operation supporting device and camera attitude estimating method |
| JP2019144079A (en) * | 2018-02-20 | 2019-08-29 | アイシン精機株式会社 | Travel management device and travel supporting device |
| KR20200005224A (en) * | 2018-07-06 | 2020-01-15 | 현대모비스 주식회사 | Apparatus and method for compensating heading angle |
-
2001
- 2001-03-06 JP JP2001061550A patent/JP2002259995A/en active Pending
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007215169A (en) * | 2006-01-19 | 2007-08-23 | Valeo Vision | Method of adjusting orientation of a camera installed on a vehicle and system for implementing this method |
| JP2008011174A (en) * | 2006-06-29 | 2008-01-17 | Hitachi Ltd | Calibration device of on-vehicle camera, program, and car navigation system |
| JP2009211678A (en) * | 2008-02-05 | 2009-09-17 | Yazaki Corp | Traffic accident analyzing device, traffic accident analyzing method, and program |
| JP2009204385A (en) * | 2008-02-27 | 2009-09-10 | Mitsubishi Electric Corp | Targeting device, method, and program |
| US9412168B2 (en) | 2009-06-18 | 2016-08-09 | Fujitsu Limited | Image processing device and image processing method for camera calibration |
| JP5375958B2 (en) * | 2009-06-18 | 2013-12-25 | 富士通株式会社 | Image processing apparatus and image processing method |
| WO2010146695A1 (en) * | 2009-06-18 | 2010-12-23 | 富士通株式会社 | Image processing device and image processing method |
| JP2011053774A (en) * | 2009-08-31 | 2011-03-17 | Yazaki Corp | Drive recorder |
| JP2011055342A (en) * | 2009-09-03 | 2011-03-17 | Honda Motor Co Ltd | Imaging apparatus for vehicle |
| WO2011039989A1 (en) | 2009-09-30 | 2011-04-07 | パナソニック株式会社 | Vehicle-surroundings monitoring device |
| CN102549631A (en) * | 2009-09-30 | 2012-07-04 | 松下电器产业株式会社 | Vehicle-surroundings monitoring device |
| JP5538411B2 (en) * | 2009-09-30 | 2014-07-02 | パナソニック株式会社 | Vehicle perimeter monitoring device |
| US9280824B2 (en) | 2009-09-30 | 2016-03-08 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle-surroundings monitoring device |
| JP2011185753A (en) * | 2010-03-09 | 2011-09-22 | Mitsubishi Electric Corp | Camera calibration apparatus of onboard camera |
| US20110238252A1 (en) * | 2010-03-26 | 2011-09-29 | Nissan Motor Co., Ltd. | Vehicle environment recognizing apparatus |
| US9592834B2 (en) * | 2010-03-26 | 2017-03-14 | Nissan Motor Co., Ltd. | Vehicle environment recognizing apparatus |
| JP5636493B2 (en) * | 2011-03-30 | 2014-12-03 | パイオニア株式会社 | Image processing apparatus and image display apparatus |
| WO2012131947A1 (en) * | 2011-03-30 | 2012-10-04 | パイオニア株式会社 | Image processing device and image display device |
| JPWO2012172713A1 (en) * | 2011-06-13 | 2015-02-23 | 日産自動車株式会社 | Road shape determination device, in-vehicle image recognition device, imaging axis adjustment device, and lane recognition method |
| WO2012172713A1 (en) * | 2011-06-13 | 2012-12-20 | 日産自動車株式会社 | Device for determining road profile, onboard image-recognition device, device for adjusting image-capturing axis, and lane-recognition method. |
| WO2013030932A1 (en) * | 2011-08-29 | 2013-03-07 | パイオニア株式会社 | Navigation device, image display device, server, adjustment device, and forward image display method |
| JPWO2013030932A1 (en) * | 2011-08-29 | 2015-03-23 | パイオニア株式会社 | Navigation device, image display control device, server, adjustment device, and front image display control method |
| JP2014010637A (en) * | 2012-06-29 | 2014-01-20 | Denso Corp | Electronic apparatus |
| US9330343B2 (en) | 2012-06-29 | 2016-05-03 | Denso Corporation | Image analysis apparatus mounted to vehicle |
| WO2014003167A1 (en) * | 2012-06-29 | 2014-01-03 | 株式会社デンソー | Vehicle-mounted image analysis device |
| WO2014003168A1 (en) * | 2012-06-29 | 2014-01-03 | 株式会社デンソー | Vehicle-mounted image analysis device |
| JP2014010636A (en) * | 2012-06-29 | 2014-01-20 | Denso Corp | Electronic apparatus |
| JP2014032118A (en) * | 2012-08-03 | 2014-02-20 | Clarion Co Ltd | Camera parameter calculation device, navigation system, and camera parameter calculation method |
| US9948853B2 (en) | 2012-08-03 | 2018-04-17 | Clarion Co., Ltd. | Camera parameter calculation device, navigation system and camera parameter calculation method |
| CN104520675A (en) * | 2012-08-03 | 2015-04-15 | 歌乐株式会社 | Camera parameter computation device, navigation system, and camera parameter computation method |
| WO2014021421A1 (en) * | 2012-08-03 | 2014-02-06 | クラリオン株式会社 | Camera parameter computation device, navigation system, and camera parameter computation method |
| JP2015011645A (en) * | 2013-07-02 | 2015-01-19 | 日産自動車株式会社 | Optical axis correction device |
| JP2015204062A (en) * | 2014-04-16 | 2015-11-16 | 株式会社デンソー | Drive recorder and acceleration correction program in drive recorder |
| JP2015207888A (en) * | 2014-04-18 | 2015-11-19 | 富士通株式会社 | Imaging-direction normality determination method, imaging-direction normality determination program, and imaging-direction normality determination device |
| JP2016001397A (en) * | 2014-06-11 | 2016-01-07 | キヤノン株式会社 | Image processor, image processing method, and computer program |
| JP2016046556A (en) * | 2014-08-20 | 2016-04-04 | 株式会社日本自動車部品総合研究所 | Traveling partition line recognition device, traveling partition line recognition program |
| JP2016065760A (en) * | 2014-09-24 | 2016-04-28 | 株式会社デンソー | Object detector |
| WO2016047498A1 (en) * | 2014-09-24 | 2016-03-31 | 株式会社デンソー | Object-detecting device |
| WO2016157666A1 (en) * | 2015-03-27 | 2016-10-06 | パナソニックＩｐマネジメント株式会社 | Camera attitude estimating device, operation supporting device and camera attitude estimating method |
| JP2019144079A (en) * | 2018-02-20 | 2019-08-29 | アイシン精機株式会社 | Travel management device and travel supporting device |
| JP7056215B2 (en) | 2018-02-20 | 2022-04-19 | 株式会社アイシン | Driving management device |
| KR20200005224A (en) * | 2018-07-06 | 2020-01-15 | 현대모비스 주식회사 | Apparatus and method for compensating heading angle |
| KR102496290B1 (en) * | 2018-07-06 | 2023-02-06 | 현대모비스 주식회사 | Apparatus and method for compensating heading angle |
| US11721109B2 (en) | 2018-07-06 | 2023-08-08 | Hyundai Mobis Co., Ltd. | Apparatus and method for compensating for heading angle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002259995A (en) | Position detector | |
| US7091838B2 (en) | Lane deviation alarm system | |
| US6868168B2 (en) | Lane recognition system for vehicle | |
| US6748302B2 (en) | Lane tracking control system for vehicle | |
| JP4670528B2 (en) | Imaging device deviation detection method, imaging device deviation correction method, and imaging device | |
| CN100524385C (en) | Lane boundary recognition apparatus for vehicle | |
| US6489887B2 (en) | Lane-keep assisting system for vehicle | |
| JP6565769B2 (en) | In-vehicle camera mounting angle detection device, mounting angle calibration device, mounting angle detection method, mounting angle calibration method, and computer program | |
| JPH1166488A (en) | White line recognizing device | |
| JP6881369B2 (en) | Vehicle position estimation device | |
| EP1783687A1 (en) | Movement amount computation system | |
| JP3525733B2 (en) | Road white line detector | |
| JP3296055B2 (en) | Distance detection device using in-vehicle camera | |
| JP7418196B2 (en) | Travel trajectory estimation method and travel trajectory estimation device | |
| JP7137464B2 (en) | Camera calibration device, camera calibration method, and program | |
| JP4020071B2 (en) | Ambient condition display device | |
| JP3606039B2 (en) | Road shape detection device | |
| CN113795726B (en) | Self-position correction method and self-position correction device | |
| JP2003196798A (en) | Device for detecting white line | |
| JPH1170884A (en) | Self-advancing own vehicle position detecting device | |
| JP2019190994A (en) | Method and device for estimating self-position | |
| JP4612308B2 (en) | Camera improvements | |
| JPH07198349A (en) | Measurement device of road shape and self attitude of vehicle | |
| JP2002163641A (en) | Image processor for vehicle | |
| JP3791074B2 (en) | Navigation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070119 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070119 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |