JP2012185134A - Course estimating device and program - Google Patents

Course estimating device and program Download PDF

Info

Publication number
JP2012185134A
JP2012185134A JP2011050253A JP2011050253A JP2012185134A JP 2012185134 A JP2012185134 A JP 2012185134A JP 2011050253 A JP2011050253 A JP 2011050253A JP 2011050253 A JP2011050253 A JP 2011050253A JP 2012185134 A JP2012185134 A JP 2012185134A
Authority
JP
Japan
Prior art keywords
lane
estimation
parameter
runway
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011050253A
Other languages
Japanese (ja)
Other versions
JP5760523B2 (en
Inventor
Akihiro Watanabe
章弘 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2011050253A priority Critical patent/JP5760523B2/en
Publication of JP2012185134A publication Critical patent/JP2012185134A/en
Application granted granted Critical
Publication of JP5760523B2 publication Critical patent/JP5760523B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To estimate course parameters including the attitude angle of an imaging device to the course without fixing the angle of dip even when a lane on only one side is detected.SOLUTION: A picked-up image shot by an imaging device 12 is acquired by a feature point extractor 20 to extract feature points from the picked-up image; lane boundary points representing a lane are selected from the extracted feature points by a lane boundary point selector 22, and temporarily stored into a lane boundary point memory 24; a course parameter estimator 26, under the assumption that the yaw angle and the curvature do not vary between two points of time, associates course parameters between the two points of time by having variations in transverse position between the two points of time represented by a velocity V and the yaw angle, and estimates the course parameters by optimizing a group of lane boundary points selected at each of the two points of time and a lane boundary line determined by the course parameters.

Description

本発明は、走路推定装置及びプログラムに係り、特に、車両に搭載された撮像装置により撮像された画像に基づいて、走路パラメータを推定する走路推定装置及びプログラムに関する。   The present invention relates to a travel path estimation apparatus and program, and more particularly to a travel path estimation apparatus and program for estimating a travel path parameter based on an image captured by an imaging apparatus mounted on a vehicle.

従来、カメラで撮像された画像から道路上の白線等の平行線が検出された場合には、平行線の交点から消失点位置を算出し、この消失点位置に基づいてカメラの俯角を算出する俯角算出装置が提案されている(例えば、特許文献1参照)。特許文献1に記載の俯角算出装置では、画像から平行線が検出できない場合には、画像中の物体位置を異なる時間に撮像した画像間で比較し、そのずれ量から俯角の変動量を推定し、現時刻の俯角を算出している。   Conventionally, when a parallel line such as a white line on a road is detected from an image captured by a camera, the vanishing point position is calculated from the intersection of the parallel lines, and the depression angle of the camera is calculated based on the vanishing point position. A depression angle calculation device has been proposed (see, for example, Patent Document 1). In the depression angle calculation device described in Patent Document 1, when parallel lines cannot be detected from an image, the object positions in the image are compared between images taken at different times, and the variation amount of the depression angle is estimated from the deviation amount. The depression angle at the current time is calculated.

また、1次元カメラで撮像された過去複数枚の撮像データに基づいて、白線位置を検出し、検出した白線位置と車両姿勢挙動とに基づいて、道路曲率、ヨー角、及び偏位を求める道路形状及び自車両姿勢の計測装置が提案されている(例えば、特許文献2参照)。   A road that detects a white line position based on a plurality of past image data captured by a one-dimensional camera, and calculates a road curvature, a yaw angle, and a deviation based on the detected white line position and vehicle posture behavior. A measuring device for a shape and a vehicle posture has been proposed (see, for example, Patent Document 2).

また、車速と所定の逸脱予測時間とを掛け算して前方注視点位置を算出し、ヨー角及び前方注視点位置に基づいて、前方注視点位置での前方注視点横変位を算出し、自車両が車線逸脱傾向になるか否かを判定する車線逸脱警報装置が提案されている(例えば、特許文献3参照)。特許文献3に記載の車線逸脱警報装置では、片方の車線しか検出できない場合には、前方注視点横変位の算出においてヨー角が及ぼす影響が小さくなるように予測逸脱時間を変更している。   In addition, the front gaze position is calculated by multiplying the vehicle speed and the predetermined deviation prediction time, and the front gaze lateral displacement at the front gaze position is calculated based on the yaw angle and the front gaze position, A lane departure warning device that determines whether or not the vehicle tends to depart from the lane has been proposed (see, for example, Patent Document 3). In the lane departure warning device described in Patent Document 3, when only one lane can be detected, the predicted departure time is changed so that the influence of the yaw angle is reduced in the calculation of the forward gaze lateral displacement.

また、CCDカメラにて撮像された映像から仕切線候補線を検出し、仕切線候補線上にて設定される代表点の画像座標を算出し、各代表点における仕切線候補線の傾きを求め、道路パラメータを含む方程式、各代表点の画像座標、及び仕切線候補線の傾きに基づいて、道路パラメータを推定する道路の仕切線認識装置が提案されている(例えば、特許文献4参照)。   Further, the partition line candidate line is detected from the image captured by the CCD camera, the image coordinates of the representative point set on the partition line candidate line are calculated, the inclination of the partition line candidate line at each representative point is obtained, A road partition line recognition device that estimates road parameters based on equations including road parameters, image coordinates of representative points, and inclinations of candidate partition lines has been proposed (see, for example, Patent Document 4).

特開2007−240422号公報JP 2007-240422 A 特開平7−198349号公報JP-A-7-198349 特開2004−268845号公報JP 2004-268845 A 特開2002−236912号公報JP 2002-236912 A

しかしながら、特許文献1の技術のように、単眼移動ステレオ視など異なる時刻に撮像した画像を用いてカメラ姿勢の変化を推定して現時刻の路面に対する絶対的なカメラの姿勢を推定する手法は、ある時刻に両側白線など平行線を用いてカメラ姿勢の絶対的な値を算出する必要があるため、全く両側白線が存在しない場合には、絶対的なカメラ姿勢を推定することができない、という問題がある。   However, as in the technique of Patent Document 1, a method for estimating a change in camera posture using images taken at different times such as monocular moving stereo vision and estimating an absolute camera posture with respect to the road surface at the current time is as follows: Since it is necessary to calculate the absolute value of the camera posture using parallel lines such as white lines on both sides at a certain time, the absolute camera posture cannot be estimated if there are no white lines on both sides. There is.

また、特許文献2の技術では、カメラレンズ中心からカメラ光軸とXZ平面との交点までの距離及びカメラ高さを既知としていることから、カメラの光軸と路面平面(XZ平面)とのなす角である俯角は既知パラメータとなっており、俯角の変動が考慮されていないため、精度良くカメラの姿勢角を推定することができない、という問題がある。   In the technique of Patent Document 2, since the distance from the camera lens center to the intersection of the camera optical axis and the XZ plane and the camera height are known, the camera optical axis and the road surface plane (XZ plane) form. Since the depression angle, which is an angle, is a known parameter and fluctuation of the depression angle is not taken into account, there is a problem that the posture angle of the camera cannot be estimated with high accuracy.

また、片側車線しか検出されていない場合に、俯角を固定するとヨー角に誤差が生じ、逸脱判断の精度が低下する。特許文献3の技術では、逸脱予測時間が長いほどヨー角誤差が逸脱判断に与える影響が大きくなることを考慮して、ヨー角が低下するシーンでは、逸脱予測時間を短く設定して、煩わしさを低減しているが、俯角やヨー角の推定精度を改善するものではない。   In addition, when only one side lane is detected, fixing the depression angle causes an error in the yaw angle, which decreases the accuracy of departure determination. In the technique of Patent Document 3, in consideration of the fact that the longer the deviation prediction time, the greater the influence of the yaw angle error on the deviation judgment, in the scene where the yaw angle decreases, the deviation prediction time is set short, which is bothersome. However, it does not improve the estimation accuracy of the depression angle and yaw angle.

また、特許文献4の技術では、白線候補点群からウインドウ内の白線候補線を検出し、「候補線は真の白線に平行であるとみなして良い」という仮定を用いてパラメータを推定しているが、これは本質的に両側白線を検出する場合と同様、ある時刻に撮像した画像中の平行線群から、俯角を含むパラメータを推定するものである。   Further, in the technique of Patent Document 4, a white line candidate line in a window is detected from a white line candidate point group, and parameters are estimated using an assumption that “the candidate line may be considered to be parallel to a true white line”. However, this essentially estimates the parameters including the depression angle from the group of parallel lines in the image taken at a certain time, as in the case of detecting the white lines on both sides.

本発明は、上記の問題点を解決するためになされたもので、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像手段の姿勢角を含む走路パラメータを推定することができる走路推定装置及びプログラムを提供することを目的とする。   The present invention has been made to solve the above-described problem, and even when only one side lane is detected, it is possible to estimate the road parameter including the attitude angle of the imaging unit with respect to the road without fixing the depression angle. It aims at providing a runway estimation apparatus and a program.

上記目的を達成するために、本発明の走路推定装置は、自車両周辺を撮像する該自車両に搭載された撮像手段と、前記自車両の速度を検出する検出手段と、前記撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記検出手段により検出された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適化により、該走路パラメータを推定する二時刻推定手段と、を含んで構成されている。   In order to achieve the above object, a runway estimation apparatus according to the present invention includes an imaging unit mounted on the host vehicle that images the periphery of the host vehicle, a detection unit that detects a speed of the host vehicle, and an imaging of the imaging unit. Extraction means for extracting a feature point indicating a lane from the captured image obtained by the above, and a value representing the shape of the travel path on which the host vehicle travels based on the feature point extracted by the extraction means, The value representing the shape and the yaw angle change between two different times when estimating the road parameters including the depression angle, yaw angle, and lateral position of the imaging means and determining the lane position on the captured image. Under the assumption that no, the amount of change in the lateral position between the two times is represented by the speed and yaw angle detected by the detecting means, and the feature points and the runway extracted at each of the two times By parameter Whole by optimizing the lane position, is configured to include a secondary time estimating means for estimating a 該走 path parameter, a.

本発明の走路推定装置によれば、自車両に搭載された撮像手段が、自車両周辺を撮像し、検出手段が、自車両の速度を検出する。そして、抽出手段が、撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する。そして、二時刻推定手段が、抽出手段により抽出された異なる二時刻の特徴点を用いて、走路パラメータを推定する。走路パラメータは、自車両が走行する走路の形状を表す値、走路に対する撮像手段の俯角、ヨー角、及び横位置を含み、かつ撮像画像上での車線位置を定めるものである。この走路パラメータは、走路の形状を表す値及びヨー角が、異なる二時刻間で変化しないとの仮定の下で、二時刻間の横位置の変化量を検出手段により検出された速度及びヨー角で表して、二時刻の各々で抽出された特徴点と走路パラメータにより定まる車線位置との最適化により推定される。   According to the runway estimation apparatus of the present invention, the imaging means mounted on the host vehicle images the vicinity of the host vehicle, and the detection unit detects the speed of the host vehicle. And an extraction means extracts the feature point which shows a lane from the captured image obtained by the imaging of the imaging means. Then, the two-time estimation means estimates the road parameter using the different two-time feature points extracted by the extraction means. The lane parameter includes a value representing the shape of the lane on which the host vehicle is traveling, a depression angle, a yaw angle, and a lateral position of the imaging unit with respect to the lane, and determines the lane position on the captured image. This road parameter is based on the assumption that the value representing the shape of the road and the yaw angle do not change between two different times. It is estimated by optimizing the feature point extracted at each of the two times and the lane position determined by the road parameter.

このように、所定の条件で二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線を示す特徴点を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、車両に搭載された撮像装置の姿勢角を推定することができる。   In this way, by using the feature points indicating the lanes extracted at two different times by associating the road parameters between two times under a predetermined condition, even if only one lane is detected, the depression angle is not fixed. The attitude angle of the imaging device mounted on the vehicle can be estimated.

また、本発明の走路推定装置は、前記抽出手段により抽出された一時刻における左右の車線を示す特徴点と、前記走路パラメータにより定まる車線位置との最適化により、前記走路パラメータを推定する一時刻推定手段と、前記一時刻推定手段の推定結果、及び前記二時刻推定手段の推定結果の少なくとも一方を用いて最終的な走路パラメータを推定する最終推定手段と、を含んで構成することもできる。これにより、状況に応じて最適な走路パラメータを推定することができる。   Further, the runway estimation apparatus of the present invention is configured to estimate the runway parameter by optimizing the feature points indicating the left and right lanes at one time extracted by the extraction unit and the lane position determined by the runway parameter. An estimation unit and a final estimation unit that estimates a final lane parameter using at least one of the estimation result of the one-time estimation unit and the estimation result of the two-time estimation unit may be included. Thereby, the optimal runway parameter can be estimated according to the situation.

その場合、前記二時刻推定手段は、前記特徴点として、左の車線の特徴点及び右の車線の特徴点の各々を用いて、前記走路パラメータを推定し、前記最終推定手段は、前記二時刻推定手段による左の車線の特徴点に基づく推定結果と右の車線の特徴点に基づく推定結果との差が所定範囲内であり、かつ前記二時刻推定手段による推定結果のいずれか一方と前記一時刻推定手段による推定結果との差が所定値以上の場合には、前記二時刻推定手段による推定結果の少なくとも一方を用いて、前記最終的な走路パラメータを推定するようにすることができる。これにより、増加走路などのように左右の車線の平行性が失われているような場合でも、安定して走路パラメータを推定することができる。   In that case, the two-time estimation means estimates the runway parameter using the feature points of the left lane and the right lane as the feature points, and the final estimation means The difference between the estimation result based on the feature point of the left lane and the estimation result based on the feature point of the right lane by the estimation means is within a predetermined range, and one of the estimation results by the two-time estimation means and the one When the difference from the estimation result by the time estimation means is greater than or equal to a predetermined value, the final runway parameter can be estimated using at least one of the estimation results by the two-time estimation means. As a result, even when the parallelism between the left and right lanes is lost, such as on an increased runway, the runway parameters can be estimated stably.

また、前記走路の形状を表す値を、前記走路の曲率、または前記走路の曲率及び曲率の変化率とすることができる。   The value representing the shape of the runway can be the curvature of the runway, or the curvature of the runway and the rate of change of the curvature.

また、本発明の走路推定プログラムは、コンピュータを、自車両周辺を撮像する該自車両に搭載された撮像手段により得られた撮像画像、及び前記自車両の速度を検出する検出手段により検出された該自車両の速度を取得する取得手段、前記取得手段により取得された撮像画像から、車線を示す特徴点を抽出する抽出手段、及び前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記取得手段により取得された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適推定により、該走路パラメータを推定する二時刻推定手段として機能させるためのプログラムである。   In the running path estimation program of the present invention, a computer is detected by a captured image obtained by an imaging unit mounted on the own vehicle that images the periphery of the own vehicle, and a detection unit that detects a speed of the own vehicle. An acquisition unit that acquires the speed of the host vehicle, an extraction unit that extracts a feature point indicating a lane from a captured image acquired by the acquisition unit, and the host vehicle based on the feature point extracted by the extraction unit When estimating a road parameter that includes a value representing the shape of the road on which the vehicle travels, a depression angle, a yaw angle, and a lateral position of the imaging means with respect to the road, and that determines a lane position on the captured image, Under the assumption that the value to be represented and the yaw angle do not change between two different times, the speed and yaw angle acquired by the acquisition means for the amount of change in the lateral position between the two times Represents, by optimal estimation of the lane position determined the two time feature points extracted in each and of the said runway parameters, a program for functioning as a two-time estimating means for estimating a 該走 path parameters.

以上説明したように、本発明の走路推定装置及びプログラムによれば、所定の条件で二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線を示す特徴点を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像手段の姿勢角を含む走路パラメータを推定することができる、という効果が得られる。   As described above, according to the track estimation device and the program of the present invention, by using the feature points indicating the lanes extracted at two different times by relating the track parameters between the two times under a predetermined condition, Even when only one side lane is detected, it is possible to estimate the road parameter including the attitude angle of the imaging means with respect to the road without fixing the depression angle.

第1の実施の形態に係る走路推定装置の機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of the runway estimation apparatus which concerns on 1st Embodiment. 特徴点の抽出を説明するための図である。It is a figure for demonstrating extraction of a feature point. 車線境界点の選択を説明するための図である。It is a figure for demonstrating selection of a lane boundary point. 推定する走路パラメータを模式的に示した図である。It is the figure which showed typically the runway parameter to estimate. 一時刻の片側車線境界線とヨー角との関係を示す図である。It is a figure which shows the relationship between the one-side lane boundary line of one time, and a yaw angle. ヨー角の相違による二時刻間の横位置の変化を説明するための図である。It is a figure for demonstrating the change of the horizontal position between two time by the difference in a yaw angle. 第1の実施の形態に係る走路推定装置における走路推定処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the runway estimation process routine in the runway estimation apparatus which concerns on 1st Embodiment. 第2の実施の形態に係る走路推定装置の機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of the runway estimation apparatus which concerns on 2nd Embodiment. 第2の実施の形態に係る走路推定装置における走路推定処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the runway estimation process routine in the runway estimation apparatus which concerns on 2nd Embodiment.

以下、図面を参照して本発明の実施の形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1に示すように、第1の実施の形態の走路推定装置10は、車両に搭載され、車両前方領域を連続的に撮像する撮像装置12と、車両の速度を検出する車速センサ14と、走路パラメータを推定する処理を実行するコンピュータ16と、を備えている。   As shown in FIG. 1, the travel path estimation device 10 according to the first embodiment is mounted on a vehicle, and an imaging device 12 that continuously images a vehicle front area, a vehicle speed sensor 14 that detects the speed of the vehicle, And a computer 16 that executes a process for estimating a runway parameter.

撮像装置12は、車両前方の対象領域を撮影し、画像信号を生成する撮像部(図示省略)、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するA/D変換部(図示省略)、及びA/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)を備えている。   The imaging device 12 captures a target area in front of the vehicle, generates an image signal (not shown), and an A / D conversion unit (converts the image signal that is an analog signal generated by the imaging unit into a digital signal). And an image memory (not shown) for temporarily storing the A / D converted image signal.

コンピュータ16は、CPU、後述する走路推定処理ルーチンを実行するためのプログラム等各種プログラム及び各種データを記憶したROM、データ等を一時的に記憶するRAM、各種情報が記憶されたメモリ、及びこれらを接続するバスを含んで構成されている。   The computer 16 includes a CPU, a ROM for storing various programs such as a program for executing a runway estimation processing routine, which will be described later, and a ROM for storing various data, a RAM for temporarily storing data, a memory for storing various information, and the like. It includes a bus to be connected.

このコンピュータ16をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図1に示すように、撮像装置12で撮像された撮像画像を取得して、撮像画像から特徴点を抽出する特徴点抽出部20と、抽出された特徴点から車線を示す車線境界点を選択する車線境界点選択部22と、車線境界点選択部22で選択された車線境界点が記憶される車線境界点記憶部24と、異なる二時刻の車線境界点に基づいて、走路パラメータを推定する走路パラメータ推定部26と、を含んだ構成で表すことができる。   If the computer 16 is described with function blocks divided for each function realizing means determined based on hardware and software, as shown in FIG. 1, a captured image captured by the imaging device 12 is acquired, and the captured image is acquired. A feature point extracting unit 20 that extracts feature points from the vehicle, a lane boundary point selecting unit 22 that selects a lane boundary point indicating a lane from the extracted feature points, and a lane boundary point selected by the lane boundary point selecting unit 22 It can be expressed by a configuration including a stored lane boundary point storage unit 24 and a lane parameter estimation unit 26 that estimates a lane parameter based on lane boundary points at two different times.

なお、特徴点抽出部20及び車線境界点選択部22が、本発明の抽出手段の一例であり、走路パラメータ推定部26が、本発明の二時刻推定手段の一例である。   The feature point extraction unit 20 and the lane boundary point selection unit 22 are an example of the extraction unit of the present invention, and the lane parameter estimation unit 26 is an example of the two-time estimation unit of the present invention.

特徴点抽出部20は、例えば、図2(a)に示すような撮像画像に対して、同図(b)に示すように、水平方向に走査して画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。同図(c)に、抽出された特徴点を模式的に表した一例を示す。   For example, the feature point extraction unit 20 scans the captured image as shown in FIG. 2A in the horizontal direction as shown in FIG. Extract points as feature points. FIG. 2C shows an example schematically showing the extracted feature points.

車線境界点選択部22は、特徴点抽出部20で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。車線が複数存在する場合には、最も内側の左右1対の車線を示す車線境界点を選択する。図3に、選択された車線境界点を模式的に表した一例を示す。車線境界点選択部22は、選択した車線境界点を車線境界点記憶部24に記憶すると共に、走路パラメータ推定部26へ出力する。   The lane boundary point selection unit 22 selects the lane boundary point indicating the lane by discriminating the shape, width, color, and the like of the edge points continuously arranged from the feature points extracted by the feature point extraction unit 20. When there are a plurality of lanes, a lane boundary point indicating the innermost pair of left and right lanes is selected. FIG. 3 shows an example schematically showing the selected lane boundary point. The lane boundary point selection unit 22 stores the selected lane boundary point in the lane boundary point storage unit 24 and outputs it to the lane parameter estimation unit 26.

走路パラメータ推定部26は、走路パラメータとして、自車両が走行する走路の曲率ρ、走路に対する撮像装置12の俯角φ、ヨー角Ψ、及び横位置eを、車線境界点に基づいて推定する。図4に、走路パラメータの各々を模式的に示す。より具体的には、時刻tにおける走路パラメータx=(φ,ρ,e,Ψ)に対応する撮像画像上の車線境界点の座標をP (u ,v )(i=1,2,・・・N、Nは選択された車線境界点の総数)とすると、u はx及びv を用いて、u =h(x,v )として算出することができる。h(x,v )は、既知の走路パラメータ、及び車線境界点の画像上の垂直位置から、画像上の水平位置を算出する関数である。走路パラメータの推定は、関数h及び複数の車線境界点群の座標からxを推定する問題である。 The lane parameter estimation unit 26 estimates, as the lane parameters, the curvature ρ of the lane on which the host vehicle travels, the depression angle φ, the yaw angle Ψ, and the lateral position e of the imaging device 12 with respect to the lane based on the lane boundary points. FIG. 4 schematically shows each of the runway parameters. More specifically, the coordinates of the lane boundary point on the captured image corresponding to the runway parameter x t = (φ t , ρ t , e t , Ψ t ) at time t are represented by P t i (u t i , v t i ) (i = 1, 2,... N, N is the total number of selected lane boundary points), u t i uses x t and v t i , and u t i = h (x t , it can be calculated as v t i). h (x t, v t i ) is known track parameters, and a vertical position on the image of the lane boundary point is a function for calculating the horizontal position on the image. Estimation of runway parameter is the problem of estimating the x t from the function h and a plurality of lane boundary point group of coordinates.

ここで、走路の両側の白線が検出できる場合には、左の車線境界に対する撮像装置の横位置をe 、右の車線境界線に対する横位置をe として、従来既知の技術により、一時刻の画像上の車線境界点を用いて走路パラメータx’=(φ,ρ,e ,e ,Ψ)を推定することができる。しかし、片側車線しか検出できない場合には、図5(a)に示すように、ヨー角Ψ=0の場合、及び同図(b)に示すように、ヨー角Ψ≠0の場合のように、ヨー角が異なる場合であっても、撮像画像上での車線境界線の位置が同位置となる場合がある。このように、片側車線しか検出できない場合、従来の一時刻の車線境界線の特徴点を用いた走路パラメータの推定では、ヨー角及び俯角が不定性を有するため、走路パラメータを一意に決定することができない。 Here, if both sides of the white line of the runway can be detected, the horizontal position e t l of the imaging device relative to the left lane boundary, the lateral position relative to the right of the lane boundary line as e t r, by conventional known techniques, The lane boundary point on the image at one time can be used to estimate the road parameter x ′ t = (φ t , ρ t , e t l , e t r , Ψ t ). However, when only one side lane can be detected, the yaw angle Ψ t = 0 as shown in FIG. 5A and the yaw angle Ψ t ≠ 0 as shown in FIG. 5B. Thus, even if the yaw angles are different, the position of the lane boundary line on the captured image may be the same position. In this way, when only one side lane can be detected, in the estimation of the lane parameter using the characteristic points of the lane boundary line at the time of the past, the yaw angle and the depression angle are indefinite, so the lane parameter is uniquely determined. I can't.

そこで、走路パラメータ推定部26では、下記の原理に基づいて、二時刻における車線境界点群を用いて走路パラメータを推定する。   Therefore, the road parameter estimation unit 26 estimates the road parameter using the lane boundary points at two times based on the following principle.

図6を参照して、右側の車線境界線のみが検出された場合について説明する。t=t及びt=t(t>t)におけるヨー角Ψが0の場合、時刻tにおける横位置et0と時刻tにおける横位置et1との間には変化がなく、撮像画像上も同じ位置に車線境界線が現れる。一方、t=t及びt=tにおけるヨー角ΨがΨ>0の場合、et0<et1となり、撮像画像上の車線境界線は、二時刻間(t〜t)で回転した状態(左回り)で表れる。同様に、Ψ<0の場合はet0>et1となり、撮像画像上の車線境界線は、二時刻間(t〜t)で回転した状態(右回り)で表れる。さらに、二時刻間でピッチ変動が生じた場合には、車線境界線は撮像画像の上下方向に移動した状態で表れる。 A case where only the right lane boundary line is detected will be described with reference to FIG. t = t 0 and t = t 1 (t 1> t 0) when the yaw angle Ψ is zero in, there is no change between the lateral position e t1 in the horizontal position e t0 and time t 1 at time t 0 A lane boundary appears at the same position on the captured image. On the other hand, when the yaw angle Ψ at t = t 0 and t = t 1 is Ψ> 0, e t0 <e t1 , and the lane boundary on the captured image rotates between two times (t 0 to t 1 ). Appears in a counterclockwise state. Similarly, in the case of Ψ <0, e t0 > e t1 , and the lane boundary line on the captured image appears in a state (clockwise) rotated between two times (t 0 to t 1 ). Furthermore, when a pitch variation occurs between two times, the lane boundary line appears in a state of moving in the vertical direction of the captured image.

このことから、二時刻間の走路パラメータを関係付けることにより、二時刻の各々で選択された車線境界点群を用いて、走路パラメータを一意に推定することができる。   From this, by correlating the road parameter between two times, the road parameter can be uniquely estimated using the lane boundary point group selected at each of the two times.

より具体的には、時刻tにおける走路パラメータxt0=(φt0,ρt0,et0,Ψt0)、及び時刻tにおける走路パラメータxt1=(φt1,ρt1,et1,Ψt1)について、二時刻間で曲率ρ及びヨー角Ψの変化が小さいと仮定すると、近似的に下記(1)式の関係が成立する。ここで、Vは、車速センサ14で検出された自車両の速度である。 More specifically, track parameters x t0 = at time t 0 (φ t0, ρ t0 , e t0, Ψ t0), and track parameters x t1 = (φ t1 at time t 1, ρ t1, e t1 , Ψ Assuming that the change in curvature ρ and yaw angle Ψ between two times is small for t1 ), the relationship of the following equation (1) is approximately established. Here, V is the speed of the host vehicle detected by the vehicle speed sensor 14.

Figure 2012185134
Figure 2012185134

これにより、推定すべきパラメータは、俯角φt0、φt1、曲率ρt1、横位置et1、ヨー角Ψt1の5つとなり、(1)式の条件の下、走路パラメータxt0により定まる車線境界線と車線境界点の座標Pt0 、及び走路パラメータxt1により定まる車線境界線と車線境界点の座標Pt1 とについて、最小二乗法等の従来既知の手法により最適化して、走路パラメータを推定することができる。 As a result, there are five parameters to be estimated: depression angle φ t0 , φ t1 , curvature ρ t1 , lateral position e t1 , and yaw angle ψ t1 , which is determined by the lane parameter x t0 under the condition of equation (1). The lane boundary line and the lane boundary point coordinates P t1 i determined by the boundary line and the lane boundary point coordinates P t0 i and the lane boundary point x t1 are optimized by a conventionally known method such as the least square method, and the lane parameter Can be estimated.

なお、二時刻の間隔(t−t)は、上記条件の成立が維持される時間間隔であって、二時刻間の観測値の変化を把握できるだけの長さを有する時間間隔を適切に定める。 The two-time interval (t 1 -t 0 ) is a time interval in which the above condition is maintained, and a time interval having a length sufficient to grasp the change in the observed value between the two times is appropriately set. Determine.

次に、図7を参照して、本実施の形態に係る走路推定装置10のコンピュータ16において実行される走路推定処理ルーチンについて説明する。ここでは、t=tにおける処理について説明するものとし、車線境界点記憶部24には、t=tにおける処理で選択された車線境界点が記憶されているものとする。 Next, with reference to FIG. 7, a runway estimation process routine executed by the computer 16 of the runway estimation apparatus 10 according to the present embodiment will be described. Here, the process at t = t 1 will be described, and the lane boundary point storage unit 24 stores the lane boundary point selected in the process at t = t 0 .

ステップ100で、撮像装置12で撮像された撮像画像を取得し、次に、ステップ102で、撮像画像の画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。   In step 100, a captured image captured by the imaging device 12 is acquired, and in step 102, an edge point that is a luminance change point for each pixel of the captured image is extracted as a feature point.

次に、ステップ104で、上記ステップ102で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。選択された車線境界点の座標Pt1 (ut1 ,vt1 )を車線境界点記憶部24へ記憶する。 Next, in step 104, the lane boundary point indicating the lane is selected by discriminating the shape, width, color, and the like of the edge points continuously arranged from the feature points extracted in step 102. The coordinates P t1 i (u t1 i , v t1 i ) of the selected lane boundary point are stored in the lane boundary point storage unit 24.

次に、ステップ106で、車線境界点記憶部24から、t=tの処理において記憶された車線境界点の座標Pt0 (ut0 ,vt0 )を読み出す。次に、ステップ108で、車速センサ14で検出された自車両の速度Vを取得する。 Next, in step 106, the coordinates P t0 i (u t0 i , v t0 i ) of the lane boundary point stored in the process of t = t 0 are read from the lane boundary point storage unit 24. Next, in step 108, the speed V of the host vehicle detected by the vehicle speed sensor 14 is acquired.

次に、ステップ110で、上記(1)式の関係、及び上記ステップ108で取得した速度Vを用いて、走路パラメータxt0により定まる車線境界線と上記ステップ106で読み出した車線境界点の座標Pt0 、及び走路パラメータxt1により定まる車線境界線と上記ステップ104で選択した車線境界点の座標Pt1 とについて、最小二乗法等の従来既知の手法により最適化することにより、走路パラメータを推定し、推定結果を出力して、処理を終了する。 Next, in step 110, using the relationship of the above equation (1) and the speed V acquired in step 108, the lane boundary line determined by the road parameter xt0 and the coordinates P of the lane boundary point read out in step 106 are described. By optimizing the lane boundary determined by t0 i and the lane parameter x t1 and the coordinates P t1 i of the lane boundary point selected in step 104 by a conventionally known method such as the least square method, The estimation is performed, the estimation result is output, and the process is terminated.

以上説明したように、第1の実施の形態の走路推定装置によれば、横位置及び俯角の異なりによる撮像画像上の車線境界点の異なる二時刻間での変化に基づいて、二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線境界点群を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像装置の姿勢角を含む走路パラメータを推定することができる。   As described above, according to the runway estimation apparatus of the first embodiment, based on the change between two different lane boundary points on the captured image due to the difference in lateral position and depression angle, By connecting lane parameters and using lane boundary points extracted at two different times, even if only one lane is detected, the lane parameters including the attitude angle of the imaging device with respect to the lane are fixed without fixing the depression angle. Can be estimated.

次に、第2の実施の形態について説明する。第2の実施の形態では、左車線、右車線、及び両側車線の各々に基づいて走路パラメータを推定する場合について説明する。なお、第1の実施の形態の走路推定装置10と同様の構成については、同一または対応する符号を付して、詳細な説明は省略する。   Next, a second embodiment will be described. In the second embodiment, a case will be described in which the road parameter is estimated based on each of the left lane, the right lane, and the both side lanes. In addition, about the structure similar to the runway estimation apparatus 10 of 1st Embodiment, the code | symbol same or corresponding is attached | subjected and detailed description is abbreviate | omitted.

図8に示すように、第2の実施の形態の走路推定装置210のコンピュータ216をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、特徴点抽出部20と、抽出された特徴点から左車線を示す車線境界点を選択する左車線境界点選択部22Lと、抽出された特徴点から右車線を示す車線境界点を選択する右車線境界点選択部22Rと、左車線境界点選択部22Lで選択された車線境界点が記憶される左車線境界点記憶部24Lと、右車線境界点選択部22Rで選択された車線境界点が記憶される右車線境界点記憶部24Rと、異なる二時刻の左車線境界点に基づいて、走路パラメータを推定する左側走路パラメータ推定部26Lと、異なる二時刻の右車線境界点に基づいて、走路パラメータを推定する右側走路パラメータ推定部26Rと、一時刻の左車線境界点及び右車線境界点に基づいて、走路パラメータを推定する左右走路パラメータ推定部28と、最終的な推定結果を出力する最終推定部30と、を含んだ構成で表すことができる。   As illustrated in FIG. 8, the feature point extraction unit 20 is described by using a functional block obtained by dividing the computer 216 of the lane estimation apparatus 210 according to the second embodiment for each function realization unit determined based on hardware and software. A left lane boundary point selection unit 22L that selects a lane boundary point that indicates the left lane from the extracted feature points, and a right lane boundary point selection unit 22R that selects a lane boundary point that indicates the right lane from the extracted feature points A left lane boundary point storage unit 24L that stores the lane boundary point selected by the left lane boundary point selection unit 22L, and a right lane boundary that stores the lane boundary point selected by the right lane boundary point selection unit 22R Based on the point storage unit 24R, the left lane parameter estimation unit 26L for estimating the lane parameter based on the left lane boundary point at two different times, and the lane parameter based on the right lane boundary point at two different time points. The right lane parameter estimation unit 26R for estimating the lane parameter, the left and right lane parameter estimation unit 28 for estimating the lane parameter based on the left lane boundary point and the right lane boundary point at one time, and the final output of the final estimation result And an estimation unit 30.

なお、左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rの各々が、本発明の二時刻推定手段の一例であり、左右走路パラメータ推定部28が、本発明の一時刻推定手段の一例である。   Each of the left lane parameter estimation unit 26L and the right lane parameter estimation unit 26R is an example of a two-time estimation unit of the present invention, and the left and right lane parameter estimation unit 28 is an example of a one-time estimation unit of the present invention. .

左車線境界点選択部22Lは、特徴点抽出部20で抽出された特徴点から、第1の実施の形態の車線境界点選択部22と同様の処理により車線境界点を選択し、さらに、選択された車線境界点の座標や車線境界点群が示す車線境界線の傾き等に基づいて、左側の車線を示す左車線境界点を選択する。左車線境界点選択部22Lは、選択した左車線境界点を左車線境界点記憶部24Lに記憶すると共に、左側走路パラメータ推定部26Lへ出力する。   The left lane boundary point selection unit 22L selects a lane boundary point from the feature points extracted by the feature point extraction unit 20 by the same processing as the lane boundary point selection unit 22 of the first embodiment, and further selects The left lane boundary point indicating the left lane is selected based on the coordinates of the lane boundary point and the inclination of the lane boundary line indicated by the lane boundary point group. The left lane boundary point selection unit 22L stores the selected left lane boundary point in the left lane boundary point storage unit 24L and outputs it to the left lane parameter estimation unit 26L.

右車線境界点選択部22Rも、左車線境界点選択部22Lと同様の処理により、右側の車線を示す右車線境界点を選択し、選択した左車線境界点を右車線境界点記憶部24Rに記憶すると共に、右側走路パラメータ推定部26Rへ出力する。   The right lane boundary point selection unit 22R also selects the right lane boundary point indicating the right lane by the same processing as the left lane boundary point selection unit 22L, and the selected left lane boundary point is stored in the right lane boundary point storage unit 24R. The data is stored and output to the right lane parameter estimation unit 26R.

左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rは、第1の実施の形態の走路パラメータ推定部26と同様に、異なる二時刻において選択された車線境界点を用いて、走路パラメータを推定する。上述したように、本実施の形態では、片側車線しか検出されない場合でも、走路パラメータを推定することができるため、左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rの各々において、走路パラメータを推定することができる。   The left-side lane parameter estimating unit 26L and the right-side lane parameter estimating unit 26R estimate the lane parameters using the lane boundary points selected at two different times as in the case of the lane parameter estimating unit 26 of the first embodiment. . As described above, in the present embodiment, since the road parameter can be estimated even when only one lane is detected, the road parameter is estimated in each of the left road parameter estimation unit 26L and the right road parameter estimation unit 26R. can do.

左右走路パラメータ推定部28は、従来技術と同様に、一時刻における左車線境界点及び右車線境界点の双方に基づいて、両車線の平行性を利用して、走路パラメータを推定する。   The left and right lane parameter estimation unit 28 estimates the lane parameter using parallelism of both lanes based on both the left lane boundary point and the right lane boundary point at one time, as in the prior art.

最終推定部30は、左側走路パラメータ推定部26L、右側走路パラメータ推定部26R、及び左右走路パラメータ推定部28各々の推定結果に基づいて、最終的な走路パラメータを推定して出力する。例えば、3つの推定結果の平均や重み付き平均により、最終的な走路パラメータを算出することができる。また、予め定めた条件に従って、いずれか1つの推定結果を最終的な推定結果として選択するようにしてもよい。   The final estimator 30 estimates and outputs final lane parameters based on the estimation results of the left lane parameter estimator 26L, the right lane parameter estimator 26R, and the left and right lane parameters estimator 28. For example, the final runway parameter can be calculated by the average of three estimation results or the weighted average. Further, any one estimation result may be selected as a final estimation result in accordance with a predetermined condition.

また、左側走路パラメータ推定部26Lの推定結果と右側走路パラメータ推定部26Rの推定結果との差が所定範囲内(推定結果が略一致)であり、かつ左側走路パラメータ推定部26Lの推定結果及び右側走路パラメータ推定部26Rの推定結果のいずれかと、左右走路パラメータ推定部28の推定結果とが所定値以上の(推定結果が大きく異なる)場合には、左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rの推定結果の少なくとも一方を用い、左右走路パラメータ推定部28の推定結果は用いないで最終的な推定結果を算出するようにするとよい。このような場合には、例えば、増加走路などのように、左右両側の車線は検出されているが、左右の車線の平行性が失われているような場面が想定される。従って、左右の車線の平行性に影響を受けることなく走路パラメータを推定することが可能な左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rの推定結果を用い、左右の車線の平行性に影響を受ける左右走路パラメータ推定部28の推定結果は用いないようにすることで、適切に走路パラメータを推定することができる。   In addition, the difference between the estimation result of the left lane parameter estimation unit 26L and the estimation result of the right lane parameter estimation unit 26R is within a predetermined range (estimation results substantially match), and the estimation result of the left lane parameter estimation unit 26L and the right side If any of the estimation results of the lane parameter estimation unit 26R and the estimation results of the left and right lane parameter estimation unit 28 are equal to or larger than a predetermined value (the estimation results are greatly different), the left lane parameter estimation unit 26L and the right lane parameter estimation unit It is preferable to use at least one of the estimation results of 26R and calculate the final estimation result without using the estimation result of the left and right lane parameter estimation unit 28. In such a case, for example, a scene where the left and right lanes are detected but the parallelism between the left and right lanes is lost is assumed, such as an increased runway. Therefore, the estimation results of the left lane parameter estimation unit 26L and the right lane parameter estimation unit 26R that can estimate the lane parameters without being affected by the parallelism of the left and right lanes are used to influence the parallelism of the left and right lanes. By not using the estimation result of the left / right lane parameter estimation unit 28 that receives the lane parameter, the lane parameter can be estimated appropriately.

次に、図9を参照して、本実施の形態に係る走路推定装置210のコンピュータ216において実行される走路推定処理ルーチンについて説明する。ここでは、t=tにおける処理について説明するものとし、左車線境界点記憶部24L及び右車線境界点記憶部24Rには、t=tにおける処理で選択された左車線境界点及び右車線境界点が記憶されているものとする。なお、第1の実施の形態の走路推定処理ルーチンと同一の処理については、同一の符号を付して詳細な説明は省略する。 Next, with reference to FIG. 9, a runway estimation process routine executed by computer 216 of runway estimation apparatus 210 according to the present embodiment will be described. Here, the processing at t = t 1 will be described, and the left lane boundary point storage unit 24L and the right lane boundary point storage unit 24R store the left lane boundary point and the right lane selected in the processing at t = t 0 . Assume that boundary points are stored. In addition, about the process same as the runway estimation process routine of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.

ステップ100で、撮像画像を取得し、次に、ステップ102で、撮像画像から特徴点を抽出する。   In step 100, a captured image is acquired, and in step 102, feature points are extracted from the captured image.

次に、ステップ200で、上記ステップ102で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択し、さらに、選択された車線境界点の座標や車線点群が示す車線境界線の傾き等に基づいて、左側の車線を示す左車線境界点を選択する。選択された左車線境界点の座標Pt1 Li(ut1 Li,vt1 Li)を車線境界点記憶部24へ記憶する。 Next, in step 200, a lane boundary point indicating a lane is selected by discriminating the shape, width, color, and the like of edge points that are continuously arranged from the feature points extracted in step 102, and the selection is further performed. The left lane boundary point indicating the left lane is selected based on the coordinates of the lane boundary point and the inclination of the lane boundary line indicated by the lane point group. The coordinates P t1 Li (u t1 Li , v t1 Li ) of the selected left lane boundary point are stored in the lane boundary point storage unit 24.

次に、ステップ202で、左車線境界点記憶部24Lから、t=tの処理において記憶された左車線境界点の座標Pt0 Li(ut0 Li,vt0 Li)を読み出す。次に、ステップ108で、車速センサ14で検出された自車両の速度Vを取得する。 Next, in step 202, the coordinates P t0 Li (u t0 Li , v t0 Li ) of the left lane boundary point stored in the process of t = t 0 are read from the left lane boundary point storage unit 24L. Next, in step 108, the speed V of the host vehicle detected by the vehicle speed sensor 14 is acquired.

次に、ステップ204で、上記(1)式の関係、及び上記ステップ108で取得した速度Vを用いて、走路パラメータxt0により定まる車線境界線と上記ステップ202で読み出した左車線境界点の座標Pt0 Li、及び走路パラメータxt1により定まる車線境界線と上記ステップ200で選択した車線境界点の座標Pt1 Liとについて、最小二乗法等の従来既知の手法により最適化して、左側走路パラメータを推定する。 Next, at step 204, using the relationship of the above equation (1) and the speed V acquired at step 108, the coordinates of the lane boundary determined by the road parameter xt0 and the coordinates of the left lane boundary point read out at step 202 above. The left lane parameter is determined by optimizing the lane boundary determined by P t0 Li and the lane parameter x t1 and the coordinates P t1 Li of the lane boundary point selected in step 200 by a conventionally known method such as the least square method. presume.

次に、ステップ206〜209で、上記ステップ200〜204と同様に、右車線境界点の座標Pt0 Riに基づく右側走路パラメータを推定する。 Next, in Steps 206 to 209, the right lane parameter based on the coordinates P t0 Ri of the right lane boundary point is estimated as in Steps 200 to 204 described above.

次に、ステップ212で、一時刻における左車線境界点及び右車線境界点の双方を用いて、左右走路パラメータを推定する。   Next, in step 212, the left and right lane parameters are estimated using both the left lane boundary point and the right lane boundary point at one time.

次に、ステップ214で、上記ステップ204で推定された左側走路パラメータ、上記ステップ209で推定された右側走路パラメータ、及び上記ステップ212で推定された左右走路パラメータに基づいて、最終的な走路パラメータを推定し、推定結果を出力して、処理を終了する。   Next, in step 214, the final lane parameter is determined based on the left lane parameter estimated in step 204, the right lane parameter estimated in step 209, and the left and right lane parameter estimated in step 212. The estimation is performed, the estimation result is output, and the process is terminated.

なお、上記ステップ200〜204の左側走路パラメータの推定処理、ステップ206〜209の右側走路パラメータの推定処理、及びステップ212の左右走路パラメータの推定処理は、上記の順番で処理する場合に限らず、いずれを先に実行してもよいし、3つの処理を並行して実行してもよい。   Note that the left lane parameter estimation process in steps 200 to 204, the right lane parameter estimation process in steps 206 to 209, and the left and right lane parameter estimation process in step 212 are not limited to the above processing. Either may be executed first, or three processes may be executed in parallel.

以上説明したように、第2の実施の形態の走路推定装置によれば、従来の一時刻における車線境界点を用いた走路パラメータの推定もあわせて用いることで、状況に応じて適切な走路パラメータを推定することができる。   As described above, according to the runway estimation apparatus of the second embodiment, the runway parameter estimation using the lane boundary point at a conventional time is also used, so that an appropriate runway parameter according to the situation is used. Can be estimated.

なお、上記実施の形態では、走路パラメータの1つとして、走路の曲率ρを用いる場合について説明したが、このパラメータは、走路の形状を示すパラメータであればよく、例えばクロソイド曲線などの形状を表す曲率の変化率ρ’をあわせて用いてもよい。この場合、上記(1)式の第1式は、ρ’t1=ρ’t0+V(t−t)として、二時刻間の走路パラメータを関係付けるとよい。 In the above embodiment, the case where the curvature ρ of the road is used as one of the road parameters has been described. However, this parameter may be a parameter indicating the shape of the road, and represents a shape such as a clothoid curve, for example. The change rate ρ ′ of the curvature may be used together. In this case, the first equation of the above equation (1) may be related to the lane parameter between two times as ρ ′ t1 = ρ ′ t0 + V (t 1 −t 0 ).

また、本発明のプログラムは、記録媒体に格納して提供したり、有線または無線による通信手段を介して提供したりする形態としてもよい。また、ソフトウエア構成による実現に限られるものではなく、ハードウエア構成や、ハードウエア構成とソフトウエア構成の組み合わせによって実現してもよい。   The program of the present invention may be provided by being stored in a recording medium or provided via a wired or wireless communication means. Further, the present invention is not limited to implementation by software configuration, and may be implemented by hardware configuration or a combination of hardware configuration and software configuration.

10、210 走路推定装置
12 撮像装置
14 車速センサ
16、216 コンピュータ
20 特徴点抽出部
22 車線境界点選択部
22R 右車線境界点選択部
22L 左車線境界点選択部
24 車線境界点記憶部
24L 左車線境界点記憶部
24R 右車線境界点記憶部
26 走路パラメータ推定部
26L 左側走路パラメータ推定部
26R 右側走路パラメータ推定部
28 左右走路パラメータ推定部
30 最終推定部
DESCRIPTION OF SYMBOLS 10,210 Track estimation device 12 Imaging device 14 Vehicle speed sensor 16, 216 Computer 20 Feature point extraction unit 22 Lane boundary point selection unit 22R Right lane boundary point selection unit 22L Left lane boundary point selection unit 24 Lane boundary point storage unit 24L Left lane Boundary point storage unit 24R Right lane boundary point storage unit 26 Runway parameter estimation unit 26L Left runway parameter estimation unit 26R Right runway parameter estimation unit 28 Left and right runway parameter estimation unit 30 Final estimation unit

Claims (6)

自車両周辺を撮像する該自車両に搭載された撮像手段と、
前記自車両の速度を検出する検出手段と、
前記撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する抽出手段と、
前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記検出手段により検出された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適化により、該走路パラメータを推定する二時刻推定手段と、
を含む走路推定装置。
Imaging means mounted on the host vehicle for imaging the periphery of the host vehicle;
Detecting means for detecting the speed of the host vehicle;
Extraction means for extracting a feature point indicating a lane from a captured image obtained by imaging by the imaging means;
Based on the feature points extracted by the extracting means, the value representing the shape of the traveling road on which the host vehicle travels, the depression angle, the yaw angle, and the lateral position of the imaging means with respect to the traveling road, and on the captured image When estimating the lane parameters that determine the lane position of the vehicle, the amount of change in the lateral position between the two times is calculated under the assumption that the value representing the shape and the yaw angle do not change between two different times. Two-time estimation for estimating the road parameter by optimizing the feature point extracted at each of the two times and the lane position determined by the road parameter, expressed by the speed and yaw angle detected by the detection means Means,
Runway estimation device including
前記抽出手段により抽出された一時刻における左右の車線を示す特徴点と、前記走路パラメータにより定まる車線位置との最適化により、前記走路パラメータを推定する一時刻推定手段と、
前記一時刻推定手段の推定結果、及び前記二時刻推定手段の推定結果の少なくとも一方を用いて最終的な走路パラメータを推定する最終推定手段と、
を含む請求項1記載の走路推定装置。
One-time estimation means for estimating the road parameter by optimizing the characteristic points indicating the left and right lanes at one time extracted by the extraction means and the lane position determined by the road parameter;
Final estimation means for estimating a final lane parameter using at least one of the estimation result of the one-time estimation means and the estimation result of the two-time estimation means;
The runway estimation apparatus according to claim 1, comprising:
前記二時刻推定手段は、前記特徴点として、左の車線の特徴点及び右の車線の特徴点の各々を用いて、前記走路パラメータを推定し、
前記最終推定手段は、前記二時刻推定手段による左の車線の特徴点に基づく推定結果と右の車線の特徴点に基づく推定結果との差が所定範囲内であり、かつ前記二時刻推定手段による推定結果のいずれか一方と前記一時刻推定手段による推定結果との差が所定値以上の場合には、前記二時刻推定手段による推定結果の少なくとも一方を用いて、前記最終的な走路パラメータを推定する
請求項2記載の走路推定装置。
The two-time estimation means estimates the lane parameter using the feature point of the left lane and the feature point of the right lane as the feature points,
The final estimation means has a difference between the estimation result based on the feature point of the left lane and the estimation result based on the feature point of the right lane by the two-time estimation means, and the two-time estimation means When the difference between any one of the estimation results and the estimation result by the one-time estimation means is equal to or greater than a predetermined value, the final runway parameter is estimated using at least one of the estimation results by the two-time estimation means The runway estimation device according to claim 2.
前記走路の形状を表す値を、前記走路の曲率、または前記走路の曲率及び曲率の変化率とした請求項1〜請求項3のいずれか1項記載の走路推定装置。   The runway estimation device according to any one of claims 1 to 3, wherein a value representing the shape of the runway is a curvature of the runway, or a curvature of the runway and a rate of change of the curvature. コンピュータを、
自車両周辺を撮像する該自車両に搭載された撮像手段により得られた撮像画像、及び前記自車両の速度を検出する検出手段により検出された該自車両の速度を取得する取得手段、
前記取得手段により取得された撮像画像から、車線を示す特徴点を抽出する抽出手段、及び
前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記取得手段により取得された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適推定により、該走路パラメータを推定する二時刻推定手段
として機能させるための走路推定プログラム。
Computer
An acquisition means for acquiring a captured image obtained by an imaging means mounted on the own vehicle for imaging the periphery of the own vehicle, and a speed of the own vehicle detected by a detection means for detecting the speed of the own vehicle;
An extraction unit that extracts a feature point indicating a lane from the captured image acquired by the acquisition unit; and a value that represents a shape of a traveling path on which the host vehicle travels based on the feature point extracted by the extraction unit, Two times at which the value representing the shape and the yaw angle are different when estimating the road parameter including the depression angle, the yaw angle, and the lateral position of the imaging unit with respect to the road and determining the lane position on the captured image. Under the assumption that there is no change between the two time points, the amount of change in the lateral position is represented by the speed and yaw angle acquired by the acquisition means, and feature points extracted at each of the two time points And a lane position determined by the road parameter, and a road estimation program for functioning as a two-time estimation means for estimating the road parameter.
コンピュータを、請求項1〜請求項請求項4のいずれか1項記載の走路推定装置を構成する各手段として機能させるための走路推定プログラム。   The runway estimation program for functioning a computer as each means which comprises the runway estimation apparatus of any one of Claims 1-4.
JP2011050253A 2011-03-08 2011-03-08 Runway estimation apparatus and program Expired - Fee Related JP5760523B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011050253A JP5760523B2 (en) 2011-03-08 2011-03-08 Runway estimation apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011050253A JP5760523B2 (en) 2011-03-08 2011-03-08 Runway estimation apparatus and program

Publications (2)

Publication Number Publication Date
JP2012185134A true JP2012185134A (en) 2012-09-27
JP5760523B2 JP5760523B2 (en) 2015-08-12

Family

ID=47015330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011050253A Expired - Fee Related JP5760523B2 (en) 2011-03-08 2011-03-08 Runway estimation apparatus and program

Country Status (1)

Country Link
JP (1) JP5760523B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140012453A1 (en) * 2012-07-09 2014-01-09 Deere & Company Navigation System and Method for Autonomous Mower
JP2016091468A (en) * 2014-11-10 2016-05-23 株式会社豊田中央研究所 Target trajectory calculation device and program
JP2020006845A (en) * 2018-07-10 2020-01-16 株式会社明電舎 Track curvature estimation device and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620189A (en) * 1992-06-29 1994-01-28 Nissan Motor Co Ltd Road shape measuring instrument
JPH1139464A (en) * 1997-07-18 1999-02-12 Nissan Motor Co Ltd Image processor for vehicle
JP2002236912A (en) * 2001-02-13 2002-08-23 Nissan Motor Co Ltd Road partition line recognizing device
JP2003065715A (en) * 2001-08-28 2003-03-05 Nissan Motor Co Ltd Device for recognizing white line on road
JP2009037541A (en) * 2007-08-03 2009-02-19 Nissan Motor Co Ltd Lane marker recognition apparatus and method, and lane departure prevention apparatus
JP2009181310A (en) * 2008-01-30 2009-08-13 Toyota Central R&D Labs Inc Road parameter estimation device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620189A (en) * 1992-06-29 1994-01-28 Nissan Motor Co Ltd Road shape measuring instrument
JPH1139464A (en) * 1997-07-18 1999-02-12 Nissan Motor Co Ltd Image processor for vehicle
JP2002236912A (en) * 2001-02-13 2002-08-23 Nissan Motor Co Ltd Road partition line recognizing device
JP2003065715A (en) * 2001-08-28 2003-03-05 Nissan Motor Co Ltd Device for recognizing white line on road
JP2009037541A (en) * 2007-08-03 2009-02-19 Nissan Motor Co Ltd Lane marker recognition apparatus and method, and lane departure prevention apparatus
JP2009181310A (en) * 2008-01-30 2009-08-13 Toyota Central R&D Labs Inc Road parameter estimation device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140012453A1 (en) * 2012-07-09 2014-01-09 Deere & Company Navigation System and Method for Autonomous Mower
US9026299B2 (en) * 2012-07-09 2015-05-05 Deere & Company Navigation system and method for autonomous mower
JP2016091468A (en) * 2014-11-10 2016-05-23 株式会社豊田中央研究所 Target trajectory calculation device and program
JP2020006845A (en) * 2018-07-10 2020-01-16 株式会社明電舎 Track curvature estimation device and method
JP7020324B2 (en) 2018-07-10 2022-02-16 株式会社明電舎 Line curvature estimation device and method

Also Published As

Publication number Publication date
JP5760523B2 (en) 2015-08-12

Similar Documents

Publication Publication Date Title
JP5804185B2 (en) Moving object position / orientation estimation apparatus and moving object position / orientation estimation method
JP5966747B2 (en) Vehicle travel control apparatus and method
JP2020064046A (en) Vehicle position determining method and vehicle position determining device
JP4962581B2 (en) Lane marking detector
US8655023B2 (en) Road profile defining apparatus, road profile defining method, and road profile defining program
JP4702569B2 (en) Image processing apparatus for vehicle
US9697421B2 (en) Stereoscopic camera apparatus
US10650535B2 (en) Measurement device and measurement method
JP5834933B2 (en) Vehicle position calculation device
KR102372296B1 (en) Apparatus and method for recognize driving lane on image
CN105320930A (en) Object recognition apparatus
JP2005214914A (en) Traveling speed detecting device and traveling speed detection method
JP5760523B2 (en) Runway estimation apparatus and program
US10614321B2 (en) Travel lane detection method and travel lane detection device
JP6044084B2 (en) Moving object position and orientation estimation apparatus and method
JP2012252501A (en) Traveling path recognition device and traveling path recognition program
JP2007011490A (en) Device and method for detecting road parameter
JP2012159470A (en) Vehicle image recognition device
US20200193184A1 (en) Image processing device and image processing method
JP5903901B2 (en) Vehicle position calculation device
JP7043787B2 (en) Object detection system
JP5891802B2 (en) Vehicle position calculation device
WO2014050285A1 (en) Stereo camera device
JP6668740B2 (en) Road surface estimation device
JP7095559B2 (en) Bound line detection device and lane marking method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150525

R150 Certificate of patent or registration of utility model

Ref document number: 5760523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees