JP2007011490A - Device and method for detecting road parameter - Google Patents

Device and method for detecting road parameter Download PDF

Info

Publication number
JP2007011490A
JP2007011490A JP2005188469A JP2005188469A JP2007011490A JP 2007011490 A JP2007011490 A JP 2007011490A JP 2005188469 A JP2005188469 A JP 2005188469A JP 2005188469 A JP2005188469 A JP 2005188469A JP 2007011490 A JP2007011490 A JP 2007011490A
Authority
JP
Japan
Prior art keywords
road parameter
road
reliability
parameter
parameter value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005188469A
Other languages
Japanese (ja)
Inventor
Shinya Aoki
紳也 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2005188469A priority Critical patent/JP2007011490A/en
Publication of JP2007011490A publication Critical patent/JP2007011490A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a road parameter detecting device, capable of detecting the road parameters of a plurality of lanes simultaneously taking into consideration the degree of reliability. <P>SOLUTION: The road parameter detecting device 1 includes a camera 10; a parameter candidate acquiring part 21 for obtaining the stochastic distribution of the road parameters having multi-peaked property, based on image data imaged by the camera 10; a parameter value calculating part 30 for obtaining road parameter values, by calculating the expectation value of the stochastic distribution of the road parameters; a reliability degree determining part 31 for obtaining the reliability degree of the road parameter values, by calculating the distribution value of the stochastic distribution of the road parameters; and an output part 40 for changing information concerning the road parameter values, in response to the reliability degree and outputting the information to an external display, etc. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、道路パラメータ検出装置および道路パラメータ検出方法に関する。   The present invention relates to a road parameter detection device and a road parameter detection method.

車線維持支援装置や車線逸脱警報装置等の走行支援装置では、自車両が走行している車線を認識するために走行路認識装置が用いられている（例えば、特許文献１参照）。特許文献１に記載の走行路認識装置では、カルマンフィルタを用いて、走行車線の幅、車両の白線に対する横変位や道路曲率等の道路パラメータが推定される。
特開２００２−１０９６９５号公報 In travel support devices such as a lane keeping support device and a lane departure warning device, a travel path recognition device is used to recognize the lane in which the host vehicle is traveling (see, for example, Patent Document 1). In the travel path recognition apparatus described in Patent Literature 1, road parameters such as the width of the travel lane, the lateral displacement of the vehicle with respect to the white line and the road curvature are estimated using the Kalman filter.
JP 2002-109695 A

カルマンフィルタは、道路パラメータの存在確率分布が単一のガウシアン分布を取ると仮定し、分布の平均と共分散の値を過去の履歴と現在の観測値から推定する方法である。カルマンフィルタのように単峰性の確率分布しか扱えない手法では、車線が複数存在する状況であっても、複数車線の道路パラメータを同時に取り扱うことができない。また、上記走行路認識装置では、カルマンフィルタを用いて道路パラメータを推定する際に、推定される道路パラメータの信頼度については考慮されていない。   The Kalman filter is a method for estimating the average and covariance values of the distribution from the past history and the current observation value, assuming that the road parameter existence probability distribution has a single Gaussian distribution. A method that can handle only a unimodal probability distribution such as the Kalman filter cannot handle road parameters of a plurality of lanes at the same time even in a situation where a plurality of lanes exist. Further, in the travel path recognition device, when the road parameter is estimated using the Kalman filter, the reliability of the estimated road parameter is not taken into consideration.

本発明は、上記問題点を解消する為になされたものであり、信頼度を考慮しつつ複数車線の道路パラメータを同時に検出することが可能な道路パラメータ検出装置および道路パラメータ検出方法を提供することを目的とする。   The present invention has been made to solve the above problems, and provides a road parameter detection device and a road parameter detection method capable of simultaneously detecting road parameters of a plurality of lanes while considering reliability. With the goal.

本発明に係る道路パラメータ検出装置は、撮像手段と、撮像手段により撮像された画像データに基づき道路パラメータ候補を複数取得可能なパラメータ候補取得手段と、道路パラメータ候補の分布状態に基づいて道路パラメータ値を求めるパラメータ値演算手段と、道路パラメータ候補の分布状態に基づいて道路パラメータ値の信頼度を判定する信頼度判定手段とを備えることを特徴とする。   The road parameter detection device according to the present invention includes an imaging unit, a parameter candidate acquisition unit capable of acquiring a plurality of road parameter candidates based on image data captured by the imaging unit, and a road parameter value based on a distribution state of the road parameter candidates. Parameter value calculating means for determining the road parameter value, and reliability determination means for determining the reliability of the road parameter value based on the distribution state of the road parameter candidates.

また、本発明に係る道路パラメータ検出方法は、撮像ステップと、撮像ステップで撮像された画像データに基づき道路パラメータ候補を複数取得可能なパラメータ候補取得ステップと、道路パラメータ候補の分布状態に基づいて道路パラメータ値を求めるパラメータ値演算ステップと、道路パラメータ候補の分布状態に基づいて道路パラメータ値の信頼度を判定する信頼度判定ステップとを備えることを特徴とする。   The road parameter detection method according to the present invention includes an imaging step, a parameter candidate acquisition step capable of acquiring a plurality of road parameter candidates based on the image data captured in the imaging step, and a road based on a distribution state of the road parameter candidates. A parameter value calculation step for obtaining a parameter value and a reliability determination step for determining the reliability of the road parameter value based on the distribution state of the road parameter candidates are provided.

本発明に係る道路パラメータ検出装置または道路パラメータ検出方法によれば、複数の道路パラメータ候補を含むことができる道路パラメータ候補分布の状態に基づいて、道路パラメータ値に加えて該道路パラメータ値の信頼度が取得される。そのため、道路パラメータ値の信頼度を考慮しつつ複数車線の道路パラメータ値を同時に検出することが可能となる。   According to the road parameter detection device or the road parameter detection method according to the present invention, the reliability of the road parameter value in addition to the road parameter value based on the state of the road parameter candidate distribution that can include a plurality of road parameter candidates. Is acquired. Therefore, it is possible to simultaneously detect the road parameter values of a plurality of lanes while considering the reliability of the road parameter values.

上記信頼度判定手段は、道路パラメータ候補の分布の分散値が大きいほど道路パラメータ値の信頼度が低いと判定することが好ましい。   The reliability determination means preferably determines that the reliability of the road parameter value is lower as the variance value of the distribution of the road parameter candidates is larger.

また、上記信頼度判定ステップでは、道路パラメータ候補の分布の分散値が大きいほど道路パラメータ値の信頼度が低いと判定することが好ましい。   In the reliability determination step, it is preferable to determine that the reliability of the road parameter value is lower as the variance value of the road parameter candidate distribution is larger.

例えば道路パラメータ候補がほとんどない状態やノイズが多く含まれるような状態では、道路パラメータ候補の分布がばらつく。したがって、道路パラメータ候補の分布がばらついた場合すなわち道路パラメータ候補分布の分散が大きいときには求められた道路パラメータ値の信頼度が低いと判定し、逆に、道路パラメータ候補の分布が所定の領域に集中するような場合すなわち道路パラメータ候補の分散が小さいときには道路パラメータ値の信頼度が高いと判定することができる。このようにすれば、道路パラメータ候補分布から取得される道路パラメータ値の信頼度を適切に判定することが可能となる。   For example, in a state where there are almost no road parameter candidates or a state in which a lot of noise is included, the distribution of road parameter candidates varies. Therefore, when the distribution of the road parameter candidates varies, that is, when the distribution of the road parameter candidate distribution is large, it is determined that the reliability of the obtained road parameter value is low, and conversely, the distribution of the road parameter candidates is concentrated in a predetermined area. In this case, that is, when the variance of the road parameter candidates is small, it can be determined that the reliability of the road parameter value is high. In this way, it is possible to appropriately determine the reliability of the road parameter value acquired from the road parameter candidate distribution.

本発明に係る道路パラメータ検出装置は、上記道路パラメータ値に関する情報を出力するとともに、道路パラメータ値の信頼度に応じて出力する情報を変更する出力手段を備えることが好ましい。   The road parameter detection device according to the present invention preferably includes output means for outputting information related to the road parameter value and changing information to be output according to the reliability of the road parameter value.

また、本発明に係る道路パラメータ検出方法では、上記道路パラメータ値に関する情報を出力するとともに、道路パラメータ値の信頼度に応じて出力する情報を変更する出力ステップを備えることが好ましい。   The road parameter detection method according to the present invention preferably includes an output step of outputting information related to the road parameter value and changing information to be output according to the reliability of the road parameter value.

例えば、取得された道路パラメータ値の信頼度が低い場合には、車線をロストしたと判断して出力する情報を変更することができる。そのため、道路パラメータ値の検出状態に応じた適切な情報を提示することが可能となる。   For example, when the reliability of the acquired road parameter value is low, it is possible to change the information to be output by determining that the lane is lost. Therefore, it is possible to present appropriate information according to the road parameter value detection state.

本発明によれば、複数の道路パラメータ候補を含むことができる道路パラメータ候補分布の状態に基づいて、道路パラメータ値に加えて該道路パラメータ値の信頼度が取得される構成としたので、信頼度を考慮しつつ複数車線の道路パラメータ値を同時に検出することが可能となる。   According to the present invention, the reliability of the road parameter value is acquired in addition to the road parameter value based on the state of the road parameter candidate distribution that can include a plurality of road parameter candidates. It is possible to simultaneously detect the road parameter values of a plurality of lanes while considering the above.

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。   DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the figure, the same reference numerals are used for the same or corresponding parts.

図１乃至１３を併せて用いて、実施形態に係る道路パラメータ検出装置１および道路パラメータ検出方法について説明する。図１は、道路パラメータ検出装置１の全体構成を示すブロック図である。なお、本明細書では、道路上において各車線の区切りを示すために描画されている白色や黄色などの線（点線等も含む）を全て「白線」と称するものとする。   The road parameter detection device 1 and the road parameter detection method according to the embodiment will be described with reference to FIGS. FIG. 1 is a block diagram showing the overall configuration of the road parameter detection device 1. In the present specification, all white lines and yellow lines (including dotted lines) drawn on the road to indicate the separation of each lane are referred to as “white lines”.

道路パラメータ検出装置１は、車両前方の風景を撮像して画像データを取得するカメラ１０と、取得された画像データに対して画像処理及び演算処理等を施すことにより多峰性を有する道路パラメータの確率分布を求めると共に、道路パラメータの確率分布から道路パラメータ値および道路パラメータ値の信頼度を求める画像ＥＣＵ２０とを備えている。ここで、道路パラメータとしては、例えば、車線幅ｗ、車両の車線中央からの横変位（以下「横位置」という）Ｘ０、カメラ１０の車線に対するヨー角φ、及びカメラ１０のピッチ角θ等が挙げられる。 The road parameter detection device 1 captures a landscape in front of a vehicle to acquire image data, and performs image processing and arithmetic processing on the acquired image data to obtain road parameters having multimodality. An image ECU 20 that obtains the probability distribution and obtains the road parameter value and the reliability of the road parameter value from the probability distribution of the road parameter is provided. Here, as the road parameters, for example, the lane width w, the lateral displacement of the vehicle from the center of the lane (hereinafter referred to as “lateral position”) X 0 , the yaw angle φ with respect to the lane of the camera 10, the pitch angle θ of the camera 10, etc. Is mentioned.

カメラ１０は、例えばＣＣＤカメラであり、自車両のフロントウィンドウ上部（例えば、バックミラーの裏側）に前方を向いて設置されている。カメラ１０は、車両前方の風景を撮像して画像データを取得する。カメラ１０により取得された画像データは、画像ＥＣＵ２０に出力される。なお、カメラ１０の設置場所はフロントウィンドウ上部に限られることなく、車両前方の画像が取得できる場所であれば、他の位置に取り付けてもよい。カメラ１０は特許請求の範囲に記載の撮像手段として機能し、撮像ステップを実行する。   The camera 10 is a CCD camera, for example, and is installed facing the front at the upper part of the front window of the host vehicle (for example, the back side of the rearview mirror). The camera 10 captures a landscape in front of the vehicle and acquires image data. The image data acquired by the camera 10 is output to the image ECU 20. Note that the installation location of the camera 10 is not limited to the upper part of the front window, and may be attached to another position as long as an image in front of the vehicle can be acquired. The camera 10 functions as an imaging unit described in the claims, and executes an imaging step.

画像ＥＣＵ２０は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ及び１２Ｖバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。   The image ECU 20 includes a microprocessor that performs calculations, a ROM that stores programs for causing the microprocessor to execute each process, a RAM that stores various data such as calculation results, and a backup RAM in which the stored contents are held by a 12V battery. Etc.

画像ＥＣＵ２０は、カメラ１０から入力された画像データに対して画像処理や演算処理等を施すことにより多峰性を有する道路パラメータの確率分布を求めるパラメータ候補取得部２１、パラメータ候補取得部２１で求められた道路パラメータの確率分布に基づいて道路パラメータ値を求めるパラメータ値演算部３０、道路パラメータの確率分布に基づいて道路パラメータ値の信頼度を判定する信頼度判定部３１、および、道路パラメータ値に関する情報をその信頼度に応じて変更し外部の走行支援装置やディスプレイなどに出力する出力部４０を備えて構成されている。   The image ECU 20 obtains the parameter candidate acquisition unit 21 and the parameter candidate acquisition unit 21 to obtain a probability distribution of multi-modal road parameters by performing image processing, arithmetic processing, or the like on the image data input from the camera 10. A parameter value calculation unit 30 for obtaining a road parameter value based on the probability distribution of the road parameter, a reliability determination unit 31 for determining the reliability of the road parameter value based on the probability distribution of the road parameter, and a road parameter value It is configured to include an output unit 40 that changes information according to its reliability and outputs the information to an external travel support device or a display.

パラメータ候補取得部２１は、特許請求の範囲に記載のパラメータ候補取得手段として機能し、パラメータ候補取得ステップを実行する。パラメータ値演算部３０はパラメータ値演算手段として機能し、パラメータ値演算ステップを実行する。また、信頼度判定部３１は信頼度判定手段として機能し、信頼度判定ステップを実行する。出力部４０は出力手段として機能し、出力ステップを実行する。   The parameter candidate acquisition unit 21 functions as parameter candidate acquisition means described in the claims, and executes a parameter candidate acquisition step. The parameter value calculation unit 30 functions as parameter value calculation means and executes a parameter value calculation step. Moreover, the reliability determination part 31 functions as a reliability determination means, and performs a reliability determination step. The output unit 40 functions as an output unit and executes an output step.

パラメータ候補取得部２１は、画像処理部２２、事前確率推定部２５と事後確率推定部２６とを含んで構成されるパラメータ推定部２４、および道路モデル生成部２８を有して構成されている。   The parameter candidate acquisition unit 21 includes an image processing unit 22, a parameter estimation unit 24 including a prior probability estimation unit 25 and a posterior probability estimation unit 26, and a road model generation unit 28.

画像処理部２２は、エッジ抽出フィルタ等を用いて、カメラ１０によって撮像された画像データから輝度変化の大きいエッジを抽出し、二値化されたエッジ画像を取得するものである。取得されたエッジ画像は、パラメータ推定部２４を構成する事後確率推定部２６に出力される。カメラ１０で撮像された画像データの一例を図２示す。また、図２の画像データを画像処理部２２に入力し、画像処理したときの出力結果を図３に示す。   The image processing unit 22 uses an edge extraction filter or the like to extract an edge having a large luminance change from the image data captured by the camera 10 and obtain a binarized edge image. The acquired edge image is output to the posterior probability estimation unit 26 constituting the parameter estimation unit 24. An example of the image data captured by the camera 10 is shown in FIG. Further, FIG. 3 shows an output result when the image data of FIG. 2 is input to the image processing unit 22 and image processing is performed.

道路モデル生成部２８は、車線幅ｗや横位置Ｘ０等の道路パラメータに基づいて、車線を画像面上に投影したときの形状を演算するものである。道路モデル生成部２８に道路パラメータが入力されると、道路パラメータに応じた車線を撮像面上に投影する線分の座標が出力される。 Road model generating unit 28, based on the road parameters such as lane width w and lateral position X 0, is for calculating the shape when projected lane on the image plane. When road parameters are input to the road model generation unit 28, coordinates of a line segment for projecting a lane corresponding to the road parameters onto the imaging surface are output.

図４に道路パラメータと撮像面上に投影される線分との関係を示す。図４において、ｗは車線幅、Ｘ０は横位置、φはカメラ１０の車線に対するヨー角、θはカメラ１０のピッチ角である。また、Ｚ０はカメラ１０の取り付け高さ、ｆはカメラ１０の焦点距離を表す。取り付け高さＺ０及び焦点距離ｆは、共に既知の値であり、画像ＥＣＵ２０のＲＯＭ等にデータとして記憶されている。 FIG. 4 shows the relationship between road parameters and line segments projected on the imaging surface. In FIG. 4, w is the lane width, X 0 is the lateral position, φ is the yaw angle with respect to the lane of the camera 10, and θ is the pitch angle of the camera 10. Z 0 represents the mounting height of the camera 10, and f represents the focal length of the camera 10. Both the mounting height Z 0 and the focal length f are known values, and are stored as data in the ROM of the image ECU 20 or the like.

パラメータ推定部２４は、事前確率推定部２５及び事後確率推定部２６を含んで構成され、画像フレームを更新するごとに過去の経歴に基づいた事前確率の推定と、現在の観測値、即ち画像処理部２２からの出力値に基づいた事後確率の推定を行うことにより、道路パラメータの存在確率分布を推定するものである。なお、道路パラメータの存在確率分布が特許請求の範囲に記載の道路パラメータ候補に相当する。   The parameter estimator 24 includes a prior probability estimator 25 and a posterior probability estimator 26. Each time an image frame is updated, the prior probability is estimated based on the past history and the current observation value, that is, image processing. The existence probability distribution of the road parameter is estimated by estimating the posterior probability based on the output value from the unit 22. The road parameter existence probability distribution corresponds to the road parameter candidates described in the claims.

本実施形態では、道路パラメータの存在確率分布を推定するために、多峰性を有する確率分布を表現可能なパーティクルフィルタを用いた。パーティクルフィルタは、過去の情報と現在の観測情報から現在の状態推定を行うことができる手法である。パーティクルフィルタは、まず、ある時刻での事後分布からサンプリングをして得られたパーティクルを追跡対象のダイナミクスに従って動し、次に、遷移させたパーティクルによって作られた次時刻の予測分布に観測結果から得られた情報を用いて重みを付け、新しい事後分布を作る。この重みに応じてまた次の時刻の遷移に使うパーティクルを選び直し、これを繰り返すことでフィルタリングを行う。   In the present embodiment, a particle filter capable of expressing a multimodal probability distribution is used to estimate the existence probability distribution of road parameters. The particle filter is a method capable of estimating the current state from past information and current observation information. The particle filter first moves the particles obtained by sampling from the posterior distribution at a certain time according to the dynamics of the tracking target, and then from the observation results to the predicted distribution at the next time created by the transitioned particles. The obtained information is weighted to create a new posterior distribution. In accordance with this weight, the particles used for the next time transition are selected again, and filtering is performed by repeating this.

パーティクルフィルタをパラメータ推定部２４に適用する場合について説明する。図５は、パラメータが１次元の場合のパーティクルと確率分布との関係を示す図である。図５において、円が一つのパーティクルを表し、円の大きさが重みを表す。一つのパーティクルは、車線幅ｗ、横位置Ｘ０、ヨー角φ、及びピッチ角θからなるパラメータセットを表す状態変数Ｘと、そのパラメータセット（ベクトル）の評価値に相当する重みを持つ。即ち、一つのパーティクルは、パラメータ空間において、状態変数Ｘを平均とし重みに応じた高さを持つガウシアン分布を表す。 A case where the particle filter is applied to the parameter estimation unit 24 will be described. FIG. 5 is a diagram showing the relationship between particles and probability distribution when the parameter is one-dimensional. In FIG. 5, a circle represents one particle, and the size of the circle represents a weight. One particle has a state variable X representing a parameter set composed of a lane width w, a lateral position X 0 , a yaw angle φ, and a pitch angle θ, and a weight corresponding to an evaluation value of the parameter set (vector). That is, one particle represents a Gaussian distribution having a state variable X as an average and a height corresponding to the weight in the parameter space.

パーティクルフィルタでは、様々な状態変数Ｘと重みを持つパーティクルを一定の個数（例えば１００個）備えたものをサンプルセットとし、サンプルセットに含まれる各パーティクルが表すガウシアン分布を重ね合わせることによって、多峰性を有する複雑な確率分布を表現する。また、各パーティクルの状態変数Ｘと重みを過去の履歴と現在の観測値とに基づいて更新することによって道路パラメータの確率分布を推定する。   In the particle filter, a sample set having a certain number (for example, 100) of particles having various state variables X and weights is used as a sample set, and the Gaussian distribution represented by each particle included in the sample set is overlaid, so that Represents a complex probability distribution with sex. Further, the probability distribution of the road parameter is estimated by updating the state variable X and the weight of each particle based on the past history and the current observation value.

事前確率推定部２５は、前フレームのサンプルセットから各パーティクルの重みに応じた確率でパーティクルを選択し、選択されたパーティクルそれぞれに対して、例えば（１）式で示されるダイナミカルモデルに従って状態変数Ｘを遷移させることにより、次フレームでの状態変数Ｘを推定する。なお、各パーティクルの重みに応じた確率でパーティクルを選択するときには、サンプルセットに含まれるパーティクルの総数が変化しないように選択される。また、その際、ある一定の確率で一部のパーティクルをランダムに生成してもよい。

Figure 2007011490

ここで、ｗａは車線幅の平均値、Ｘ０ａは横位置の平均値、θａはピッチ角の平均値、φａはヨー角の平均値であり、予め設定されている。Ｎ（０，１）は標準正規分布である。Ａ，Ｂは所定の定数であり、予め設定されている。 The prior probability estimation unit 25 selects particles with a probability corresponding to the weight of each particle from the sample set of the previous frame, and for each selected particle, for example, the state variable X according to the dynamic model expressed by the equation (1). Is used to estimate the state variable X in the next frame. When selecting particles with a probability corresponding to the weight of each particle, the total number of particles included in the sample set is selected so as not to change. At that time, some particles may be randomly generated with a certain probability.
Figure 2007011490
Here, w a is an average value of the lane width, X 0a is an average value of the lateral position, θ a is an average value of the pitch angle, and φ a is an average value of the yaw angle, which are set in advance. N (0,1) is a standard normal distribution. A and B are predetermined constants and are set in advance.

事後確率推定部２６は、事前確率推定部２５で推定された各パーティクルの状態変数Ｘに基づいて道路モデル生成部２８により生成された線分を、画像処理部２２から入力されたエッジ画像面上に投影することにより、各パーティクルに対する重みを再計算する。各パーティクルに対する重みは、エッジ画像と投影された線分とが重なった画素値の総和をとることにより求められる。道路モデル生成部２８で生成された線分をエッジ画像面上に投影した画像を図６に示す。   The posterior probability estimation unit 26 uses the line model generated by the road model generation unit 28 based on the state variable X of each particle estimated by the prior probability estimation unit 25 on the edge image surface input from the image processing unit 22. The weight for each particle is recalculated. The weight for each particle is obtained by taking the sum of the pixel values where the edge image and the projected line segment overlap. An image obtained by projecting the line segment generated by the road model generation unit 28 onto the edge image plane is shown in FIG.

そして、再計算された重みに応じて再度事前確率推定が行おこなわれ、これが繰り返されることによって道路パラメータの確率分布が推定される。図７は、上述したパーティクルフィルタの動作を説明するための図である。推定された道路パラメータの確率分布は、パラメータ値演算部３０および信頼度判定部３１に出力される。   Then, the prior probability estimation is performed again according to the recalculated weight, and the probability distribution of the road parameter is estimated by repeating this. FIG. 7 is a diagram for explaining the operation of the particle filter described above. The estimated probability distribution of the road parameter is output to the parameter value calculation unit 30 and the reliability determination unit 31.

ここで、図８〜１０に、道路パラメータの存在確率分布の推定結果例を示す。図８に、カメラ１０で撮像した画像データを示す。図９は、各パーティクルの状態変数Ｘに基づいて描かれた線分を図８の画像上に投影した図である。図９に示されるように、投影された線分は、車線を区画する白線上に集中している。なお、図９中の一点鎖線は確率分布の山の位置を示す。図１０は、道路パラメータ（車線幅ｗ、横位置Ｘ０）の確率分布の推定結果を示す図である。図１０に示されるように、車線幅が約６．２ｍ、横位置が約０．５ｍの位置に確率分布の山が存在している。 Here, FIGS. 8 to 10 show examples of estimation results of the road parameter existence probability distribution. FIG. 8 shows image data captured by the camera 10. FIG. 9 is a diagram in which a line segment drawn based on the state variable X of each particle is projected onto the image of FIG. As shown in FIG. 9, the projected line segments are concentrated on the white line that divides the lane. In addition, the dashed-dotted line in FIG. 9 shows the position of the peak of probability distribution. FIG. 10 is a diagram illustrating an estimation result of a probability distribution of road parameters (lane width w, lateral position X 0 ). As shown in FIG. 10, there is a probability distribution mountain at a position where the lane width is about 6.2 m and the lateral position is about 0.5 m.

また、図１１〜１３に、候補となる車線が２車線存在する場合における、道路パラメータの存在確率分布の推定結果例を示す。図１１に、カメラ１０で撮像した画像データを示す。図１２は、状態変数Ｘに基づいて描かれた線分を図１１の画像上に投影した図である。図１２中の一点鎖線及び破線それぞれは、確率分布の２つの山の位置を示す。図１３は、道路パラメータ（車線幅ｗ、横位置Ｘ０）の確率分布の推定結果を示す図である。図１３に示されるように、候補となる車線が２車線ある場合には、車線幅が約６．５ｍ、横位置が約−０．７ｍの位置（図１２の一点鎖線の車線に対応）、及び車線幅が約５．５ｍ、横位置が約１．３ｍの位置（図１２の破線の車線に対応）に２つの確率分布の山が存在している。 11 to 13 show examples of estimation results of road parameter existence probability distributions when there are two lanes as candidate lanes. FIG. 11 shows image data captured by the camera 10. FIG. 12 is a diagram in which a line segment drawn based on the state variable X is projected on the image of FIG. Each one-dot chain line and broken line in FIG. 12 indicate the positions of two peaks in the probability distribution. FIG. 13 is a diagram illustrating an estimation result of a probability distribution of road parameters (lane width w, lateral position X 0 ). As shown in FIG. 13, when there are two lanes as candidate lanes, the lane width is about 6.5 m and the lateral position is about −0.7 m (corresponding to the one-dot chain line lane in FIG. 12), There are two peaks of probability distribution at a position where the lane width is about 5.5 m and the lateral position is about 1.3 m (corresponding to the dashed lane in FIG. 12).

パラメータ値演算部３０は、パラメータ候補取得部２１により推定された道路パラメータの確率分布に基づいて道路パラメータ値を求める。道路パラメータ値は、例えば次式（２）により期待値（１次モーメント）を演算することにより求めることができる。求められた道路パラメータ値は、出力部４０に出力される。なお、道路パラメータ値は、確率分布のピークから求めてもよい。

Figure 2007011490

ここで、ｐ（Ｘｔ）は状態変数Ｘｔの重みを表す。 The parameter value calculation unit 30 obtains a road parameter value based on the road parameter probability distribution estimated by the parameter candidate acquisition unit 21. The road parameter value can be obtained, for example, by calculating an expected value (first moment) by the following equation (2). The obtained road parameter value is output to the output unit 40. The road parameter value may be obtained from the peak of the probability distribution.
Figure 2007011490
Here, p (X t ) represents the weight of the state variable X t .

なお、パラメータ値演算部３０では、パラメータ推定部２４から入力された道路パラメータの確率分布を複数の領域に分割し、分割された領域ごとに、各領域内の確率分布に基づいて道路パラメータ値を演算してもよい。   The parameter value calculation unit 30 divides the probability distribution of the road parameter input from the parameter estimation unit 24 into a plurality of regions, and calculates a road parameter value based on the probability distribution in each region for each divided region. You may calculate.

信頼度判定部３１は、パラメータ候補取得部２１により推定された道路パラメータの確率分布に基づいて道路パラメータ値の信頼度を求める。信頼度は、例えば次式（３）により確率分布の分散値（２次モーメント）を演算することにより求めることができる。

Figure 2007011490
The reliability determination unit 31 obtains the reliability of the road parameter value based on the probability distribution of the road parameter estimated by the parameter candidate acquisition unit 21. The reliability can be obtained, for example, by calculating a variance value (secondary moment) of the probability distribution by the following equation (3).
Figure 2007011490

また、信頼度判定部３１は、求められた信頼度の高さ（または低さ）を判定する。例えば、求められた確率分布の分散値が予め設定されている所定のしきい値より大きいか否かを判定することにより、信頼度の高さ（または低さ）を判定する。ここで、分散値がしきい値より大きい場合には信頼度が低いと判定される。一方、分散値がしきい値以下のときには信頼度が高いと判定される。これは、例えば白線が明瞭に撮像されていない状態やノイズが多く含まれるような状態では確率分布の分散値が大きくなることを利用したものである。なお、誤判定を抑制するため、複数回（複数フレーム）連続して分散値がしきい値を超えた場合に信頼度が低いと判定するようにすることが好ましい。信頼度の判定結果は、出力部４０に出力される。   Moreover, the reliability determination part 31 determines the height (or low) of the calculated | required reliability. For example, it is determined whether the reliability value is high (or low) by determining whether or not the obtained variance value of the probability distribution is larger than a predetermined threshold value. Here, when the variance value is larger than the threshold value, it is determined that the reliability is low. On the other hand, when the variance value is less than or equal to the threshold value, it is determined that the reliability is high. This is based on the fact that the variance value of the probability distribution becomes large, for example, when the white line is not clearly imaged or when there is a lot of noise. In order to suppress erroneous determination, it is preferable to determine that the reliability is low when the variance value exceeds the threshold value continuously for a plurality of times (a plurality of frames). The reliability determination result is output to the output unit 40.

出力部４０は、道路パラメータ値に基づく情報、例えば白線の位置情報などを提示する。また、道路パラメータ値の信頼度に応じて提示する情報を変更する。例えば、道路パラメータ値の信頼度が低いと判定された場合には、白線の位置を表す線の色や太さ、線種（点線や破線など）を切り替えたり、線を点滅させたりする。また、ディスプレイの画面の色や明るさなどを変えてもよい。さらに、ロストしたことを表す文字や記号を表示したり、警告音を発するようにしてもよい。   The output unit 40 presents information based on road parameter values, for example, position information of white lines. Also, the information to be presented is changed according to the reliability of the road parameter value. For example, when it is determined that the reliability of the road parameter value is low, the color and thickness of the line representing the position of the white line, the line type (dotted line, broken line, etc.) are switched, or the line blinks. Further, the color or brightness of the display screen may be changed. Furthermore, a character or symbol indicating that it has been lost may be displayed, or a warning sound may be emitted.

本実施形態に係る道路パラメータ検出装置１および道路パラメータ検出方法によれば、多峰性を有する複雑な確率分布を取り扱うことができるパーティクルフィルタを用いて道路パラメータの確率分布が推定され、その確率分布の期待値を演算することにより道路パラメータ値が求められる。また、確率分布の分散値を演算することにより道路パラメータ値の信頼度が求められる。そのため、道路パラメータ値の信頼度を考慮しつつ複数車線の道路パラメータ値を同時に検出することが可能となる。   According to the road parameter detection device 1 and the road parameter detection method according to the present embodiment, the probability distribution of the road parameter is estimated using a particle filter that can handle a complex probability distribution having multimodality, and the probability distribution. The road parameter value is obtained by calculating the expected value of. Further, the reliability of the road parameter value is obtained by calculating the variance value of the probability distribution. Therefore, it is possible to simultaneously detect the road parameter values of a plurality of lanes while considering the reliability of the road parameter values.

また、本実施形態によれば、取得された道路パラメータ値の信頼度が低い場合には、車線をロストしたと判断して出力する情報を変更することができる。そのため、道路パラメータ値の検出状態に応じた適切な情報を提示することが可能となる。   Moreover, according to this embodiment, when the reliability of the acquired road parameter value is low, it is possible to change the information to be output by determining that the lane is lost. Therefore, it is possible to present appropriate information according to the road parameter value detection state.

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、本実施形態では、道路パラメータの存在確率分布を推定するために、多峰性を有する確率分布を表現可能なパーティクルフィルタを用いたが、複雑な確立分布を扱うことができればパーティクルフィルタ以外のもの採用してもよい。   Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made. For example, in this embodiment, a particle filter that can express a probability distribution having multimodality is used to estimate the existence probability distribution of road parameters. However, if a complicated probability distribution can be handled, a particle filter other than the particle filter can be used. A thing may be adopted.

本実施形態に係る道路パラメータ検出装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the road parameter detection apparatus which concerns on this embodiment. カメラで撮像された画像データの一例を示す図である。It is a figure which shows an example of the image data imaged with the camera. 図２の画像データを画像処理した結果の一例を示す図である。It is a figure which shows an example of the result of having image-processed the image data of FIG. 道路パラメータと撮像面上に投影される線分との関係を示す図である。It is a figure which shows the relationship between a road parameter and the line segment projected on an imaging surface. パーティクルと確率分布との関係を示す図である。It is a figure which shows the relationship between a particle and probability distribution. パーティクルフィルタの動作を説明するための図である。It is a figure for demonstrating operation | movement of a particle filter. 事後確率推定部の動作を説明するための図である。It is a figure for demonstrating operation | movement of a posterior probability estimation part. カメラで撮像した画像データの一例を示す図である。It is a figure which shows an example of the image data imaged with the camera. 各パーティクルの状態変数に基づいて描かれた線分を図８の画像上に投影した図である。It is the figure which projected the line segment drawn based on the state variable of each particle on the image of FIG. 道路パラメータ（車線幅、横位置）の確率分布を示す図である。It is a figure which shows the probability distribution of a road parameter (lane width, lateral position). カメラで撮像した画像データの一例を示す図である。It is a figure which shows an example of the image data imaged with the camera. 状態変数に基づいて描かれた線分を図１１の画像上に投影した図である。It is the figure which projected the line segment drawn based on the state variable on the image of FIG. 道路パラメータ（車線幅、横位置）の確率分布を示す図である。It is a figure which shows the probability distribution of a road parameter (lane width, lateral position).

符号の説明Explanation of symbols

１…道路パラメータ検出装置、１０…カメラ、２０…画像ＥＣＵ、２１…パラメータ候補取得部、２２…画像処理部、２４…パラメータ推定部、２５…事前確率推定部、２６…事後確率推定部、２８…道路モデル生成部、３０…パラメータ値演算部、３１…信頼度判定部、４０…出力部。   DESCRIPTION OF SYMBOLS 1 ... Road parameter detection apparatus, 10 ... Camera, 20 ... Image ECU, 21 ... Parameter candidate acquisition part, 22 ... Image processing part, 24 ... Parameter estimation part, 25 ... Prior probability estimation part, 26 ... A posteriori probability estimation part, 28 ... road model generation unit, 30 ... parameter value calculation unit, 31 ... reliability determination unit, 40 ... output unit.

Claims (6)

撮像手段と、
前記撮像手段により撮像された画像データに基づき道路パラメータ候補を複数取得可能なパラメータ候補取得手段と、
前記道路パラメータ候補の分布状態に基づいて道路パラメータ値を求めるパラメータ値演算手段と、
前記道路パラメータ候補の分布状態に基づいて前記道路パラメータ値の信頼度を判定する信頼度判定手段と、を備えることを特徴とする道路パラメータ検出装置。 Imaging means;
Parameter candidate acquisition means capable of acquiring a plurality of road parameter candidates based on image data captured by the imaging means;
Parameter value calculating means for obtaining a road parameter value based on a distribution state of the road parameter candidates;
A road parameter detection apparatus comprising: a reliability determination unit that determines a reliability of the road parameter value based on a distribution state of the road parameter candidates. 前記信頼度判定手段は、前記道路パラメータ候補の分布の分散値が大きいほど前記道路パラメータ値の信頼度が低いと判定することを特徴とする請求項１に記載の道路パラメータ検出装置。   The road parameter detection device according to claim 1, wherein the reliability determination unit determines that the reliability of the road parameter value is lower as the variance value of the distribution of the road parameter candidates is larger. 前記道路パラメータ値に関する情報を出力するとともに、前記道路パラメータ値の信頼度に応じて出力する情報を変更する出力手段を備えることを特徴とする請求項１または２に記載の道路パラメータ検出装置。   The road parameter detection device according to claim 1, further comprising an output unit that outputs information related to the road parameter value and changes information to be output according to a reliability of the road parameter value. 撮像ステップと、
前記撮像ステップで撮像された画像データに基づき道路パラメータ候補を複数取得可能なパラメータ候補取得ステップと、
前記道路パラメータ候補の分布状態に基づいて道路パラメータ値を求めるパラメータ値演算ステップと、
前記道路パラメータ候補の分布状態に基づいて前記道路パラメータ値の信頼度を判定する信頼度判定ステップと、を備えることを特徴とする道路パラメータ検出方法。 Imaging step;
A parameter candidate acquisition step capable of acquiring a plurality of road parameter candidates based on the image data captured in the imaging step;
A parameter value calculating step for obtaining a road parameter value based on a distribution state of the road parameter candidates;
A road parameter detection method comprising: a reliability determination step of determining a reliability of the road parameter value based on a distribution state of the road parameter candidates. 前記信頼度判定ステップは、前記道路パラメータ候補の分布の分散値が大きいほど前記道路パラメータ値の信頼度が低いと判定することを特徴とする請求項４に記載の道路パラメータ検出方法。   5. The road parameter detection method according to claim 4, wherein the reliability determination step determines that the reliability of the road parameter value is lower as the variance value of the road parameter candidate distribution is larger. 前記道路パラメータ値に関する情報を出力するとともに、前記道路パラメータ値の信頼度に応じて出力する情報を変更する出力ステップを備えることを特徴とする請求項４または５に記載の道路パラメータ検出方法。   6. The road parameter detection method according to claim 4, further comprising an output step of outputting information related to the road parameter value and changing information to be output according to a reliability of the road parameter value.
JP2005188469A 2005-06-28 2005-06-28 Device and method for detecting road parameter Pending JP2007011490A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005188469A JP2007011490A (en) 2005-06-28 2005-06-28 Device and method for detecting road parameter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005188469A JP2007011490A (en) 2005-06-28 2005-06-28 Device and method for detecting road parameter

Publications (1)

Publication Number Publication Date
JP2007011490A true JP2007011490A (en) 2007-01-18

Family

ID=37749943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005188469A Pending JP2007011490A (en) 2005-06-28 2005-06-28 Device and method for detecting road parameter

Country Status (1)

Country Link
JP (1) JP2007011490A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098970A (en) * 2007-10-17 2009-05-07 Fuji Heavy Ind Ltd Safe driving support system
JP2011040993A (en) * 2009-08-11 2011-02-24 Nikon Corp Subject homing program and camera
CN102941851A (en) * 2011-07-26 2013-02-27 现代摩比斯株式会社 System for improving the reliability of the recognition of traffic lane and method thereof
CN103523021A (en) * 2012-07-02 2014-01-22 现代摩比斯株式会社 Reliability calculation method of lane detection and apparatus for calculating for performing thereof
WO2018198239A1 (en) * 2017-04-26 2018-11-01 三菱電機株式会社 Processing device and method for generating object identification information
WO2020075839A1 (en) * 2018-10-12 2020-04-16 京セラ株式会社 Traffic communication system, roadside device, and method
US11370411B2 (en) * 2018-11-30 2022-06-28 Toyota Jidosha Kabushiki Kaisha Control device of vehicle
JP7478757B2 (en) 2019-06-03 2024-05-07 イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ Mixture distribution estimation for future prediction

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098970A (en) * 2007-10-17 2009-05-07 Fuji Heavy Ind Ltd Safe driving support system
JP2011040993A (en) * 2009-08-11 2011-02-24 Nikon Corp Subject homing program and camera
US8400520B2 (en) 2009-08-11 2013-03-19 Nikon Corporation Subject tracking program and camera using template matching processing
CN102941851A (en) * 2011-07-26 2013-02-27 现代摩比斯株式会社 System for improving the reliability of the recognition of traffic lane and method thereof
CN103523021A (en) * 2012-07-02 2014-01-22 现代摩比斯株式会社 Reliability calculation method of lane detection and apparatus for calculating for performing thereof
JPWO2018198239A1 (en) * 2017-04-26 2019-11-07 三菱電機株式会社 Processing equipment
WO2018198239A1 (en) * 2017-04-26 2018-11-01 三菱電機株式会社 Processing device and method for generating object identification information
US10803751B2 (en) 2017-04-26 2020-10-13 Mitsubishi Electric Corporation Processing device
WO2020075839A1 (en) * 2018-10-12 2020-04-16 京セラ株式会社 Traffic communication system, roadside device, and method
JPWO2020075839A1 (en) * 2018-10-12 2021-09-24 京セラ株式会社 Transportation communication systems, roadside machines, and methods
JP7094383B2 (en) 2018-10-12 2022-07-01 京セラ株式会社 Transportation communication systems, roadside machines, and methods
US11370411B2 (en) * 2018-11-30 2022-06-28 Toyota Jidosha Kabushiki Kaisha Control device of vehicle
JP7478757B2 (en) 2019-06-03 2024-05-07 イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ Mixture distribution estimation for future prediction

Similar Documents

Publication Publication Date Title
JP4915655B2 (en) Automatic tracking device
JP6144656B2 (en) System and method for warning a driver that visual recognition of a pedestrian may be difficult
JP4241834B2 (en) In-vehicle fog determination device
JP5258859B2 (en) Runway estimation apparatus and program
JP5267596B2 (en) Moving body detection device
JP5576937B2 (en) Vehicle periphery monitoring device
JP2007011490A (en) Device and method for detecting road parameter
JP4937029B2 (en) Object detection apparatus and program
JP2008286725A (en) Person detector and detection method
JP2014085920A (en) Vehicle surroundings monitoring device
US10525900B2 (en) Vehicle periphery monitoring device
JP4674179B2 (en) Shadow recognition method and shadow boundary extraction method
JP2010026601A (en) Vehicle periphery monitoring device
WO2018138782A1 (en) Information processing device, feature point extraction program, and feature point extraction method
JP5407920B2 (en) Lighting color identification device and program
EP2927869A2 (en) Movement amount estimation device, movement amount estimation method, and movement amount estimation program
JP6798609B2 (en) Video analysis device, video analysis method and program
JP4765113B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP5903901B2 (en) Vehicle position calculation device
JP5760523B2 (en) Runway estimation apparatus and program
JP2006172225A (en) Image recognizing device and image recognizing method
JP5559121B2 (en) Object type determination device
JP2008040724A (en) Image processing device and image processing method
JP2008257399A (en) Image processor
JP4719605B2 (en) Object detection data generation device, method and program, and object detection device, method and program