JP2021082058A - 走路推定装置、および走路推定プログラム - Google Patents
走路推定装置、および走路推定プログラム Download PDFInfo
- Publication number
- JP2021082058A JP2021082058A JP2019209665A JP2019209665A JP2021082058A JP 2021082058 A JP2021082058 A JP 2021082058A JP 2019209665 A JP2019209665 A JP 2019209665A JP 2019209665 A JP2019209665 A JP 2019209665A JP 2021082058 A JP2021082058 A JP 2021082058A
- Authority
- JP
- Japan
- Prior art keywords
- track
- model
- moving body
- estimation
- travel path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000005452 bending Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 description 27
- 230000006870 function Effects 0.000 description 22
- 238000000034 method Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013213 extrapolation Methods 0.000 description 3
- 238000012888 cubic function Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】遠方の走路の状態を精度よく推定することが可能な走路推定装置、および走路推定プログラムを提供すること。【解決手段】移動体に搭載され、移動体の走行する走路の画像である走路画像を撮像する撮像部と、移動体の走行に伴う状態である走行状態を検知する検知部と、走路画像に基づいて走路の境界に対応する境界情報を抽出する抽出部と、屈曲を伴う走路のモデルである走路モデルであって、移動体からの距離に応じて境界情報の抽出間隔が異なる走路モデルを設定する走路モデル設定部と、走行状態、走路モデル、および境界情報を用いて走路に関連するパラメータである走路パラメータを推定する推定部と、を含む。【選択図】図1
Description
本発明は、走路推定装置、および走路推定プログラム、特に屈曲を含む走路の状態を推定する走路推定装置、および走路推定プログラムに関する。
屈曲を含む走路推定装置に関連して、例えば、特許文献1に開示された進路推定装置が知られている。特許文献1に係る進路推定装置は、まず、車載外界センサで検出した近傍の走路形状か車両状態から推定した第一半径R1と、車載外界センサで推定した第二半径R2を取得する。次に、第一半径R1と第二半径R2とを比較した結果、第一半径R1と第二半径R2とのズレが閾値Th以上であれば、第一走行予定路から第二走行予定路にかけて道路形状が切り替わるS字カーブ等の切替地点が存在するものと判定する。
また、特許文献2に開示された道路形状認識装置も知られている。特許文献2に係る道路形状認識装置は、認識範囲内の道路画像に基づいて道路形状を認識する認識処理手段と、認識範囲内の道路形状に基づいて、認識範囲外の道路形状を推定する推定処理手段と、を備え、推定処理手段は、認識範囲外であり、かつ、第1距離以内の道路形状を曲率変化率が一定である曲線として推定し、第1距離以遠の道路形状を、曲率が一定である曲線として推定する。特許文献2に係る道路形状認識装置では、走路をクロソイド曲線で近似している。
さらに、特許文献3に開示されたレーン検出装置も知られている。特許文献3に係るレーン検出装置は、車両の前方を撮像する撮像部と、撮像部により撮像された画像に基づいて、レーンを形成する線を近似的に求める近似処理部と、車両の前方において車両から所定距離以上離れた遠方領域内の画像に基づいて近似処理部により求められた第1の線と、車両の前方において車両から所定距離未満の近傍領域内の画像に基づいて近似処理部により求められた第2の線とを比較することにより、車両の前方における道路曲率の変化を検出する曲率変化検出部と、を備えている。
しかしながら、上記従来技術には以下のような問題点がある。
特許文献1に係る進路推定装置では、車載外界センサ(例えば、カメラ、Lidar、ミリ波装置等)を用いた場合、遠方の推定精度が低下して、屈曲の有無の判定が困難となるという問題がある。これは、遠方の屈曲箇所では、観測点が疎になり、観測誤差も増大するためである。ここで、「観測点」とは、走路の状態を推定する際に、走路の境界として観測することが可能な指標をいう。
また、特許文献2に係る道路形状認識装置では、センサの認識範囲よりも遠方へ走路モデルを延長した場合の外挿精度が悪いという問題がある。これは、車載カメラ画像による走路認識において、認識範囲から遠方へ曲率一定と仮定して外挿しているので、仮定が崩れた場合に推定精度が劣化するためである。また、走路モデルが単一の線形のクロソイド曲線なので、複数線形が連続すると推定精度が劣化するためである。
一方、特許文献3に係るレーン検出装置では、注目した画像領域から線分の曲率を求める必要があるが、遠方(100m〜200m先)では精度が劣化するという問題がある。
これは、観測点が疎になり曲率が精度よく計算できないためである。
これは、観測点が疎になり曲率が精度よく計算できないためである。
本発明は、上記諸問題に鑑みてなされたものであり、遠方の走路の状態を精度よく推定することが可能な走路推定装置、および走路推定プログラムを提供することを目的とする。
上記の目的を達成するために、請求項1に記載の走路推定装置は、移動体に搭載され、前記移動体の走行する走路の画像である走路画像を撮像する撮像部と、前記移動体の走行に伴う状態である走行状態を検知する検知部と、前記走路画像に基づいて前記走路の境界に対応する境界情報を抽出する抽出部と、屈曲を伴う前記走路のモデルである走路モデルであって、前記移動体からの距離に応じて前記境界情報の抽出間隔が異なる走路モデルを設定する走路モデル設定部と、前記走行状態、前記走路モデル、および前記境界情報を用いて前記走路に関連するパラメータである走路パラメータを推定する推定部と、を含むものである。
また、請求項2に記載の発明は、請求項1に記載の発明において、前記走路モデルは、前記移動体から所定の距離以上離間した領域における前記抽出間隔が前記所定の距離未満の領域の前記抽出間隔より大きくされた走路モデルであるものである。
また、請求項3に記載の発明は、請求項2に記載の発明において、前記走路モデルがB−スプラインを用いた走路モデルであり、前記抽出間隔がB−スプラインの基底関数のノット間隔であるものである。
また、請求項4に記載の発明は、請求項3に記載の発明において、前記B−スプラインが非一様B−スプラインであるものである。
また、請求項5に記載の発明は、請求項3または請求項4に記載の発明において、前記B−スプラインがスカラー値の3次B−スプラインであるものである。
また、請求項6に記載の発明は、請求項1から請求項5のいずれか1項に記載の発明において、前記走路の消失点を算出する消失点算出部をさらに備え、前記推定部は、前記消失点をさらに用いて前記走路パラメータを推定するものである。
また、請求項7に記載の発明は、請求項1から請求項6のいずれか1項に記載の発明において、前記走行状態が、前記移動体の速度およびヨーレイトであるものである。
また、請求項8に記載の発明は、請求項1から請求項7のいずれか1項に記載の発明において、前記走路パラメータは、前記走路と交差する方向の前記移動体の横位置、ヨー角、ピッチ角、および前記走路の形状の少なくとも1つであるものである。
上記の目的を達成するために、請求項9に記載の走路推定プログラムは、移動体に搭載され、前記移動体の走行する走路の画像である走路画像を撮像する撮像部、および前記移動体の走行に伴う状態である走行状態を検知する検知部を含む走路推定装置を用いた走路推定プログラムであって、
コンピュータを、
前記走路画像に基づいて前記走路の境界に対応する境界情報を抽出する抽出手段と、屈曲を伴う前記走路のモデルである走路モデルであって、前記移動体からの距離に応じて前記境界情報の抽出間隔が異なる走路モデルを設定する走路モデル設定手段と、前記走行状態、前記走路モデル、および前記境界情報を用いて前記走路に関連するパラメータである走路パラメータを推定する推定手段と、として機能させるためのものである。
コンピュータを、
前記走路画像に基づいて前記走路の境界に対応する境界情報を抽出する抽出手段と、屈曲を伴う前記走路のモデルである走路モデルであって、前記移動体からの距離に応じて前記境界情報の抽出間隔が異なる走路モデルを設定する走路モデル設定手段と、前記走行状態、前記走路モデル、および前記境界情報を用いて前記走路に関連するパラメータである走路パラメータを推定する推定手段と、として機能させるためのものである。
本発明によれば、遠方の走路の状態を精度よく推定することが可能な走路推定装置、および走路推定プログラムを提供することができるという効果を奏する。
以下、図面を参照して、本発明を実施するための形態について詳細に説明する。以下の説明では、本発明に係る走路推定装置、および走路推定プログラムを、車両等に搭載され、走行車線を含む領域の走路を推定する走路推定装置、および走路推定プログラムに適用した形態を例示して説明する。なお、以下の説明においては斜体の文字を斜体でない文字で表す場合がある。
[第1の実施の形態]
図1に示すように、本実施の形態に係る走路推定装置10は、車線境界特徴抽出部11、パラメータ推定部12、走路モデル設定部13、カメラ14、車速センサ15、ヨーレイトセンサ16を含んで構成されている。
図1に示すように、本実施の形態に係る走路推定装置10は、車線境界特徴抽出部11、パラメータ推定部12、走路モデル設定部13、カメラ14、車速センサ15、ヨーレイトセンサ16を含んで構成されている。
カメラ14は、一例として、車室内のリアビューミラー位置に前向きに配置され、車両前方の道路画像(以下、「道路画像」という場合がある)を撮像する撮像装置である。本実施の形態では、カメラ14の水平路面に対する高さ、俯角は予め既知の値に設定されているものとする。図1に示すように、カメラ14で撮像された画像は車線境界特徴抽出部11へ出力される。
車速センサ15は、自車両の路面に対する速度を計測する部位、ヨーレイトセンサ16は、自車両のヨーレイトを計測する部位である。車速センサで計測された速度、およびヨーレイトセンサで計測されたヨーレイトは、例えば、図示しない車載CAN(Controller Area Network)等を経由してパラメータ推定部12へ出力される。なお、「車速センサ15」、および「ヨーレイトセンサ16」は、本発明に係る「検知部」の一例である。また、「車速」、および「ヨーレイト」は、本発明に係る「走行状態」の一例である。
車線境界特徴抽出部11は、カメラ14によって撮像された道路画像に基づいて、自車両が走行中の走行車線の左右に敷設された白線や、縁石等の車線境界に対応する観測点(以下、「白線点」という場合がある)のカメラ画像上の座標値(カメラ座標値)(ixobs、iyobs)を取得する。ここで、車線境界は、走路面と車線境界との境には画像上の輝度差があると仮定し、Sobelフィルタ等のエッジ抽出フィルタにより抽出される。さらに、画像中の小領域内では、車線境界は直線と仮定して、ハフ変換等により直線に対応する白線が選択される。または、深層学習により車線境界特徴を学習して車線境界を抽出するように構成してもよい。
走路モデル設定部13は、パラメータ推定部12で使用する走路のモデルを設定する。
走路モデルは、以下で説明する走路推定処理の基礎となるモデルである。走路モデルの形式に特に制限はないが、本実施の形態では、以下に示す(式1)で表される、B−スプラインを用いた走路モデルを設定している。
走路モデルは、以下で説明する走路推定処理の基礎となるモデルである。走路モデルの形式に特に制限はないが、本実施の形態では、以下に示す(式1)で表される、B−スプラインを用いた走路モデルを設定している。
図2は、上記(式1)との対応を示した、走路の走行平面図である。図2に示すように、本実施の形態に係る走路モデルは、走路を、カメラ位置を原点とした二次元直交座標系XZ上の曲線として表現する。このとき、Z軸はカメラの光軸方向を示し、X軸は横位置方向を示す。また、路面からカメラ14までのカメラの高さは既知であるとする。図2において、wは走路の幅を表し、x0は車両のX軸方向の位置を表し、θ0は車両のヨー角を表し、θj((式1)ではθと表記)は走路の座標(Xj、Zj)((式1)ではX、Zと表記)における接線の傾きを表している。1/cosθの項は接線角度による車線幅の見かけ上の変動分を表している。また、B(Z)は、次数d、制御点数nのB−スプライン関数を表している。ここで、車両のヨー角とは、所定の基準に対する平面視での移動体の角度をいう。ヨー角の変化する割合がヨーレイトである。これに対し、後述する「ピッチ角」は、所定の基準に対する断面視での移動体の角度をいう。
ここで、図3(a)〜(c)を参照して、B−スプラインについて説明する。B−スプラインとは、離散的な指令値(制御点)について、ノットベクトルを用いて定義される滑らかな曲線をいう。該曲線は基底関数を重ね合わせて表現され、重ね合わせる度合をノットという数値の集合で表す。ノットの数は(制御点の数+次数+1=n+d+1)となる。
図3(a)〜(c)は、横軸を車両の進行方向(Z軸方向)とした場合の、B−スプラインの基底関数の例を示す。基底関数のパターンは、上記のようにB−スプラインのノットベクトルにより規定される。この場合、ノットベクトルは、Z軸上で昇順に並べた(制御点数+次数+1)個の離散値となる。図3(a)〜(c)は、基底関数の数を8とし、Zの定義域を0m〜180mとした場合の、3種のノットベクトルを図示している。
ノットベクトルとしては、図3(a)に示す一様ノットベクトルや、図3(b)に示す開一様ノットベクトルが一般的である。一様ノットベクトルとは、ノットベクトルが等間隔に配置されたもので、個々の基底関数のパターン形状は同一になる。これに対し、開一様ノットベクトルは、始点と終点でノットベクトルを次数分だけ重複させて配置させた一様ノットベクトルであり、始点と終点で制御点を固定する場合に使用される。一般には開一様ノットベクトルが利用されることが多い。
(式1)では、カメラ画像における逆透視変換の処理しやすさのために、B−スプライン関数は1次元関数として扱い、Xを定義域、Zを値域とし、制御点Ciは重みを表すスカラー値として扱っている。また、曲率の連続性を維持するために、図3(a)〜(c)ではB−スプラインの次数dをd=3としている。しかしながら、実際の道路には不連続箇所もあるため、次数dをd=2としてもよい。ここで、「逆透視変換」とはカメラ座標の画像から世界座標の画像への変換をいう。これに対し、「透視変換」は世界座標の画像からカメラ座標の画像への変換をいう。
ここで、自車両近傍から遠方まで連続する走路をモデル化する場合、カメラ画像上の白線点を走行平面に逆透視変換すると、観測される白線点が疎になる場合がある。ここで、本実施の形態では、「遠方」の一例として、自車両から約80m以上、200m以下の距離を想定している。しかしながら、この数値は一例であって、採用する走路モデル等の条件に応じて、適宜設定してもよい。白線点が疎になった結果、B−スプラインの個々の基底関数に対して、観測値がーつも存在しないという状態が発生する可能性がある。観測値のない基底関数に対応する制御点は計算できない。つまり、走路モデル設定部13で設定する走路モデルを適切に選択しないと、(式1)に基づく走路の推定ができなくなるという問題が発生する。
そこで、上記問題を解決するための一つの方法として、本実施の形態では、図3(c)に示す非一様ノットベクトルによる基底関数を導入することとした。非一様ノットベクトルによる基底関数によれば、遠方の基底関数の定義域を拡大することが可能となり、その結果、白線点(観測値)が基底関数の定義域に入る確率を増加させることができる。
すなわち、本実施の形態では、屈曲した走路モデルの設定において、自車両近傍から遠方まで連続する屈曲のある走路を表現可能なモデルを設定する。より具体的には、走路モデルの一例として、B−スプラインの基底関数のノット間隔を最遠方において長い間隔で設定したスカラー値の3次B−スプラインを用いている。なお、「ノット間隔」は、本発明に係る「抽出間隔」の一例である。
再び図1を参照して、パラメータ推定部12は、左右の車線境界点のカメラ座標値(ixobs、iyobs)を観測値として、最小二乗法やRANSAC、あるいは拡張カルマンフィルタやパーティクルフィルタ等により走路モデルのパラメ一タ値(走路パラメータ)を求める。
このとき、カメラ座標値(ixobs、iyobs)から対応する世界座標値(X、Z)への座標変換は、路面を平面と仮定して(平面路面仮定)、または、車線の幅を一定と仮定して(車線幅一定仮定)算出する。なお、本実施の形態に係る走路パラメータには、ピッチ角、ヨー角、移動体の横位置(走行車線等と自車両の相対的な位置、「オフセット」ともいう)、車線形状(車線幅、曲率)が含まれる。パラメータ推定部12で推定された走路パラメータは、警報・制御部20に出力され、所定の警報の発出、あるいは所定の車両の制御に供される。
このとき、カメラ座標値(ixobs、iyobs)から対応する世界座標値(X、Z)への座標変換は、路面を平面と仮定して(平面路面仮定)、または、車線の幅を一定と仮定して(車線幅一定仮定)算出する。なお、本実施の形態に係る走路パラメータには、ピッチ角、ヨー角、移動体の横位置(走行車線等と自車両の相対的な位置、「オフセット」ともいう)、車線形状(車線幅、曲率)が含まれる。パラメータ推定部12で推定された走路パラメータは、警報・制御部20に出力され、所定の警報の発出、あるいは所定の車両の制御に供される。
次に、パラメータ推定部12で実行される、B−スプラインで規定された走路モデルを用いた走路パラメータの推定について、より詳細に説明する。
観測値として、車載単眼カメラで撮像した道路画像に基づいて、車線の左右の白線から各々m個の白線点の座標値(ixobsj、iyobsj)を取得した場合、カルマンフィルタの観測値ベクトルは、以下に示す(式4)で表される。
逆透視変換と平面路面仮定により、iyobsから以下に示す(式5)を用いて、白線点の進行方向距離Zjを算出する。
逆透視変換と平面路面仮定により、iyobsから以下に示す(式5)を用いて、白線点の進行方向距離Zjを算出する。
(式1)および(式2)に基づき、(式5)を用いて算出したZjから、ixの予測値を算出し、該予測値と観測値との差分から、公知のカルマンフィルタを用いて推定値ベクトルxを更新する。
ここで、制御点c0とc1は、実質的にx0とθ0と同一であるため、制御点c0とc1の推定は省略可能である。よってカルマンフィルタの推定値ベクトルは以下に示す(式6)で表される。(式6)において、記号Tは転置記号を示す。
次に、図3(d)を参照して、B−スプラインを用いた走路モデルの効果について説明する。図3(d)は、観測点数をパラメータとした場合の、各走路モデルの180m先の推定誤差のRMS値(m)を示している。図3(d)に示すグラフは、走路の曲率半径を500mとし、走路のCG(Computer Graphics)画像を用いた数値実験で確認した結果である。図3(d)<1>は、図3(b)に示す開一様ノットベクトルに基づく基底関数による走路モデル(以下、「開一様モデル」という場合がある)を用い、観測点数を50、10とした場合の推定誤差を示している。図3(d)<1>に示すように、この場合の推定誤差は9m〜10mであり、観測点数にはあまり依存していない。
一方、図3(d)<2>は、図3(c)に示す非一様ノットベクトルに基づく基底関数による走路モデル(以下、「非一様モデル」という場合がある)を用い、観測点数を50、10とした場合の推定誤差を示している。図3(d)<2>に示すように、観測点数が50の場合の推定誤差は約0.8m、観測点数が10の場合の推定誤差は約4mという結果が得られており、開一様モデルと比較して、非一様モデルでは、遠方における誤差が大幅に低減されることがわかる。なお、図3(d)<3>については、後述する実施の形態で説明する。
次に、図4を参照して、本実施の形態に係る走路推定装置10において実行される、走路推定処理について説明する。図4は当該走路推定処理において実行される走路推定プログラムの処理の流れを示すフローチャートである。本走路推定プログラムは走路推定装置10の図示しないROM等の記憶手段に記憶されており、ユーザインタフェース等を介して実行開始の指示を受け付けると、図示しないCPUがROM等の記憶手段から本走路推定プログラムを読み込み、RAM等に展開して実行する。
まず、ステップS100で、走路モデルの設定、または、すでに設定している走路モデルのパラメータの初期化を行う。本実施の形態において、走路モデルは、自車両近傍から遠方まで連続し、かつ屈曲のある走路をモデル化できという条件を充足すれば、特に限定されない。本実施の形態では、一例として、B−スプラインのうち非一様ノットベクトルに基づく基底関数を用いた走路モデル(非一様モデル)を設定する。
ステップS101で、カメラ14から道路画像を取得する。取得した道路画像は、車線境界特徴抽出部11に送られる。
ステップS102で、センサ情報を取得する。すなわち、車速センサ15から車速を、ヨーレイトセンサ16からヨーレイトを取得する。取得した車速、およびヨーレイトは、パラメータ推定部12に送られる。
ステップS103で、ステップS101で取得した道路画像から、車線境界候補(白線点)を抽出する。すなわち、車線境界候補を抽出するように、車線境界特徴抽出部11を制御する。
ステップS104で、走路パラメータを更新する。すなわち、車速、ヨーレイト、車線境界候補を入力とし、カルマンフィルタ等を用いて走路パラメータを更新するようにパラメータ推定部12を制御する。上述したように、その際の走路モデルとして、本実施の形態では、非一様モデルを用いている。
ステップS105で、走路パラメータを出力する。すなわち、更新された走路パラメータを、警報・制御部20に出力するようにパラメータ推定部12を制御する。
ステップS106で、終了の指示があったか否か判定する。当該判定が否定判定となった場合にはステップS101に戻って走路推定処理を継続する。一方、当該判定が肯定判定となった場合には、本走路推定プログラムを終了する。終了の指示があったか否かの判定は、例えばユーザによって走路推定装置10の電源がオフにされたか否かを検出して判定してもよい。
上述した、本実施の形態に係る走路推定装置10の動作をまとめると、以下のようになる。すなわち、走路推定装置10は、カメラ14による道路画像、車速センサ15による車速、ヨーレイトセンサ16によるヨーレイト等を入力とする。そして、車線境界特徴抽出部11が該道路画像に基づいて白線点(車線境界点)を求める。さらに、パラメータ推定部12が該白線点、走路モデル設定された走路モデル、および車速、ヨーレイトを用いて、走路パラメータ、すなわち、自車両の横位置(オフセット)、ヨー角、ピッチ角、車線幅、B−スプラインの計数(制御点)等を出力する。
なお、本実施の形態では、走路モデル設定部13で設定する走路モデルとして、主に非一様ノットベクトルを適用した形態を例示して説明したが、これに限られず、走路パラメータの推定精度等を勘案して、一様ノットベクトルや、開一様ノットベクトルを適用した形態としてもよい。
以上詳述した本実施の形態に係る走路推定装置、および走路推定プログラムによれば、遠方の走路の状態を精度よく推定することが可能な走路推定装置、および走路推定プログラムを提供することが可能となる。以下、この点について、より詳細に説明する。
本実施の形態に係る走路推定装置、および走路推定プログラムによれば、車載センサ(カメラやLidar、レーダ装置等)で認識した走路をモデル表現した場合、従来は実用的な精度が維持される距離が数10m程度であったが、これを100m以上先の遠距離まで拡大することができる。また、車載センサで検出した遠方の車線境界点の観測値には精度低下や誤検出が重畳しやすい傾向があるが、本実施の形態に係る走路推定装置ではその悪影響を軽減することが可能となる。さらに、カメラ画像上で観測した車線境界候補を走路面上へ逆透視変換すると、最遠方カーブの車線境界候補は間隔が広がって疎となり、かつ、遠方ほど大きな観測誤差が影響して劣化する状況が発生するが、本実施の形態に係る走路推定装置によれば、そのような場合の推定精度を改善することが可能となる。
本実施の形態に係る走路推定装置、および走路推定プログラムにおいて、上記の効果が発生するのは、以下のような理由による。すなわち、従来から利用されているクロソイド曲線(3次関数で近似表現)による走路モデルでは、単一の線形形状の範囲(約数10m)の区間しか表現する能力がなかった。そのため、複数の線形形状が連続するシーン(直線から円弧へ連続するシーン、円弧から直線へ連続するシーン、S字カーブのシーン等)を3次関数で表現しようとすると、モデル誤差の増大が不可避であった。本実施の形態では、走路モデルをCG等で利用される、自由度の高いB−スプラインへ置き換えることで、従来、表現が困難であった遠距離シーンに対応することが可能となった。
カメラ、Lidar、レーダ装置等の車載外界センサによる観測値は遠方になるほど、観測値が離散的に疎になって観測値間の間隔が広がり、観測誤差が大きくなり、誤検出も増大する傾向がある。特に単眼カメラによる遠方の屈曲路の観測では顕著となる。一方、B−スプラインは自由度が高いため、観測誤差に対するロバスト性が低い。本実施の形態では、例えば、ノット間隔を破線間隔(例えば約20m)以上に設定するか、ノット間隔を最遠方で観測される車線境界候補に基づいて設定する。あるいは、全体的に近傍のノット間隔よりも遠方のノット間隔を拡げた非一様なノットベクトルを設定する。以上により、遠方の基底関数の観測値の誤差や誤検出に対してロバスト化を図り、遠方の屈曲やカーブを適切にモデル化することが可能となっている。なお、本実施の形態において「破線間隔」とは、例えば、間隔を開けて離散的に連続する白線における、白線と白線との間隔をいう。
[第2の実施の形態]
図5から図7を参照して、本実施の形態に係る走路推定装置、および走路推定プログラムについて説明する。本実施の形態に係る走路推定装置は、上記実施の形態に係る走路推定装置10において、最遠方の消失点を観測値として入力することにより、最遠方の推定値を改善した形態である。従って、走路推定装置10と同様の構成には同じ符号を付して、詳細な説明を省略する。ここで、「消失点」とは、遠近法において、実際のものでは平行線になっているものを平行でなく描く際に、それらの線が交わる点として一般に定義される。
図5から図7を参照して、本実施の形態に係る走路推定装置、および走路推定プログラムについて説明する。本実施の形態に係る走路推定装置は、上記実施の形態に係る走路推定装置10において、最遠方の消失点を観測値として入力することにより、最遠方の推定値を改善した形態である。従って、走路推定装置10と同様の構成には同じ符号を付して、詳細な説明を省略する。ここで、「消失点」とは、遠近法において、実際のものでは平行線になっているものを平行でなく描く際に、それらの線が交わる点として一般に定義される。
図5に示すように、本実施の形態に係る走路推定装置10Aは、図1に示す走路推定装置10に対して、消失点算出部17が追加されている。消失点算出部17は、自車両が走行している走路の消失点を算出する部位である。そして、走路推定装置10Aのパラメータ推定部12は、車線境界特徴抽出部11からの白線点に関する情報に、消失点算出部17からの消失点に関する情報を加味し、消失点の制約条件を付加して走路パラメータを推定する。
図6を参照して、本実施の形態における消失点の制約の効果について説明する。図6(a)は、消失点に関する情報を有効に生かすことのできる状況を示すカメラ画像である。
車両の走路での走行においては、図6(a)に示すように、カメラ画像上で観測した、カーブにおける最遠方での車線境界候補が水平に、あるいは水平に近い状態になって潰れ、かつ、疎になる状況(図6(a)において矢印Pで示す部分)が発生する場合がある。このような状況においては、車線境界候補を認識することが難しくなり、その結果走路の推定も困難となる。そこで、本実施の形態では、消失点算出部17によって消失点を算出し、パラメータ推定部12における走路パラメータの推定において、消失点の制約条件を付加することによって推定精度を改善することとした。
車両の走路での走行においては、図6(a)に示すように、カメラ画像上で観測した、カーブにおける最遠方での車線境界候補が水平に、あるいは水平に近い状態になって潰れ、かつ、疎になる状況(図6(a)において矢印Pで示す部分)が発生する場合がある。このような状況においては、車線境界候補を認識することが難しくなり、その結果走路の推定も困難となる。そこで、本実施の形態では、消失点算出部17によって消失点を算出し、パラメータ推定部12における走路パラメータの推定において、消失点の制約条件を付加することによって推定精度を改善することとした。
図6(b)、(c)を参照して、消失点の制約条件の効果について、より詳細に説明する。以下の説明では、白線点と推定パラメータを画像上へ投影した結果との距離の二乗をコストとして最小化する最小二乗法や、カルマンフィルタによりB−スプラインのパラメータ(制御点)を推定する場合を想定する。図6(b)は、上述した、最遠方での車線境界候補が水平になって潰れ、かつ、疎になっている状況を示したカメラ画像である。特に観測された白線点が画像上で疎な場合に、図6(b)に示すように、白線点では誤差が小さくなるが、白線点以外の内挿または外挿となる箇所では誤差が小さくならない場合がある。
一方、図6(c)は、本実施の形態に係る走路推定装置10Aで把握される走路の状況を示すカメラ画像である。図6(c)に示すカメラ画像では、図6(b)に示すカメラ画像に対して、最遠点の消失点(ixf、iyf)を付加している。図6(c)に示すように、最遠点の消失点(ixf、iyf)を観測することによって、最遠点における画像上の接線角度を制約する(外挿する)ことができ、白線点以外の誤差を小さく抑えることができる。
図3(d)<3>は、消失点の制約条件を加味した場合の効果を示している。図3(d)<3>では、走路モデルとして非一様モデルを用い、観測点の数を10としている。図3(d)<2>と比較して明らかなように、観測点の数が50から10と少なくなり、疎になった場合でも、最遠点の観測を考慮することで推定誤差が低減できることが分かる。
次に、図7を参照して、本実施の形態に係る走路推定装置10Aにおいて実行される、走路推定処理について説明する。図7は当該走路推定処理において実行される走路推定プログラムの処理の流れを示すフローチャートである。本走路推定プログラムは走路推定装置10Aの図示しないROM等の記憶手段に記憶されており、ユーザインタフェース等を介して実行開始の指示を受け付けると、図示しないCPUがROM等の記憶手段から本走路推定プログラムを読み込み、RAM等に展開して実行する。
まず、ステップS200で、走路モデルの設定、または、すでに設定している走路モデルのパラメータの初期化を行う。本実施の形態において、走路モデルは、自車両近傍から遠方まで連続し、かつ屈曲のある走路をモデル化できという条件を充足すれば、特に限定されない。本実施の形態では、一例として、B−スプラインのうち非一様ノットベクトルに基づく基底関数を用いた走路モデル(非一様モデル)を設定する。
ステップS201で、カメラ14から道路画像を取得する。取得した道路画像は、車線境界特徴抽出部11に送られる。
ステップS202で、センサ情報を取得する。すなわち、車速センサ15から車速を、ヨーレイトセンサ16からヨーレイトを取得する。取得した車速、およびヨーレイトは、パラメータ推定部12に送られる。
ステップS203で、ステップS201で取得した道路画像から、車線境界候補(白線点)を抽出する。すなわち、車線境界候補を抽出するように、車線境界特徴抽出部11を制御する。
ステップS204で、最遠点の消失点を算出する。すなわち、最遠点の消失点を算出するように、消失点算出部17を制御する。
ステップS205で、走路パラメータを更新する。すなわち、車速、ヨーレイト、最遠点の消失点、車線境界候補を入力とし、カルマンフィルタ等を用いて走路パラメータを更新するようにパラメータ推定部12を制御する。その際の走路モデルとして、本実施の形態では、上述の非一様モデルを用いている。
ステップS206で、走路パラメータを出力する。すなわち、更新された走路パラメータを、警報・制御部20に出力するようにパラメータ推定部12を制御する。
ステップS207で、終了の指示があったか否か判定する。当該判定が否定判定となった場合にはステップS201に戻って走路推定処理を継続する。一方、当該判定が肯定判定となった場合には、本走路推定プログラムを終了する。終了の指示があったか否かの判定は、例えばユーザによって走路推定装置10Aの電源がオフにされたか否かを検出して判定してもよい。
10、10A 走路推定装置
11 車線境界特徴抽出部
12 パラメータ推定部
13 走路モデル設定部
14 カメラ
15 車速センサ
16 ヨーレイトセンサ
17 消失点算出部
20 警報・制御部
11 車線境界特徴抽出部
12 パラメータ推定部
13 走路モデル設定部
14 カメラ
15 車速センサ
16 ヨーレイトセンサ
17 消失点算出部
20 警報・制御部
Claims (9)
- 移動体に搭載され、前記移動体の走行する走路の画像である走路画像を撮像する撮像部と、
前記移動体の走行に伴う状態である走行状態を検知する検知部と、
前記走路画像に基づいて前記走路の境界に対応する境界情報を抽出する抽出部と、
屈曲を伴う前記走路のモデルである走路モデルであって、前記移動体からの距離に応じて前記境界情報の抽出間隔が異なる走路モデルを設定する走路モデル設定部と、
前記走行状態、前記走路モデル、および前記境界情報を用いて前記走路に関連するパラメータである走路パラメータを推定する推定部と、を含む
走路推定装置。 - 前記走路モデルは、前記移動体から所定の距離以上離間した領域における前記抽出間隔が前記所定の距離未満の領域の前記抽出間隔より大きくされた走路モデルである
請求項1に記載の走路推定装置。 - 前記走路モデルがB−スプラインを用いた走路モデルであり、前記抽出間隔がB−スプラインの基底関数のノット間隔である
請求項2に記載の走路推定装置。 - 前記B−スプラインが非一様B−スプラインである
請求項3に記載の走路推定装置。 - 前記B−スプラインがスカラー値の3次B−スプラインである
請求項3または請求項4に記載の走路推定装置。 - 前記走路の消失点を算出する消失点算出部をさらに備え、
前記推定部は、前記消失点をさらに用いて前記走路パラメータを推定する
請求項1から請求項5のいずれか1項に記載の走路推定装置。 - 前記走行状態が、前記移動体の速度およびヨーレイトである
請求項1から請求項6のいずれか1項に記載の走路推定装置。 - 前記走路パラメータは、前記走路と交差する方向の前記移動体の横位置、ヨー角、ピッチ角、および前記走路の形状の少なくとも1つである
請求項1から請求項7のいずれか1項に記載の走路推定装置。 - 移動体に搭載され、前記移動体の走行する走路の画像である走路画像を撮像する撮像部、および前記移動体の走行に伴う状態である走行状態を検知する検知部を含む走路推定装置を用いた走路推定プログラムであって、
コンピュータを、
前記走路画像に基づいて前記走路の境界に対応する境界情報を抽出する抽出手段と、
屈曲を伴う前記走路のモデルである走路モデルであって、前記移動体からの距離に応じて前記境界情報の抽出間隔が異なる走路モデルを設定する走路モデル設定手段と、
前記走行状態、前記走路モデル、および前記境界情報を用いて前記走路に関連するパラメータである走路パラメータを推定する推定手段と、
として機能させるための走路推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019209665A JP2021082058A (ja) | 2019-11-20 | 2019-11-20 | 走路推定装置、および走路推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019209665A JP2021082058A (ja) | 2019-11-20 | 2019-11-20 | 走路推定装置、および走路推定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021082058A true JP2021082058A (ja) | 2021-05-27 |
Family
ID=75963245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019209665A Pending JP2021082058A (ja) | 2019-11-20 | 2019-11-20 | 走路推定装置、および走路推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021082058A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010073080A (ja) * | 2008-09-22 | 2010-04-02 | Komatsu Ltd | 無人車両の走行経路生成方法 |
JP2014006588A (ja) * | 2012-06-21 | 2014-01-16 | Toyota Central R&D Labs Inc | 路面境界推定装置及びプログラム |
JP2018025553A (ja) * | 2016-07-27 | 2018-02-15 | 株式会社エムアールサポート | 三次元測定対象物の形状測定方法、及び装置、並びにプログラム |
-
2019
- 2019-11-20 JP JP2019209665A patent/JP2021082058A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010073080A (ja) * | 2008-09-22 | 2010-04-02 | Komatsu Ltd | 無人車両の走行経路生成方法 |
JP2014006588A (ja) * | 2012-06-21 | 2014-01-16 | Toyota Central R&D Labs Inc | 路面境界推定装置及びプログラム |
JP2018025553A (ja) * | 2016-07-27 | 2018-02-15 | 株式会社エムアールサポート | 三次元測定対象物の形状測定方法、及び装置、並びにプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6770393B2 (ja) | トラッキング装置及びプログラム | |
JP6233706B2 (ja) | 自律移動装置及び自律移動装置の自己位置推定方法 | |
JP5733395B2 (ja) | 車載用画像認識装置、撮像軸調整装置およびレーン認識方法 | |
KR102016549B1 (ko) | 차량 및 차선 위치 검출 시스템 및 방법 | |
CN112639849A (zh) | 路径选择方法和路径选择装置 | |
CN107209998B (zh) | 车道线识别装置以及车道线识别方法 | |
WO2016117602A1 (ja) | 車両制御装置及び車両制御方法 | |
JP5949955B2 (ja) | 道路環境認識システム | |
JP6838285B2 (ja) | レーンマーカ認識装置、自車両位置推定装置 | |
US20200166349A1 (en) | Parking support apparatus | |
JP6815963B2 (ja) | 車両用外界認識装置 | |
CN113835102B (zh) | 车道线生成方法和装置 | |
JP2011022995A (ja) | 消失点推定装置およびプログラム | |
JP5534045B2 (ja) | 道路形状推定装置 | |
JP2008310440A (ja) | 歩行者検出装置 | |
JP6488226B2 (ja) | 走路パラメータ推定装置及びプログラム | |
JP4110922B2 (ja) | 車両用外界認識装置 | |
JP5345999B2 (ja) | レーンマーク認識装置 | |
JP2021082058A (ja) | 走路推定装置、および走路推定プログラム | |
JP2023099851A (ja) | 測定装置、測定方法およびプログラム | |
Klotz et al. | Lane data fusion for driver assistance systems | |
JP6962726B2 (ja) | 走路認識装置 | |
US20220229186A1 (en) | Object shape detection apparatus and method | |
JP2012014520A (ja) | 障害物検出装置 | |
JP4703963B2 (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231010 |