JP2013117811A - 道路形状推定装置及びプログラム - Google Patents

道路形状推定装置及びプログラム Download PDF

Info

Publication number
JP2013117811A
JP2013117811A JP2011264339A JP2011264339A JP2013117811A JP 2013117811 A JP2013117811 A JP 2013117811A JP 2011264339 A JP2011264339 A JP 2011264339A JP 2011264339 A JP2011264339 A JP 2011264339A JP 2013117811 A JP2013117811 A JP 2013117811A
Authority
JP
Japan
Prior art keywords
road
road shape
curvature
width
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011264339A
Other languages
English (en)
Other versions
JP5780140B2 (ja
Inventor
Kazufumi Nakayama
收文 中山
Munehisa Agari
宗久 上利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011264339A priority Critical patent/JP5780140B2/ja
Publication of JP2013117811A publication Critical patent/JP2013117811A/ja
Application granted granted Critical
Publication of JP5780140B2 publication Critical patent/JP5780140B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車線区分線が破線のカーブ路であっても、カメラの画角に依らずに道路の路面を撮影した画像から精度良く道路形状を推定する。
【解決手段】区分線検出部1011は、道路の路面を撮影した画像から車線区分線のエッジ情報を検出する。第1のパラメータ推定部1012は、第1の時間区間内の1つ以上の時刻における画像から検出されたエッジ情報に基づいて、道路の道路形状パラメータのうちの曲率及び幅を求め、格納部1013に格納する。第2のパラメータ推定部1014は、格納された曲率及び幅を第2の時間区間における曲率及び幅として用い、第2の時間区間における画像から検出されたエッジ情報に基づいて、曲率及び幅以外の道路形状パラメータを求める。
【選択図】図10

Description

本発明は、道路形状推定装置及びプログラムに関する。
カメラを車両の進行方向又は進行方向と逆向きに取り付け、撮影された映像に含まれる車線区分線を検出して、車線区分線の情報から走行車線と車両との位置関係を求め、道路形状を推定する方法は古くから研究・開発されている。
例えば、カメラで撮影した車両前方の路面画像から、縦方向に複数個所で横方向に画像を走査し、輝度(濃淡)の変化箇所として車線区分線のエッジを検出し、エッジ情報に基づいて走行車線と車両との位置関係を推定する方法が知られている。この方法では、画像から検出されたエッジ点を縦方向に繋ぐことで車線区分線を識別し、道路形状モデルと車線区分線の位置とを照合して路面上の車線区分線の位置が決定される。
また、車線区分線が破線の場合に、車両の走行中における複数時刻の路面画像から得られる車線区分線の位置を重ね合わせて線分の間隙を埋めることで、破線を長い線分として検出する方法も知られている。この方法では、検出された長い線分を道路形状モデルと照合することで、安定して路面上の車線区分線の位置を決定することができる。
特開2006−12191号公報
高橋新,二宮芳樹,「走行レーン認識におけるロバストなレーンマーキング候補選択の一手法」,電子情報通信学会論文誌 D−II Vol.J81−D−II No.8 pp.1904−1911,1998年8月
上述した従来の道路形状推定方法には、以下のような問題がある。
従来の道路形状推定方法は、車両に搭載されるカメラが、画角が30度程度の比較的画角が狭いカメラを車両に搭載することを前提としている。狭角カメラを用いると、得られる画像の分解能が高いため、路面の奥行き方向で遠方まで解像度高く撮影でき、手前から奥までの長い範囲で撮影することができる。このため、車線区分線が破線であっても、画像中には進行方向に沿って複数の破線線素を観測することができる。
一方、ドライブレコーダ用カメラのような、画角が120度程度の広角カメラを用いると、幅広い角度範囲を撮影することができる代わりに、画像の分解能は低くなる。このため、路面上の進行方向で見ると手前側の短い距離までしか撮影できない制約があり、車線区分線が破線の場合は、車両に最も近い破線線素が走行車線の左右に1本ずつしか観測できない。以下の説明では、破線線素を破線ブロックと記載する場合がある。
図1は、セダン形状の車両のルームミラー裏に前向きにカメラを設置し、高速道路の破線カーブ路を撮影した画像を模式的に表している。この例では、破線ブロック(白線部分)の長さは8mで、破線ブロック間の間隙(非白線部分)の長さは12mの一般的な状況を想定している。画像101は、画角30度の狭角カメラで撮影した画像であり、画像102は、画角120度の広角カメラで撮影した画像である。画像102中の矩形領域121は、同じ状況で狭角カメラが撮影可能な範囲を表している。
図1から分かるように、狭角カメラでは、破線路であっても進行方向に沿って複数の破線ブロックが撮影できるため、単一時刻の画像から複数の破線ブロックを検出することで、道路形状を推定することが可能である。特に、破線カーブ路であっても、図2に示すように複数の破線ブロックが撮影できるため、単一時刻の画像からカーブの曲率を推定することもできる。このように、狭角カメラを使用する場合は、従来の方法でも道路形状を推定することができる。
一方、広角カメラの画像102では、手前側の黒色領域122が示すように、車内のダッシュボードと車両の前方ボンネット部分で路面が隠されてしまう上、分解能が不足するため路面の手前側しか撮影できない。このため、破線路の場合は、進行方向に沿って最も車両に近い破線ブロックが、短い線素として走行車線の左右に1本ずつしか観測できないことが分かる。
特に、破線カーブ路の場合は、図3に示すように、走行車線の左右に破線ブロック301及び302が観測されるのみである。このような状況で従来の道路形状推定方法を適用すると、推定される車線区分線311及び312の形状は、破線ブロック301及び302を延長した直線と誤認されることになる。このため、本来の車線区分線321及び322と推定される車線区分線311及び312との間に距離誤り331及び332を生じてしまう。
例えば、前方映像を用いた車線逸脱警報システムでは、車両の前方に映る映像から車線形状を推定する。画角が30度の狭角カメラでは50m程度先の映像が用いられ、画角が120度の広角カメラでは20m程度先の映像が用いられる。そして、推定された車線形状を車両の真横まで延長してから、車両と車線との横方向の距離を算出する。このため、遠方で検出された破線ブロックの傾き(直線か曲線か)を誤って推定し、車線を真横まで延長すると、わずかな誤差であっても車両の真横では誤差が拡大される。例えば、広角カメラで検出された破線ブロックを直線的に延長すると、40cm強の誤差を生じる。この結果、車線逸脱警報システムは誤った警報を発することになる。
このような誤りを防ぐために、複数時刻の路面画像から得られる複数の破線ブロックの情報を重ね合わせることで、破線ブロックの傾きを精度良く推定する方法が考えられる。しかしながら、車両の走行時の挙動によっては、進行方向に対して横方向に映像が変化する。横方向に車両が動くと、図4に示すように、時刻T1〜T3の3つの画像を重ね合わせても、車線区分線の破線が重ならずに不連続な形状となり、道路形状を正しく推定することはできない。
本発明の課題は、車線区分線が破線のカーブ路であっても、カメラの画角に依らずに道路の路面を撮影した画像から精度良く道路形状を推定することである。
道路形状推定装置は、区分線検出部、第1のパラメータ推定部、格納部、及び第2のパラメータ推定部を含む。
区分線検出部は、道路の路面を撮影した画像から車線区分線のエッジ情報を検出する。第1のパラメータ推定部は、区分線検出部が第1の時間区間内の1つ以上の時刻における画像から検出したエッジ情報に基づいて、道路の道路形状パラメータのうちの曲率及び幅を求める。格納部は、第1のパラメータ推定部が求めた曲率及び幅を格納する。
第2のパラメータ推定部は、第1のパラメータ推定部が求めた曲率及び幅を第2の時間区間における曲率及び幅として用い、区分線検出部が第2の時間区間における画像から検出したエッジ情報に基づいて、曲率及び幅以外の道路形状パラメータを求める。そして、曲率及び幅を含む道路形状パラメータを出力する。
上述した道路形状推定装置によれば、車線区分線が破線のカーブ路であっても、カメラの画角に依らずに道路の路面を撮影した画像から精度良く道路形状を推定することができる。
狭角カメラ及び広角カメラにより撮影された画像を示す図である。 狭角カメラにより撮影された破線カーブ路の画像を示す図である。 広角カメラにより撮影された破線カーブ路の画像を示す図である。 広角カメラにより撮影された画像の重ね合わせ結果を示す図である。 道路形状モデルを示す図である。 カメラの観測系モデルを示す図である。 道路形状パラメータの時間的な変化パターンを示す図である。 道路形状パラメータと観測情報の関係を示す図である。 時間区間を示す図である。 第1の道路形状推定装置の機能的構成図である。 道路形状推定処理のフローチャートである。 第2の道路形状推定装置の機能的構成図である。 区分線検出処理のフローチャートである。 デジタル画像を示す図である。 エッジ画像を示す図である。 エッジ画像から検出された境界エッジ線を示す図である。 区間決定処理のフローチャートである。 第3の道路形状推定装置の機能的構成図である。 車線逸脱警報システムの構成図である。 車両操舵システムの構成図である。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
図5は、道路形状モデルの例を示している。ここでは、車線の中央線Lcにおける曲率半径をRとし、車線の各位置で水平方向(X軸方向)に測って道路幅(車線幅)が常にWとなるモデルを考える。このモデルでは、中央線Lcに直交する方向での車線幅がWとならないため、実際の車線とは異なるが、カメラによる観測点から比較的近い範囲では誤差が小さく、解析的な取り扱いが簡単になる。
図6に示すように、カメラの中心を原点Oとして、原点Oから横方向に路面座標系のX軸をとり、縦方向に路面座標系のZ軸をとる。この場合、XZ平面に垂直な方向が路面座標のY軸となる。そして、原点Oを路面上に垂直に投影した点をROとする。図5の道路形状モデルにおける各記号の意味は以下の通りである。
Lc:車線の中央線
Lr:車線の右側の車線区分線
Ll:車線の左側の車線区分線
W:道路幅
R:曲率半径
e:点ROから中央線Lcまでの距離
P:車線区分線Lr又はLl上の着目点
A:車線区分線LrとXY平面の交点
B:着目点PをXY平面に垂直に投影した点
C:曲率中心
D:XY平面から着目点Pまでの距離
距離eは、カメラから道路中央までの距離(カメラの横方向オフセット)を表し、距離Dは、カメラから着目点Pまでの奥行き方向の距離を表す。このとき、着目点P(X,Z)のX座標Px及びZ座標Pzは、次式で与えられる。
式(1)が車線の路面上での位置を与える基礎式である。ただし、kは車線区分線Lr及びLlを区別するための定数で、着目点Pが右側の車線区分線Lr上にあるときはk=1、左側の車線区分線Ll上にあるときはk=−1である。曲率半径Rは、右カーブ、すなわち曲率中心CがX軸の正区間にある場合は正値とし、左カーブ、すなわち曲率中心CがX軸の負区間にある場合は負値とする。
基礎式(1)は、平方根を含んでいるため、解析的な取り扱いが難しい。そこで、曲率半径Rが極端に小さくない通常の走行時を想定して、基礎式(1)の近似化を行う。例えば、平方根の1次近似として、テーラー展開の第1項までを用いると、次式のようになる。
式(2)を用いると、基礎式(1)は以下のように書き改められる。
式(3)が1次近似での基礎式となる。
次に、路面上の車線区分線をカメラで観測したときの車線区分線の位置のモデルを導出する。
図6は、カメラの観測系モデルの例を示している。カメラの中心は路面から高さHの位置にあり、カメラは車両の進行方向に対して、ピッチ角φ、ヨー角θ、ロール角0で設置されているとする。ピッチ角φ及びヨー角θは、カメラ座標系から路面座標系への座標系の変換を正の回転方向に取る。したがって、路面座標系からカメラ座標系へは、座標点の変換が回転の正方向となる。また、カメラの焦点距離はfとする。このとき、路面座標(X,Y,Z)からカメラ座標(xc、yc、zc)への座標変換を考える。
路面座標系での点Pの座標(X,Y,Z)をピッチ角φとヨー角θを持つカメラ座標系での座標(xc,yc,zc)で表すと、次式のようになる。
この点をカメラで観測した画像の中央からx軸を右向きに、y軸を下向きに取り、画像座標を(x,y)とすると、着目点Pの画像座標(px,py)は次式で与えられる。
式(5)のX及びZに近似基礎式(3)の(Px,Pz)を代入し、YにHを代入すると、画像上での車線区分線の位置関係として次式が得られる。
式(6)から媒介変数であるDを除けば、pxとpyの関係式が求められる。実際には、式(6)の形のままではDについて容易に解けないため、関係式の導出が困難である。そこで、式(6)中の各項のオーダーを考慮して、式(6)の近似化を行う。
具体的には、各回転角φ及びθは大きくても20度程度であり、それほど大きくないため、sin系の値は0.1程度である。D、R、W、H、及びeの単位をメートルとすると、式(6)中のpx及びpyの分母において、第1項のcos(φ)sin(θ)に乗算される数値は2程度であるから、第1項は0.2程度の値を持つ。また、第2項のHの値も2程度であるから、第2項も0.2程度の値を持つ。これに対して、第3項のDの値は30程度であり、第3項はcos系の積なので30程度の値を持つ。したがって、分母では第3項が支配的で第1項及び第2項はほとんど影響を与えない。pyの分子についても同様である。したがって、最初の近似式として、次式が得られる。
式(7)のpyの式からDを求めて、pxの式に代入し、(px,py)を(x,y)と書き改めると、次式が得られる。
式(8)が、画像中の車線区分線上の点のx座標とy座標の関係式であり、画像座標系における基礎式となる。ここで、回転角φ及びθを微小とみなして、sinφ=φ、cosφ=1、sinθ=θ、cosθ=1とすると、次式が得られる。
式(9)が、道路形状モデルを表す最終的な近似式である。式(9)の道路曲率ρは、曲率半径Rの逆数に相当する。なお、カメラの横方向オフセットeとして、カメラと道路上の基準位置との横方向の相対距離を表す別のパラメータを用いることも可能である。
映像中の各時刻における画像(フレーム)から車線区分線の位置(x,y)が検出できれば、式(9)を用いて道路形状パラメータ(ρ,W,e,φ,θ)を推定することができる。これにより、路面上の車線区分線の形状と車両の位置及び方向との関係を求めて、道路形状を推定することができる。
この道路形状推定方法は以下のように定式化できる。式(9)から分かるように、左右両方の車線区分線の位置が検出できる場合、道路形状を規定するには5つの道路形状パラメータ(ρ,W,e,φ,θ)を定める必要がある。一方、短い直線状の線素として左右の破線ブロックが観測される場合の画像から得られる情報は、左右いずれか一方の破線ブロックの基準点の位置(x,y)、その破線ブロックの傾き、及び左右の破線ブロックの間の横方向の距離の合計4つの数値である。したがって、道路形状パラメータの自由度5に対して、1フレームから得られる観測情報の数は4であるから、拘束条件が不足し、一意に道路形状パラメータを求めることはできない。
道路形状パラメータと観測情報の関係は複数のフレームを用いた場合でも変わらない。Nフレームの画像から求めるべき道路形状パラメータの自由度は5Nであり、Nフレームの画像から得られる観測情報の数は4Nであるから、単に時系列での入力フレーム数を増やしても、道路形状パラメータを定めることはできない。
そこで、時間的に連続した複数時刻の画像を用いることを前提として、道路形状パラメータに適切な拘束条件を設けることで、求めるべき道路形状パラメータの数を削減することが考えられる。これにより、時系列に得られる破線ブロックの情報から道路形状パラメータを推定することが可能になる。
まず、破線ブロックが遠方から見え始める周期について考える。先にも示したように、高速道路では、破線ブロックの長さは8mで、破線ブロック間の間隙の長さは12mであるから、破線ブロックと間隙の長さの合計は20mである。この場合、車両の走行速度を100km/hとすると、破線ブロックが遠方で見え始める周期は0.7秒程度である。一例として、時系列の路面映像に対して、この破線ブロックが見え始めるタイミングを時間的な分割点として時間区間を定義することが可能である。このとき、100km/hでは0.7秒毎の時間区間に分割されることになる。
次に、道路形状パラメータ(ρ,W,e,φ,θ)について考える。図7は、道路形状パラメータの時間的な変化パターンを示している。
図7から分かるように、道路曲率ρと道路幅Wは、地形によって変動するパラメータである。高速道路ではカーブ路に入る際に緩和区間が設けられており、道路曲率ρは、設計走行速度に対して3秒以上の時間で変化することが規定されている。このため、道路曲率ρは、3秒程度の時間スケールで変化する。例えば、1秒間に10回程度の処理を行う場合、3秒程度の時間スケールの変化は非常に遅い変化である。したがって、区間内では、道路曲率ρと道路幅Wの変化はほとんどなく一定値とみなしても差し支えない。つまり、区間内では、道路曲率ρと道路幅Wの自由度は全体で2である。
また、オフセットeとヨー角θは、車両の挙動によって変化する量であり、オフセットeの変化速度の最大値は1.0m/s程度に見積もられることが一般的である。したがって、0.7秒程度の区間内では一定値とはみなせない。ただし、車両の挙動は連続的な運動であり、1秒程度の時間では、等速運動又は等加速度運動のような低次の運動モデルで近似することが可能である。例えば、等加速度運動で近似する場合、1パラメータ当たりの自由度は3であるから、区間内では、オフセットeとヨー角θの自由度は全体で6である。
残りのピッチ角φは、路面の凹凸や傾き等により変化し、その変化速度は突発的で速い。このため、ピッチ角φは、フレーム毎に個別に表す必要がある。したがって、区間内のフレーム数をNとすると、ピッチ角φの自由度はNである。
以上より、Nフレームの区間内で求めるべき道路パラメータの自由度は、2+6+N=8+Nとなる。これに対して、Nフレームから得られる観測情報の数は4Nであるから、次の不等式が成り立つ場合に、道路パラメータを求めることができる。
8+N<4N (11)
式(11)より、フレーム数Nが3以上の場合に、道路パラメータを推定することが可能であることが分かる。
次に、道路パラメータにこのような拘束条件を設けた場合の道路パラメータ算出方法について述べる。区間内のフレームの順番(時刻)を表す添え字をm(m=1,2,...,N)とし、1フレームの画像から得られた複数の車線区分線のエッジ点を区別する添え字をj(j=1,2,...,Ne)として式(9)を書き改めると、次式のようになる。
式(21)の各記号の意味は以下の通りである。
(x ,y ):区間内のm番目のフレームから得られるj番目のエッジ点の座標
ρ:区間内のm番目のフレームにおける道路曲率
:区間内のm番目のフレームにおける道路幅
:区間内のm番目のフレームにおけるオフセット
θ:区間内のm番目のフレームにおけるヨー角
φ:区間内のm番目のフレームにおけるピッチ角
まず、道路曲率及び道路幅については、区間内では一定値とみなせるので、区間内における道路曲率及び道路幅をそれぞれρ及びWとする。
また、オフセットe及びヨー角θについては、それぞれ等加速度運動を仮定して、次式で近似する。
式(22)において、Ae、Be、及びCeは、オフセットeの等加速度運動パラメータであり、Aθ、Bθ、及びCθは、ヨー角θの等加速度運動パラメータである。このとき、式(21)は、次式のように書き改められる。
式(23)における道路形状パラメータは(ρ,W,φ,Ae,Be,Ce,Aθ,Bθ,Cθ)であり、区間内におけるパラメータの数は8+Nである。ここで、式(23)の右辺をF (ρ,W,φ,Ae,Be,Ce,Aθ,Bθ,Cθ)と記し、各パラメータを以下のように記す。
(ρ,W,φ,Ae,Be,Ce,Aθ,Bθ,Cθ)は非線形関数であるが、これを式(24)を用いて線形化した関数G は、次式で与えられる。
ここで、残差s を次式のように定義する。
残差s の二乗値を、区間内の全フレーム(m=1,2,...,N)と各フレーム内のすべての車線区分線上のエッジ点(j=1,2,...,Ne)で積分した結果の1/2を総残差Sとする。
最適パラメータはSを最小にする値なので、Sを各パラメータで偏微分した結果を0と置く。例えば、Sをρで偏微分した結果を0と置くと、次式が得られる。
式(28)のmに関する総和記号は、mが1からNまでの総和を表す。他のパラメータについても同様の偏微分操作を行うことで、8+N個の連立一次方程式が得られる。この連立一次方程式を解くことで、変化量を示すパラメータ(Δρ,ΔW,Δφ,ΔAe,ΔBe,ΔCe,ΔAθ,ΔBθ,ΔCθ)が求められる。そして、各パラメータの値が十分小さくなるまで、次式の代入操作を行って演算を繰り返す。
このような繰り返し演算により、最終的な道路形状パラメータ(ρ,W,φ,Ae,Be,Ce,Aθ,Bθ,Cθ)が求められる。
図8は、道路形状パラメータと観測情報の数の関係を示している。道路形状パラメータに対して拘束条件を課さない場合は、道路形状パラメータを推定することができない。一方、道路曲率ρ及び道路幅Wに拘束条件を課した場合は、Nフレームの区間内の道路形状パラメータの自由度は2+3Nであり、観測情報の数は4Nである。したがって、Nが2以上であれば、道路形状パラメータを推定することができる。さらにオフセットe及びヨー角θにも拘束条件を課した場合は、区間内の道路形状パラメータの自由度は8+Nになるため、Nが3以上であれば、道路形状パラメータを推定することができる。
上述したように、破線ブロックが遠方から見え始めるタイミングを区間の分割点とすると、区間の長さは100km/hの走行速度で0.7秒程度となる。1秒当たり10フレームの画像処理を前提とすると、0.7秒の区間内には7フレームが存在するので、N=7となり、Nが3以上という条件を満足する。したがって、常に道路形状パラメータを推定することができることが分かる。
ただし、この方法では複数のフレームの情報を必要とするので、区間毎に間欠的にしか道路形状パラメータを求めることができない。一方、車線逸脱警報システム等のようにリアルタイム性を必要とするシステムでは、フレーム毎に道路形状パラメータを推定することが望ましい。
そこで、図9に示すように、映像を時系列の区間に分割して、現在の区間(t)における各フレームの道路形状パラメータ推定には、前区間(t−1)において推定された道路曲率ρ及び道路幅Wを用いる。上述したように、道路曲率ρ及び道路幅Wは変化速度が非常に遅いため、区間(t−1)と区間(t)ではほぼ同じ値とみなすことができる。
区間(t)では、区間(t−1)において推定された道路曲率ρ及び道路幅Wを固定値として用い、各フレームの画像から得られる車線区分線のエッジ情報を用いて残りのオフセットe、ピッチ角φ、及びヨー角θを推定する。次の区間(t+1)における各フレームの道路形状パラメータ推定には、現在の区間(t)において推定された道路曲率ρ及び道路幅Wが用いられる。
このように、道路曲率ρ及び道路幅Wは、前区間の全時刻における情報を用いて間欠的に求めておき、他の道路形状パラメータは、各時刻におけるフレームから得られる情報を用いてフレーム毎に求める。これにより、処理対象のフレーム毎に、遅れることなく道路形状パラメータを推定することが可能になる。
ここで、区間(t)における各フレームから求められる道路形状パラメータの自由度について言及しておく。左右両方の車線区分線が観測される場合、道路曲率ρ及び道路幅Wは区間(t−1)で求めた値に固定されるので、求めるべき道路形状パラメータは、オフセットe、ピッチ角φ、及びヨー角θの3つである。これに対して、1フレームから得られる車線区分線の情報の数は4であり、拘束条件の数の方が多いため、一意に道路形状パラメータを推定することができる。
なお、車線区分線が実線である場合も、同様の方法により道路形状パラメータを推定することが可能である。この場合、車線区分線が途切れることなく常に遠方から見えているため、毎フレームが区間として認識されることになる。また、カーブ路では、広角カメラで撮影しても、狭角カメラで撮影したときと同じように道路曲率に応じて曲がった曲線として車線区分線を検出できるので、1フレームの画像でもすべての道路形状パラメータを推定することができる。したがって、区間毎に道路形状パラメータを推定する処理は、事実上フレーム毎に実行されることになる。
図10は、道路形状推定装置の機能的構成例を示している。図10の道路形状推定装置1001は、区分線検出部1011、第1のパラメータ推定部1012、格納部1013、及び第2のパラメータ推定部1014を含む。
図11は、図10の道路形状推定装置1001による道路形状推定処理の例を示すフローチャートである。まず、区分線検出部1011は、第1の時間区間内の1つ以上の時刻における道路の路面を撮影した画像から車線区分線のエッジ情報を検出する(ステップ1101)。次に、第1のパラメータ推定部1012は、ステップ1101において検出されたエッジ情報に基づいて、道路形状パラメータのうちの曲率及び幅を求め、格納部1013に格納する(ステップ1102)。
次に、区分線検出部1011は、第2の時間区間における画像から車線区分線のエッジ情報を検出する(ステップ1103)。第2のパラメータ推定部1014は、得られた曲率及び幅を第2の時間区間における曲率及び幅として用い、ステップ1103において検出されたエッジ情報に基づいて、曲率及び幅以外の道路形状パラメータを求める(ステップ1104)。そして、曲率及び幅を含む道路形状パラメータを出力する(ステップ1105)。
このような道路形状推定装置によれば、車線区分線が破線のカーブ路であっても、カメラの画角に依らずに道路の路面を撮影した画像から精度良く道路形状を推定することができる。
図12は、道路形状推定装置の別の機能的構成例を示している。図12の道路形状推定装置は、映像入力部1202、区分線検出部1203、第1のパラメータ推定部1204、格納部1205、及び第2のパラメータ推定部1206を含む。第1のパラメータ推定部1204は、区分線情報保存部1211、格納部1212、区間決定部1213、及び、曲率及び幅推定部1214を含む。
映像入力部1202は、外部のカメラ1201により撮影された映像を受け取り、区分線検出部1203に出力する。このとき、入力された映像がアナログ映像であればデジタル画像に変換し、カラー映像であればモノクロ濃淡画像に変換してから、区分線検出部1203に出力する。出力されるデジタル画像は、例えば、縦横にあらかじめ決められた大きさの2次元配列情報である。
区分線検出部1203は、入力されるデジタル画像から、路面上に存在する車線区分線を示す領域の境界線を構成するエッジ点群を検出し、そのエッジ点群の情報をエッジ情報としてパラメータ推定部1204及び1206に転送する。このとき、区分線検出部1203は、デジタル画像内で輝度値が急変する点をエッジ点として検出し、エッジ点の列を車線区分線の境界線として検出する。
パラメータ推定部1204の区分線情報保存部1211は、入力されたエッジ情報を格納部1212に格納する。区間決定部1213は、入力されたエッジ情報に基づいてエッジ点の位置を評価し、区間の完了(区間の切れ目)か否かを判定する。評価の結果、区間の完了が検出された場合、実行トリガを曲率及び幅推定部1214に出力し、区間の完了が検出されない場合は、実行トリガを出力しない。
曲率及び幅推定部1214は、実行トリガが入力された場合にのみ、格納部1212に格納された当該区間のエッジ情報から、区間の道路曲率及び道路幅を求め、得られた道路曲率及び道路幅を格納部1205に格納する。実行トリガが入力されない場合は、区間の道路曲率及び道路幅を求めない。
一方、パラメータ推定部1206は、入力されたエッジ情報と格納部1205に格納された道路曲率及び道路幅を用いて、残りの道路形状パラメータであるオフセット、ピッチ角、及びヨー角を求める。そして、道路形状パラメータを外部に出力し、ヨー角を格納部1212に格納する。
このような道路形状推定装置によれば、車線区分線が破線のカーブ路であっても、カメラの画角に依らずに道路の路面を撮影した画像から精度良く道路形状を推定することができる。特に、広角カメラを用いた場合でも、実線又は破線等の車線区分線の線種や、直線路又はカーブ路等の道路状態に影響されず、常に安定して道路形状を推定することができる。
図13は、図12の区分線検出部1203による区分線検出処理の例を示すフローチャートである。まず、区分線検出部1203は、入力されるデジタル画像に対してソベルオペレータ等の微分オペレータを適用し、輝度が急変するエッジ点の列からなるエッジ画像を生成する(ステップ1301)。例えば、図14のようなデジタル画像からは、図15のようなエッジ画像が生成される。
次に、エッジ画像内のあらかじめ路面領域として定めた探索範囲から、車線区分線の境界エッジ点を検出する(ステップ1302)。このとき、探索範囲に存在するエッジ点のうち、エッジ画像の左右の中央より左側にあるエッジ点を左側車線区分線のエッジ点とみなす。そして、そのエッジ点の左側の輝度が大きく(明るく)右側の輝度が低い(暗い)エッジ点を、左側車線区分線の境界エッジ点として検出する。また、探索範囲に存在するエッジ点のうち、エッジ画像の左右の中央より右側にあるエッジ点を右側車線区分線のエッジ点とみなす。そして、そのエッジ点の左側の輝度が小さく右側の輝度が大きいエッジ点を、右側車線区分線の境界エッジ点として検出する。
次に、得られた左側及び右側のそれぞれの境界エッジ点について、周囲画素の連結性を用いたラベル付け処理を行い、複数の境界エッジ点を統合して境界エッジ線を検出する(ステップ1303)。これにより、左側及び右側のそれぞれについて、1つ以上の境界エッジ線が得られる。例えば、図15のエッジ画像の探索範囲1501からは、図16のような左側の境界エッジ線1601と右側の境界エッジ線1602が検出される。
検出された左側の境界エッジ線の集合SELは、次式のように記述される。
ELは、左側の境界エッジ線のうちi番目(i=1,2,...,NEL)の境界エッジ線を表し、NELは、左側の境界エッジ線の数を表す。同様に、右側の境界エッジ線の集合SERは、次式のように記述される。
ERは、右側の境界エッジ線のうちi番目(i=1,2,...,NEL)の境界エッジ線を表す。また、左側の境界エッジ線ELは、NPL個のエッジ点の列であり、次式のように記述される。
PL は、左側のi番目の境界エッジ線のj番目(j=1,2,...,NPL)のエッジ点の画像座標(xL ,yL )を表す。同様に、右側の境界エッジ線ERは、NPR個のエッジ点の列であり、次式のように記述される。
PR は、右側のi番目の境界エッジ線のj番目(j=1,2,...,NPR)のエッジ点の画像座標(xR ,yR )を表す。
区分線情報保存部1211は、入力された境界エッジ線の集合SEL及びSERを、格納部1212内の現在の区間におけるm番目のフレームに対応する格納領域にSEL 及びSER として格納する。
そして、次のフレームの格納領域を指し示すように、mを1だけインクリメントする。なお、mの値は、道路形状推定装置の起動時に1に初期化されているものとする。
区間決定部1213は、入力された境界エッジ線の集合SEL及びSERを用いて、次のような操作により、区間の更新の有無を決定する。
まず、以下のような2つの操作を定義する。ただし、図3に示したように、画像座標系のy軸は下向きが正である。
GET_TOP(S):={集合Sに含まれる各境界エッジ線の上端のエッジ点のうち、最も上側にあるエッジ点のy座標を返す。集合Sが空であればNULLを返す。}
GET_BOTH_TOP(S1,S2):=MIN(GET_TOP(S1),GET_TOP(S2))
図17は、以上の操作を用いた区間決定処理の例を示すフローチャートである。まず、区間決定部1213は、左右の境界エッジ線のエッジ点のうち最も上側にあるエッジ点のy座標YTOPを、次式により求める(ステップ1701)。
TOP=GET_BOTH_TOP(SEL,SER
ここで、画像から境界エッジ線がまったく検出されなかった場合、つまりSEL及びSERが空の場合は、YTOP=NULLとする。
次に、YTOPがNULLか否かをチェックする(ステップ1702)。YTOPがNULLであれば(ステップ1702,YES)、処理を終了する。YTOPがNULLでなければ(ステップ1702,NO)、YTOPを、格納部1212に格納されたYTOP LASTと比較する(ステップ1703)。YTOP LASTは、前回の区間決定処理で求められた評価したYTOPである。
TOPがYTOP LASTより小さければ(ステップ1703,YES)、検出された境界エッジ線が車両の手前で見切れて、次の境界エッジ線が遠方から見え始めたことが分かる。そこで、区間の更新が発生したと判断して、曲率及び幅推定部1214に実行トリガを出力する(ステップ1704)。YTOPがYTOP LAST以上であれば(ステップ1703,NO)、実行トリガを出力しない。
そして、ステップ1701で得られたYTOPによりYTOP LASTを更新する(ステップ1705)。更新されたYTOP LASTは、次回の区間決定処理で用いられる。
曲率及び幅推定部1214は、区間決定部1213から実行トリガを受け取ると、格納部1212に格納されている(SEL ,SER ),(SEL ,SER ),...,(SEL ,SER )から、区間内の道路曲率ρ及び道路幅Wを推定し、格納部1205に格納する。そして、格納部1212内の境界エッジ線の集合を消去し、区間内のフレームの順番mの値を1に初期化する。
区間内の道路曲率ρ及び道路幅Wは、例えば、上述した式(23)を用いて推定することができる。式(23)の道路形状パラメータ(ρ,W,φ,Ae,Be,Ce,Aθ,Bθ,Cθ)のうち、ピッチ角φは、パラメータ推定部1206によりフレーム毎に推定され格納部1212に格納されている値を用いることができる。したがって、ピッチ角φは求めるべきパラメータから除外され、求めるべきパラメータは(ρ,W,Ae,Be,Ce,Aθ,Bθ,Cθ)の8個である。これらの8個のパラメータに対して式(23)は線形であるから、式(23)の右辺F は、次式のように記述することができる。
ここで、残差s を次式のように定義する。
総残差Sは、式(61)の残差s を用いて式(27)と同様に定義できる。最適パラメータはSを最小にする値なので、Sを各パラメータで偏微分した結果を0と置く。例えば、Sをρで偏微分した結果を0と置くと、次式が得られる。
式(63)のjに関する総和記号は、jが1からNeまでの総和を表す。他のパラメータについても同様の偏微分操作を行うことで、8個の連立一次方程式が得られる。この連立一次方程式を解くことで、パラメータ(ρ,W,Ae,Be,Ce,Aθ,Bθ,Cθ)が求められる。
このような曲率及び幅推定処理の手順は、以下のようになる。
1.R11=R12=R13=R14=R15=R16=R17=R18=R19=0
R21=R22=R23=R24=R25=R26=R27=R28=R29=0
R31=R32=R33=R34=R35=R36=R37=R38=R39=0
R41=R42=R43=R44=R45=R46=R47=R48=R49=0
R51=R52=R53=R54=R55=R56=R57=R58=R59=0
R61=R62=R63=R64=R65=R66=R67=R68=R69=0
R71=R72=R73=R74=R75=R76=R77=R78=R79=0
R81=R82=R83=R84=R85=R86=R87=R88=R89=0
2.tgt=−1
3.tgt=tgt+1
4.if tgt==0 then
エッジ集合E=SEL ,NE=SEL の要素数,k=−1
else if tgt==1 then
エッジ集合E=SER ,NE=SER のエッジ数,k=1
else goto 12 endif
5.j=0
6.j=j+1
7.if j>=NE then goto 3 endif
8.エッジ集合Eからj番目の要素であるエッジ点の位置(x,y)を取得する。
9.式(42)〜(50)から(a,b,c,d,e,f,g,h,q)を算出する。
10.R11+=a,R12+=a,R13+=a,R14+=a
R15+=a,R16+=a,R17+=a,R18+=a
R19+=a
R21+=b,R22+=b,R23+=b,R24+=b
R25+=b,R26+=b,R27+=b,R28+=b
R29+=b
R31+=c,R32+=c,R33+=c,R34+=c
R35+=c,R36+=c,R37+=a,R38+=c
R39+=c
R41+=d,R42+=d,R43+=d,R44+=d
R45+=d,R46+=d,R47+=d,R48+=d
R49+=d
R51+=e,R52+=e,R53+=e,R54+=e
R55+=e,R56+=e,R57+=e,R58+=e
R59+=e
R61+=f,R62+=f,R63+=f,R64+=f
R65+=f,R66+=f,R67+=f,R68+=f
R69+=f
R71+=g,R72+=g,R73+=g,R74+=g
R75+=g,R76+=g,R77+=g,R78+=g
R79+=g
R81+=q,R82+=q,R83+=q,R84+=q
R85+=q,R86+=q,R87+=q,R88+=q
R89+=q
11.goto 6
12.以下の連立方程式の解を数値計算により求める。
13.終了
パラメータ推定部1206は、区分線検出部1203から入力されるSEL及びSERと格納部1205に格納されている道路曲率ρ及び道路幅Wから、オフセットe、ピッチ角φ、及びヨー角θを求める。そして、ピッチ角φを、格納部1212内の現在の区間におけるm番目のフレームに対応する格納領域に格納し、道路曲率ρ、道路幅W、オフセットe、ピッチ角φ、及びヨー角θを外部に出力する。
オフセットe、ピッチ角φ、及びヨー角θは、例えば、上述した式(9)を用いて推定することができる。式(9)の道路曲率ρ及び道路幅Wを一定値とみなしてρ及びWと書くと、次式が得られる。
式(71)の各記号の意味は以下の通りである。
(x,y):現在のフレームから得られるj番目のエッジ点の座標
e:現在のフレームにおけるオフセット
θ:現在のフレームにおけるヨー角
φ:現在のフレームにおけるピッチ角
式(71)のパラメータは(φ,e,θ)の3個である。ここで、式(71)の右辺をK(φ,e,θ)と記し、各パラメータを以下のように記す。
(φ,e,θ)は初期値であり、前のフレームの処理により求められた値が初期値として用いられる。K(φ,e,θ)は非線形関数であるが、これを式(72)を用いて線形化した関数Jは、次式で与えられる。
ここで、残差sを次式のように定義する。
残差sの二乗値を、フレーム内のすべての車線区分線上のエッジ点(j=1,2,...,Ne)で積分した結果の1/2を総残差Sとする。
最適パラメータはSを最小にする値なので、Sを各パラメータで偏微分した結果を0と置くと、次のような連立一次方程式が得られる。
この連立一次方程式を解くことで、変化量を示すパラメータ(Δφ,Δe,Δθ)が求められる。そして、各パラメータの値が十分小さくなるまで、次式の代入操作を行って演算を繰り返す。
このような繰り返し演算により、最終的な道路形状パラメータ(φ,e,θ)が求められる。
このような道路形状パラメータ推定処理の手順は、以下のようになる。
1.(φ,e,θ)を前のフレームの値に初期化する。
2.R11=R12=R13=R14=0
R21=R22=R23=R24=0
R31=R32=R33=R34=0
3.tgt=−1
4.tgt=tgt+1
5.if tgt==0 then
エッジ集合E=SEL,NE=SELの要素数,k=−1
else if tgt==1 then
エッジ集合E=SER,NE=SERのエッジ数,k=1
else goto 13 endif
6.j=0
7.j=j+1
8.if j>=NE then goto 4 endif
9.エッジ集合Eからj番目の要素であるエッジ点の位置(x,y)を取得する。
10.式(73)及び(75)から(a,b,c,d)を算出する。
11.R11+=a,R12+=a,R13+=a,R14+=a
R21+=b,R22+=b,R23+=b,R24+=b
R31+=c,R32+=c,R33+=c,R34+=c
12.goto 7
13.以下の連立方程式の解を数値計算により求める。
14.解の収束性を検査する。
if |Δφ|>ThR or |Δe|>ThR or |Δθ|>ThR
then
goto 2
else
φ=φ,e=e,θ=θ
endif
15.終了
ThRは解の収束性を評価するための微小な閾値である。
図12の道路形状推定装置では、区間の完了を検出する度に実行トリガを曲率及び幅推定部1214に出力しているが、所定数のフレームが入力される度に実行トリガを出力することも可能である。
図18は、このような道路形状推定装置の機能的構成例を示している。図18の道路形状推定装置は、図12のパラメータ推定部1206をパラメータ推定部1801に置き換えた構成を有し、パラメータ推定部1801は、図12の区間決定部1213を区間フレームカウント部1811に置き換えた構成を有する。
区間フレームカウント部1811は、区分線検出部1203からエッジ情報が入力される度にフレームカウンタの値mを1だけインクリメントし、mが所定値を超えたとき、実行トリガを曲率及び幅推定部1214に出力し、mを1に初期化する。mが所定値を超えていなければ、実行トリガを出力しない。この場合、フレームカウンタの初期値に対応する時刻から所定値を超えた時刻までの時間が区間として認識される。道路形状推定装置の他の動作は、図12の場合と同様である。
図12及び図18の曲率及び幅推定部1214では、オフセットe及びヨー角θの拘束条件として等加速度運動モデルを用いているが、代わりに等速運動モデルを用いていることも可能である。この場合、オフセットe及びヨー角θについては、それぞれ等速度運動を仮定して、次式で近似する。
式(81)において、Ae及びBeは、オフセットeの等速度運動パラメータであり、Aθ及びBθは、ヨー角θの等速度運動パラメータである。このとき、式(21)は、次式のように書き改められる。
式(82)の道路形状パラメータ(ρ,W,φ,Ae,Be,Aθ,Bθ)のうち、ピッチ角φは求めるべきパラメータから除外され、求めるべきパラメータは(ρ,W,Ae,Be,Aθ,Bθ)の6個である。これらの6個のパラメータに対して式(82)は線形であるから、式(82)の右辺F は、次式のように記述することができる。
ここで、残差s を次式のように定義する。
総残差Sは、式(101)の残差s を用いて式(27)と同様に定義できる。最適パラメータはSを最小にする値なので、Sを各パラメータで偏微分した結果を0と置く。例えば、Sをρで偏微分した結果を0と置くと、次式が得られる。
他のパラメータについても同様の偏微分操作を行うことで、6個の連立一次方程式が得られる。この連立一次方程式を解くことで、パラメータ(ρ,W,Ae,Be,Aθ,Bθ)が求められる。
このような曲率及び幅推定処理の手順は、以下のようになる。
1.R11=R12=R13=R14=R15=R16=R17=0
R21=R22=R23=R24=R25=R26=R27=0
R31=R32=R33=R34=R35=R36=R37=0
R41=R42=R43=R44=R45=R46=R47=0
R51=R52=R53=R54=R55=R56=R57=0
R61=R62=R63=R64=R65=R66=R67=0
2.tgt=−1
3.tgt=tgt+1
4.if tgt==0 then
エッジ集合E=SEL ,NE=SEL の要素数,k=−1
else if tgt==1 then
エッジ集合E=SER ,NE=SER のエッジ数,k=1
else goto 12 endif
5.j=0
6.j=j+1
7.if j>=NE then goto 3 endif
8.エッジ集合Eからj番目の要素であるエッジ点の位置(x,y)を取得する。
9.式(84)〜(90)から(a,b,c,d,e,f,q)を算出する。
10.R11+=a,R12+=a,R13+=a,R14+=a
R15+=a,R16+=a,R17+=a
R21+=b,R22+=b,R23+=b,R24+=b
R25+=b,R26+=b,R27+=b
R31+=c,R32+=c,R33+=c,R34+=c
R35+=c,R36+=c,R37+=c
R41+=d,R42+=d,R43+=d,R44+=d
R45+=d,R46+=d,R47+=d
R51+=e,R52+=e,R53+=e,R54+=e
R55+=e,R56+=e,R57+=e
R61+=f,R62+=f,R63+=f,R64+=f
R65+=f,R66+=f,R67+=f
11.goto 6
12.以下の連立方程式の解を数値計算により求める。
13.終了
ところで、オフセットe及びヨー角θに加えて、ピッチ角φにも拘束条件を設けることが可能である。ここでは、ピッチ角φに対して、時間に関する3次の項までを含む高次運動を仮定する。この場合、以下に示すように、式(22)にピッチ角φの近似式が追加される。
式(111)において、Ae、Be、及びCeは、オフセットeの等加速度運動パラメータであり、Aθ、Bθ、及びCθは、ヨー角θの等加速度運動パラメータである。また、Aφ、Bφ、Cφ、及びDφは、ピッチ角φの高次運動パラメータである。このとき、式(21)は、次式のように書き改められる。
式(112)における道路形状パラメータは(ρ,W,Aφ,Bφ,Cφ,Dφ,Ae,Be,Ce,Aθ,Bθ,Cθ)であり、区間内におけるパラメータの数は12である。ここで、式(112)の右辺をF (ρ,W,Aφ,Bφ,Cφ,Dφ,Ae,Be,Ce,Aθ,Bθ,Cθ)と記し、各パラメータを以下のように記す。
(ρ,W,Aφ,Bφ,Cφ,Dφ,Ae,Be,Ce,Aθ,Bθ,Cθ)は非線形関数であるが、これを式(113)を用いて線形化した関数G は、次式で与えられる。
ここで、残差s を次式のように定義する。
総残差Sは、式(115)の残差s を用いて式(27)と同様に定義できる。最適パラメータはSを最小にする値なので、Sを各パラメータで偏微分した結果を0と置く。例えば、Sをρで偏微分した結果を0と置くと、次式が得られる。
他のパラメータについても同様の偏微分操作を行うことで、12個の連立一次方程式が得られる。この連立一次方程式を解くことで、変化量を示すパラメータ(Δρ,ΔW,ΔAφ,ΔBφ,ΔCφ,ΔDφ,ΔAe,ΔBe,ΔCe,ΔAθ,ΔBθ,ΔCθ)が求められる。そして、各パラメータの値が十分小さくなるまで、次式の代入操作を行って演算を繰り返す。
このような繰り返し演算により、最終的な道路形状パラメータ(ρ,W,Aφ,Bφ,Cφ,Dφ,Ae,Be,Ce,Aθ,Bθ,Cθ)が求められる。
このような曲率及び幅推定処理の手順は、以下のようになる。
1.(ρ ,W ,Aφ0,Bφ0,Cφ0,Dφ0,Ae,Be,Ce,Aθ0,Bθ0,Cθ0)を前のフレームの値に初期化する。
2.R0101=R0102=R0103=R0104=R0105
=R0106=R0107=R0108=R0109=R0110
=R0111=R0112=0R113=0
R0201=R0202=R0203=R0204=R0205
=R0206=R0207=R0208=R0209=R0210
=R0211=R0212=R0213=0
R0301=R0302=R0303=R0304=R0305
=R0306=R0307=R0308=R0309=R0310
=R0311=R0312=R0313=0
R0401=R0402=R0403=R0404=R0405
=R0406=R0407=R0408=R0409=R0410
=R0411=R0412=R0413=0
R0501=R0502=R0503=R0504=R0505
=R0506=R0507=R0508=R0509=R0510
=R0511=R0512=R0513=0
R0601=R0602=R0603=R0604=R0605
=R0606=R0607=R0608=R0609=R0610
=R0611=R0612=R0613=0
R0701=R0702=R0703=R0704=R0705
=R0706=R0707=R0708=R0709=R0710
=R0711=R0712=R0713=0
R0801=R0802=R0803=R0804=R0805
=R0806=R0807=R0808=R0809=R0810
=R0811=R0812=R0813=0
R0901=R0902=R0903=R0904=R0905
=R0906=R0907=R0908=R0909=R0910
=R0911=R0912=R0913=0
R1001=R1002=R1003=R1004=R1005
=R1006=R1007=R1008=R1009=R1010
=R1011=R1012=R1013=0
R1101=R1102=R1103=R1104=R1105
=R1106=R1107=R1108=R1109=R1110
=R1111=R1112=R1113=0
R1201=R1202=R1203=R1204=R1205
=R1206=R1207=R1208=R1209=R1210
=R1211=R1212=R1213=0
3.tgt=−1
4.tgt=tgt+1
5.if tgt==0 then
エッジ集合E=SEL ,NE=SEL の要素数,k=−1
else if tgt==1 then
エッジ集合E=SER ,NE=SER のエッジ数,k=1
else goto 13 endif
6.j=0
7.j=j+1
8.if j>=NE then goto 4 endif
9.エッジ集合Eからj番目の要素であるエッジ点の位置(x,y)を取得する。
10.式(114)及び(116)から(a,b,c,d,e,f,g,h,m,n,o,p,q)を算出する。
11.R0101+=a,R0102+=a,R0103+=a
R0104+=a,R0105+=a,R0106+=a
R0107+=a,R0108+=a,R0109+=a
R0110+=a,R0111+=a,R0112+=a
R0113+=a
R0201+=b,R0202+=b,R0203+=b
R0204+=b,R0205+=b,R0206+=b
R0207+=b,R0208+=b,R0209+=b
R0210+=b,R0211+=b,R0212+=b
R0213+=b
R0301+=c,R0302+=c,R0303+=c
R0304+=c,R0305+=c,R0306+=c
R0307+=c,R0308+=c,R0309+=c
R0310+=c,R0311+=c,R0312+=c
R0313+=c
R0401+=d,R0402+=d,R0403+=d
R0404+=d,R0405+=d,R0406+=d
R0407+=d,R0408+=d,R0409+=d
R0410+=d,R0411+=d,R0412+=d
R0413+=d
R0501+=e,R0502+=e,R0503+=e
R0504+=e,R0505+=e,R0506+=e
R0507+=e,R0508+=e,R0509+=e
R0510+=e,R0511+=e,R0512+=e
R0513+=e
R0601+=f,R0602+=f,R0603+=f
R0604+=f,R0605+=f,R0606+=f
R0607+=f,R0608+=f,R0609+=f
R0610+=f,R0611+=f,R0612+=f
R0613+=f
R0701+=g,R0702+=g,R0703+=g
R0704+=g,R0705+=g,R0706+=g
R0707+=g,R0708+=g,R0709+=g
R0710+=g,R0711+=g,R0712+=g
R0713+=g
R0801+=h,R0802+=h,R0803+=h
R0804+=h,R0805+=h,R0806+=h
R0807+=h,R0808+=h,R0809+=h
R0810+=h,R0811+=h,R0812+=h
R0813+=h
R0901+=m,R0902+=m,R0903+=m
R0904+=m,R0905+=m,R0906+=m
R0907+=m,R0908+=m,R0909+=m
R0910+=m,R0911+=m,R0912+=m
R0913+=m
R1001+=n,R1002+=n,R1003+=n
R1004+=n,R1005+=n,R1006+=n
R1007+=n,R1008+=n,R1009+=n
R1010+=n,R1011+=n,R1012+=n
R1013+=n
R1101+=o,R1102+=o,R1103+=o
R1104+=o,R1105+=o,R1106+=o
R1107+=o,R1108+=o,R1109+=o
R1110+=o,R1111+=o,R1112+=o
R1113+=o
R1201+=p,R1202+=p,R1203+=p
R1204+=p,R1205+=p,R1206+=p
R1207+=p,R1208+=p,R1209+=p
R1210+=p,R1211+=p,R1212+=p
R1213+=p
12.goto 7
13.以下の連立方程式の解を数値計算により求める。
14.解の収束性を検査する。
if |Δρ |>ThR or |ΔW |>ThR or
|ΔAφ0|>ThR or |ΔBφ0|>ThR or
|ΔCφ0|>ThR or |ΔDφ0|>ThR or
|ΔAe|>ThR or |ΔBe|>ThR or
|ΔCe|>ThR or |ΔAθ0|>ThR or
|ΔBθ0|>ThR or |ΔCθ0|>ThR
then
goto 2
else
ρ=ρ ,W=W
φ=Aφ0,Bφ=Bφ0,Cφ=Cφ0,Dφ=Dφ0
Ae=Ae,Be=Be,Ce=Ce
θ=Aθ0,Bθ=Bθ0,Cθ=Cθ0
endif
15.終了
ThRは解の収束性を評価するための微小な閾値である。
なお、オフセットe及びヨー角θに対して等速運動を仮定してもよく、ピッチ角φに対して時間に関するより高次の項までを含む高次運動を仮定してもよい。
以上説明した道路形状パラメータの計算式(1)〜(119)は一例に過ぎず、別の座標系、別の拘束条件等に基づいて異なる定式化を行っても構わない。
図19は、道路形状推定装置を用いた車線逸脱警報システムの構成例を示している。図19の車線逸脱警報システムは、カメラ1201、道路形状推定装置1901、距離計算装置1902、逸脱判定装置1903、及び逸脱警報装置1904を含む。道路形状推定装置1901の動作は上述した通りである。
距離計算装置1902は、道路形状推定装置1901から出力される道路形状パラメータに基づいて、車両と左右の車線区分線との距離を計算する。逸脱判定装置1903は、計算された距離を閾値と比較して、車両が車線を逸脱したか否かを判定する。逸脱警報装置1904は、車両が車線を逸脱した場合に警報を出力する。これにより、運転者は、直ちに車両を操舵して車線に戻すことが可能になる。
図20は、道路形状推定装置を用いた車両操舵システムの構成例を示している。図20の車両操舵システムは、カメラ1201、道路形状推定装置1901、距離計算装置1902、ふらつき判定装置2001、及び車両操舵装置2002を含む。
ふらつき判定装置2001は、距離計算装置1902により計算された距離を閾値と比較して、車両がふらついているか否かを判定する。車両操舵装置2002は、車両がふらついている場合に、車線上での走行を維持するように車両を自動操舵して、車両のふらつきを解消する。これにより、車線からの逸脱を未然に防止することが可能になる。
図10、図12、及び図18−図20の道路形状推定装置は、例えば、図21に示すような情報処理装置(コンピュータ)を用いて実現可能である。
図21の情報処理装置は、映像入力部1202、Central Processing Unit (CPU)2101、メモリ2102、出力部2103、外部記憶装置2104、媒体駆動装置2105、及びネットワーク接続装置2106を備える。これらはバス2107により互いに接続されている。
メモリ2102は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。例えば、CPU2101は、メモリ2102を利用してプログラムを実行することにより、道路形状推定装置の処理を行う。メモリ2102は、図10の格納部1013、又は図12及び図18の格納部1205及び1212としても使用できる。
映像入力部1202は、カメラからの映像信号を取り込み、時系列な画像としてメモリ2102に格納する。出力部2103は、例えば、外部装置とのインタフェースであり、道路形状パラメータを含む処理結果の出力に用いられる。
外部記憶装置2104は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。この外部記憶装置2104には、ハードディスクドライブも含まれる。情報処理装置は、外部記憶装置2104にプログラム及びデータを格納しておき、それらをメモリ2102にロードして使用することができる。
媒体駆動装置2105は、可搬型記録媒体2108を駆動し、その記録内容にアクセスする。可搬型記録媒体2108は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。この可搬型記録媒体2108には、Compact Disk Read Only Memory (CD−ROM)、Digital Versatile Disk(DVD)、Universal Serial Bus(USB)メモリ等も含まれる。ユーザ又はオペレータは、この可搬型記録媒体2108にプログラム及びデータを格納しておき、それらをメモリ2102にロードして使用することができる。
このように、各種処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ2102、外部記憶装置2104、及び可搬型記録媒体2108のような、物理的な(非一時的な)記録媒体が含まれる。
ネットワーク接続装置2105は、通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置2105を介して受け取り、それらをメモリ2102にロードして使用することもできる。
なお、情報処理装置が図21のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置が可搬型記録媒体2108にアクセスしない場合は、媒体駆動装置2105を省略してもよく、情報処理装置が通信ネットワークに接続されない場合は、ネットワーク接続装置2105を省略してもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
101、102 画像
121 矩形領域
122 黒色領域
301、302 破線ブロック
311、312、321、322、車線区分線
331、332 距離誤り
1001、1901 道路形状推定装置
1011、1203 区分線検出部
1012、1204、1801 第1のパラメータ推定部
1013、1205、1212 格納部
1014、1206 第2のパラメータ推定部
1201 カメラ
1202 映像入力部
1211 区分線情報保存部
1213 区間決定部
1214 曲率及び幅推定部
1501 探索範囲
1601、1602 境界エッジ線
1811 区間フレームカウント部
1902 距離計算装置
1903 逸脱判定装置
1904 逸脱警報装置
2001 ふらつき判定装置
2002 車両操舵装置
2101 CPU
2102 メモリ
2103 出力部
2104 外部記憶装置
2105 媒体駆動装置
2106 ネットワーク接続装置
2107 バス
2108 可搬型記録媒体

Claims (8)

  1. 道路の路面を撮影した画像から車線区分線のエッジ情報を検出する区分線検出部と、
    前記区分線検出部が第1の時間区間内の1つ以上の時刻における画像から検出したエッジ情報に基づいて、前記道路の道路形状パラメータのうちの曲率及び幅を求める第1のパラメータ推定部と、
    前記第1のパラメータ推定部が求めた曲率及び幅を格納する格納部と、
    前記第1のパラメータ推定部が求めた曲率及び幅を第2の時間区間における曲率及び幅として用い、前記区分線検出部が該第2の時間区間における画像から検出したエッジ情報に基づいて、前記道路形状パラメータのうちの曲率及び幅以外のパラメータを求め、該曲率及び幅を含む該道路形状パラメータを出力する第2のパラメータ推定部と
    を備えることを特徴とする道路形状推定装置。
  2. 前記第1のパラメータ推定部は、前記車線区分線が破線である場合、前記区分線検出部が検出したエッジ情報に基づいて、該破線の第1の切れ目に対応する第1の画像と該破線の第2の切れ目に対応する第2の画像を検出し、該第1の画像を検出した第1の時刻から該第2の画像を検出した第2の時刻までを前記第1の時間区間とみなして前記曲率及び幅を求めることを特徴とする請求項1記載の道路形状推定装置。
  3. 前記第1のパラメータ推定部は、前記区分線検出部がエッジ情報を検出する度にフレームカウンタの値をインクリメントし、該フレームカウンタの初期値に対応する第1の時刻から該フレームカウンタの値が所定値を超えた第2の時刻までを前記第1の時間区間とみなして前記曲率及び幅を求めることを特徴とする請求項1記載の道路形状推定装置。
  4. 前記第1のパラメータ推定部は、前記道路形状パラメータに含まれる、前記路面を撮影したカメラの横方向オフセット及びヨー角のそれぞれを等速運動又は等加速度運動で表したモデルを用いて、前記曲率及び幅を求めることを特徴とする請求項1記載の道路形状推定装置。
  5. 前記第1のパラメータ推定部は、前記カメラのピッチ角を等速運動、等加速度運動、又は時間に関してより高次の項を含む高次運動で表したモデルを用いて、前記曲率及び幅を求めることを特徴とする請求項4記載の道路形状推定装置。
  6. 請求項1乃至5のいずれか1項に記載の道路形状推定装置と、
    前記道路形状推定装置から出力される道路形状パラメータに基づいて、車両が車線を逸脱したか否かを判定する逸脱判定装置と、
    前記車両が前記車線を逸脱した場合に警報を出力する逸脱警報装置と
    を備えることを特徴とする車線逸脱警報システム。
  7. 請求項1乃至5のいずれか1項に記載の道路形状推定装置と、
    前記道路形状推定装置から出力される道路形状パラメータに基づいて、車両がふらついているか否かを判定するふらつき判定装置と、
    前記車両がふらついている場合に、車線上での走行を維持するように該車両を操舵する車両操舵装置と
    を備えることを特徴とする車両操舵システム。
  8. 第1の時間区間内の1つ以上の時刻における道路の路面を撮影した画像から車線区分線のエッジ情報を検出し、
    前記1つ以上の時刻における画像から検出したエッジ情報に基づいて、前記道路の道路形状パラメータのうちの曲率及び幅を求め、
    第2の時間区間における画像から車線区分線のエッジ情報を検出し、
    得られた曲率及び幅を前記第2の時間区間における曲率及び幅として用い、該第2の時間区間における画像から検出したエッジ情報に基づいて、前記道路形状パラメータのうちの曲率及び幅以外のパラメータを求め、
    前記曲率及び幅を含む前記道路形状パラメータを出力する
    処理をコンピュータに実行させるプログラム。
JP2011264339A 2011-12-02 2011-12-02 道路形状推定装置及びプログラム Active JP5780140B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011264339A JP5780140B2 (ja) 2011-12-02 2011-12-02 道路形状推定装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011264339A JP5780140B2 (ja) 2011-12-02 2011-12-02 道路形状推定装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2013117811A true JP2013117811A (ja) 2013-06-13
JP5780140B2 JP5780140B2 (ja) 2015-09-16

Family

ID=48712352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011264339A Active JP5780140B2 (ja) 2011-12-02 2011-12-02 道路形状推定装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5780140B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090591A (ja) * 2013-11-06 2015-05-11 株式会社パスコ 路面オルソ画像の生成装置および生成方法
KR20160059149A (ko) * 2014-11-18 2016-05-26 한밭대학교 산학협력단 차량 부착 카메라의 영상 정보를 이용한 도로 거리 예측 방법
CN108419441A (zh) * 2016-03-14 2018-08-17 欧姆龙株式会社 路面形状测定装置、测定方法及程序
US10325518B2 (en) 2015-07-30 2019-06-18 Fujitsu Limited Traveling-state display device and traveling-state display method

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0719893A (ja) * 1993-07-05 1995-01-20 Toyota Motor Corp 道路曲率検出装置
JP2001175846A (ja) * 1999-12-17 2001-06-29 Mitsubishi Motors Corp 走行路判別装置
JP2002236912A (ja) * 2001-02-13 2002-08-23 Nissan Motor Co Ltd 道路の仕切線認識装置
JP2002352226A (ja) * 2001-05-25 2002-12-06 Nissan Motor Co Ltd 走行路検出装置
JP2006012191A (ja) * 2005-09-01 2006-01-12 Honda Motor Co Ltd 車両用走行区分線認識装置
JP2006027532A (ja) * 2004-07-20 2006-02-02 Aisin Seiki Co Ltd 車両のレーン走行支援装置
JP2006298196A (ja) * 2005-04-21 2006-11-02 Nissan Motor Co Ltd 運転支援装置
JP2010165142A (ja) * 2009-01-15 2010-07-29 Nissan Motor Co Ltd 車両用道路標示認識装置および車両用道路標示認識方法
JP2011059855A (ja) * 2009-09-08 2011-03-24 Nissan Motor Co Ltd 車両用運転状態検出装置、車両用運転状態検出方法および自動車
JP2011198110A (ja) * 2010-03-19 2011-10-06 Toyota Motor Corp 車両制御装置
JP2011221866A (ja) * 2010-04-12 2011-11-04 Toyota Motor Corp 操舵意図判断装置、及びその方法
JPWO2010140578A1 (ja) * 2009-06-02 2012-11-22 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理用プログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0719893A (ja) * 1993-07-05 1995-01-20 Toyota Motor Corp 道路曲率検出装置
JP2001175846A (ja) * 1999-12-17 2001-06-29 Mitsubishi Motors Corp 走行路判別装置
JP2002236912A (ja) * 2001-02-13 2002-08-23 Nissan Motor Co Ltd 道路の仕切線認識装置
JP2002352226A (ja) * 2001-05-25 2002-12-06 Nissan Motor Co Ltd 走行路検出装置
JP2006027532A (ja) * 2004-07-20 2006-02-02 Aisin Seiki Co Ltd 車両のレーン走行支援装置
JP2006298196A (ja) * 2005-04-21 2006-11-02 Nissan Motor Co Ltd 運転支援装置
JP2006012191A (ja) * 2005-09-01 2006-01-12 Honda Motor Co Ltd 車両用走行区分線認識装置
JP2010165142A (ja) * 2009-01-15 2010-07-29 Nissan Motor Co Ltd 車両用道路標示認識装置および車両用道路標示認識方法
JPWO2010140578A1 (ja) * 2009-06-02 2012-11-22 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理用プログラム
JP2011059855A (ja) * 2009-09-08 2011-03-24 Nissan Motor Co Ltd 車両用運転状態検出装置、車両用運転状態検出方法および自動車
JP2011198110A (ja) * 2010-03-19 2011-10-06 Toyota Motor Corp 車両制御装置
JP2011221866A (ja) * 2010-04-12 2011-11-04 Toyota Motor Corp 操舵意図判断装置、及びその方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090591A (ja) * 2013-11-06 2015-05-11 株式会社パスコ 路面オルソ画像の生成装置および生成方法
KR20160059149A (ko) * 2014-11-18 2016-05-26 한밭대학교 산학협력단 차량 부착 카메라의 영상 정보를 이용한 도로 거리 예측 방법
KR101646495B1 (ko) * 2014-11-18 2016-08-08 한밭대학교 산학협력단 차량 부착 카메라의 영상 정보를 이용한 도로 거리 예측 방법
US10325518B2 (en) 2015-07-30 2019-06-18 Fujitsu Limited Traveling-state display device and traveling-state display method
CN108419441A (zh) * 2016-03-14 2018-08-17 欧姆龙株式会社 路面形状测定装置、测定方法及程序
CN108419441B (zh) * 2016-03-14 2020-06-02 欧姆龙株式会社 路面形状测定装置、测定方法及计算机可读存储介质

Also Published As

Publication number Publication date
JP5780140B2 (ja) 2015-09-16

Similar Documents

Publication Publication Date Title
US8233660B2 (en) System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
JP5089545B2 (ja) 道路境界検出判断装置
JP3937414B2 (ja) 平面検出装置及び検出方法
JP4297501B2 (ja) 移動体周辺監視装置
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
JP4328692B2 (ja) 物体検出装置
EP2757524A1 (en) Depth sensing method and system for autonomous vehicles
CN105931275A (zh) 基于移动端单目和imu融合的稳定运动跟踪方法和装置
JP5023186B2 (ja) 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム
JP5799784B2 (ja) 道路形状推定装置及びプログラム
DE102008026397A1 (de) Radar-, Lidar- und Kamera-unterstützte Verfahren zur Schätzung der Fahrzeugdynamik
JP7328281B2 (ja) ある車両の環境中の標的車両の軌道を予測する方法及びシステム
JP5780140B2 (ja) 道路形状推定装置及びプログラム
JP2011134207A (ja) 運転記録装置および地図作成システム
CN112907678A (zh) 车载相机外参姿态动态估计方法、装置、计算机设备
JPWO2017145541A1 (ja) 移動体
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
KR101549165B1 (ko) 차량 자세 추정 장치 및 차량 자세 추정 방법
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP4270386B2 (ja) 移動体移動量算出装置
JP2006053754A (ja) 平面検出装置及び検出方法
CN113643355B (zh) 一种目标车辆位置和朝向的检测方法、系统及存储介质
JP2016085105A (ja) 移動体の速度推定装置、方法、及びプログラム
Seo Detection and tracking the vanishing point on the horizon
Cario et al. Predictive time-to-lane-crossing estimation for lane departure warning systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R150 Certificate of patent or registration of utility model

Ref document number: 5780140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150