JP2015194397A - 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム - Google Patents

車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム Download PDF

Info

Publication number
JP2015194397A
JP2015194397A JP2014072407A JP2014072407A JP2015194397A JP 2015194397 A JP2015194397 A JP 2015194397A JP 2014072407 A JP2014072407 A JP 2014072407A JP 2014072407 A JP2014072407 A JP 2014072407A JP 2015194397 A JP2015194397 A JP 2015194397A
Authority
JP
Japan
Prior art keywords
vehicle
line segment
map
line segments
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014072407A
Other languages
English (en)
Other versions
JP6278791B2 (ja
Inventor
孝介 原
Kosuke Hara
孝介 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2014072407A priority Critical patent/JP6278791B2/ja
Publication of JP2015194397A publication Critical patent/JP2015194397A/ja
Application granted granted Critical
Publication of JP6278791B2 publication Critical patent/JP6278791B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】低い処理負荷で、自車両の位置を正確に検出できる車両位置検出装置を提供する。【解決手段】車両位置検出装置は、車両(10)に搭載された撮像部(2)により得た画像に写っている道路上の物体の輪郭を表す複数の線分を検出する線特徴抽出部(433)と、各線分を鳥瞰変換する鳥瞰変換部(434)と、鳥瞰変換された各線分の位置を現時刻における車両(10)の予測位置に応じて世界座標系の位置へ変換し、変換された各線分と地図情報に含まれる各地図線分との間で距離及び角度差を算出し、距離及び角度差が所定の許容範囲内となる線分と地図線分の組を求める対応付け部(435)と、求めた組に含まれる線分と地図線分が一致するように更新した予測位置を現時刻における車両(10)の位置とする車両位置更新部(436)とを有する。【選択図】図5

Description

本発明は、車両に搭載されたカメラにより撮影された画像と地図を利用してその車両の位置を検出する車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システムに関する。
従来より、ナビゲーションまたは運転支援のために、Global Positioning System(GPS)信号を利用して、走行中の自車両の位置を検出することが行われている。しかし、車両の近くに、高層建築物など、GPSの測位衛星からの測位信号を遮る構造物が存在する場合、車両において測位信号を受信することが困難となり、自車両の位置を正確に検出できないことがあった。そこで、車載カメラにより撮影された、車両周囲の画像と、事前に準備された地図などの情報とを対応付けることで、自車両の位置の検出精度を向上させる方法が提案されている(例えば、特許文献1〜3及び非特許文献1を参照)。
例えば、特許文献1に記載の位置測位装置は、車両の前方を撮影する撮影手段により撮影した画像の中にある道路標示に基づいて現在位置を特定する。
また、特許文献2に記載された移動体位置測定装置は、地図上の参照地点付近で移動体に搭載された撮像部が撮影して得た画像から抽出した特徴情報と、地図の参照地点付近の画像から抽出した特徴情報とをマッチングして推定した参照地点付近の複数の特徴の位置に応じて移動体の現在位置を推定する。
また、特許文献3に記載された方法は、車両の進行方向の画像データに対してテンプレートマッチングを適用することで、画像内で識別された光学指標に関して車両の位置を決定する。
さらに、非特許文献1に記載された方法は、縁石及び道路標示を表す線分含む地図とステレオカメラにより得られた画像から抽出された特徴点とのマッチングにより、自車両の位置を検出する。
特開2007−108043号公報 特開2012−127896号公報 特開2005−136946号公報
Schreiber他、「LaneLoc: Lane Marking based Localization using Highly Accurate Maps」、Intelligent Vehicles Symposium (IV)、2013 IEEE、IEEE、2013
しかし、特許文献1に記載の装置は、撮影時の環境の影響などにより、道路標示の特徴点の検出が困難な場合、自車両の位置を正確に特定できないおそれがある。特に、特許文献1に記載の装置は、道路標示の端点などを特徴点として抽出し、その特徴点を用いて車両の現在位置を求めるので、道路標示の経年劣化などにより、道路標示の端点がわずかに掠れるだけでも抽出された特徴点の位置がずれてしまい、自車両の位置の検出精度の低下を招いてしまう。
また、特許文献2に記載の装置は、地図の参照地点付近で撮影された画像を自車両の位置の特定に利用するが、参照地点の付近の建物の建て替え、あるいは、撮影時の環境(例えば、天候、撮影時間帯など)によって、同じ場所について撮影された画像であっても、事前登録時に撮影された画像に写っている景色と、自車両位置の検出時に撮影された画像に写っている景色は大きく異なることがある。このような場合、画像間のマッチングに失敗する可能性が高くなり、そのため、自車両の位置を正確に特定できないおそれがある。
さらに、特許文献3に記載の方法は、テンプレートマッチングを利用している。テンプレートマッチングでは、比較対象となる画像とテンプレート間の位置を変えつつ、繰り返しマッチング演算する必要が有るため、自車両の位置の検出に要する演算量が多い。また、非特許文献1に記載の方法では、縁石の検出と道路標示の検出に異なるアルゴリズムが利用されており、それらの検出にステレオ画像を利用するので、演算量が多い。そのためこれらの方法では、自車両の位置の検出に必要なハードウェアリソースが増えてしまうか、あるいは、自車両の位置の検出に時間を要するので、自車両の位置の更新間隔が長くなってしまう。
そこで、本発明は、低い処理負荷で、自車両の位置を正確に検出できる車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システムを提供することを目的とする。
請求項1の記載によれば、本発明の一つの形態として、車両位置検出装置が提供される。この車両位置検出装置は、道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を表す情報を含む地図情報を記憶する記憶部(41)と、現時刻における車両(10)の予測位置を算出する車両位置予測部(432)と、車両(10)に搭載された撮像部(2)が車両(10)の周囲を撮影して得られた画像から、画像に写っている道路上の物体の輪郭を表す複数の線分を検出する線特徴抽出部(433)と、複数の線分のそれぞれを鳥瞰変換して、車両(10)を基準とする座標系での複数の線分のそれぞれの位置を求める鳥瞰変換部(434)と、鳥瞰変換された複数の線分のそれぞれの位置を、予測位置に応じて世界座標系の位置へ変換し、変換された複数の線分のそれぞれと、複数の地図線分のそれぞれとの間で距離及び角度差を算出し、距離及び角度差が所定の許容範囲内となる線分と地図線分の組を少なくとも一つ求める対応付け部(435)と、線分と地図線分の組のそれぞれについて、その組に含まれる線分と地図線分が一致するように、予測位置を更新し、更新された予測位置を現時刻における車両(10)の位置とする車両位置更新部(436)とを有する。
本発明による車両位置検出装置は、上記の構成を有することにより、低い処理負荷で、自車両の位置を正確に検出できる。
また請求項2の記載によれば、地図情報は、複数の地図線分のそれぞれについて、当該地図線分を横切る方向の輝度勾配の向きを表す情報をさらに含むことが好ましい。この場合において、線特徴抽出部(433)は、複数の線分のそれぞれについて、その線分を横切る方向の輝度勾配の向きを求め、対応付け部(435)は、線分についての輝度勾配の向きと地図線分についての輝度勾配の向きが同一のときよりも異なるときの方が角度差が大きくなるように角度差を算出することが好ましい。
このような構成を有することで、車両位置検出装置は、地図線分と線分間の角度差を算出する際に、その地図線分及びその線分を横切る方向の輝度勾配の違いにより、地図線分及び線分が、それぞれ、道路上の物体の何れの側の輪郭を表すかも考慮して、地図線分と線分の対応付けを行うことができるので、より正確に自車両の位置を検出できる。
また請求項3の記載によれば、地図線分を横切る方向の輝度勾配の向きは、地図線分の一方の端点である始点と他方の端点である終点で表され、始点及び終点は、地図線分の始点から終点の方を見たときに、地図線分を横切る所定の方向に沿って輝度が低下するように設定され、かつ、線分を横切る方向の輝度勾配の向きは、線分の一方の端点である始点と他方の端点である終点で表され、始点及び終点は、その線分の始点から終点の方を見たときに、その線分を横切る所定の方向に沿って輝度が低下するように設定され、対応付け部(435)は、地図線分に設定された始点から終点への向きと線分に設定された始点から終点への向きとに応じて角度差を求めることが好ましい。
このような構成を有することで、車両位置検出装置は、地図線分と線分間の角度差を算出する際に、その地図線分及びその線分を横切る方向の輝度勾配の違いを容易に評価できる。
また請求項4の記載によれば、車両位置更新部(436)は、地図線分と線分の組のそれぞれのうち、その組に含まれる地図線分及び線分の少なくとも一方についての輝度勾配の大きさが所定値未満となる組の予測位置の更新への寄与を、その組に含まれる地図線分及び線分の両方とも輝度勾配の大きさが所定値以上となる組の予測位置の更新への寄与よりも小さくすることが好ましい。
このような構成を有することで、車両位置検出装置は、区画線または道路標示の輪郭といった、比較的正確に検出される線分の情報の方が、段差のように、比較的検出精度の低い線分の情報よりも、自車両の位置の更新への寄与を高くできるので、自車両の位置の検出精度を向上できる。
あるいは、請求項5の記載によれば、地図情報は、複数の地図線分のそれぞれについて、地図線分が表す物体の種別を表す情報を含むことが好ましい。この場合において、車両位置更新部(436)は、地図線分と線分の組のそれぞれのうち、その組に含まれる地図線分が表す物体の種別が路面に描画されたマークであることを示す組の予測位置の更新への寄与を、その組に含まれる地図線分が表す物体の種別が路面上の段差であることを示す組の予測位置の更新への寄与よりも大きくすることが好ましい。
このような構成を有することで、車両位置検出装置は、区画線または道路標示の輪郭といった、比較的正確に検出される線分の情報の方が、段差のように、比較的検出精度の低い線分の情報よりも、自車両の位置の更新への寄与を高くできるので、自車両の位置の検出精度を向上できる。
あるいはまた、請求項6の記載によれば、車両位置更新部(436)は、地図線分と線分の組のそれぞれのうち、その組に含まれる線分が車両(10)から遠い組ほど、予測位置の更新への寄与を小さくすることが好ましい。
このような構成を有することで、車両位置検出装置は、自車両から遠く、画像上で小さくしか写らず、その結果として検出された位置に含まれる誤差が相対的に大きくなる可能性の有る線分の情報についての自車両の位置の更新への寄与を抑制できるので、自車両の位置の検出精度を向上できる。
また、請求項7の記載によれば、本発明の他の形態として、車両位置検出方法が提供される。この車両位置検出方法は、現時刻における車両(10)の予測位置を算出するステップと、車両(10)に搭載された撮像部(2)が車両(10)の周囲を撮影して得られた画像から、画像に写っている道路上の物体の輪郭を表す複数の線分を検出するステップと、複数の線分のそれぞれを鳥瞰変換して、車両(10)を基準とする座標系での複数の線分のそれぞれの位置を求めるステップと、鳥瞰変換された複数の線分のそれぞれの位置を、予測位置に応じて世界座標系の位置へ変換し、変換された複数の線分のそれぞれと、地図情報に含まれる、道路上にある物体の輪郭を表す複数の地図線分のそれぞれとの間で距離及び角度差を算出し、距離及び角度差が所定の許容範囲内となる線分と地図線分の組を少なくとも一つ求めるステップと、地図線分と線分の組のそれぞれについて、その組に含まれる線分と地図線分が一致するように、予測位置を更新し、更新された予測位置を現時刻における車両(10)の位置とするステップとを含む。
本発明による車両位置検出方法は、上記のステップを有することにより、低い処理負荷で、自車両の位置を正確に検出できる。
また、請求項8の記載によれば、本発明のさらに他の形態として、車両位置検出用コンピュータプログラムが提供される。このコンピュータプログラムは、現時刻における車両(10)の予測位置を算出するステップと、車両(10)に搭載された撮像部(2)が車両(10)の周囲を撮影して得られた画像から、画像に写っている道路上の物体の輪郭を表す複数の線分を検出するステップと、複数の線分のそれぞれを鳥瞰変換して、車両(10)を基準とする座標系での複数の線分のそれぞれの位置を求めるステップと、鳥瞰変換された複数の線分のそれぞれの位置を、予測位置に応じて世界座標系の位置へ変換し、変換された複数の線分のそれぞれと、地図情報に含まれる、道路上にある物体の輪郭を表す複数の地図線分のそれぞれとの間で距離及び角度差を算出し、距離及び角度差が所定の許容範囲内となる線分と地図線分の組を少なくとも一つ求めるステップと、地図線分と線分の組のそれぞれについて、その組に含まれる線分と地図線分が一致するように、予測位置を更新し、更新された予測位置を現時刻における車両(10)の位置とするステップとを車両(10)に搭載されたプロセッサ(43)に実行させる命令を含む。
本発明による車両位置検出用コンピュータプログラムは、上記の命令を有することにより、低い処理負荷で、自車両の位置を正確に検出できる。
また、請求項9の記載によれば、本発明のさらに他の形態として、車両位置検出システムが提供される。この車両位置検出システムは、車両(10)に搭載され、車両(10)の周囲を撮影して画像を生成する撮像部(2)と、道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を表す情報を含む地図情報を記憶する記憶部(41)と、撮像部(2)から画像を取得する通信部(42)と、制御部(43)とを有する。
制御部(43)は、現時刻における車両(10)の予測位置を算出し、画像から、その画像に写っている道路上の物体の輪郭を表す複数の線分を検出し、複数の線分のそれぞれを鳥瞰変換して、車両(10)を基準とする座標系での複数の線分のそれぞれの位置を求め、鳥瞰変換された複数の線分のそれぞれの位置を、予測位置に応じて世界座標系の位置へ変換し、変換された複数の線分のそれぞれと、複数の地図線分のそれぞれとの間で距離及び角度差を算出し、距離及び角度差が所定の許容範囲内となる線分と地図線分の組を少なくとも一つ求め、地図線分と線分の組のそれぞれについて、その組に含まれる線分と地図線分が一致するように、予測位置を更新し、更新された予測位置を現時刻における車両(10)の位置とする。
本発明による車両位置検出システムは、上記の構成を有することにより、低い処理負荷で、自車両の位置を正確に検出できる。
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
本発明の一つの実施形態に係る車両位置検出システムの概略構成図である。 世界座標系と、車両座標系と、カメラ座標系の関係を示す図である。 地図情報の一例を示す図である。 (a)は、輪郭を表す線分を横切る方向の輝度勾配とその線分に設定される向きの関係の一例を示す図であり、(b)は、白線について設定される各線分の向きの一例を示す図である。 本発明の一つの実施形態に係る車両位置検出システムの制御部の機能ブロック図である。 抽出された線分の一例を示す図である。 抽出された線分を鳥瞰変換することで得られた鳥瞰図の一例である。 地図線分と画像線分の対応付けの一例を示す図である。 車両位置検出処理の動作フローチャートである。
以下、図を参照しつつ、一つの実施形態による、車両位置検出システムについて説明する。
この車両位置検出システムは、車両の周囲を撮影するカメラから取得された画像から、区画線または道路標示などの輪郭に相当する線分を検出し、検出した線分に、その線分を横切る方向の輝度勾配に応じた向きを設定する。そしてこの車両位置検出システムは、各線分を鳥瞰変換したものと、予め記憶された地図に表された区画線または道路標示などの輪郭に相当する線分との対応付けを、線分の向きに応じて行うことで、自車両の現在位置を特定する。
図1は、一つの実施形態による車両位置検出システムの概略構成図である。図1に示すように、車両位置検出システム1は、車両10に搭載され、車載カメラ2と、コントローラ4とを有する。車載カメラ2と、コントローラ4とは、コントロールエリアネットワーク(以下、CANという)3によって互いに接続されている。なお、図1では、説明の都合のため、車両位置検出システム1の各構成要素及び車両10の形状、サイズ及び配置は、実際のものとは異なっている。
車載カメラ2は、撮像部の一例であり、車両の前方領域を撮影し、その前方領域の画像を生成する。そのために、車載カメラ2は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に車両10の前方に存在する地面または構造物などの像を結像する結像光学系を有する。そして車載カメラ2は、例えば、結像光学系の光軸が地面に対して略平行となり、かつ車両10の前方を向くように、車両10の車室内に配置される。そして車載カメラ2は、一定の時間間隔(例えば1/30秒)ごとに撮影し、車両10の前方領域を撮影したカラー画像を生成する。なお、車載カメラ2は、近赤外光に感度を有する2次元検出器を有し、その撮像範囲内の近赤外光の照度に応じたグレー画像を生成してもよい。
図2は、世界座標系と、車両座標系と、カメラ座標系の関係を示す図である。本実施形態では、便宜上、実空間の任意の位置を原点とする世界座標系(Xw, Yw, Zw)と、車両10を原点とする車両座標系(Xv, Yv, Zv)と、車載カメラ2を原点とするカメラ座標系(Xc, Yc, Zc)を利用する。本実施形態では、車両座標系(Xv, Yv, Zv)は、車両10の左右の後輪間の中点かつ地面上の点を原点とする。そして車両の進行方向をZv軸とし、Zv軸と直交し、かつ、地面に平行な方向をXv軸とし、鉛直方向をYv軸とする。また世界座標系(Xw, Yw, Zw)においても、地面に平行な面内にXw軸及びZw軸が設定され、鉛直方向にYw軸が設定される。また、カメラ座標系(Xc, Yc, Zc)では、説明の簡単化のために、車両座標系の原点から鉛直方向に沿って上方かつ車載カメラ2が設置される高さの位置に撮像面の中心があると仮定して、その撮像面の中心を原点とする。そして車両座標系と同様に、車両の進行方向をZc軸とし、Zc軸と直交し、かつ、地面に平行な方向をXc軸とし、鉛直方向をYc軸とする。
なお、実際に車載カメラ2が取り付けられる位置は、車両10の左右の後輪間の中点の上方からずれていることもあるが、このずれは、単純な平行移動によって補正すればよい。
なお、車両位置検出システム1は、撮像部として、車両10の前方領域を撮影するカメラの代わりに、あるいはそのカメラとともに、車両の後方領域を撮影するリアカメラを有していてもよい。
車載カメラ2は、生成した画像を逐次コントローラ4へ送信する。なお、車両の前方領域を撮影する車載カメラと車両の後方領域を撮影する車載カメラが取り付けられている場合、コントローラ4は、車両が進行している方向を撮影する車載カメラからの画像のみを選択的に取得してもよい。そのために、コントローラ4は、CAN3を介して車両10の電子制御ユニット(ECU)11から、シフトレバーのポジションを表すシフトポジション信号を取得する。そしてコントローラ4は、シフトポジション信号が、車両10が前進することを示すドライブポジジョンなどとなっている場合、車両の前方領域を撮影する車載カメラから画像を取得する。一方、コントローラ4は、シフトポジション信号が、車両10が後進することを示すリバースポジションとなっている場合、車両の後方領域を撮影する車載カメラから画像を取得する。
コントローラ4は、車両位置検出装置の一例であり、記憶部41と、通信部42と、制御部43とを有する。記憶部41は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部41は、車両位置検出システム1を制御するための各種プログラム、地図情報、車載カメラ2の地面からの高さ及び光軸方向といった車載カメラの位置情報、結像光学系の焦点距離及び画角といったカメラパラメータなどの各種パラメータ、及び制御部43による一時的な演算結果などを記憶する。また記憶部41は、車載カメラ2の結像光学系による歪曲収差を補正するためのパラメータ、例えば、画素ごとの歪曲収差の補正量(すなわち、歪曲収差を打ち消すための画像上での画素の移動量及び移動方向)を記憶してもよい。
また、通信部42は、車載カメラ2、ECU11及び車輪速センサ(図示せず)などの各種センサとCAN3を通じて通信する通信インターフェース及びその制御回路を有する。
図3は、地図情報の一例を示す図である。地図情報300は、その地図情報で表された領域の位置を表す緯度経度情報と関連付けられている。そして地図情報300は、縁石などによる段差、白線、黄線といった区画線、及び、横断歩道、停止線などの道路標示に関する情報を含む。具体的には、線分301で示されるように、段差、各区画線及び道路表示のそれぞれの輪郭が線分で近似され、各線分の始点の座標or sと終点の座標or e(世界座標系で表される)が地図情報300に含まれる。さらに、各線分には、その線分が表している物体の種別(例えば、段差、白線、黄線、横断歩道など)を表すラベルが関連付けられる。なお、以下では、地図情報に含まれる線分を地図線分と呼ぶ。
区画線などの輪郭を表す各線分には、その線分を横切る方向の輝度勾配に応じた向きが設定される。
図4(a)は、輪郭を表す線分を横切る方向の輝度勾配とその線分に設定される向きの関係の一例を示す図である。図4(a)に示される矢印401〜408は、それぞれ、線分の向きを表し、45°間隔で設定される。矢印401〜408の根元が始点sに対応し、矢印401〜408の先端が終点eに対応する。そして矢印401〜408には、線分の始点sから終点eを見たときの、線分の左右それぞれの相対的な輝度が示されている。この例では、始点sから終点eを見たときに、線分の左から右へ向けて輝度が低下するように、線分の向き、すなわち、線分の始点及び終点が設定される。例えば、矢印401に示されるように、垂直方向(すなわち、Zw軸方向)の線分であり、かつ、右側の輝度よりも左側の輝度の方が高い場合には、始点sよりも終点eの方がZw軸の座標値が大きくなるように、始点s及び終点eが設定される。逆に、矢印405に示されるように、垂直方向(すなわち、Zw軸方向)の線分であり、かつ、左側の輝度よりも右側の輝度の方が高い場合には、始点sよりも終点eの方がZw軸の座標値が小さくなるように、始点s及び終点eが設定される。
図4(b)は、白線について設定される各線分の向きの一例を示す図である。白線410の輪郭は、4個の線分411〜414で表される。各線分の向きは矢印で表される。白線410の輝度は、その周囲の輝度よりも高い。そのため、白線410の右側の輪郭を表す線分411は、図4(a)の矢印408に対応するので、Zw軸の下端に近い方の端点が始点sとなり、Zw軸の上端に近い方の端点が終点eとなっている。逆に、白線410の左側の輪郭を表す線分413は、図4(a)の矢印404に対応するので、Zw軸の下端に近い方の端点が終点eとなり、Zw軸の上端に近い方の端点が始点sとなっている。同様に、矢印412は、図4(a)の矢印406に対応するので、右側の端点が始点sとなり、左側の端点が終点eとなる。また、矢印414は、図4(a)の矢印402に対応するので、左側の端点が始点sとなり、右側の端点が終点eとなる。
このように、線分の向きを参照することで、その線分が区画線などのどちら側の輪郭を表しているかが分かる。
なお、段差またはマンホールの輪郭のように、線分と直交する方向の輝度勾配の大きさが所定値よりも小さい線分については、向きは設定されなくてもよい。この場合には、例えば、線分に向きが設定されていないことを表すフラグが対応付けられる。そしてその線分の両端点の何れが始点であってもよい。
制御部43は、1個もしくは複数個の図示していないプロセッサ及びその周辺回路を有する。そして制御部43は、車両位置検出システム1全体を制御する。
図5に、制御部43の機能ブロック図を示す。図5に示すように、制御部43は、初期値設定部431と、予測位置算出部432と、線特徴抽出部433と、鳥瞰変換部434と、対応付け部435と、車両位置更新部436とを有する。制御部43が有するこれらの各部は、例えば、制御部43が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
初期値設定部431は、本実施形態による自車両の位置の検出を開始する際の自車両の位置の初期値を設定する。例えば、初期値設定部431は、GPSの測位信号が最後に受信できたときのその測位信号から求められる位置を、例えば、ナビゲーションシステムから取得し、その位置に基づいて、自車両の位置の初期値を設定する。
本実施形態では、自車両の位置の初期値は、ガウス分布に従って、次式で表される。
Figure 2015194397
ここで、(xt、zt)は、初期値を算出する時刻をtとしたときの、測位信号などから求められた世界座標系での車両10の位置、すなわち、自車両の位置を表す。またθtは、時刻tにおける、車両10の方位を表す。なお、車両10の方位は、例えば、車両10が有する、車両10の進行方向の方位を測定するセンサ(図示せず)からの信号をCAN3及び通信部42を介して制御部43が受信することにより得られる。あるいは、制御部43は、自車両の位置の検出を開始する直前において異なる時刻に受信したGPSの測位信号から求めた自車両の位置の変化から算出された自車両の方位を、例えば、ナビゲーションシステムから受信してもよい。また、(1)式において、Σtは、共分散行列である。
なお、初期値設定部431により設定される初期値は、本実施形態による自車両の位置の検出精度よりも低い検出精度で得られる値であってもよい。
初期値設定部431により設定された自車両の位置の初期値は、予測位置算出部432に通知される。
予測位置算出部432は、自車両の位置の初期値、あるいは、車両位置更新部436により求められた直前の自車両の位置と、車両10の車輪速に基づいて、現時刻における自車両の予測位置を算出する。
本実施形態では、現時刻tにおける自車両の予測位置は、ガウス分布N(μt|μpt,Σpt)として表される。そこで予測位置算出部432は、次式に従って、現時刻tにおける自車両の位置と方位の平均値μpt=(xpt,zpt,θpt)と共分散行列Σptを算出する。
Figure 2015194397
ここで、N(μt-1t-1t-1)は、時刻(t-1)における、自車両の位置を表す。現時刻tが制御部43が自車両位置の検出を行う最初の時刻である場合、N(xt-1,zt-1t-1t-1t-1)は、初期値設定部431により設定された自車両の位置の初期値である。また、時刻(t-1)において、制御部43が自車両位置を検出している場合、N(xt-1,zt-1t-1t-1t-1)は、時刻(t-1)において、制御部43により検出された自車両位置である。
(2)式において、ut=(vtt)tは、は、車輪速から定められる制御入力を表す。vtは、現時刻tにおける車両10の速度であり、左右の後輪に取り付けられた車輪速センサから通信部42を介して受信した、最新の右後輪の車輪速vR tと左後輪の車輪速vL tの平均値(vR t+vL t)/2として算出される。またωtは、現時刻tにおける車両10の角速度であり、ωt=(vR t-vL t)/2daである。daは、左右の後輪間の距離である。
またΔtは、現時刻tと直前の時刻(t-1)の時間間隔、すなわち、制御部43が自車両位置の検出処理を行う時間間隔である。行列Qtは、後輪車輪速による自車両の位置の予測に含まれる誤差の度合いを表している。行列Qtの各要素σx、σz、σθは、それぞれ、世界座標系におけるXw方向の位置の誤差の標準偏差、Zw方向の位置の誤差の標準偏差、及び方位の誤差の標準偏差に相当し、例えば、σxz=1(m)、σθ=10(°)に設定される。
予測位置算出部432は、μpt及びΣptを記憶部41に記憶する。
線特徴抽出部433は、車載カメラ2が生成した画像のうち、現時刻tに最も近い時刻に生成された画像から線分を抽出する。その際、線特徴抽出部433は、Line Segment Detector(LSD)と呼ばれる検出器を画像に適用することで線分を抽出する。なお、LSDについては、例えば、Rafael Grompone von Gioi他、「LSD: A Fast Line Segment Detector with a False Detection Control」、Pattern Analysis and Machine Intelligence、IEEE Transactions、vo. 32、no. 4、pp.722-732、2010年4月を参照されたい。
なお、線特徴抽出部433は、画像から線分を検出するための他の様々な手法のうちの何れかを車載カメラ2から取得された画像に適用して、線分を抽出してもよい。
また、線特徴抽出部433は、車載カメラ2から取得された画像から線分を抽出する前に、その画像に対して歪曲収差などによる画像の歪みを補正してもよい。
図6は、画像から抽出された線分の一例を示す図である。画像600において、線分601が線特徴抽出部433により抽出された線分である。図6に示されるように、線分601は、区間線の輪郭、道路標示の輪郭あるいは段差などに沿って抽出される。
本実施形態では、車両位置検出システム1は、変更されることが比較的少ない、道路標示といった道路上の情報を利用し、道路脇の建物の建て替えなどにより影響される、路面よりも上方にある情報は利用しない。そこで、線特徴抽出部433は、抽出された線分のうち、線分の両端点の垂直方向の座標値が所定の閾値Th未満となる線分を消去する。ただし、画像上では、左上端画素を原点とし、下方に行くほど垂直方向の座標値は大きくなるものとする。すなわち、線分の両端点の垂直方向の座標値が所定の閾値Thよりも上側に位置する線分が消去される。また本実施形態では、車載カメラ2の光軸が路面と平行となるように車載カメラ2は設置されているので、画像中心を含む水平方向の線が地平線に相当する。そこで所定の閾値Thは、画像中心の高さから所定のオフセット(例えば、5〜10)を減じた値とすることができる。
上記のように、区画線または道路標示の輪郭線などが、線分として抽出される。そのため、抽出された線分を横切る方向に沿って輝度が変化することがある。そこで線特徴抽出部433は、抽出された線分が、輝度の明るい物(白線、黄線、道路標示)のどちら側に隣接する輪郭線であるかが分かるように、例えば、図4(a)に示される矢印401〜408に従って、抽出された線分の向きを設定する。すなわち、線特徴抽出部433は、抽出された線分の両端点の一方を始点とし、他方を終点とする。その際、線特徴抽出部433は、例えば、画像から輝度勾配画像を生成し、線分上の各画素の輝度勾配の方向のメディアン値を算出する。そして線特徴超出部433は、そのメディアン値により、線分の左側及び右側のうちの輝度の高い方を特定すればよい。なお、線分上の各画素についての輝度勾配の大きさの平均値が所定の閾値よりも小さい場合には、線特徴抽出部433は、その線分の両端のうちの何れを始点としてもよい。そして線特徴抽出部433は、その線分に、向きが設定されていないことを表すフラグを関連付ける。
線特徴抽出部433は、抽出された線分の始点と終点の座標を記憶部41に記憶する。
鳥瞰変換部434は、画像から抽出された各線分を、記憶部41に記憶されている地図情報に表された各線分と比較できるように、車両10の周囲の路面が平面であると仮定して、車両座標系にて鳥瞰変換する。例えば、鳥瞰変換部434は、次式に従って各線分の始点と終点を鳥瞰変換する。
Figure 2015194397
ここで(ui mt,vi mt)は、現時刻tに最も近い時刻に撮影された画像から抽出された線分のうちのi番目の線分の始点(m=s)または終点(m=e)についての画像上の水平方向の座標値及び垂直方向の座標値を表す。またbi mt=(bi m,x,t,bi m,z,t)tは、抽出された線分のうちのi番目の線分の始点(m=s)または終点(m=e)が鳥瞰変換された位置の車両座標系での位置を表す。そして(cu,cv)、(fu,fv)は内部パラメータであり、具体的に、(cu,cv)は、車載カメラ2の光軸に対応する画像上の点、すなわち、画像中心の座標である。また(fu,fv)は、水平方向と垂直方向の1画素あたりのサイズの違いを考慮した、車載カメラ2の焦点距離に対応する値である。またycは、路面から車載カメラ2までの高さを表す。
図7は、抽出された線分を鳥瞰変換することで得られた鳥瞰図の一例である。図7に示されるように、鳥瞰図700において、鳥瞰変換された各線分701により、区画線、道路標示などが真上から見た形状で表されていることが分かる。
鳥瞰変換部434は、鳥瞰変換された各線分を、地図情報に含まれる線分との対応付けを容易にするために、所定長の線分に分割する。なお、所定長は、例えば、1m〜2mに設定される。また、鳥瞰変換部434は、分割後の線分の両端点のうち、分割前の線分の始点に近い方の端点を、分割後の線分の始点とし、他方を終点とする。なお、以下では、分割後の各線分の始点をqj st=(qj s,x,t,qj s,z,t)tとし、終点をqj et=(qj e,x,t,qj e,z,t)tとする。また以下では、説明の便宜上、分割後の線分を画像線分と呼ぶ。
鳥瞰変換部434は、各画像線分の始点と終点の座標を記憶部41に記憶する。
対応付け部435は、各画像線分を、地図情報に含まれる複数の地図線分のうち、距離及び角度差が許容範囲内となる地図線分と対応付ける。そこで対応付け部435は、現時刻tの自車両の予測位置、あるいは、自車両の位置の初期値と最も近い緯度経度情報を持つ地図情報を記憶部41から読み込む。
そして対応付け部435は、各画像線分の始点及び終点の座標を、現時刻tの自車両の予測位置から決定される回転並進行列Rvg、tvgを用いて、次式に従って世界座標系の座標に変換する。
Figure 2015194397
ここで、gj st=(gj s,x,t,gj s,z,t)t及びgj et=(gj e,x,t,gj e,z,t)tは、それぞれ、世界座標系で表されたj番目(j=1,2,...,J、Jは画像線分の総数)の線分の始点と終点の座標である。また(4)式に示されるように、回転行列Rvgは、自車両の予測位置として求められた方位θptから求められる。また並進行列tvgは、自車両の予測位置の座標(xpt,zpt)により表される。
対応付け部435は、各画像線分の始点gj stから各地図線分(or s,or e)までの距離ds j,rと、各画像線分の終点gj etから各地図線分(or s,or e)までの距離de j,rを算出する。ただし、or s及びor eは、それぞれ、r番目(r=1,2,...,R、Rは地図線分の総数)の地図線分の始点と終点の座標である。
本実施形態では、対応付け部435は、始点gj stから線分(or s,or e)まで下した垂線の足が線分の始点or sと終点or eの間に位置している場合、その垂線の長さを距離ds j,rとする。一方、その垂線の足が、始点or sと終点or eの間に無い場合には、対応付け部435は、始点or sと終点or eのうち、始点gj stに近い方の端点と始点gj st間の距離を距離ds j,rとする。対応付け部435は、距離de j,rについても同様に算出する。
また、対応付け部435は、各画像線分(gj st, gj et)と各地図線分(or s,or e)間の角度差θj,rも算出する。その際、対応付け部435は、始点から終点までの向きも考慮して角度差θj,rを算出することが好ましい。例えば、角度差を計算する二つの線分が平行であっても、始点と終点の位置関係が互いに逆向きとなっている場合には、対応付け部435は、角度差θj,rを180°とすることが好ましい。ただし、角度差を計算する二つの線分のうち、少なくとも一方の線分について、その線分の向きが設定されていない場合には、対応付け部435は、線分の向きを考慮せずに角度差θj,rを算出する。この場合、例えば、角度差を計算する二つの線分が平行であり、始点と終点の位置関係が互いに逆向きとなっていても、角度差θj,rは0°となる。
対応付け部435は、J個の画像線分(gj st, gj et)から選択された線分とR個の地図線分(or s,or e)から選択された線分の組のうち、距離ds j,r、距離de j,r及び角度差θj,rが下記の許容範囲に含まれる線分の組を選択する。
Figure 2015194397
なお、Cad、Catは、それぞれ、閾値であり、二つの線分が同一の物体の同じ側の輪郭に対応する可能性のある距離及び角度差の上限値に設定される。例えば、Cadは1mに設定され、Catは30°に設定される。
なお、閾値Cad及びCatは、現時刻tにおける、自車両の位置の予測分布を表す共分散Σpに応じて変更されてもよい。例えば、対応付け部435は、共分散Σpが大きいほど、閾値Cad及びCatを大きくしてもよい。このように閾値Cad及びCatを設定することで、自車両の予測位置が不明りょうな場合に選択される線分の組の条件が緩和されるので、対応付け部435は、自車両位置の検出のロバスト性を向上できる。
以下の説明では、(5)式に示された許容範囲に含まれるK個の線分の組のうち、k番目(k=1,2,...,K)の線分の組をφk=(jk,rk)で表す。ただし、jkは、k番目の線分の組に含まれる、画像線分の番号を表し、rkは、k番目の線分の組に含まれる、地図線分の番号を表す。
上記のように、線分の始点及び終点により定められる線分の向きは、その線分と直交する方向の輝度勾配を表している。そのため、本実施形態のように、二つの線分間の角度差θj,rを求め、二つの線分を対応付ける条件として角度差θj,rの範囲を設定することで、区画線または道路標示といった周囲よりも明るい物体の輪郭線である線分同士を対応付ける際に、対応付け部435は、その物体に対して同じ側に位置する線分同士を対応付け、一方、その物体を挟んで異なる側に位置する線分同士を対応付けないようにすることができる。
図8は、画像線分と地図線分の対応付けの一例を示す図である。図8において、地図情報800には、道路標示801の輪郭を表す線分802、803が含まれる。道路標示801は、その周囲よりも明るいので、道路標示801の右端の輪郭を表す線分802については、下側の端点が始点となり、上側の端点が終点となるように向きが設定されている。逆に、道路標示801の内側の輪郭を表す線分803については、線分803の右側の方が左側より明るいため、上側の端点が始点となり、下側の端点が終点となるように向きが設定されている。このように、二つの線分の向きは逆になる。
一方、車載カメラ2により生成された画像810に写っている道路標示801の輪郭を表す線分811、812も線特徴抽出部433によって抽出され、図4(a)に示される規則に従って向きが設定される。そのため、対応付け部435は、道路標示801の同じ輪郭に対応する線分802と線分811、線分803と線分812を対応付けることができる。
車両位置更新部436は、線分の組φk=(jk,rk)の集合に基づいて、各線分の組に含まれる二つの線分が一致するように、現時刻tにおける予測された自車両の位置を更新し、その更新された予測位置を、現時刻tにおける自車両の位置とする。すなわち、更新された予測位置に基づいて生成された(4)式の回転行列及び並進行列を用いて画像線分の各端点の座標を世界座標系の座標値に変換したときに、各線分の組に含まれる線分同士が一致するように、車両位置更新部436は、自車両の予測位置を更新する。
本実施形態では、車両位置更新部436は、Extended Kalman Filterに従って自車両の予測位置を更新する。そのために、車両位置更新部436は、線分の組φk=(jk,rk)のそれぞれについて、次式に従って、画像線分の始点及び終点から対応する地図線分までの距離δk st及びδk etを算出する。
Figure 2015194397
ここで、直線arkxw+brkzw+crk=0は、rk番目の画像線分を表す式である。
車両位置更新部436は、各線分の組について算出された距離δk st及びδk etの集合δst=[δ1 st, δ2 st, ..., δK st]及びδet=[δ1 et, δ2 et, ..., δK et]を、誤差とする。そして車両位置更新部436は、Extended Kalman Filterに従って、この誤差を最小化するように、次式に従って更新された自車両の予測位置、すなわち、現時刻tにおける自車両の位置μt=(xt,ztt)を求める。
Figure 2015194397
行列Htはヤコビ行列である。また観測誤差の程度を表す行列Rtの要素σk(k=1,2,...,K)は、線分の組φkに含まれる地図線分rkについての想定される観測誤差の標準偏差を表す。したがって、行列Rtよりも、自車両の位置の予測分布の共分散の方が小さい場合には、μtの補正量が小さくなり、逆に、行列Rtよりも、自車両の位置の予測分布の共分散の方が大きい場合には、μtの補正量が大きくなる。
σkは、例えば、全て同一の値σcに設定される。この場合、σcは、例えば、1mとすることができる。
あるいは、σkは、観測誤差が小さくなると想定される地図線分ほど、小さな値に設定されてもよい。なお、σkが小さくなるほど、(7)式におけるσkによる拘束条件が厳しくなるので、そのσkに対応する組についての自車両の予測位置の更新への寄与が大きくなる。
例えば、地図線分rkの種別が、白線、黄線あるいは横断歩道などのように、画像から高精度で検出されることが想定される、路面に描画されたマークである場合、σkは相対的に小さな値、例えば、1mに設定される。一方、地図線分rkの種別が、段差、側溝、あるいはマンホールなど、画像から検出される精度が相対的に低いことが想定される種別である場合、σkは相対的に大きな値、例えば、10mに設定される。
あるいは、車両位置更新部436は、線分の組に含まれる画像線分と直交する方向の輝度勾配が大きいほど、σkを小さくしてもよい。この場合、車両位置更新部436は、輝度勾配画像において、画像線分の始点と終点間の間に位置する各画素における、画像線分と直交する方向の輝度勾配の値の平均値を、その画像線分と直交する方向の輝度勾配とすればよい。画像線分と直交する方向の輝度勾配が大きいほど、その画像線分は、地図情報に含まれる何れかの地図線分が表している物体の輪郭と同一の物体の輪郭を表している可能性が高いためである。あるいはまた、車両位置更新部436は、画像線分または地図線分の少なくとも一方について向きが設定されていない線分の組に対応するσkを、画像線分及び地図線分の両方ともに向きが設定されている線分の組に対応するσkよりも大きな値としてもよい。これにより、向きが分かっている線分、すなわち、周囲よりも明るい物体の輪郭を表す線分の方が、向きが分かっていない線分、すなわち、周囲との輝度差が小さい物体の輪郭などを表す線分よりも、自車両の予測位置の更新に対する寄与が大きくなるので、自車両の位置の検出精度が向上する。
あるいはまた、車両位置更新部436は、自車両の位置から遠い画像線分ほど、すなわち、鳥瞰変換される前の画像上で上側に位置する画像線分ほど、対応するσkを大きくしてもよい。これは、自車両の位置から遠い物体ほど、画像上では小さく写るため、観測誤差が大きくなることが想定されるためである。
上記のように、想定される観測誤差に応じてσkの値を変えることで、車両位置更新部436は、自車両の位置をより正確に求めることができる。
図9は、車両位置検出処理の動作フローチャートである。車両位置検出システム1は、例えば、ナビゲーションシステムから、GPSの基づいて自車両の位置が検出可能になったことを通知されるまで、所定の周期ごとに、例えば、車載カメラ2の撮影周期ごとに、以下に示す動作フローチャートに従って自車両の位置を検出する。
予測位置算出部432は、前時刻(t-1)における自車両の位置と車輪速に基づいて、現時刻tにおける自車両の予測位置を算出する(ステップS101)。なお、前時刻(t-1)における自車両の位置は、現時刻tにおいて行われる車両位置検出処理が初回であれば、初期値設定部431により設定された自車両の位置の初期値である。一方、前時刻(t-1)において、既に車両位置検出処理が行われている場合には、前時刻(t-1)において車両位置更新部436により求められた自車両の位置である。
線特徴抽出部433は、車載カメラ2が生成した画像のうち、現時刻tに最も近い時刻に生成された画像から、道路上の線分を抽出する(ステップS102)。そして線特徴抽出部433は、抽出された各線分について、その線分を横切る方向の輝度勾配に応じて線分の向き、すなわち、始点及び終点を設定する(ステップS103)。
鳥瞰変換部434は、各線分の始点及び終点を鳥瞰変換して、各線分の位置を車両座標系の座標で表す(ステップS104)。そして鳥瞰変換部434は、各線分を、所定長の画像線分に分割する(ステップS105)。
対応付け部435は、各画像線分の始点及び終点の座標を、自車両の予測位置に基づいて求められる回転並進行列を用いて、世界座標系の座標に変換する(ステップS106)。そして対応付け部435は、世界座標系で表された各画像線分と各地図線分間の距離と角度差を算出し、その距離と角度差が許容範囲となる画像線分と地図線分の組を求める(ステップS107)。対応付け部435は、角度差を算出する際、着目する画像線分と地図線分のそれぞれの向きを考慮して、向きが逆向きのときの方が角度差が大きくなるように角度差を算出する。そして車両位置更新部436は、その線分の組の集合に基づいて、各線分の組に含まれる画像線分と地図線分が一致するように、自車両の予測位置を更新する(ステップS108)。そして車両位置更新部436は、更新された自車両の予測位置を、現時刻tにおける自車両の位置として検出する。そして制御部43は、車両位置検出処理を終了する。なお、制御部43は、ステップS101の処理と、ステップS102〜S105の処理の順序を入れ替えてもよく、あるいは、並列に実行してもよい。
以上説明してきたように、本発明の一実施形態である車両位置検出システムは、テンプレートマッチングのように、繰り返し試行する処理を伴わずに自車両の位置を検出できる。そのため、この車両位置検出システムは、処理負荷を抑制できる。またこの車両位置検出システムは、区画線または道路標示といった、時間が経過してもあまり変化しないことが想定される物体の輪郭に相当する線分を画像から検出して、地図情報との位置合わせに利用する。そしてこの車両位置検出システムは、画像から検出された画像線分と地図に表された地図線分間の角度差を、位置合わせに用いる画像線分と地図線分の組として採用するか否かの判断基準として利用する。この角度差は、道路上の物体の端点などの特徴点よりも、その物体の一部の損耗により影響され難い。そのため、この車両位置検出システムは、路面の環境変化などに対して高いロバスト性を持って自車両の位置を検出できる。さらに、この車両位置検出システムは、線分を横切る方向の輝度勾配を表す情報も位置合わせに利用するので、その物体の同じ側の輪郭同士を対応付けることができる。そのため、この車両位置検出システムは、自車両の位置を正確に検出できる。
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、地図線分及び線特徴抽出部433が画像から抽出した線分を横切る方向の輝度勾配の向きに関する情報を、その線分の向きで表す代わりに、他の形式で表してもよい。例えば、線分を横切る方向の輝度勾配の向きは、その線分と関連付けられたフラグによって表されてもよい。例えば、その線分を左から右へ、あるいは上から下へ横切る方向に沿って輝度が低下する場合には、そのフラグの値を'0'とし、その線分を右から左へ、あるいは下から上へ横切る方向に沿って輝度が低下する場合には、そのフラグの値を'1'としてもよい。そして対応付け部435は、画像線分と地図線分の対応付けを行う際に、フラグの値が互いに異なる画像線分と地図線分の組の角度差は許容範囲に含まれないと判定してもよい。
上記の実施形態または変形例による車両位置検出システムから出力された自車両の位置は、例えば、CAN3を介して運転支援システムの制御回路(図示せず)へ送信される。運転支援システムの制御回路は、例えば、自車両の位置とその周囲の情報とを比較して、自車両から所定距離範囲内に特定の構造物(例えば、高速道路の料金所、ナビゲーション中の経路において左折または右折が必要な交差点など)が有れば、車内に設置されたディスプレイまたはスピーカを介して、その構造物が近いことをドライバに通知する。あるいは、運転支援システムの制御回路は、ECU11に、速度を落とす命令を出力してもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
1 車両位置検出システム
2 車載カメラ
3 コントロールエリアネットワーク(CAN)
4 コントローラ(車両位置検出装置)
10 車両
11 ECU
41 記憶部
42 通信部
43 制御部
431 初期値設定部
432 予測位置算出部
433 線特徴抽出部
434 鳥瞰変換部
435 対応付け部
436 車両位置更新部

Claims (9)

  1. 道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を表す情報を含む地図情報を記憶する記憶部(41)と、
    現時刻における前記車両(10)の予測位置を算出する車両位置予測部(432)と、
    車両(10)に搭載された撮像部(2)が当該車両(10)の周囲を撮影して得られた画像から、当該画像に写っている道路上の物体の輪郭を表す複数の線分を検出する線特徴抽出部(433)と、
    前記複数の線分のそれぞれを鳥瞰変換して、前記車両(10)を基準とする座標系での前記複数の線分のそれぞれの位置を求める鳥瞰変換部(434)と、
    前記鳥瞰変換された複数の線分のそれぞれの位置を、前記予測位置に応じて世界座標系の位置へ変換し、前記変換された複数の線分のそれぞれと、前記複数の地図線分のそれぞれとの間で距離及び角度差を算出し、該距離及び該角度差が所定の許容範囲内となる前記線分と前記地図線分の組を少なくとも一つ求める対応付け部(435)と、
    前記組のそれぞれについて、当該組に含まれる前記線分と前記地図線分が一致するように、前記予測位置を更新し、該更新された予測位置を現時刻における前記車両(10)の位置とする車両位置更新部(436)と、
    を有することを特徴とする車両位置検出装置。
  2. 前記地図情報は、前記複数の地図線分のそれぞれについて、当該地図線分を横切る方向の輝度勾配の向きを表す情報をさらに含み、
    前記線特徴抽出部(433)は、前記複数の線分のそれぞれについて、当該線分を横切る方向の輝度勾配の向きを求め、
    前記対応付け部(435)は、前記線分についての前記輝度勾配の向きと前記地図線分についての前記輝度勾配の向きが同一のときよりも異なるときの方が前記角度差が大きくなるように前記角度差を算出する、請求項1に記載の車両位置検出装置。
  3. 前記地図線分を横切る方向の輝度勾配の向きは、前記地図線分の一方の端点である始点と他方の端点である終点で表され、前記始点及び前記終点は、前記地図線分の前記始点から前記終点の方を見たときに、当該地図線分を横切る所定の方向に沿って輝度が低下するように設定され、かつ、前記線分を横切る方向の輝度勾配の向きは、前記線分の一方の端点である始点と他方の端点である終点で表され、前記始点及び前記終点は、前記線分の前記始点から前記終点の方を見たときに、当該線分を横切る所定の方向に沿って輝度が低下するように設定され、
    前記対応付け部(435)は、前記地図線分に設定された前記始点から前記終点への向きと前記線分に設定された前記始点から前記終点への向きとに応じて前記角度差を求める、請求項2に記載の車両位置検出装置。
  4. 前記車両位置更新部(436)は、前記組のそれぞれのうち、当該組に含まれる前記地図線分及び前記線分の少なくとも一方についての前記輝度勾配の大きさが所定値未満となる組の前記予測位置の更新への寄与を、当該組に含まれる前記地図線分及び前記線分の両方とも前記輝度勾配の大きさが前記所定値以上となる組の前記予測位置の更新への寄与よりも小さくする、請求項2または3に記載の車両位置検出装置。
  5. 前記地図情報は、前記複数の地図線分のそれぞれについて、当該地図線分が表す物体の種別を表す情報を含み、
    前記車両位置更新部(436)は、前記組のそれぞれのうち、当該組に含まれる前記地図線分が表す前記物体の種別が路面に描画されたマークであることを示す組の前記予測位置の更新への寄与を、当該組に含まれる前記地図線分が表す前記物体の種別が路面上の段差であることを示す組の前記予測位置の更新への寄与よりも大きくする、請求項1〜3の何れか一項に記載の車両位置検出装置。
  6. 前記車両位置更新部(436)は、前記組のそれぞれのうち、当該組に含まれる前記線分が前記車両(10)から遠い組ほど、前記予測位置の更新への寄与を小さくする、請求項1〜3の何れか一項に記載の車両位置検出装置。
  7. 現時刻における前記車両(10)の予測位置を算出するステップと、
    車両(10)に搭載された撮像部(2)が当該車両(10)の周囲を撮影して得られた画像から、当該画像に写っている道路上の物体の輪郭を表す複数の線分を検出するステップと、
    前記複数の線分のそれぞれを鳥瞰変換して、前記車両(10)を基準とする座標系での前記複数の線分のそれぞれの位置を求めるステップと、
    前記鳥瞰変換された複数の線分のそれぞれの位置を、前記予測位置に応じて世界座標系の位置へ変換し、前記変換された複数の線分のそれぞれと、地図情報に含まれる、道路上にある物体の輪郭を表す複数の地図線分のそれぞれとの間で距離及び角度差を算出し、該距離及び該角度差が所定の許容範囲内となる前記線分と前記地図線分の組を少なくとも一つ求めるステップと、
    前記組のそれぞれについて、当該組に含まれる前記線分と前記地図線分が一致するように、前記予測位置を更新し、該更新された予測位置を現時刻における前記車両(10)の位置とするステップと、
    を含むことを特徴とする車両位置検出方法。
  8. 現時刻における前記車両(10)の予測位置を算出するステップと、
    車両(10)に搭載された撮像部(2)が当該車両(10)の周囲を撮影して得られた画像から、当該画像に写っている道路上の物体の輪郭を表す複数の線分を検出するステップと、
    前記複数の線分のそれぞれを鳥瞰変換して、前記車両(10)を基準とする座標系での前記複数の線分のそれぞれの位置を求めるステップと、
    前記鳥瞰変換された複数の線分のそれぞれの位置を、前記予測位置に応じて世界座標系の位置へ変換し、前記変換された複数の線分のそれぞれと、地図情報に含まれる道路上にある物体の輪郭を表す複数の地図線分のそれぞれとの間で距離及び角度差を算出し、該距離及び該角度差が所定の許容範囲内となる前記線分と前記地図線分の組を少なくとも一つ求めるステップと、
    前記組のそれぞれについて、当該組に含まれる前記線分と前記地図線分が一致するように、前記予測位置を更新し、該更新された予測位置を現時刻における前記車両(10)の位置とするステップと、
    を前記車両(10)に搭載されたプロセッサ(43)に実行させる命令を含むことを特徴とする車両位置検出用コンピュータプログラム。
  9. 車両(10)に搭載され、当該車両(10)の周囲を撮影して画像を生成する撮像部(2)と、
    道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を表す情報を含む地図情報を記憶する記憶部(41)と、
    前記撮像部(2)から前記画像を取得する通信部(42)と、
    制御部であって、
    現時刻における前記車両(10)の予測位置を算出し、
    前記画像に写っている道路上の物体の輪郭を表す複数の線分を検出し、
    前記複数の線分のそれぞれを鳥瞰変換して、前記車両(10)を基準とする座標系での前記複数の線分のそれぞれの位置を求め、
    前記鳥瞰変換された複数の線分のそれぞれの位置を、前記予測位置に応じて世界座標系の位置へ変換し、前記変換された複数の線分のそれぞれと、前記複数の地図線分のそれぞれとの間で距離及び角度差を算出し、該距離及び該角度差が所定の許容範囲内となる前記線分と前記地図線分の組を少なくとも一つ求め、
    前記組のそれぞれについて、当該組に含まれる前記線分と前記地図線分が一致するように、前記予測位置を更新し、該更新された予測位置を現時刻における前記車両(10)の位置とする制御部(43)と、
    を有することを特徴とする車両位置検出システム。
JP2014072407A 2014-03-31 2014-03-31 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム Expired - Fee Related JP6278791B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014072407A JP6278791B2 (ja) 2014-03-31 2014-03-31 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014072407A JP6278791B2 (ja) 2014-03-31 2014-03-31 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム

Publications (2)

Publication Number Publication Date
JP2015194397A true JP2015194397A (ja) 2015-11-05
JP6278791B2 JP6278791B2 (ja) 2018-02-14

Family

ID=54433562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014072407A Expired - Fee Related JP6278791B2 (ja) 2014-03-31 2014-03-31 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム

Country Status (1)

Country Link
JP (1) JP6278791B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017181476A (ja) * 2016-03-31 2017-10-05 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2018096935A (ja) * 2016-12-16 2018-06-21 パナソニックIpマネジメント株式会社 自車位置推定装置、プログラム、記録媒体、および自車位置推定方法
EP3480560A1 (en) 2017-11-06 2019-05-08 Toyota Jidosha Kabushiki Kaisha Vehicle localization device
CN110770741A (zh) * 2018-10-31 2020-02-07 深圳市大疆创新科技有限公司 车道线识别方法和装置、车辆
CN110991232A (zh) * 2019-10-28 2020-04-10 纵目科技(上海)股份有限公司 一种车辆位置修正方法及系统、存储介质及终端
CN111402329A (zh) * 2020-03-24 2020-07-10 上海眼控科技股份有限公司 车辆压线检测方法、装置、计算机设备和存储介质
US10788830B2 (en) 2017-07-28 2020-09-29 Qualcomm Incorporated Systems and methods for determining a vehicle position
WO2020076263A3 (en) * 2018-06-20 2021-10-14 Simtek Simulasyon Ve Bilisim Tekn. Egt. Muh. Danis. Tic. Ltd. Sti. A system for providing position determination with high accuracy

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002148064A (ja) * 2000-11-09 2002-05-22 Nissan Motor Co Ltd 現在位置修正装置および方法
JP2012242263A (ja) * 2011-05-20 2012-12-10 Mazda Motor Corp 移動体位置検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002148064A (ja) * 2000-11-09 2002-05-22 Nissan Motor Co Ltd 現在位置修正装置および方法
JP2012242263A (ja) * 2011-05-20 2012-12-10 Mazda Motor Corp 移動体位置検出装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017181476A (ja) * 2016-03-31 2017-10-05 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2018096935A (ja) * 2016-12-16 2018-06-21 パナソニックIpマネジメント株式会社 自車位置推定装置、プログラム、記録媒体、および自車位置推定方法
JP7001985B2 (ja) 2016-12-16 2022-01-20 パナソニックIpマネジメント株式会社 自車位置推定装置、プログラム、記録媒体、および自車位置推定方法
US10788830B2 (en) 2017-07-28 2020-09-29 Qualcomm Incorporated Systems and methods for determining a vehicle position
EP3480560A1 (en) 2017-11-06 2019-05-08 Toyota Jidosha Kabushiki Kaisha Vehicle localization device
US10890453B2 (en) 2017-11-06 2021-01-12 Toyota Jidosha Kabushiki Kaisha Vehicle localization device
WO2020076263A3 (en) * 2018-06-20 2021-10-14 Simtek Simulasyon Ve Bilisim Tekn. Egt. Muh. Danis. Tic. Ltd. Sti. A system for providing position determination with high accuracy
CN110770741A (zh) * 2018-10-31 2020-02-07 深圳市大疆创新科技有限公司 车道线识别方法和装置、车辆
CN110770741B (zh) * 2018-10-31 2024-05-03 深圳市大疆创新科技有限公司 一种车道线识别方法和装置、车辆
CN110991232A (zh) * 2019-10-28 2020-04-10 纵目科技(上海)股份有限公司 一种车辆位置修正方法及系统、存储介质及终端
CN110991232B (zh) * 2019-10-28 2024-02-13 纵目科技(上海)股份有限公司 一种车辆位置修正方法及系统、存储介质及终端
CN111402329A (zh) * 2020-03-24 2020-07-10 上海眼控科技股份有限公司 车辆压线检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP6278791B2 (ja) 2018-02-14

Similar Documents

Publication Publication Date Title
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN111436216B (zh) 用于彩色点云生成的方法和系统
JP4600357B2 (ja) 測位装置
CN105512646B (zh) 一种数据处理方法、装置及终端
JP4871909B2 (ja) 物体認識装置、および物体認識方法
KR101241651B1 (ko) 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치
JP6726932B2 (ja) 走行路メタデータを用いた空中写真/映像におけるコンテキスト・アウェア物体検出
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN108692719B (zh) 物体检测装置
JP5714940B2 (ja) 移動体位置測定装置
TWI534764B (zh) 車輛定位裝置與方法
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
JP6758160B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN110388928B (zh) 导航系统和导航地图的更新方法、装置
JP5278108B2 (ja) 移動体検出システム及び移動体検出方法
CN112424568B (zh) 构建高清地图的系统和方法
CN112446915B (zh) 一种基于图像组的建图方法及装置
JP2012215442A (ja) 自位置特定システム、自位置特定プログラム及び自位置特定方法
US20200193184A1 (en) Image processing device and image processing method
JP6370234B2 (ja) 地図データ生成装置、地図データ生成方法及び地図データ生成用コンピュータプログラムならびに車両位置検出装置
JP2014106739A (ja) 車載画像処理装置
JP2017117105A (ja) 見通し判定装置
KR20220081699A (ko) 캘리브레이션 방법 및 시스템
JP6992344B2 (ja) ランドマーク選定方法及びランドマーク選定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180116

R150 Certificate of patent or registration of utility model

Ref document number: 6278791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees