JP2021120255A - 距離推定装置及び距離推定用コンピュータプログラム - Google Patents

Abstract

【課題】地物と移動物体との間の距離を正しく推定できる距離推定装置を提供する。【解決手段】距離推定装置は、第１及び第２センサを用いて取得された移動物体の周囲の第１及び第２領域内の地物を表す第１及び第２データから、移動物体と右側地物との間の第１及び第２右側距離と、移動物体と左側地物との間の第１及び第２左側距離を算出する第１及び第２距離算出部と、移動物体の現在位置の右側地物と左側地物との間の参照地物間距離を求め、第１右側距離と第１左側距離との和である第１地物間距離と参照距離との差に基づいて推定誤差を求め、参照距離と最も近い、推定誤差で補正された第１右側距離又は第２右側距離と推定誤差で補正された第１左側距離又は第２左側距離との組み合わせごとに得られる右側地物と左側地物との間の地物間距離となる組み合わせの右側及び左側距離を、現在位置における移動物体と右側地物との間の距離及び移動物体と左側地物との間の距離として推定する。【選択図】図３

Description

本発明は、距離推定装置及び距離推定用コンピュータプログラムに関する。

車両の運転支援又は自動運転制御に利用するために、車両の位置を推定することが研究されている。

車両に搭載されたカメラを用いて車両の前方の画像を取得して画像内の車線区画線を認識し、左右の車線区画線に対する車両の位置を求めることにより、道路上における車両の進行方向と直交する横方向の位置を推定することが行われている。

例えば、特許文献１に記載の区画線認識装置は、車両の左側の情報を取得するレーザレンジファンイダと、右側の情報を取得するレーザレンジファインダと、車両の左右に存在する区画線の間隔である車線幅を算出する車線幅算出部と、車両の幅を記憶する記憶部と、車両から左区画線候補までの距離と、車両から右区画線候補までの距離と、車両の幅と、車線幅とに基づき、左区画線位置算出部が検出した左区画線候補および右区画線位置算出部が検出した右区画線候補が、車両の左右の区画線か否かを判断する区画線判定部とを有する。この区画線判定部は、車両の左側にある複数の区画線の何れかと右側にある複数の区画線の何れかとの組み合わせごとに、車両の左右の区画線候補が、車両が走行する車線の区画線であるか否かを判定する。

特開２０１７−５９００３号公報

レーザレンジファイダが車両へ取り付けられる位置（例えば、高さ）及び姿勢はあらかじめ決められており、レーザレンジファイダの光軸方向及び取り付け位置などの設置位置情報と、レーザレンジファイダの測定結果とを用いて、車両から左右区画線候補までの距離が算出される。

しかし、車両に搭乗する人の数、または、トランクに積載される荷物の重さによって、車両の高さまたは姿勢が変化するので、車両に搭載されたセンサの位置又は姿勢は変化し得る。また、レーザレンジファイダなどのセンサが車両へ取り付けられる位置又は姿勢には、取り付け作業に起因して誤差が生じる場合がある。

センサが車両へ搭載される位置又は姿勢が、設置位置情報に対して変化している場合、この設置位置情報を用いて、車両から左右区画線候補までの距離を算出すると、正しい距離を算出できないおそれがある。

そこで、本発明は、移動物体の周囲の地物と移動物体との間の距離を正しく推定できる距離推定装置を提供することを目的とする。

一の実施形態によれば、距離推定装置を提供される。この距離推定装置は、地物の位置を表す位置情報を記憶する記憶部と、移動物体に取り付けられた第１センサを用いて取得された当該移動物体の周囲の第１の所定の領域内の地物を表す第１領域データから、移動物体と、移動物体の右側に位置する右側地物との間の第１右側距離と、移動物体と、移動物体の左側に位置する左側地物との間の第１左側距離とを算出する第１距離算出部と、移動物体に取り付けられた第２センサを用いて取得された当該移動物体の周囲の第２の所定の領域内の地物を表す情報を有する第２領域データから、移動物体と、移動物体の右側に位置する右側地物との間の第２右側距離と、移動物体と、移動物体の左側に位置する左側地物との間の第２左側距離とを算出する第２距離算出部と、移動物体の現在位置を測位する測位部により求められた当該移動物体の現在位置と、記憶部に記憶される地物の位置情報とに基づいて、現在位置における移動物体の右側に位置する右側地物と移動物体の左側に位置する左側地物との間の参照地物間距離を求める地物間距離算出部と、第１右側距離と第１左側距離との和である第１地物間距離と、参照地物間距離との差に基づいて、第１地物間距離の第１推定誤差を求める誤差推定部と、第１推定誤差を用いて、第１右側距離及び第１左側距離を補正する補正部と、補正された第１右側距離又は第２右側距離の何れかと、補正された第１左側距離又は第２左側距離の何れかとの組み合わせごとに得られる、移動物体の右側に位置する右側地物と移動物体の左側に位置する左側地物との間のセンサ地物間距離と参照地物間距離とを比較して、最も参照地物間距離と近いセンサ地物間距離となる組み合わせに含まれる右側距離及び左側距離を、現在位置における移動物体と右側地物との間の距離及び移動物体と左側地物との間の距離として推定する距離推定部と、を有する。

この距離推定装置において、誤差推定部は、過去の一連の第１地物間距離と参照地物間距離との差を予測フィルタに入力して、現時点の第１地物間距離の推定誤差を求めることが好ましい。

また、この距離推定装置において、距離推定部は、過去の推定結果に基づいて、第１右側距離の信頼度、第１左側距離の信頼度、第２右側距離の信頼度及び第２左側距離の信頼度を決定し、第１推定誤差を用いて補正された第１右側距離、又は第２右側距離の何れかと、第１推定誤差を用いて補正された第１左側距離又は第２左側距離の何れかとの組み合わせごとに、当該組み合わせに含まれる右側距離の信頼度及び左側距離の信頼度の和が大きい程且つセンサ地物間距離と参照地物間距離との差が小さい程、大きくなるように評価値を算出し、当該評価値が最大となる組み合わせに含まれる右側距離と左側距離とを、現在位置における移動物体と右側地物との間の距離及び移動物体と左側地物との間の距離として推定することが好ましい。

また、この距離推定装置において、第１センサが第１領域データを取得した時刻と、第２センサが第２領域データを取得した時刻とは一致していることが好ましい。

また、他の実施形態によれば、距離推定用コンピュータプログラムを提供される。この距離推定用コンピュータプログラムは、移動物体に取り付けられた第１センサを用いて取得された当該移動物体の周囲の第１の所定の領域内の地物を表す第１領域データから、移動物体と、移動物体の右側に位置する右側地物との間の第１右側距離と、移動物体と、移動物体の左側に位置する左側地物との間の第１左側距離とを算出し、移動物体に取り付けられた第２センサを用いて取得された当該移動物体の周囲の第２の所定の領域内の地物を表す情報を有する第２領域データから、移動物体と、移動物体の右側に位置する右側地物との間の第２右側距離と、移動物体と、移動物体の左側に位置する左側地物との間の第２左側距離とを算出し、移動物体の現在位置を取得する測位部により求められた当該移動物体の現在位置と、地物の位置情報を記憶する記憶部に記憶される地物の位置情報とに基づいて、現在位置における移動物体の右側に位置する右側地物と移動物体の左側に位置する左側地物との間の参照地物間距離を求め、第１右側距離と第１左側距離との和である第１地物間距離と、参照地物間距離との差に基づいて、第１地物間距離の第１推定誤差を求め、第１推定誤差を用いて、第１右側距離及び第１左側距離を補正し、補正された第１右側距離又は第２右側距離の何れかと、補正された第１左側距離又は第２左側距離の何れかとの組み合わせごとに得られる、移動物体の右側に位置する右側地物と移動物体の左側に位置する左側地物との間のセンサ地物間距離と参照地物間距離とを比較して、最も参照地物間距離と近いセンサ地物間距離となる組み合わせに含まれる右側距離及び左側距離を、現在位置における移動物体と右側地物との間の距離及び移動物体と左側地物との間の距離として推定する、ことをプロセッサに実行させる。

本発明に係る距離推定装置は、移動物体の周囲の地物と移動物体との間の距離を正しく推定できるという効果を奏する。

距離推定装置が実装される車両制御システムの概略構成図である。 距離推定装置の一つの実施形態である電子制御装置のハードウェア構成図である。 距離推定装置を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 第１距離算出部の処理を説明する図である。 第２距離算出部の処理を説明する図である。 第３距離算出部の処理を説明する図である。 誤差推定部の処理を説明する図（その１）である。 誤差推定部の処理を説明する図（その２）である。 距離推定部の処理を説明する図である。 距離推定処理を含む、車両制御システムの動作フローチャート（その１）である。 距離推定処理を含む、車両制御システムの動作フローチャート（その２）である。

以下、図を参照しつつ、距離推定装置について説明する。この距離推定装置は、移動物体に取り付けられたカメラなどの第１センサを用いて取得された移動物体の周囲の第１の所定の領域内の地物を表す第１領域データから、移動物体と、移動物体の右側に位置する右側地物との間の第１右側距離と、移動物体と、移動物体の左側に位置する左側地物との間の第１左側距離とを算出する。また、距離推定装置は、移動物体に取り付けられた第２センサを用いて取得された移動物体の周囲の第２の所定の領域内の地物を表す第２領域データから、移動物体と、移動物体の右側に位置する右側地物との間の第２右側距離と、移動物体と、移動物体の左側に位置する左側地物との間の第２左側距離とを算出する。第１センサと第２センサとは異なっていてもよいし、同じであってもよい。第１センサと第２センサとが同じ場合、距離推定装置は、第２右側距離を第１右側距離とは異なるアルゴリズムを用いて算出することが好ましい。さらに、距離推定装置は、移動物体の現在位置を取得する測位部により求められた移動物体の現在位置と、記憶部に記憶される地物の位置を表す位置情報とに基づいて、現在位置における移動物体の右側に位置する右側地物と移動物体の左側に位置する左側地物との間の参照地物間距離を求める。移動物体の現在位置は、例えば、カメラなどの第１センサを用いて取得された移動物体の周囲の第１の所定の領域内の地物を表す第１領域データの一例である画像が取得された画像取得時刻における移動物体の位置である。また、距離推定装置は、第１右側距離と第１左側距離との和である第１地物間距離と、参照地物間距離との差に基づいて、第１地物間距離の第１推定誤差を求める。距離推定装置は、第１推定誤差を用いて補正された第１右側距離か、又は第２右側距離の何れかと、第１推定誤差を用いて補正された第１左側距離か、又は第２左側距離の何れかとの組み合わせごとに得られる、移動物体の右側に位置する右側地物と移動物体の左側に位置する左側地物との間のセンサ地物間距離と参照地物間距離とを比較して、最も参照地物間距離と近いセンサ地物間距離となる組み合わせに含まれる右側距離及び左側距離を、現在位置における移動物体と右側地物との間の距離及び移動物体と左側地物との間の距離として推定する。これにより、距離推定装置は、例えば、カメラなどのセンサの移動物体への取り付け位置又は姿勢に誤差が生じた場合でも、センサの位置又は姿勢の誤差を補正して、移動物体が走行している車線の左右の車線区画線などの地物と移動物体との間の距離を正しく推定できる。

以下では、距離推定装置を、車両制御システムに適用した例について説明する。この例では、距離推定装置は、車両に取り付けられたカメラなどのセンサを用いて取得された領域データ（例えば、画像）に基づいて、距離推定処理を実行することで、車両が走行している車線において、車両と右側地物との間の右側距離及び車両と左側地物との間の左側距離を推定する。そして、距離推定装置は、推定された車両と左側距離及び右側距離に基づいて車線内の車両の位置を推定し、その推定された位置に基づいて車両の運転計画を生成して、車両の運転制御に利用する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

図１は、距離推定装置が実装される車両制御システムの概略構成図である。また、図２は、距離推定装置の一つの実施形態である電子制御装置のハードウェア構成図である。

本実施形態では、車両１０に搭載され、且つ、車両１０を制御する車両制御システム１は、車両の前方の画像を撮影する第１カメラ２を有する。また、車両制御システム１は、車両１０の前後左右の画像を取得する第２カメラ４ａ〜４ｄと、第２カメラ４ａ〜４ｄで撮影した画像を処理するカメラ画像処理御装置４ｅを有する。また、車両制御システム１は、測位情報受信機５と、所定の領域の広域地図情報を記憶しており、測位情報受信機５が出力する測位情報に基づいて、測位情報により表される現在位置を含む領域の地図情報を出力する地図情報記憶装置６を有する。さらに、車両制御システム１は、距離推定装置の一例である電子制御装置（ＥＣＵ）７を有する。また、車両１０は、無線通信装置（図示せず）を有しており、この無線通信装置を介した無線通信により、基地局を介して外部のサーバと通信可能である。

第１カメラ２と、第２カメラ４ａ〜４ｄと、カメラＥＣＵ４ｅと、地図情報記憶装置６と、ＥＣＵ７とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク８を介して通信可能に接続される。

第１カメラ２は、所定の周期で設定される画像情報取得時刻において、車両１０の前方の所定の領域内の地物の位置を表す情報を有する領域データの一例である、車両の前方の領域の第１画像を生成する。生成された第１画像には、車両１０の前方の所定の領域内に含まれる路面上の車線区画線などの地物が表わされる。第１カメラ２により生成された第１画像は、カラー画像であってもよく、又は、グレー画像であってもよい。第１カメラ２は、撮像部の一例であり、ＣＣＤあるいはＣ−ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そして第１カメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。

第１カメラ２は、第１画像を生成する度に、第１画像及び第１画像を取得した画像情報取得時刻を、車内ネットワーク８を介してＥＣＵ７へ出力する。第１画像は、ＥＣＵ７において、距離推定処理および車両の位置を推定する処理と、車両１０の周囲の物体を検出する処理に使用される。

第２カメラ４ａ〜４ｄは、第１カメラ２と同じ所定の周期かつ同じ時刻で設定される画像情報取得時刻において、車両１０の前方、左側方、後方、右側方の所定の領域内の地物の位置を表す情報を有する領域データ一例である第２画像を生成して、カメラ画像処理御装置４ｅへ出力する。第２カメラ４ａ〜４ｄは、撮像部の一例であり、ＣＣＤあるいはＣ−ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そして第２カメラ４ａ〜４ｄは、車両１０の前方、左側方、後方、右側方を向くように、例えば、車両１０の前後左右に取り付けられる。第２カメラ４ａ〜４ｄにより得られた画像は、カラー画像であってもよく、又は、グレー画像であってもよい。

カメラ画像処理御装置４ｅは、プロセッサ（図示せず）を有する。このプロセッサは、第２カメラ４ａ〜４ｄが生成した画像を合成して、車両１０の周囲が写った合成画像を生成する。また、カメラ画像処理御装置４ｅのプロセッサは、第２カメラ４ｂ、４ｄが生成した左右の画像を含む第２カメラ情報を生成する。カメラ画像処理御装置４ｅのプロセッサは、第２カメラ情報を生成する度に、第２カメラ情報及び第２カメラ情報を取得した画像情報取得時刻を、合成画像と共に、車内ネットワーク８を介してＥＣＵ７へ出力する。第２カメラ情報は、ＥＣＵ７において、距離推定処理に使用される。車両１０の周囲が写った合成画像は、ＥＣＵ７において、車両１０の周囲の他の物体との相対的な位置関係を求める処理に使用される。

測位情報受信機５は、車両１０の現在位置を表す測位情報を取得する。例えば、測位情報受信機５は、ＧＰＳ受信機とすることができる。そして測位情報受信機５は、所定の受信周期で測位情報を取得する度に、測位情報及び測位情報を取得した測位情報取得時刻を、地図情報記憶装置６へ出力する。

地図情報記憶装置６は、プロセッサ（図示せず）と、磁気ディスクドライブ又は不揮発性の半導体メモリなどの記憶装置（図示せず）とを有しており、この記憶装置は、車両１０の現在位置を含む広い範囲（例えば数ｋｍ四方の範囲）の広域地図情報を記憶する。この広域地図情報は、道路上の車線区画線などの地物、構造物の種類及び位置を表す情報を含む高精度地図情報であることが好ましい。なお、道路上の地物、構造物の位置は、例えば、実空間における所定の基準位置を原点とする世界座標系で表される。地図情報記憶装置６のプロセッサは、車両１０の現在位置に応じて、無線通信装置を介した無線通信により、基地局を介して外部のサーバから広域地図情報を受信して記憶装置に記憶する。地図情報記憶装置６のプロセッサは、測位情報受信機５から測位情報を入力する度に、記憶部に記憶している広域地図情報を参照して、測位情報により表される現在位置を含む狭い領域（例えば、数十〜数百ｍ四方の範囲）の地図情報及び測位情報を取得した時刻を、車内ネットワーク８を介してＥＣＵ７へ出力する。地図情報記憶装置６は、地物の位置情報を記憶する記憶部の一例である。

ＥＣＵ７は、車両１０を制御する。本実施形態では、ＥＣＵ７は、第１カメラ２が出力する第１画像などに基づいて、車両１０と右側地物との間の右側距離及び車両と左側地物との間の左側距離を決定する。そして、ＥＣＵ７は、右側距離及び左側距離に基づいて車線内の車両の位置を推定して、車両１０を自動運転するように車両１０を制御する。そのために、ＥＣＵ７は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ７を車内ネットワーク８に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク８を介して、第１カメラ２及び地図情報記憶装置６などと接続される。そして通信インターフェース２１は、例えば、第１カメラ２から第１画像などの情報を受信する度に、受信した情報をプロセッサ２３へわたす。また通信インターフェース２１は、地図情報記憶装置６から測位情報、測位情報取得時刻及び地図情報を受信する度に、受信した測位情報、測位情報取得時刻及び地図情報をプロセッサ２３へわたす。また通信インターフェース２１は、図示しない車両速度センサ及びヨーレートセンサから受信した車両速度及びヨーレートを、プロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ７のプロセッサ２３により実行される距離推定処理において使用される各種のデータ、例えば、各カメラの光軸方向及び取り付け位置などの設置位置情報、結像光学系の焦点距離及び画角といった内部パラメータなどを記憶する。また、メモリ２２は、第１カメラ２などから受信した第１画像などの情報、地図情報記憶装置６から受信した測位情報、測位情報を取得した時刻及び地図情報などを記憶する。

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。プロセッサ２３が複数個のＣＰＵを有する場合、ＣＰＵごとにメモリを有していてもよい。そしてプロセッサ２３は、第１画像又は第２カメラ情報を入力する度に、車両と右側地物との間の右側距離及び車両と左側地物との間の左側距離を推定する距離推定処理を実行する。プロセッサ２３は、推定された左側距離及び右側距離に基づいて、画像情報取得時刻における車線内の車両の位置を推定する。また、プロセッサ２３は、画像情報取得時刻よりも短い所定の周期で設定される位置決定時刻において、直前の画像情報取得時刻における車両１０の位置と、車両速度及びヨーレートに基づいて、位置決定時刻における車両１０の位置を推定する。さらに、プロセッサ２３は、推定された車両１０の位置と、車両１０の周囲の他の物体との相対的な位置関係に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、距離推定処理を含む車両制御処理に関する、ＥＣＵ７のプロセッサ２３の機能ブロック図である。プロセッサ２３は、第１距離算出部３１ａと、第２距離算出部３１ｂと、第３距離算出部３１ｃと、地物距離間算出部３２と、誤差推定部３３と、補正部３４と、距離推定部３５と、位置推定部３６と、物体検出部３７と、運転計画部３８と、車両制御部３９とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、第１〜４距離算出部３１ａ〜３１ｄ、地物間距離算出部３２、誤差推定部３３及び距離推定部３５が、距離推定処理を実行する。

第１距離算出部３１ａは、第１画像から、車両１０と、車両１０の右側に位置する右側車線区画線との間の第１右側距離と、車両１０と、車両１０の左側に位置する左側車線区画線との間の第１左側距離とを算出する。第１距離算出部３１ａは、まず、第１画像から、地物の一例である車線区画線を表す複数の候補点を検出する。第１距離算出部３１ａは、第１画像に対して設定された所定の照合範囲内において、複数の候補点を検出してもよい。第１距離算出部３１ａは、例えば、第１画像に対してＳｏｂｅｌフィルタといったエッジ検出フィルタを適用してエッジとなる画素を検出し、かつ、検出された画素の中で所定のしきい値以上の輝度を有する画素を候補点として検出する。また、第１距離算出部３１ａは、例えば、画像を識別器に入力することで画像内の候補点を検出してもよい。識別器として、例えば、入力された画像から、その画像内の車線区画線を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。第１距離算出部３１ａは、第１画像内で車線区画線として識別された領域内の画素を候補点として検出する。候補点の位置情報は、例えば、第１画像の左上の隅の位置を原点として、右方に伸びるｘｉ軸と、下方に伸びるｙｉ軸とを有する画像座標系で表すことができる。

第１距離算出部３１ａは、画像座標系で表された候補点の座標を、車両１０に原点を有する車両座標系で表す。車両座標系は、例えば、車両１０の左右の後輪の間の中点かつ地面上の点を原点として、車両１０の進行方向をｚｖ軸とし、ｚｖ軸と直交し、かつ、地面に平行な方向をｘｖ軸とし、鉛直方向をｙｖ軸とする。まず、第１距離算出部３１ａは、画像座標系で表された候補点の座標に対して、第１カメラ２の設置位置情報及び内部パラメータなどの情報を用いて視点変換処理を実行することで、候補点の座標をカメラ座標系で表わす。カメラ座標系では、撮像面の中心を原点として、車両１０の進行方向をｚｃ軸とし、ｚｃ軸と直交し、かつ、地面に平行な方向をｘｃ軸とし、鉛直方向をｙｃ軸とする。第１カメラ２により撮影された地面上の車線区画線を表す候補点は、ｙｃ座標が一定である地面上に位置すると仮定される。そして、第１距離算出部３１ａは、候補点の座標を、画像座標系から車両座標系へ変換する。画像座標系から車両座標系への変換式は、座標系間の回転を表す回転行列と座標系間の平行移動を表す並進ベクトルの組み合わせで表される。第１距離算出部３１ａは、車両座標系で表された候補点の座標を、第１画像が取得された画像情報取得時刻と共に、第２距離算出部３１ｂへ通知する。

図４は、車両座標系で表した候補点４０２Ｒ、４０２Ｌを含む第１画像４００を示す。第１距離算出部３１ａは、第１画像４００を、車両座標系のｚｖ軸の撮像面への射影成分となる中心線４００ｃにより右側領域４０１Ｒと左側領域４０１Ｌとに分割する。右側領域４０１Ｒは、複数の候補点４０２Ｒを含む右側候補点群４０３Ｒを有する。また、左側領域４０１Ｌは、複数の候補点４０２Ｌを含む左側候補点群４０３Ｌを有する。

このように、第１画像の車線区画線を候補点群として検出した場合、第１画像から道路の分岐及び合流等の複雑な形状に対応する車線区画線を検出できることが期待される。

第１距離算出部３１ａは、位置推定部３６から通知された前回の位置決定時刻における車両１０の位置と、前回の位置決定時刻と画像情報取得時刻との間の車両１０の移動量及び移動方向とに基づいて、画像情報取得時刻における車両１０の位置及び進行方向を推定する。ここで、第１距離算出部３１ａは、前回の位置決定時刻と画像情報取得時刻との間の車両１０の移動量及び移動方向を、その間に通知された車両速度及びヨーレートに基づいて算出する。第１距離算出部３１ａは、車両１０の車両速度を積分して、前回の位置決定時刻と画像情報取得時刻との間の車両１０の移動量を求め、車両１０のヨーレートを積分して、位置決定時刻と画像情報取得時刻との間の車両１０の方位角変化量である移動方向を求める。第１距離算出部３１ａは、第１カメラ２の設置位置情報及び内部パラメータなどの情報と、推定された車両１０の位置及び移動方向とを用いて、画像情報取得時刻における第１カメラ２の仮定位置及び仮定姿勢を推定する。また、第１距離算出部３１ａは、画像情報取得時刻を、地物間距離算出部３２へ通知する。

そして、第１距離算出部３１ａは、右側候補点群を用いて、車両１０と、車両１０の右側に位置する右側車線区画線との間の第１右側距離を算出する。まず、第１距離算出部３１ａは、画像情報取得の車両１０の仮定位置を含む所定の領域の地図情報を車両座標系で表す。そして、第１距離算出部３１ａは、右側候補点群を、地図情報により表される地図上に投影して、地図に表された車両１０の周囲の車線区画線と右側候補点群との一致度合を算出する。第１距離算出部３１ａは、例えば、車線区画線の周辺に含まれる右側候補点群に含まれる候補点の数（インライア数）を、一致度合いとして算出してもよい。第１距離算出部３１ａは、仮定位置及び仮定姿勢を所定量ずつ変化させながら、上記と同様の右側候補点群の画像座系から車両座標系への位置変換、右側候補点群の一致度合の算出の各処理を実行することで、複数の仮定位置及び仮定姿勢のそれぞれについて、地図情報に表された車両１０の周囲の車線区画線と右側候補点群との一致度合を算出する。第１距離算出部３１ａは、一致度合が最大となるときの仮定位置及び仮定姿勢を特定し、その第１カメラ２の仮定位置及び仮定姿勢に基づいて、第１カメラ２が画像を撮影した画像情報取得時刻における車両１０の位置及び進行方向を推定する。第１距離算出部３１ａは、車両１０の位置と、地図上の右側車線区画線の位置とに基づいて、画像情報取得時刻における車両１０の位置と、右側車線区画線との間の第１右側距離を算出する。第１距離算出部３１ａは、車両１０の位置を、車両１０の進行方向と直交する方向である横方向の中心でありかつ車両１０の進行方向の中心の位置として求めてもよい。第１右側距離は、車両１０の進行方向と直交する横方向において、車両１０の位置と、右側車線区画線との間の距離となる。

同様にして、第１距離算出部３１ａは、第１画像の左側の領域に生成された左側候補点群を用いて、車両１０と、車両１０の左側に位置する左側車線区画線との間の第１左側距離を算出する。第１左側距離は、車両１０の進行方向と直交する横方向において、車両１０の位置と、左側車線区画線との間の距離となる。第１距離算出部３１ａは、第１右側距離及び第１左側距離を、第１画像が取得された画像情報取得時刻と共に、誤差推定部３３及び距離推定部３５へ通知する。第１距離算出部３１ａは、第１画像が取得された画像情報取得時刻における車両１０の進行方向を、距離推定部３５へ通知してもよい。

第２距離算出部３１ｂは、第１距離算出部３１ａとは異なるアルゴリズムを用いて、画像情報取得時刻における第１画像から、車両１０と、車両１０の右側に位置する右側車線区画線との間の第２右側距離と、車両１０と、車両１０の左側に位置する左側車線区画線との間の第２左側距離とを算出する。第２距離算出部３１ｂは、第１距離算出部３１ａから通知された候補点の中で、第１画像の右側の領域に検出された候補点群に基づいて、右側検出線を生成する。また、第２距離算出部３１ｂは、第１距離算出部３１ａから通知された候補点の中で、第１画像の左側の領域に検出された候補点群に基づいて、左側検出線を生成する。図５は、右側検出線及び左側検出線を示す図である。図５は、車両座標系で表した候補点５０２Ｒ、５０２Ｌを含む第１画像５００を示す。第１画像５００は、車両座標系のｚｖ軸の撮像面への射影成分となる中心線５００ｃにより右側領域５０１Ｒと左側領域５０１Ｌとに分割される。第２距離算出部３１ｂは、右側領域５０１Ｒに位置する候補点５０２Ｒを含む候補点群に対して、例えば、ハフ変換を適用して、右側検出線５０３Ｒを生成する。また、第２距離算出部３１ｂは、左側領域５０１Ｌに位置する候補点５０２Ｌを含む候補点群に対して、例えば、ハフ変換を適用して、左側検出線５０３Ｌを生成する。

第２距離算出部３１ｂのように、第１画像の車線区画線を検出線として検出した場合、車線区画線以外のものを車線区画線として検出することが抑制される。一方、第１距離算出部３１ａのように、第１画像の車線区画線を候補点群として検出した場合、点状のノイズが候補点として検出され得るので車線区画線以外のものを車線区画線として検出するおそれがある。なお、第１画像から車線区画線を検出線として検出することは、第１画像から車線区画線を候補点群として検出することと比べて、道路の分岐及び合流等の複雑な形状を検出する精度が劣る場合がある。そこで、ＥＣＵ７は、車線区画線を候補点群として検出する第１距離算出部３１ａと、車線区画線を検出線として検出する第２距離算出部３１ｂとを利用することにより、それぞれの長所を利用して車線区画線などの地物を検出する。

そして、第２距離算出部３１ｂは、右側検出線５０３Ｒを用いて、車両１０と、車両１０の右側に位置する右側車線区画線との間の第２右側距離を算出する。第２距離算出部３１ｂは、車両１０の中心線と右側車線区画線との間に配置される第１画像５００上の画素数に基づいて第２右側距離を算出する。同様にして、第２距離算出部３１ｂは、左側検出線５０３Ｌを用いて、車両１０と、車両１０の左側に位置する左側車線区画線との間の第２左側距離を算出する。第２距離算出部３１ｂは、第２右側距離及び第２左側距離を、第１画像が取得された画像情報取得時刻と共に、誤差推定部３３及び距離推定部３５へ通知する。なお、第２距離算出部３１ｂは、第１距離算出部３１ａが第１右側距離及び第１左右側距離を算出したのと同様の処理に基づいて、右側検出線５０３Ｒ及び左側検出線５０３Ｌのそれぞれと、地図情報に表された車両１０の周囲の車線区画線との一致度合を算出して、第２右側距離及び第２左側距離を算出してもよい。

第３距離算出部３１ｃは、第２カメラ情報に基づいて、第３右側距離及び第３左側距離を算出する。第３距離算出部３１ｃは、第２カメラ情報の第２カメラ４ｄが生成した画像（以下、第３画像Ａともいう）に基づいて、第３右側距離を算出する。図６（Ａ）は、車両座標系で表した候補点６０２Ｒを含む第３画像６００Ａを示す。第３画像６００Ａは、車両座標系のｚｖ軸の撮像面への射影成分となる中心線６００ｃより右側領域６０１Ｒを含む。右側領域６０１Ｒは、複数の候補点６０２Ｒを含む右側候補点群６０３Ｒを有する。第３距離算出部３１ｃは、第１距離算出部３１ａが第１右側距離を算出したのと同様の処理に基づいて、第３右側距離を算出してもよい。第３右側距離は、第１右側距離が算出されるのに用いられた第１カメラ２とは異なるセンサであり且つ取り付け位置が異なる第２カメラ４ｄが生成した画像に基づいて算出される。また、第３距離算出部３１ｃは、第２カメラ情報の第２カメラ４ｂが生成した画像（以下、第３画像Ｂともいう）に基づいて、第３左側距離を算出する。図６（Ｂ）は、車両座標系で表した候補点６０２Ｌを含む第３画像６００Ｂを示す。第３画像６００Ｂは、車両座標系のｚｖ軸の撮像面への射影成分となる中心線６００ｃより左側領域６０１Ｌを含む。左側領域６０１Ｌは、複数の候補点６０２Ｌを含む左側候補点群６０３Ｌを有する。第３距離算出部３１ｃは、第１距離算出部３１ａが第１左側距離を算出したのと同様の処理に基づいて、第３左側距離を算出してもよい。第３左側距離は、第１左側距離が算出されるのに用いられた第１カメラ２とは異なるセンサであり且つ取り付け位置が異なる第２カメラ４ｂが生成した画像に基づいて算出される。第３距離算出部３１ｃは、第３右側距離及び第３左側距離を、第２カメラ画像が取得された画像情報取得時刻と共に、誤差推定部３３及び距離推定部３５へ通知する。

ＥＣＵ７は、上述した第１距離算出部３１ａ及び第１距離算出部３１ａとは異なるアルゴリズムを用いる第２距離算出部３１ｂと共に、異なるセンサの測定結果及び異なるアルゴリズムを用いて距離を算出する第３距離算出部３１ｃを使用して、車両１０と右側車線区画線及び左側車線区画線のそれぞれとの間の距離を算出する。ＥＣＵ７は、第１距離算出部３１ａ〜第３距離算出部３１ｃが算出した右側距離の何れかと、左側距離の何れかとの組み合わせごとに、右側車線区画線と左側車線区画線との間のセンサ地物間距離を求める。ＥＣＵ７は、後述するように、参照地物間距離と最も近いセンサ地物間距離を持つ、右側距離と左側距離との組み合わせを選択する。これにより、最も正確な右側距離及び左側距離との組み合わせを推定できることが期待される。

地物間距離算出部３２は、測位情報受信機５により求められた測位情報と、地図情報記憶装置６から入力した地図情報とに基づいて、第１距離算出部３１ａから通知された画像情報取得時刻における車両１０の右側に位置する右側車線区画線と車両１０の左側に位置する左側車線区画線との間の距離である参照地物間距離を算出する。地物間距離算出部３２は、第１距離算出部３１ａから通知された画像情報取得時刻における車両１０の位置を、測位情報受信機５により求められた測位情報に基づいて推定する。地物間距離算出部３２は、画像情報取得時刻と一致する時刻に取得された測位情報がある場合、この画像情報取得時刻と一致する時刻に取得された測位情報を用いて、画像情報取得時刻における車両１０の位置を推定する。一方、地物間距離算出部３２は、画像情報取得時刻と一致する時刻に取得された測位情報がない場合、画像情報取得時刻の前後の時刻に取得された測位情報を用いて、画像情報取得時刻における車両１０の位置を推定する。地物間距離算出部３２は、画像情報取得時刻における車両１０の位置と、地図情報とを用いて、画像情報取得時刻における車両１０が走行する車線を特定し、特定された車線を区画する隣接する二つの車線区画線間の距離を、参照地物間距離として求める。地物間距離算出部３２は、隣接する二つの車線区画線のそれぞれと直交する直線が、これらの車線区画線と交差する交差点間の距離を、参照地物間距離として求めてもよい。地物間距離算出部３２は、参照地物間距離を誤差推定部３３及び距離推定部３５へ通知する。また、地物間距離算出部３２は、測位情報に基づいて推定した画像情報取得時刻における車両１０の位置を、位置推定部３６へ通知する。

誤差推定部３３は、第１距離算出部３１ａから通知された第１右側距離と第１左側距離との和である第１地物間距離と、参照地物間距離との差に基づいて、第１地物間距離の第１推定誤差を求める。また、誤差推定部３３は、第２距離算出部３１ｂから通知された第２右側距離と第２左側距離との和である第２地物間距離と、参照地物間距離との差に基づいて、第２地物間距離の第２推定誤差を求める。さらに、誤差推定部３３は、第３距離算出部３１ｃから通知された第３右側距離と第３左側距離との和である第３地物間距離と、参照地物間距離との差に基づいて、第３地物間距離の第３推定誤差を求める。

第１カメラ２などのセンサが車両１０へ取り付けられる位置又は姿勢には、取り付けられる位置（例えば、高さ）及び姿勢はあらかじめ決められている。しかし、センサが車両１０に取り付けられる作業に起因して取り付け位置又は姿勢に誤差が生じる場合がある。また、車両１０に搭乗する人の数、または、トランクなどに積載される荷物の重さによって、車両１０の高さまたは姿勢が変化するので、車両１０に搭載されたセンサの位置又は姿勢は変化し得る。その結果、センサが車両１０へ取り付けられる位置又は姿勢は、センサの設置位置情報に対して変化していることがある。

例えば、第１カメラ２の車両１０へ取り付けられる高さに誤差がある場合、第１カメラ２が撮影した画像に基づいて算出される隣接する２つの車線区画線の間隔に誤差が生じることを、図７を参照しながら、以下に説明する。

第１カメラ２が車両１０へ取り付けられる高さは、設計上Ｙであり、第１カメラ２が撮影した画像上の消失点の座標は、画像座標系において（ｕ_０、ｖ_０）とする。画像上の画素の位置は、画像座標系における座標で表される。また、画像上で車両１０が走行する車線を区画する２つの車線区画線の間隔Δｘｉは、Ｙｉ軸上の位置に応じて変化するので、Δｕ（ｖ）で表す。

隣接する２つの車線区画線の間隔をＷｏｂｓ１は、以下の式（１）で表される。

Ｗｏｂｓ１＝Δｕ（ｖ）・Ｙ／（ｖ−ｖ_０） （１）

ここで、第１カメラ２が車両１０へ取り付けられる高さに誤差ΔＹが生じた場合、隣接する２つの車線区画線の間隔をＷｏｂｓ２は、以下の式（２）で表される。

Ｗｏｂｓ２＝Δｕ（ｖ）・（Ｙ＋ΔＹ）／（ｖ−ｖ_０） （２）

第１カメラ２が車両１０へ取り付けられる高さに誤差ΔＹが生じたことによる隣接する２つの車線区画線の間隔の誤差は、以下の式（３）で表される。

Δｅ＝Ｗｏｂｓ２−Ｗｏｂｓ１＝Δｕ（ｖ）・Ｙ／（ｖ−ｖ_０） （３）

このように、第１カメラ２が車両１０へ取り付けられる高さＹに一定の誤差ΔＹが生じた場合、隣接する２つの車線区画線の算出される間隔に対しても一定の誤差Δｅが生じる。同様の理由により、車両１０と右側車線区画線との間の距離である第１右側距離と、車両１０と左側車線区画線との間の距離である第１左側距離にも誤差が生じる。

そこで、ＥＣＵ７は、誤差推定部３３を用いて各距離算出部の誤差を推定して、各距離算出部が算出した右側距離及び左側距離に対して誤差を補正し、補正された右側距離及び左側距離を用いて、センサ地物間距離を求める。

誤差推定部３３は、過去の一連の画像取得時刻における、第１右側距離と第１左側距離との和である第１地物間距離と、参照地物間距離との差を予測フィルタに入力して、現時点の画像取得時刻における第１地物間距離の第１推定誤差を求める。予測フィルタとして、例えば、カルマンフィルタを用いることができる。誤差推定部３３は、第１推定誤差を補正部３４へ通知する。

図８は、予測フィルタが出力する推定値としての第１地物間距離の誤差の推定値が、推定処理の時間経過と共に、真の誤差に近づいていくことを示す。

同様に、誤差推定部３３は、過去の一連の画像取得時刻における、第２右側距離と第２左側距離との和である第２地物間距離と、参照地物間距離との差を予測フィルタに入力して、現時点の画像取得時刻における第２地物間距離の第２推定誤差を求める。誤差推定部３３は、第２推定誤差を補正部３４へ通知する。さらに、誤差推定部３３は、過去の一連の画像取得時刻における、第３右側距離と第３左側距離との和である第３地物間距離と、参照地物間距離との差を予測フィルタに入力して、現時点の画像取得時刻における第３地物間距離の第３推定誤差を求める。誤差推定部３３は、第３推定誤差を補正部３４へ通知する。

補正部３４は、第１推定誤差を用いて、第１右側距離及び第１左側距離を補正する。例えば、補正部３４は、第１右側距離から、第１地物間距離の推定誤差の半分の値を減算して、補正された第１右側距離を算出する。同様に、誤差推定部３３は、第１左側距離から、第１地物間距離の推定誤差の半分の値を減算して、補正された第１左側距離を算出する。誤差推定部３３は、補正された第１右側距離及び補正された第１左側距離を、距離推定部３５へ通知する。

同様にして、補正部３４は、第２推定誤差を用いて第２右側距離及び第２左側距離を補正し、第３推定誤差を用いて第３右側距離及び第３左側距離を補正する。補正部３４は、補正された第２右側距離及び補正された第２左側距離と、補正された第３右側距離及び補正された第３左側距離とを、距離推定部３５へ通知する。

なお、誤差推定部３３は、第１地物間距離から第３地物間距離の中の少なくとも１つの地物間距離に対して推定誤差を求めることが好ましいが、全ての地物間距離に対して推定誤差を求めなくてもよい。

距離推定部３５は、補正された第１右側距離から第３右側距離の何れかと補正された第１左側距離から第３左側距離の何れかとの組み合わせごとに得られる、車両１０の右側に位置する右側車線区画線と車両１０の左側に位置する左側車線区画線との間のセンサ地物間距離と参照地物間距離とを比較する。そして、距離推定部３５は、最も参照地物間距離と近いセンサ地物間距離となる組み合わせに含まれる右側距離及び左側距離を、画像情報取得時刻の位置における車両１０と右側車線区画線との間の距離及び車両１０と左側車線区画線との間の距離として推定する。距離推定部３５は、画像情報取得時刻における車両１０と右側車線区画線との間の距離及び車両１０と左側車線区画線との間の距離を、位置推定部３６へ通知する。

図９は、各右側距離と、各左側距離との組み合わせを説明する図である。図９に示す例では、距離推定部３５は、センサ地物間距離の１６の組み合わせごとに、参照地物間距離との比較を実行する。距離推定部３５は、第１右側距離と第１左側距離との組み合わせで得られるセンサ地物間距離と、参照地物間距離との差を求める。そして、距離推定部３５は、第１右側距離と第２左側距離との組み合わせで得られるセンサ地物間距離と、参照地物間距離との差を求める。そして、距離推定部３５は、第１右側距離と第３左側距離との組み合わせで得られるセンサ地物間距離と、参照地物間距離との差を求める。同様にして、距離推定部３５は、第２右側距離と第１左側距離〜第３左側距離との組み合わせのそれぞれで得られるセンサ地物間距離と、参照地物間距離との差を求める。さらに、距離推定部３５は、第３右側距離と第１左側距離〜第３左側距離との組み合わせのそれぞれで得られるセンサ地物間距離と、参照地物間距離との差を求める。距離推定部３５は、センサ地物間距離と、参照地物間距離との差の絶対値が最も小さい組み合わせに含まれる右側距離を、画像情報取得時刻の位置における車両１０と右側車線区画線との間の距離として推定する。また、距離推定部３５は、センサ地物間距離と、参照地物間距離との差の絶対値が最も小さい組み合わせに含まれる左側距離を、画像情報取得時刻の位置における車両１０と左側車線区画線との間の距離として推定する。

位置推定部３６は、画像情報取得時刻における、車両１０の進行方向と直交する方向である横方向の位置と、車両１０の進行方向の位置とを推定する。位置推定部３６は、車両１０と右側車線区画線との間の距離及び車両１０と左側車線区画線との間の距離を用いて、画像情報取得時刻における車両１０の横方向の位置を推定する。また、位置推定部３６は、地物間距離算出部３２から通知された画像情報取得時刻における車両１０の位置を用いて、画像情報取得時刻における車両１０の進行方向の位置を推定する。なお、位置推定部３６は、第１カメラ２が生成した画像中の標識などの地物を、地図上の地物と照合して、画像情報取得時刻における車両１０の進行方向の位置を推定してもよい。

また、位置推定部３６は、画像情報取得時刻よりも短い所定の周期で設定される位置決定時刻において、位置決定時刻における車両１０の位置を、直前の画像情報取得時刻における車両１０の推定位置（進行方向及び横方向の位置）と、位置決定時刻と画像情報取得時刻との間の車両１０の移動量及び移動方向とに基づいて推定する。位置推定部３６は、位置決定時刻と画像情報取得時刻との間の車両１０の移動量及び移動方向を、その間に入力した車両速度及びヨーレートに基づいて算出する。

物体検出部３７は、第１画像及び合成画像のそれぞれに基づいて、車両１０の周囲の他の物体を検出する。物体検出部３７は、例えば、第１画像を識別器に入力することで第１画像に表された物体を検出する。識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。物体検出部３７は、ＤＮＮ以外の識別器を用いてもよい。例えば、物体検出部３７は、識別器として、画像上に設定されるウィンドウから算出される特徴量（例えば、Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ， ＨＯＧ）を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン（ＳＶＭ）を用いてもよい。あるいはまた、物体検出部３７は、検出対象となる物体が表されたテンプレートと画像との間でテンプレートマッチングを行うことで、物体領域を検出してもよい。同様にして、物体検出部３７は、合成画像に基づいて、各画像に表された物体を検出する。また、物体検出部３７は、オプティカルフローに基づく追跡処理に従って、最新の画像から検出された物体を過去の画像から検出された物体と対応付けることで、最新の画像から検出された物体を追跡してもよい。そして物体検出部３７は、時間経過に伴う画像上での追跡中の物体のサイズの変化に基づいて、車両１０に対するその物体の相対速度を推定してもよい。そして、物体検出部３７は、各画像に基づいて検出された物体について同一物を判定し、同一と判定された物体は１つの物体として判断する。物体検出部３７は、検出された物体の位置を示す情報を、運転計画部３８へ通知する。なお、物体検出部３７は、ライダセンサ等の距離画像を取得するセンサが測定した測定結果に基づいて、車両１０の周囲の他の物体を検出してもよい。

運転計画部３８は、位置決定時刻における車両１０の位置と、検出された物体の位置を示す情報と、地図情報とを取得する。運転計画部３８は、これらの情報に基づいて、車両１０の走行予定経路を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。運転計画部３８は、車両１０の位置と、地図に表された道路上の構造物と、検出された他の物体との位置関係に応じて、車両１０と他の物体との相対的な位置関係を推定する。例えば、運転計画部３８は、地図に表された車線と、他の物体との位置関係に応じて、他の物体が走行している車線を特定することで、他の物体と車両１０とが同じ車線を走行しているか否かを判定する。例えば、運転計画部３８は、他の物体の水平方向の中心位置を挟むように位置する互いに隣接する二つの車線区画線で特定される車線を他の物体が走行していると判定する。同様に、運転計画部３８は、車両１０を挟むように位置する互いに隣接する二つの車線区画線で特定される車線を車両１０が走行していると判定する。そして運転計画部３８は、車両１０が走行中の車線と他の物体が走行中の車線とが同一か否かを判定する。また、地図に表された隣接する二つの車線区画線間の間隔は既知であり、かつ、カメラの焦点距離といった内部パラメータが既知であるため、画像上での隣接する二つの車線区画線間の間隔により、車両１０からの距離が推定できる。そこで、運転計画部３８は、画像上での他の物体の位置における、地図に表された隣接する二つの車線区画線間の間隔に基づいて、車両１０から他の物体までの距離を推定してもよい。このように、運転計画部３８は、地図に表された道路上の構造物との位置関係で他の物体と車両１０との相対的な位置関係を推定する。そのため、運転計画部３８は、画像に写った車線区画線などの道路上の地物が不明瞭でも、他の物体と車両１０との相対的な位置関係を正確に推定できる。

運転計画部３８は、検出された他の物体の現在及び過去の軌跡に基づいての将来の軌跡を推定し、検出された他の物体が走行中の車線及び相対距離に基づいて、他の物体と車両１０とが異なる車線を走行するか、あるいは、車両１０から他の物体までの相対距離が所定距離以上となるように、車両１０の走行予定経路を生成する。なお、運転計画部３８は、複数の走行予定経路を生成してもよい。この場合、運転計画部３８は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。運転計画部３８は、生成した走行予定経路を車両制御部３９へ通知する。

車両制御部３９は、画像情報取得時刻及び位置決定時刻における車両１０の位置と、車両速度及びヨーレートと、通知された走行予定経路とに基づいて、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３９は、通知された走行予定経路、及び、車両１０の現在の車両速度及びヨーレートに従って、車両１０の操舵角、加速度及び角加速度を求め、その操舵角、加速度及び角加速度となるように、操舵量、アクセル開度またはブレーキ量を設定する。そして車両制御部３９は、設定された操舵量に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。また、車両制御部３９は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置（図示せず）へ出力する。あるいは、車両制御部３９は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキ（図示せず）へ出力する。

図１０および図１１は、プロセッサ２３により実行される、距離推定処理を含む、車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期で設定される画像情報取得時刻ごとに図１０および図１１に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１００１〜Ｓ１００５の処理が距離推定処理に対応する。

まず、プロセッサ２３の第１距離算出部３１ａは、車両１０に取り付けられた第１カメラ２を用いて取得された車両１０の周囲の第１の所定の領域内の地物を表す第１画像から、車両１０と、車両１０の右側に位置する右側地物との間の第１右側距離と、車両１０と、車両１０の左側に位置する左側地物との間の第１左側距離とを算出する（ステップＳ１００１）。また、プロセッサ２３の第２距離算出部３１ｂは、車両１０に取り付けられた第１カメラ２を用いて取得された車両１０の周囲の第１の所定の領域内の地物を表す第１画像から、車両１０と、車両１０の右側に位置する右側地物との間の第２右側距離と、車両１０と、車両１０の左側に位置する左側地物との間の第２左側距離とを算出する。さらに、プロセッサ２３の第３距離算出部３１ｃは、車両１０に取り付けられた第２カメラ４ｂ，４ｄを用いて取得された車両１０の周囲の左右の所定の領域内の地物を表す画像から、車両１０と、車両１０の右側に位置する右側地物との間の第３右側距離と、車両１０と、車両１０の左側に位置する左側地物との間の第３左側距離とを算出する。

次に、プロセッサ２３の地物間距離算出部３２は、車両１０の現在位置を取得する測位部により求められた車両１０の現在位置と、記憶部の一例である地図情報記憶装置６に記憶される地物の位置を表す位置情報とに基づいて、現在位置における車両１０の右側に位置する右側地物と車両１０の左側に位置する左側地物との間の参照地物間距離を求める（ステップＳ１００２）。

次に、プロセッサ２３の誤差推定部３３は、第１右側距離と第１左側距離との和である第１地物間距離と、参照地物間距離との差に基づいて、第１地物間距離の第１推定誤差を求める（ステップＳ１００３）。また、プロセッサ２３の誤差推定部３３は、第２右側距離と第２左側距離との和である第２地物間距離と、参照地物間距離との差に基づいて、第２地物間距離の第２推定誤差を求める。さらに、プロセッサ２３の誤差推定部３３は、第３右側距離と第３左側距離との和である第３地物間距離と、参照地物間距離との差に基づいて、第３地物間距離の第３推定誤差を求める。

次に、プロセッサ２３の補正部３４は、第１推定誤差を用いて、第１右側距離及び第１左側距離を補正し、第２推定誤差を用いて、第２右側距離及び第２左側距離を補正し、第３推定誤差を用いて、第３右側距離及び第３左側距離を補正する（ステップＳ１００４）。

次に、プロセッサ２３の距離推定部３５は、補正された第１右側距離から第３右側距離の何れかと、補正された第１左側距離から第３左側距離の何れかとの組み合わせごとに得られる、車両１０の右側に位置する右側地物と車両１０の左側に位置する左側地物との間のセンサ地物間距離と参照地物間距離とを比較して、最も参照地物間距離と近いセンサ地物間距離となる組み合わせに含まれる右側距離及び左側距離を、現在位置における車両１０と右側地物との間の距離及び車両１０と左側地物との間の距離として推定する（ステップＳ１００５）。

次に、プロセッサ２３の位置推定部３６は、車両１０の進行方向と直交する方向である横方向の位置と、車両１０の進行方向の位置とを推定する（ステップＳ１１０１）。

次に、プロセッサ２３の物体検出部３７は、第１カメラ２により生成された画像などに基づいて、車両１０の周囲の他の物体を検出する（ステップＳ１１０２）。

次に、プロセッサ２３の運転計画部３８は、車両１０の位置と、検出された物体の位置を示す情報と、地図情報などに基づいて、車両１０の走行予定経路を生成する（ステップＳ１１０３）。

次に、プロセッサ２３の車両制御部３９は、車両１０の位置と、車両速度及びヨーレートと、走行予定経路とに基づいて、走行予定経路に沿って走行するように車両１０の各部を制御する（ステップＳ１１０４）。

以上に説明してきたように、この距離推定装置は、移動物体に取り付けられたカメラなどの第１センサを用いて取得された移動物体の周囲の第１の所定の領域内の地物を表す第１領域データから、移動物体と、移動物体の右側に位置する右側地物との間の第１右側距離と、移動物体と、移動物体の左側に位置する左側地物との間の第１左側距離とを算出する。また、距離推定装置は、第１領域データ及び異なるアルゴリズムか、又は、第１センサとは異なるセンサを用いて取得された移動物体の周囲の所定の領域内の地物を表す領域データを用いて、移動物体と、移動物体の右側に位置する右側地物との間の第２〜３右側距離と、移動物体と、移動物体の左側に位置する左側地物との間の第２〜３左側距離とを算出する。距離推定装置は、移動物体の現在位置を取得する測位部により求められた移動物体の現在位置と、記憶部に記憶される地物の位置情報とに基づいて、現在位置における移動物体の右側に位置する右側地物と移動物体の左側に位置する左側地物との間の参照地物間距離を求める。また、距離推定装置は、第１右側距離と第１左側距離との和である第１地物間距離と、参照地物間距離との差に基づいて、第１地物間距離の第１推定誤差を求める。同様にして、距離推定装置は、第２〜３右側距離と第２〜３左側距離との和である第２〜３地物間距離と、参照地物間距離との差に基づいて、第２〜３地物間距離の第２〜３推定誤差を求める。距離推定装置は、第１〜３推定誤差を用いて補正された第１〜３右側距離の何れかと第１〜３推定誤差を用いて補正された第１〜３左側距離の何れかとの組み合わせごとに得られる、移動物体の右側に位置する右側地物と移動物体の左側に位置する左側地物との間のセンサ地物間距離と参照地物間距離とを比較して、最も参照地物間距離と近いセンサ地物間距離となる組み合わせに含まれる右側距離及び左側距離を、画像情報取得時刻の移動物体の位置における移動物体と右側地物との間の距離及び移動物体と左側地物との間の距離として推定する。これにより、距離推定装置は、例えば、カメラなどのセンサの移動物体への取り付け位置又は姿勢に誤差が生じた場合でも、センサの位置又は姿勢の変化を補正して、移動物体が走行している車線の左右の車線区画線などの地物と移動物体との間の距離を正しく推定できる。

次に、上述した距離推定部３５が、画像情報取得時刻の位置における車両１０と右側車線区画線との間の距離及び車両１０と左側車線区画線との間の距離を推定する他の例を以下に説明する。

上述した距離推定部３５は、過去の推定結果に基づいて、第１右側距離の信頼度、第１左側距離の信頼度、第２右側距離の信頼度及び第２左側距離の信頼度、および、第３右側距離の信頼度及び第３左側距離の信頼度を決定する。

上述した距離推定部３５は、第１右側距離から第３右側距離の何れかと第１左側距離から第３左側距離の何れかとの組み合わせごとに、この組み合わせに含まれる右側距離の信頼度及び左側距離の信頼度の和が大きい程且つセンサ地物間距離と参照地物間距離との差が小さい程、大きくなるように評価値を算出し、この評価値が最大となる組み合わせに含まれる右側距離と左側距離とを、画像情報取得時刻の現在位置における車両１０と右側車線区画線との間の距離及び車両１０と左側車線区画線との間の距離として推定してもよい。

例えば、距離推定部３５は、過去に、車両１０と右側車線区画線との間の距離として推定された回数に基づいて、第１右側距離〜第３右側距離のそれぞれの第１の信頼度を決定してもよい。同様に、距離推定部３５は、過去に、車両１０と左側車線区画線との間の距離として推定された回数に基づいて、第１左側距離〜第３左側距離のそれぞれの第１の信頼度を決定してもよい。距離推定部３５は、車両１０と右側車線区画線との間の距離として推定される度に、推定された第１右側距離〜第３右側距離の中の何れかの第１の信頼度を初期値から１ずつ加算して、第１の信頼度を求めてもよい。同様に、距離推定部３５は、車両１０と左側車線区画線との間の距離として推定される度に、推定された第１左側距離〜第３左側距離の中の何れかの第１の信頼度を初期値から１ずつ加算して、第１の信頼度を求めてもよい。距離推定部３５は、第１の信頼度の値が大きい程、その距離の信頼度が高いと判定する。

また、距離推定部３５は、カメラの光軸方向と、太陽との位置関係に基づいて、第１右側距離〜第３右側距離及び第１左側距離〜第３左側距離の第２の信頼度を決定してもよい。距離推定部３５は、第１カメラ２の設置位置情報と、第１距離算出部３１ａから通知された画像情報取得時刻の車両１０の位置及び進行方向とを用いて、第１カメラ２の光軸方向を推定する。また、距離推定部３５は、画像情報取得時刻と、メモリ２２に記憶された太陽の位置を算出するための情報とを用いて、画像情報取得時刻における車両１０を中心とした太陽の方向を示す方位角を、世界座標系におけるＸｗ−Ｚｗ座標平面上において推定する。世界座標系では、地面に平行な面内にＸｗ軸及びＺｗが設定され、鉛直方向にＹｗ軸が設定される。そして、距離推定部３５は、第１カメラ２の光軸方向をＸｗ−Ｚｗ座標平面上に投影した投影成分が、太陽の方向を示す方位角に対して所定の範囲内にある場合、第１カメラ２は逆光状態にあるので、第１右側距離及び第１左側距離の第２の信頼度は低いと判定する。距離推定部３５は、第１距離算出部３１ａから通知された第１右側距離及び第１左側距離の第２の信頼度を、例えば０．１とすることができる。また、距離推定部３５は、第１カメラ２が逆光状態にない場合、第１距離算出部３１ａから通知された第１右側距離及び第１左側距離の第２の信頼度を、例えば１．０とすることができる。同様にして、距離推定部３５は、第２〜第３右側距離及び第２〜第３左側距離の第２の信頼度を決定する。ここで、距離推定部３５は、第３距離算出部３１ｄから通知された第３右側距離及び第３左側距離の信頼度を決定する場合、第２カメラ４ｂ又は第２カメラ４ｄの何れか一方の光軸方向の投影成分が、太陽の方向を示す方位角に対して所定の範囲内にある場合、第２カメラ４ｂ又は第２カメラ４ｄは逆光状態にあると判定する。

距離推定部３５は、第１の信頼度、又は第２の信頼度、又は第１の信頼度及び第２の信頼度の和を用いて、右側距離の信頼度及び左側距離の第３の信頼度を決定する。そして、距離推定部３５は、第１右側距離から第３右側距離の何れかと第１左側距離から第３左側距離の何れかとの組み合わせごとに、この組み合わせに含まれる右側距離の第３の信頼度及び左側距離の第３の信頼度の和を求める。

また、距離推定部３５は、第１右側距離から第３右側距離の何れかと第１左側距離から第３左側距離の何れかとの組み合わせごとに、センサ地物間距離と参照地物間距離との差の絶対値の最大値Ｄｍを求める。そして、距離推定部３５は、第１右側距離から第３右側距離の何れかと第１左側距離から第３左側距離の何れかとの組み合わせごとに、最大値Ｄｍに対するセンサ地物間距離と参照地物間距離との差の絶対値Ｄｃとの比（Ｄｍ／Ｄｃ）を求める。距離推定部３５は、第１右側距離から第３右側距離の何れかと第１左側距離から第３左側距離の何れかとの組み合わせごとに、組み合わせに含まれる右側距離の第３の信頼度及び左側距離の第３の信頼度の和と比（Ｄｍ／Ｄｃ）との和を、評価値として求める。そして、距離推定部３５は、この評価値が最大となる組み合わせに含まれる右側距離と左側距離とを、画像情報取得時刻の現在位置における車両１０と右側車線区画線との間の距離及び車両１０と左側車線区画線との間の距離として推定してもよい。なお、距離推定部３５が評価値を求める方法は、特に制限されない。距離推定部３５は、上述した方法以外の方法で評価値を求めてもよい。また、第１距離算出部３１ａが、画像内の車線区画線を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いて、車線区画線を表す候補点を検出する場合、第１画像内で車線区画線として識別された領域内の画素が有する信頼度の平均値または最大値に基づいて、第１右側距離の信頼度及び第１左側距離の信頼度を決定してもよい。

次に、地物間距離算出部３２が、参照地物間距離を算出する他の例を以下に説明する。

上述した実施形態では、記憶部の一例である地図情報記憶装置６が、車線区画線などの地物の位置を表す位置情報を含む地図を記憶しており、地物間距離算出部３２は、記憶部に記憶されている地図に基づいて参照地物間距離を算出していた。このように、記憶部に地物の位置情報をあらかじめ記憶しておく代わりに、距離推定部３５は、右側距離及び左側距離を推定する度に、推定された右側距離及び左側距離を、画像情報取得時刻における車両１０の位置と関連づけて記憶部に記憶してもよい。この場合、記憶部には、参照地物間距離の初期値として、定数の値が記憶される。地物間距離算出部３２は、この記憶部に記憶された情報を用いて、参照地物間距離を算出するようにしてもよい。

本発明では、上述した実施形態の距離推定装置は、本発明の趣旨を逸脱しない限り適宜変更が可能である。

例えば、上述した実施形態では、領域データは、カメラが撮影した画像であり、２次元の情報を有していた。この領域データは、レーザ又はミリ波等の電磁波を照射して地物から反射された反射波に基づいて求められた地物を表す距離画像であってもよい。この場合、領域データは、三次元の情報を有する。

また、上述した実施形態では、第１カメラが画像を取得した画像情報取得時刻と、第２カメラ４ａ〜４ｄが画像を取得した画像情報取得時刻と、測位情報が取得された時刻とは一致していたが、車両が走行する車線を区画する隣接する２つの車線区画線の幅が一定とみなせる時間内であれば、各画像情報取得時刻及び測位情報が取得された時刻は異なっていてもよい。隣接する２つの車線区画線の幅が一定とみなせる時間は、車両速度及び車線区画線の形状によって異なるが、例えば、車両が直線である車線区画線を走行している場合であれば、この直線である車線を走行している時間内であれば、各画像情報取得時刻は異なっていてもよい。車線区画線の形状は、地図情報に基づいて判定可能である。

また、上述した車両の横方向の位置を求める第１〜４距離算出部の動作は一例であり、距離推定装置が車両の横方向の位置を算出する方法は特に制限されない。

１ 車両制御システム
２ 第１カメラ
４ａ〜４ｄ 第２カメラ
４ｅ カメラ画像処理御装置
５ 測位情報受信機
６ 地図情報記憶装置
７ 電子制御装置
８ 車内ネットワーク
１０ 車両
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ａ 第１距離算出部
３１ｂ 第２距離算出部
３１ｃ 第３距離算出部
３２ 地物間距離算出部
３３ 誤差推定部
３４ 補正部
３５ 距離推定部
３６ 位置推定部
３７ 物体検出部
３８ 運転計画部
３９ 車両制御部

Claims (5)

1. 地物の位置を表す位置情報を記憶する記憶部と、
   移動物体に取り付けられた第１センサを用いて取得された当該移動物体の周囲の第１の所定の領域内の地物を表す第１領域データから、前記移動物体と、前記移動物体の右側に位置する右側地物との間の第１右側距離と、前記移動物体と、前記移動物体の左側に位置する左側地物との間の第１左側距離とを算出する第１距離算出部と、
   前記移動物体に取り付けられた第２センサを用いて取得された当該移動物体の周囲の第２の所定の領域内の地物を表す情報を有する第２領域データから、前記移動物体と、前記移動物体の右側に位置する前記右側地物との間の第２右側距離と、前記移動物体と、前記移動物体の左側に位置する前記左側地物との間の第２左側距離とを算出する第２距離算出部と、
   前記移動物体の現在位置を測位する測位部により求められた当該移動物体の現在位置と、前記記憶部に記憶される地物の位置情報とに基づいて、現在位置における前記移動物体の右側に位置する前記右側地物と前記移動物体の左側に位置する前記左側地物との間の参照地物間距離を求める地物間距離算出部と、
   前記第１右側距離と前記第１左側距離との和である第１地物間距離と、前記参照地物間距離との差に基づいて、前記第１地物間距離の第１推定誤差を求める誤差推定部と、
   前記第１推定誤差を用いて、前記第１右側距離及び前記第１左側距離を補正する補正部と、
   補正された前記第１右側距離又は前記第２右側距離の何れかと、補正された前記第１左側距離又は前記第２左側距離の何れかとの組み合わせごとに得られる、前記移動物体の右側に位置する前記右側地物と前記移動物体の左側に位置する前記左側地物との間のセンサ地物間距離と前記参照地物間距離とを比較して、最も前記参照地物間距離と近い前記センサ地物間距離となる組み合わせに含まれる右側距離及び左側距離を、現在位置における前記移動物体と前記右側地物との間の距離及び前記移動物体と前記左側地物との間の距離として推定する距離推定部と、
   を有する距離推定装置。
2. 前記誤差推定部は、過去の一連の前記第１地物間距離と前記参照地物間距離との差を予測フィルタに入力して、現時点の前記第１地物間距離の推定誤差を求める請求項１に記載の距離推定装置。
3. 前記距離推定部は、
   過去の推定結果に基づいて、前記第１右側距離の信頼度、前記第１左側距離の信頼度、前記第２右側距離の信頼度及び前記第２左側距離の信頼度を決定し、
   前記第１推定誤差を用いて補正された前記第１右側距離、又は前記第２右側距離の何れかと、前記第１推定誤差を用いて補正された前記第１左側距離又は前記第２左側距離の何れかとの組み合わせごとに、当該組み合わせに含まれる右側距離の信頼度及び左側距離の信頼度の和が大きい程且つ前記センサ地物間距離と前記参照地物間距離との差が小さい程、大きくなるように評価値を算出し、当該評価値が最大となる前記組み合わせに含まれる右側距離と左側距離とを、現在位置における前記移動物体と前記右側地物との間の距離及び前記移動物体と前記左側地物との間の距離として推定する請求項１又は２に記載の距離推定装置。
4. 前記第１センサが前記第１領域データを取得した時刻と、前記第２センサが前記第２領域データを取得した時刻とは一致している請求項１〜３の何れか一項に記載の距離推定装置。
5. 移動物体に取り付けられた第１センサを用いて取得された当該移動物体の周囲の第１の所定の領域内の地物を表す第１領域データから、前記移動物体と、前記移動物体の右側に位置する右側地物との間の第１右側距離と、前記移動物体と、前記移動物体の左側に位置する左側地物との間の第１左側距離とを算出し、
   前記移動物体に取り付けられた第２センサを用いて取得された当該移動物体の周囲の第２の所定の領域内の地物を表す情報を有する第２領域データから、前記移動物体と、前記移動物体の右側に位置する前記右側地物との間の第２右側距離と、前記移動物体と、前記移動物体の左側に位置する前記左側地物との間の第２左側距離とを算出し、
   前記移動物体の現在位置を取得する測位部により求められた当該移動物体の現在位置と、地物の位置情報を記憶する記憶部に記憶される地物の位置情報とに基づいて、現在位置における前記移動物体の右側に位置する前記右側地物と前記移動物体の左側に位置する前記左側地物との間の参照地物間距離を求め、
   前記第１右側距離と前記第１左側距離との和である第１地物間距離と、前記参照地物間距離との差に基づいて、前記第１地物間距離の第１推定誤差を求め、
   前記第１推定誤差を用いて、前記第１右側距離及び前記第１左側距離を補正し、
   補正された前記第１右側距離又は前記第２右側距離の何れかと、補正された前記第１左側距離又は前記第２左側距離の何れかとの組み合わせごとに得られる、前記移動物体の右側に位置する前記右側地物と前記移動物体の左側に位置する前記左側地物との間のセンサ地物間距離と前記参照地物間距離とを比較して、最も前記参照地物間距離と近い前記センサ地物間距離となる組み合わせに含まれる右側距離及び左側距離を、現在位置における前記移動物体と前記右側地物との間の距離及び前記移動物体と前記左側地物との間の距離として推定する、
   ことをプロセッサに実行させる距離推定用コンピュータプログラム。

Images