JP2021081272A - 位置推定装置および位置推定用コンピュータプログラム - Google Patents

位置推定装置および位置推定用コンピュータプログラム Download PDF

Info

Publication number
JP2021081272A
JP2021081272A JP2019207995A JP2019207995A JP2021081272A JP 2021081272 A JP2021081272 A JP 2021081272A JP 2019207995 A JP2019207995 A JP 2019207995A JP 2019207995 A JP2019207995 A JP 2019207995A JP 2021081272 A JP2021081272 A JP 2021081272A
Authority
JP
Japan
Prior art keywords
vehicle
information acquisition
information
moving object
acquisition time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019207995A
Other languages
English (en)
Other versions
JP6988873B2 (ja
Inventor
弥志 河林
Hisashi Kawabayashi
弥志 河林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019207995A priority Critical patent/JP6988873B2/ja
Priority to US17/083,508 priority patent/US11473912B2/en
Publication of JP2021081272A publication Critical patent/JP2021081272A/ja
Application granted granted Critical
Publication of JP6988873B2 publication Critical patent/JP6988873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】高い精度で移動物体の位置を推定できる位置推定装置を提供する。【解決手段】位置推定装置は、第1及び第2の周期で設定される第1及び第2情報取得時刻ごとに、移動物体の位置を表す第1及び第2位置関係情報を取得する第1及び第2位置情報取得部と、第1及び第2位置関係情報に基づいて、第1及び第2情報取得時刻における移動物体の第1及び第2推定位置を算出する第1及び第2位置算出部と、直前の第1情報取得時刻の第1推定位置が求められた場合、現時刻の移動物体の位置を、第1推定位置と、第1情報取得時刻と現時刻との間における移動物体の移動量及び移動方向とに基づいて推定し、直前の第1情報取得時刻の第1推定位置が求められない場合、現時刻の移動物体の位置を、第2推定位置と、直前の第2情報取得時刻と現時刻との間における移動物体の移動量及び移動方向とに基づいて推定する位置推定部と、を有する。【選択図】図4

Description

本発明は、位置推定装置および位置推定用コンピュータプログラムに関する。
車両の運転支援又は自動運転制御に利用するために、車両の位置を推定することが研究されている。
例えば、車両に搭載されたカメラを用いて車両の前方の画像を取得して画像内の車線区画線を認識し、この車線区画線と地図とを比較することにより車両の位置を推定することが提案されている(例えば、特許文献1参照)。
ここで、カメラを用いて取得された画像に基づいて求められる車両の位置は、画像が取得された時刻における車両の位置である。
特開2018−77162号公報
推定される車両の位置には少なからず誤差が生じる場合があるが、より高い精度で車両の位置を推定できることが好ましい。
そこで、本発明は、高い精度で移動物体の位置を求められる位置推定装置を提供することを目的とする。
一の実施形態によれば、位置推定装置を提供される。この位置推定装置は、第1の周期で設定される第1情報取得時刻ごとに、移動物体の位置を表す第1位置関係情報を取得する第1位置情報取得部と、第1位置関係情報に基づいて、第1情報取得時刻における移動物体の第1推定位置を算出する第1位置算出部と、第2の周期で設定される第2情報取得時刻ごとに、移動物体の位置を表す第2位置関係情報を取得する第2位置情報取得部と、第2位置関係情報に基づいて、第2情報取得時刻における移動物体の第2推定位置を算出する第2位置算出部と、直前の第1情報取得時刻に取得された第1位置関係情報に基づいて第1推定位置が求められた場合、移動物体の挙動を表す情報に基づいて、当該第1情報取得時刻と、現時刻との間における移動物体の第1移動量及び第1移動方向を算出し、現時刻における移動物体の位置を、第1推定位置と、移動物体の第1移動量及び第1移動方向とに基づいて推定し、直前の第1情報取得時刻に取得された第1位置関係情報に基づいて第1推定位置が求められない場合、移動物体の挙動を表す情報に基づいて、直前の第2情報取得時刻と、現時刻との間における移動物体の第2移動量及び第2移動方向を算出し、現時刻における移動物体の位置を、第2推定位置と、移動物体の第2移動量及び第2移動方向とに基づいて推定する位置推定部と、を有する。
この位置推定装置において、位置推定部が移動物体の位置を推定する間隔は、第1の周期及び第2の周期よりも短いことが好ましい。
また、この位置推定装置において、第1推定位置の精度は、第2推定位置の精度よりも高いことが好ましい。
また、他の実施形態によれば、位置推定用コンピュータプログラムを提供される。この位置推定用コンピュータプログラムは、第1の周期で設定される第1情報取得時刻ごとに、移動物体の位置を表す第1位置関係情報を取得し、第1位置関係情報に基づいて、第1情報取得時刻における移動物体の第1推定位置を算出し、第2の周期で設定される第2情報取得時刻ごとに、移動物体の位置を表す第2位置関係情報を取得し、第2位置関係情報に基づいて、第2情報取得時刻における移動物体の第2推定位置を算出し、直前の第1情報取得時刻に取得された第1位置関係情報に基づいて第1推定位置が求められた場合、移動物体の挙動を表す情報に基づいて、当該第1情報取得時刻と、現時刻との間における移動物体の第1移動量及び第1移動方向を算出し、現時刻における移動物体の位置を、第1推定位置と、移動物体の第1移動量及び第1移動方向とに基づいて推定し、直前の第1情報取得時刻に取得された第1位置関係情報に基づいて第1推定位置が求められない場合、移動物体の挙動を表す情報に基づいて、直前の第2情報取得時刻と、現時刻との間における移動物体の第2移動量及び第2移動方向を算出し、現時刻における移動物体の位置を、第2推定位置と、移動物体の第2移動量及び第2移動方向とに基づいて推定する、ことをプロセッサに実行させる。
本発明に係る位置推定装置は、高い精度で移動物体の位置を求められるという効果を奏する。
位置推定装置が実装される車両制御システムの概略構成図である。 位置推定装置の一つの実施形態である電子制御装置のハードウェア構成図であり、 メモリが含むデータバッファを示す図である。 位置推定処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 プロセッサの処理を説明するタイミング図である。 位置算出部の動作を説明するフローチャートである。 位置推定部の動作を説明するフローチャート(その1)である。 位置推定部の動作を説明するフローチャート(その2)である。 位置推定部の動作を説明するフローチャート(その3)である。
以下、図を参照しつつ、位置推定装置について説明する。この位置推定装置は、第1の周期で設定される第1情報取得時刻ごとに、移動物体の位置を表す第1位置関係情報を取得する第1位置情報取得部を有する。第1位置情報取得部は、例えば車両の周囲を撮影するカメラであり、第1位置関係情報は例えば車両の周囲が表された画像である。位置推定装置は、第1位置関係情報に基づいて、第1情報取得時刻における移動物体の第1推定位置を算出する第1位置算出部を有する。また、位置推定装置は、第2の周期で設定される第2情報取得時刻ごとに、移動物体の位置を表す第2位置関係情報を取得する第2位置情報取得部を有する。第2位置情報取得部は、第1位置情報取得部とは異なるハードウェアを有することが好ましい。位置推定装置は、第2位置関係情報に基づいて、第2情報取得時刻における移動物体の第2推定位置を算出する第2位置算出部を有する。位置推定装置は、直前の第1情報取得時刻に取得された第1位置関係情報に基づいて第1推定位置が求められた場合、移動物体の挙動を表す情報に基づいて、この第1情報取得時刻と、現時刻との間における移動物体の第1移動量及び第1移動方向を算出し、現時刻における移動物体の位置を、第1推定位置と、移動物体の第1移動量及び第1移動方向とに基づいて推定位置推定部を有する。一方、この位置推定部は、直前の第1情報取得時刻に取得された第1位置関係情報に基づいて第1推定位置が求められない場合、移動物体の挙動を表す情報に基づいて、直前の第2情報取得時刻と、現時刻との間における移動物体の第2移動量及び第2移動方向を算出し、現時刻における移動物体の位置を、第2推定位置と、移動物体の第2移動量及び第2移動方向とに基づいて推定する。これにより、位置推定装置は、第1位置関係情報を用いて移動物体の位置を求められない場合でも、第2位置関係情報を用いて、高い精度で移動物体の位置を求められる。
以下では、位置推定装置を、車両制御システムに適用した例について説明する。この例では、位置推定装置は、車両に搭載されたカメラにより取得された画像などに基づいて、位置推定処理を実行することで、車両の位置を推定し、その推定された位置に基づいて、車両の運転計画を生成して、車両の運転制御に利用する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。
図1は、位置推定装置が実装される車両制御システムの概略構成図である。また、図2は、位置推定装置の一つの実施形態である電子制御装置のハードウェア構成図である。
本実施形態では、車両10に搭載され、且つ、車両10を制御する車両制御システム1は、車両の前方の画像を取得する第1カメラ2と、第1カメラ2とは別に配置され、車両10の前方の画像を取得する第2カメラ3を有する。また、車両制御システム1は、車両10の前後左右の画像を取得する第3カメラ4a〜4dと、第3カメラ4a〜4dが撮影した画像を処理するカメラ画像処理装置4eを有する。また、車両制御システム1は、車両10の前後左右に配置されるLiDARセンサ5a〜5dと、車両10の前遠方の画像を取得する第4カメラ6とを有する。また、車両制御システム1は、測位情報受信機7と、測位情報受信機7が出力する測位情報に基づいて地図情報を生成する地図情報記憶装置8と、位置推定装置の一例である電子制御装置(ECU)9とを有する。
第1カメラ2と、第2カメラ3と、カメラ画像処理装置4eと、LiDARセンサ5a〜5dと、第4カメラ6と、地図情報記憶装置8と、ECU9とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク11を介して通信可能に接続される。
第1カメラ2は、位置情報取得部の一例である。第1カメラ2は、所定の周期(例えば100m秒)で設定される第1情報取得時刻において、位置関係情報の一例である、車両10の前方の所定の領域が表された第1画像を取得する。取得された第1画像には、車両10の前方の所定の領域内に含まれる路面上の車線区画線などの地物が表わされる。第1画像は、車両10と車両10の周辺の地物との相対的な位置情報を有する。第1カメラ2により得られた第1画像は、カラー画像であってもよく、又は、グレー画像であってもよい。第1カメラ2は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そして第1カメラ2は、車両10の前方を向くように、例えば、車両10の車室内に取り付けられる。
第1カメラ2は、第1画像を取得する度に、第1画像及び第1画像を取得した第1情報取得時刻を、車内ネットワーク11を介してECU9へ出力する。第1画像は、ECU9において、位置関係情報として車両の位置を決定する処理に使用されるのと共に、車両10の周囲の他の物体を検出する処理に使用される。
第2カメラ3は、位置情報取得部の他の一例である。第2カメラ3は、所定の周期(例えば150m秒)で設定される第2情報取得時刻において、位置関係情報の一例である、車両の前方の所定の領域が表された第2画像を取得する。この第2画像は、車両10と車両10の周辺の地物との相対的な位置情報を有する。第2カメラ3は、第1カメラ2とは異なる位置に、第1カメラ2とは異なる方向に向かって設置される。例えば、第2カメラ3は、車両10の前方を向くように、第1カメラ2と同様に車両10の車室内に取り付けられる。取得された画像には、車両10の前方の所定の領域内に含まれる路面上の車線区画線などの地物が表わされる。第2カメラ3により得られた画像は、カラー画像であってもよく、又は、グレー画像であってもよい。第2カメラ3は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。第2カメラ3は、第2画像を取得する度に、第2画像及び第2画像を取得した第2情報取得時刻を、車内ネットワーク11を介してECU9へ出力する。第2画像は、ECU9において、位置関係情報として車両の位置を決定する処理に使用される。
第3カメラ4a〜4dは、所定の周期(例えば180m秒)で設定される第3情報取得時刻において、車両10の前方、左側方、後方、右側方の所定の領域が表された画像を取得して、カメラ画像処理御装置4eへ出力する。これらの画像は、車両10と車両10の周辺の地物との相対的な位置情報を有する。第3カメラ4a〜4dは、撮像部の一例であり、CCDあるいはC−MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そして第3カメラ4a〜4dは、車両10の前方、左側方、後方、右側方を向くように、例えば、車両10の前後左右に取り付けられる。第3カメラ4a〜4dにより得られた画像は、カラー画像であってもよく、又は、グレー画像であってもよい。
カメラ画像処理装置4eは、プロセッサ(図示せず)を有する。カメラ画像処理装置4eのプロセッサは、第3カメラ4a〜4dが生成した画像を合成して、車両10の周囲が写った合成画像を生成する。カメラ画像処理装置4eのプロセッサは、合成画像を生成する度に、合成画像及び合成画像を取得した第3情報取得時刻を、車内ネットワーク11を介してECU9へ出力する。車両10の周囲が写った合成画像は、ECU9において、車両10の周囲の他の物体を検出する処理に使用される。
LiDARセンサ5a〜5dのそれぞれは、所定の周期で設定される第4情報取得時刻において、車両10の前方、左側方、後方、右側方に向けてパルス状のレーザを同期して発射して、反射物により反射された反射波を受信して、反射波の情報及びレーザを放射した方位情報を含む第4情報を、レーザを発射した第4情報取得時刻と共に、車内ネットワーク11を介してECU9へ出力する。反射波は、車両10と車両10の周辺の地物との相対的な位置情報を有する。
第4カメラ6は、所定の周期で設定される第5情報取得時刻において、第1カメラ2及び第2カメラ3よりも車両10の前遠方の所定の領域が表された第3画像を取得する。第3画像には、車両10の前遠方の所定の領域内に含まれる路面上の車線区画線などの地物が表わされる。第3画像は、車両10と車両10の周辺の地物との相対的な位置関係情報を有する。第4カメラ6により得られた第3画像は、カラー画像であってもよく、又は、グレー画像であってもよい。第4カメラ6は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そして第4カメラ6は、車両10の前遠方を向くように、例えば、第1カメラ2と同様に車両10の車室内に取り付けられる。
第4カメラ6は、第3画像を取得する度に、位置関係情報である第3画像及び第3画像を取得した第5情報取得時刻を、車内ネットワーク11を介してECU9へ出力する。第3画像は、ECU9において、車両10の周囲の物体を検出する処理に使用される。
測位情報受信機7は、車両10の現在位置を表す測位情報を出力する。例えば、測位情報受信機7は、GPS受信機とすることができる。測位情報受信機7は、GPS電波を受信する測位情報受信部7aと、測位情報受信部7aが受信したGPS電波に基づいて、車両10の現在位置を表す測位情報を出力するプロセッサ7bとを有する。測位情報受信部7aは、位置情報取得部の他の一例である。プロセッサ7bは、測位情報受信部7aが所定の受信周期で測位情報を取得する度に、位置関係情報である測位情報及び測位情報を取得した第6情報取得時刻を、地図情報記憶装置8へ出力する。
地図情報記憶装置8は、プロセッサ(図示せず)と、磁気ディスクドライブ又は不揮発性の半導体メモリなどの記憶装置(図示せず)とを有しており、この記憶装置は、車両10の現在位置を含む広い範囲(例えば数km四方の範囲)の広域地図情報を記憶する。この広域地図情報は、道路上の車線区画線などの地物、構造物の種類及び位置を表す情報を含む高精度地図情報であることが好ましい。なお、道路上の地物、構造物の位置は、例えば、実空間における所定の基準位置を原点とする世界座標系で表される。地図情報記憶装置8のプロセッサは、車両10の現在位置に応じて、無線通信装置を介した無線通信により、基地局を介して外部のサーバから広域地図情報を受信して記憶装置に記憶する。地図情報記憶装置8のプロセッサは、測位情報受信機7から測位情報を入力する度に、記憶部に記憶している広域地図情報を参照して、測位情報により表される現在位置を含む狭い領域(例えば、数十〜数百m四方の範囲)の地図情報及び第6情報取得時刻を、車内ネットワーク11を介してECU9へ出力する。
ECU9は、車両10を制御する。本実施形態では、ECU9は、第1カメラ2などが出力する位置関係情報に基づいて車両10の位置を推定して、車両10を自動運転するように車両10を制御する。そのために、ECU9は、通信インターフェース21と、メモリ22と、プロセッサ23とを有する。
通信インターフェース(I/F)21は、通信部の一例であり、ECU9を車内ネットワーク11に接続するためのインターフェース回路を有する。すなわち、通信インターフェース21は、車内ネットワーク11を介して、第1カメラ2及び地図情報記憶装置8などと接続される。そして通信インターフェース21は、例えば、第1カメラ2から第1画像及び第1情報取得時刻を受信する度に、受信した第1画像及び第1情報取得時刻をプロセッサ23へわたす。また通信インターフェース21は、地図情報記憶装置8から測位情報、第6情報取得時刻及び地図情報を受信する度に、受信した測位情報、第6情報取得時刻及び地図情報をプロセッサ23へわたす。また通信インターフェース21は、図示しない車両速度センサ及びヨーレートセンサから受信した車両速度及びヨーレートを、プロセッサ23へわたす。
メモリ22は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ22は、ECU9のプロセッサ23により実行される位置推定処理において使用される各種のデータ、各カメラ及び各LiDARセンサの光軸方向及び取り付け位置などの設置位置情報、結像光学系の焦点距離及び画角といった内部パラメータなどを記憶する。また、メモリ22は、第1カメラ2などから受信した第1画像などの位置関係情報及び情報取得時刻、地図情報記憶装置8から受信した測位情報、第6情報取得時刻及び地図情報などを記憶する。
また、メモリ22は、図3に示すように、データバッファ300を含む。データバッファ300は、リング型のデータバッファであり、図3に示す例では、10個のバッファを有する。各バッファには、位置決定時刻と、車両速度と、ヨーレートと、前回の位置決定時刻に求められた車両10の位置が初期位置として記憶される。データバッファ300には、バッファ番号1から順番にデータが記憶されていき、10個目のデータがバッファ番号10に記憶された後、11個目のデータはバッファ番号1に上書きされる。プロセッサ23は、入力した車両速度及びヨーレートに基づいて、前回の位置決定時刻と今回の位置決定時刻との間の車両速度及びヨーレートの平均値を求めて、この平均値を、メモリ22が含むデータバッファに今回の位置決定時刻と関連づけて記憶する。
プロセッサ23は、制御部の一例であり、1個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ23は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。プロセッサ23が複数個のCPUを有する場合、CPUごとにメモリを有していてもよい。プロセッサ23は、位置関係情報に基づいて、この位置関係情報が取得された情報取得時刻における車両10の位置を推定する位置推定処理を実行する。また、プロセッサ23は、所定の周期(例えば、32m秒)で設定される位置決定時刻において、車両10の位置を推定する位置推定処理を実行する。この位置決定時刻の周期は、通常、第1〜第5情報取得時刻の周期よりも短い。プロセッサ23は、前回の位置決定時刻における車両10の位置と、情報取得時刻における車両10の位置と、車両速度及びヨーレートなどの車両10の挙動を表す情報に基づいて、今回の位置決定時刻における車両10の位置を求める。さらに、プロセッサ23は、推定された車両10の位置と、車両10の周囲の他の物体との相対的な位置関係に基づいて、車両10を自動運転するよう、車両10を制御する。
図4は、位置推定処理を含む車両制御処理に関する、ECU9のプロセッサ23の機能ブロック図である。プロセッサ23は、第1〜2横位置算出部31a、31bと、第1〜2縦位置算出部32a、32bと、位置推定部33と、検出部34と、運転計画部35と、車両制御部36とを有する。プロセッサ23が有するこれらの各部は、例えば、プロセッサ23上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ23が有するこれらの各部は、プロセッサ23に設けられる、専用の演算回路であってもよい。また、プロセッサ23が有するこれらの各部のうち、第1〜2横位置算出部31a、31b、第1〜2縦位置算出部32a、32b及び位置推定部33が、位置推定処理を実行する。
プロセッサ23の第1〜2横位置算出部31a、31bは、入力した位置関係情報などの情報に基づいて、この位置関係情報が取得された情報取得時刻における車両10の位置を推定し、この車両10の位置と、車両10の参照位置との差における車両10の進行方向と直交する方向の成分である横ずれ量を求めて、位置推定部33へ通知する。参照位置は、情報取得時刻の直前の位置決定時刻における車両の位置と、この位置決定時刻と情報取得時刻との間の車両10の移動量及び移動方向とに基づいて、情報取得時刻における車両10の位置が推定されたものである。
プロセッサ23の第1〜2縦位置算出部32a、32bは、入力した位置関係情報に基づいて、この位置関係情報が取得された情報取得時刻における車両10の位置を推定し、この車両10の位置と、車両10の参照位置との差における車両10の進行方向の成分である縦ずれ量を求めて、位置推定部33へ通知する。
図5は、プロセッサ23の処理を説明するタイミング図である。プロセッサ23の位置推定部33は、所定の周期(図5に示す例では、32m秒)で設定される位置決定時刻ごとに、第1〜2横位置算出部31a、31bの中から選択された一の横位置算出部から通知された横ずれ量、及び、第1〜2縦位置算出部32a、32bの中から選択された一の縦位置算出部から通知された縦ずれ量と、位置決定時刻における車両10の位置と、車両10の挙動を表す情報である車両速度及びヨーレートに基づいて、今回の位置決定時刻における車両10の位置を推定する。そして、位置推定部33は、推定された車両10の位置を、運転計画部35及び車両制御部36へ通知する。位置決定時刻は、現時刻の一例である。
第1横位置算出部31aは、第1カメラ2が第1画像を取得する第1情報取得時刻の周期(図5に示す例では、100m秒)で、横ずれ量を求めて位置推定部33へ通知する。第1横位置算出部31aが横ずれ量を求める周期は、位置推定部33が車両10の位置を求める位置決定時刻の周期(図5に示す例では、32m秒)よりも長い。同様に、第2横位置算出部31bは、第2カメラ3が画像を取得する第2情報取得時刻の周期(図5に示す例では、150m秒)で、横ずれ量を求めて位置推定部33へ通知する。第2横位置算出部31bが横ずれ量を求める周期も、位置推定部33が車両10の位置を求める位置決定時刻の周期(図5に示す例では、32m秒)よりも長い。
次に、第1横位置算出部31aが車両10の位置の横ずれ量を算出する処理を、図6を参照して、以下に説明する。図6に示す処理は、第1情報取得時刻に第1カメラ2が第1画像を取得するごとに、第1横位置算出部31aが実行する。
まず、第1横位置算出部31aは、位置関係情報の一例である第1画像と、この第1画像を取得した第1情報取得時刻s1と、測位情報により示される位置を含む所定の領域の地図情報を取得する(ステップS601)。
次に、第1横位置算出部31aは、位置関係情報の一例である第1画像を取得した第1情報取得時刻s1における車両10の位置を示す参照位置を算出する(ステップS603)。まず、第1横位置算出部31aは、メモリ22が含むデータバッファ(図3参照)を参照して、第1情報取得時刻s1よりも前の時刻であり且つ第1情報取得時刻s1と最も近い位置決定時刻s2を選択する。第1横位置算出部31aが車両10の位置の横ずれ量を求める周期(図5に示す例では、100m秒)は、位置決定時刻の周期(図5に示す例では、32m秒)よりも長いので、第1情報取得時刻s1は、データバッファに記憶されている最新の位置決定時刻よりも過去の時刻となる。この観点から、データバッファは、各位置算出部が車両10の位置のずれ量を算出する周期の2倍以上の間の位置決定時刻のデータを記憶することが好ましい。そして、第1横位置算出部31aは、第1情報取得時刻s1と位置決定時刻s2とが一致していない場合、データバッファを参照して、第1情報取得時刻s1と位置決定時刻s2との間における車両速度及びヨーレートを取得して、第1情報取得時刻s1と位置決定時刻s2との間における車両の移動量及び移動方向を求める。第1横位置算出部31aは、車両10の車両速度を時間積分して、第1情報取得時刻s1と位置決定時刻s2との間の車両10の移動量を求め、車両10のヨーレートを時間積分して、第1情報取得時刻s1と位置決定時刻s2との間の車両10の移動方向を求める。そして、第1横位置算出部31aは、位置決定時刻s2の初期位置と、車両10の移動量及び移動方向とに基づいて、第1情報取得時刻s1における車両10の位置q1を、車両10の参照位置として算出する。一方、情報取得時刻s1と位置決定時刻s2とが一致する場合には、第1横位置算出部31aは、位置決定時刻s2の次の位置決定時刻における初期位置を、車両10の参照位置とする。
次に、第1横位置算出部31aは、位置関係情報の一例である第1画像及び地図情報に基づいて、第1画像を取得した第1情報取得時刻における車両10の位置を算出する(ステップS605)。まず、第1横位置算出部31aは、第1画像に表される物体の座標を、第1カメラ2の設置位置情報及び内部パラメータなどの情報を用いて視点変換処理を実行することで、第1カメラ2の位置を原点とするカメラ座標系で表す。第1画像上に表示される物体の座標は、第1画像の左上の隅の位置を原点として、右方に伸びるXi軸と、下方に伸びるYi軸とを有する画像座標系で表すことができる。また、カメラ座標系では、撮像面の中心を原点として、車両10の進行方向にZc軸が設定され、Zc軸と直交し、かつ、地面に平行な方向をXc軸が設定され、鉛直方向にYc軸が設定され、原点は、地面から第1カメラ2が設置される高さにある。そして、第1横位置算出部31aは、カメラ座標系で表された第1画像に表される物体の座標を、世界座標系で表す。世界座標系では、実空間における所定の基準位置を原点として、地面に平行な面内にXw軸及びZwが設定され、鉛直方向にYw軸が設定される。第1横位置算出部31aは、第1情報取得時刻よりも前の時刻であり且つ第1情報取得時刻と最も近い位置決定時刻における車両10の位置と、この位置決定時刻と第1情報取得時刻との間の車両10の移動量及び移動方向とに基づいて、第1情報取得時刻における車両10の位置及び進行方向を推定する。第1横位置算出部31aは、第1情報取得時刻における車両10の位置及び進行方向として、車両10の参照位置を算出する際に求めた値を用いることができる。第1横位置算出部31aは、第1カメラ2の設置位置情報及び内部パラメータなどの情報と、推定された車両10の位置及び移動方向とを用いて、第1情報取得時刻における第1カメラ2の仮定位置及び仮定姿勢を推定する。第1横位置算出部31aは、第1情報取得時刻における第1カメラ2の仮定位置及び仮定姿勢に従って、カメラ座標系から、世界座標系への変換式を求める。そのような変換式は、座標系間の回転を表す回転行列と座標系間の平行移動を表す並進ベクトルの組み合わせで表される。そして第1横位置算出部31aは、その変換式に従って、カメラ座標系で表された第1画像に表される物体の座標を、世界座標系で表される座標に変換する。
第1横位置算出部31aは、世界座標系で表される第1画像を、地図情報により表される地図上に投影して、地図に表された車両10の周囲の地物の一例である車線区画線と、第1画像内に検出された候補点との一致度合を算出する。例えば,第1横位置算出部31aは、第1画像内に設定された照合領域内の候補点の数(インライア数)に基づいて、地図に表された車両10の周囲の車線区画線と、第1画像内に検出された候補点との一致度合を算出してもよい。第1横位置算出部31aは、仮定位置及び仮定姿勢を所定量ずつ変化させながら、上記と同様の第1画像のカメラ座標系から世界座標系への位置変換、車線区画線との一致度合の算出の各処理を実行することで、複数の仮定位置及び仮定姿勢のそれぞれについて、地図情報に表された車両10の周囲の車線区画線と第1画像との一致度合を算出する。第1横位置算出部31aは、一致度合が最大となるときの仮定位置及び仮定姿勢を特定し、その第1カメラ2の仮定位置及び仮定姿勢に基づいて、第1カメラ2が画像を取得した第1情報取得時刻における車両10の位置及び進行方向を推定する。第1横位置算出部31aは、車両10の位置と、地図上の車線区画線の位置とに基づいて、第1情報取得時刻における車両10の位置を算出する。第1横位置算出部31aは、第1情報取得時刻における車両10の位置及び参照位置を、第1縦位置算出部32aに通知する。また、第1横位置算出部31aは、第1情報取得時刻における車両10の位置及び参照位置を、位置推定部33へ通知してもよい。
次に、第1横位置算出部31aは、第1情報取得時刻における車両10の位置を算出できたか否かを判定する(ステップS607)。例えば,第1横位置算出部31aは、第1画像内の車線区画線を照合する照合領域内のインライア数に基づいて、第1画像内の車線区画線を検出可能か否かを判定してもよい。第1横位置算出部31aは、インライア数が所定の閾値以上の場合、車両10の位置を算出できたと判定し、インライア数が所定の閾値未満の場合、車両10の位置を算出できないと判定してもよい。
車両10の位置を算出できた場合(ステップS607−Yes)、第1横位置算出部31aは、車両10の位置と参照位置との差に基づいて、車両10の進行方向と直交する方向である横方向の成分である横ずれ量を求める(ステップS609)。第1横位置算出部31aは、車両10の位置を、車両10の進行方向と直交する方向である横方向の中心でありかつ車両10の進行方向の中心の位置としてもよい。
次に、第1横位置算出部31aは、横ずれ量及び第1情報取得時刻を、位置推定部33へ通知する(ステップS611)。
一方、車両10の位置を算出できなかった場合(ステップS607−No)、第1横位置算出部31aは、車両10の位置を算出できないことを示す情報を、位置推定部33及び第1縦位置算出部32aへ通知する(ステップS613)。第1横位置算出部31aが車両10の位置を算出できない理由として、第1画像内に十分な数の候補点を検出できないこと、または、カメラが故障していることが挙げられる。第1画像内の候補点を検出できない理由としては、例えば、逆光で第1画像が取得されたこと、カメラのレンズが汚れていること、雨又は霧などの気象条件下で第1画像が取得されたことなどが挙げられる。以上が、第1横位置算出部31aの説明である。
第2横位置算出部31bは、第2画像及び地図情報に基づいて、第2情報取得時刻における車両10の位置、参照位置、及び、横ずれ量を求める。例えば、第2横位置算出部31bは、第1横位置算出部31aと同様の処理を用いて、第2画像及び地図情報に基づいて、第2情報取得時刻における車両10の位置、参照位置、及び、横ずれ量を求めてもよい。第2横位置算出部31bは、車両10の位置、参照位置、及び、横ずれ量及び第2情報取得時刻を、位置推定部33へ通知する。また、第2横位置算出部31bは、第2情報取得時刻における車両10の位置を算出できない場合、車両10の位置を算出できないことを示す情報を、位置推定部33へ通知する。
第1縦位置算出部32aは、第1横位置算出部31aから第1情報取得時刻における車両10の位置及び参照位置が通知される。第1縦位置算出部32aは、第1情報取得時刻における車両10の位置と参照位置との差に基づいて、車両10の進行方向である縦方向の成分である縦ずれ量を求める。第1縦位置算出部32aは、縦ずれ量及び第1情報取得時刻を、位置推定部33へ通知する。また、第1縦位置算出部32aは、第1横位置算出部31aから、第1情報取得時刻における車両10の位置を算出できないことを示す情報が通知された場合、車両10の位置を算出できないことを示す情報を、位置推定部33へ通知する。
第2縦位置算出部32bは、第2画像及び地図情報に基づいて、第2情報取得時刻における車両10の縦ずれ量を求める。例えば、第2縦位置算出部32bは、第1縦位置算出部32aと同様の処理を用いて、第2画像及び地図情報に基づいて、第2情報取得時刻における車両10の縦ずれ量を求めてもよい。第2縦位置算出部32bは、縦ずれ量及び第2情報取得時刻を、位置推定部33へ通知する。また、第2縦位置算出部32bは、第2横位置算出部31bから、第2情報取得時刻における車両10の位置を算出できないことを示す情報が通知された場合、車両10の位置を算出できないことを示す情報を、位置推定部33へ通知する。
次に、位置推定部33が車両の位置を推定する処理を、図7〜図9を参照して、以下に説明する。
まず、位置推定部33は、内部クロックに基づいて、前回の位置決定時刻を所定の周期だけ更新して今回の位置決定時刻t0とする。また、位置推定部33は、メモリ22に含まれるデータバッファを参照して、前回の位置決定時刻に推定された車両10の位置である今回の位置決定時刻t0の初期位置p0を取得する(ステップS701)。
次に、位置推定部33は、車両10の横方向の位置を算出する横位置算出部を選択する(ステップS703)。
以下、位置推定部33が、横位置算出部を選択する処理を、図9を参照しながら、以下に説明する。
メモリ22は、第1〜第2横位置算出部を選択する順番が記録された優先順位リスト(図示せず)を記憶している。位置推定部33は、メモリ22が記憶する優先順位リストを参照して、順位に従って、選択可能な横位置算出部の中で最も順位の高い横位置算出部を選択する(ステップS901)。横位置算出部の優先順位は、例えば、車両10の位置を推定する精度の高い順番に決定される。本実施形態では、横位置算出部の優先順位は、第1横位置算出部31aから第2横位置算出部31bの順番で決定されている。
次に、位置推定部33は、選択された横位置算出部が、直前の情報取得時刻に取得された位置関係情報に基づいて、車両の位置を求められたか否かを判定する(ステップS903)。位置推定部33は、選択されている横位置算出部から車両の位置を算出できないことを示す情報が通知されていない場合、車両の位置を算出できたと判定して(ステップS903−Yes)、選択された横位置算出部から通知された横ずれ量を用いる(ステップS905)。一方、位置推定部33は、選択された横位置算出部から車両の位置を算出できないことを示す情報が通知されている場合、選択された横位置算出部は車両の位置を算出できないと判定して(ステップS903−No)、優先順位リストの順位に従って、選択可能な横位置算出部の中で最も順位の高い横位置算出部を選択する(ステップS907)。位置推定部33は、車両の位置を算出できないと判定された横位置算出部を、以後の処理では、選択対象から除外する。
また、位置推定部33は、上述した横位置算出部を決定する処理と同様にして、車両10の縦方向の位置を算出する縦位置算出部を選択する(ステップS703)。以上が、ステップS703の説明である。
以下、位置推定部33が、選択された横位置算出部から通知された横ずれ量に基づいて、横ずれ量が補正された車両10の位置を推定する処理ステップS705〜S803を説明する。位置推定部33が、選択された縦位置算出部から通知された縦ずれ量に基づいて、縦ずれ量が補正された車両10の位置を推定する処理も、横ずれ量が補正された車両10の位置を推定する処理と同様なので、縦ずれ量が補正された車両10の位置を推定する処理の説明は省略する。
位置推定部33は、選択された横位置算出部が通知する車両10の位置の横ずれ量及び情報取得時刻t1を取得する(ステップS705)。第1〜2横位置算出部31a〜31bのそれぞれは、位置推定部33によって選択されているか否かには関わらず、車両10の位置の横ずれ量を求める度に、横ずれ量及び横ずれ量を求めるための情報取得時刻を、位置推定部33へ通知している。
次に、位置推定部33は、メモリ22が含むデータバッファ(図3参照)を参照して、情報取得時刻t1よりも前の時刻であり且つ情報取得時刻t1と最も近い位置決定時刻t2を取得する(ステップS707)。情報取得時刻t1の周期(例えば、100m秒〜180m秒)は、位置決定時刻の周期(例えば、32m秒)よりも長いので、情報取得時刻t1は、データバッファに記憶されている最新の位置決定時刻よりも前の時刻となる。
次に、位置推定部33は、情報取得時刻t1と位置決定時刻t2とが一致していない場合、メモリ22が含むデータバッファを参照して、位置決定時刻t2と情報取得時刻t1との間の時刻における車両速度及びヨーレートを取得して、位置決定時刻t2と情報取得時刻t1との間における車両の移動量及び移動方向を求める。そして、位置推定部33は、初期位置p0と、車両10の移動量及び移動方向とに基づいて、情報取得時刻t1における車両10の位置p1を算出する(ステップS709)。一方、情報取得時刻t1と位置決定時刻t2とが一致する場合には、位置推定部33は、位置決定時刻t2の次の位置決定時刻における初期位置に基づいて、情報取得時刻t1における車両10の位置p1を得る。
次に、位置推定部33は、車両10の位置p1に対して横ずれ量を補正して、情報取得時刻t1における車両の位置p2を求める(ステップS711)。なお、位置推定部33は、情報取得時刻t1における車両の位置p2を、選択された横位置算出部から情報取得時刻t1における車両の位置を通知されるようにしてもよい。この場合、上述したステップS705〜711の処理は省略される。
次に、位置推定部33は、メモリ22が含むデータバッファ(図3参照)を参照して、情報取得時刻t1と位置決定時刻t0との間における車両10の移動量及び移動方向を求める(ステップS713)。ここで、位置決定時刻t0は、情報取得時刻t1よりも後の時刻である。
次に、位置推定部33は、車両10の位置p2と、情報取得時刻t1と位置決定時刻t0との間における車両10の移動量及び移動方向とに基づいて、位置決定時刻t0における車両の位置p3を求める(ステップS801)。なお、位置推定部33は、車両の位置p3に対して補正係数を乗算して、補正された車両の位置を求めてもよい。
位置推定部33は、上述したのと同様の処理を行って、位置決定時刻t0における縦ずれ量が補正された車両10の縦位置を求める。縦ずれ量を求めるのに使用された位置関係情報が取得された情報取得時刻は、横ずれ量が求めるのに使用された位置関係情報が取得された情報取得時刻とは異なる場合があるので、縦ずれ量が補正された車両10の位置を推定する処理は、別に行われる。
次に、位置推定部33は、横ずれ量が補正された車両10の位置と、縦ずれ量が補正された車両10の位置とに基づいて、位置決定時刻t0における車両10の位置を推定する(ステップS803)。例えば、位置推定部33は、横ずれ量が補正された車両10の位置と、縦ずれ量が補正された車両10の位置との平均値を、位置決定時刻t0における車両10の位置として求めてもよい。そして、位置推定部33は、位置決定時刻t0における車両10の位置を、位置決定時刻t0から所定の周期だけ更新した次の位置決定時刻と関連づけて、初期位置としてデータバッファに記録する。また、位置推定部33は、入力した車両速度及びヨーレートに基づいて、前回の位置決定時刻と今回の位置決定時刻との間の車両速度及びヨーレートの平均値を求めて、この平均値を、メモリ22が含むデータバッファ(図3参照)に今回の位置決定時刻t0と関連づけて記憶する。
次に、位置推定部33は、位置決定時刻t0における車両10の位置を、運転計画部35及び車両制御部36へ通知する(ステップS805)。以上が、位置推定部33の処理の説明である。
検出部34は、第1画像と、合成画像、第4情報と、第3画像とに基づいて、車両10の周囲の他の物体を検出する。検出部34は、例えば、第1画像を識別器に入力することで第1画像に表された物体を検出する。識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク(DNN)を用いることができる。検出部34は、DNN以外の識別器を用いてもよい。例えば、検出部34は、識別器として、画像上に設定されるウィンドウから算出される特徴量(例えば、Histograms of Oriented Gradients, HOG)を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン(SVM)を用いてもよい。あるいはまた、検出部34は、検出対象となる物体が表されたテンプレートと画像との間でテンプレートマッチングを行うことで、物体領域を検出してもよい。同様にして、検出部34は、合成画像及び第3画像に基づいて、各画像に表された物体を検出する。また、検出部34は、第4情報に基づいて、所定の方位及び距離に存在する物体を検出する。また、検出部34は、オプティカルフローに基づく追跡処理に従って、最新の画像から検出された物体を過去の画像から検出された物体と対応付けることで、最新の画像から検出された物体を追跡してもよい。そして検出部34は、時間経過に伴う画像上での追跡中の物体のサイズの変化に基づいて、車両10に対するその物体の相対速度を推定してもよい。そして、検出部34は、各画像に基づいて検出された物体について同一物を判定し、同一と判定された物体は1つの物体として判断する。検出部34は、検出された他の物体の位置を示す情報を、運転計画部35へ通知する。
運転計画部35は、位置決定時刻における車両10の位置と、検出された物体の位置を示す情報と、地図情報とを取得する。運転計画部35は、これらの情報に基づいて、車両10の走行予定経路を1以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両10の目標位置の集合として表される。運転計画部35は、車両10の位置と、地図に表された道路上の構造物と、検出された他の物体との位置関係に応じて、車両10と他の物体との相対的な位置関係を推定する。例えば、運転計画部35は、地図に表された車線区画線と、他の物体との位置関係に応じて、他の物体が走行している車線を特定することで、他の物体と車両10とが同じ車線を走行しているか否かを判定する。例えば、運転計画部35は、他の物体の水平方向の中心位置を挟むように位置する互いに隣接する二つの車線区画線で特定される車線を他の物体が走行していると判定する。同様に、運転計画部35は、車両10を挟むように位置する互いに隣接する二つの車線区画線で特定される車線を車両10が走行していると判定する。そして運転計画部35は、車両10が走行中の車線と他の物体が走行中の車線とが同一か否かを判定する。また、地図に表された隣接する二つの車線区画線間の間隔は既知であり、かつ、カメラの焦点距離といった内部パラメータが既知であるため、画像上での隣接する二つの車線区画線間の間隔により、車両10からの他の物体までの距離が推定できる。そこで、運転計画部35は、画像上での他の物体の位置における、地図に表された隣接する二つの車線区画線間の間隔に基づいて、車両10から他の物体までの距離を推定してもよい。このように、運転計画部35は、地図に表された道路上の構造物との位置関係で他の物体と車両10との相対的な位置関係を推定する。そのため、運転計画部35は、画像に写った車線区画線などの道路上の構造物が不明瞭でも、他の物体と車両10との相対的な位置関係を正確に推定できる。
運転計画部35は、検出された他の物体の現在及び過去の軌跡に基づいての将来の軌跡を推定し、検出された他の物体が走行中の車線及び相対距離に基づいて、他の物体と車両10とが異なる車線を走行するか、あるいは、車両10から他の物体までの相対距離が所定距離以上となるように、車両10の走行予定経路を生成する。なお、運転計画部35は、複数の走行予定経路を生成してもよい。この場合、運転計画部35は、複数の走行予定経路のうち、車両10の加速度の絶対値の総和が最小となる経路を選択してもよい。運転計画部35は、生成した走行予定経路を車両制御部36へ通知する。
車両制御部36は、位置決定時刻における車両10の位置と、車両速度及びヨーレートと、通知された走行予定経路とに基づいて、車両10が通知された走行予定経路に沿って走行するように車両10の各部を制御する。例えば、車両制御部36は、通知された走行予定経路、及び、車両10の現在の車両速度及びヨーレートに従って、車両10の操舵角、加速度及び角加速度を求め、その操舵角、加速度及び角加速度となるように、操舵量、アクセル開度またはブレーキ量を設定する。そして車両制御部36は、設定された操舵量に応じた制御信号を、車両10の操舵輪を制御するアクチュエータ(図示せず)へ出力する。また、車両制御部36は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両10のエンジンの燃料噴射装置(図示せず)へ出力する。あるいは、車両制御部36は、設定されたブレーキ量に応じた制御信号を車両10のブレーキ(図示せず)へ出力する。
以上に説明してきたように、この位置推定装置は、移動物体に搭載されたカメラなどの第1位置情報取得部を用いて取得された移動物体の位置を表す第1位置関係情報に基づいて、第1位置関係情報を取得した第1情報取得時刻における移動物体の第1推定位置を算出する。また、位置推定装置は、第2位置情報取得部を用いて取得された移動物体の位置を表す第2位置関係情報に基づいて、第2位置関係情報を取得した第2情報取得時刻における移動物体の第2推定位置を算出する。位置推定装置は、直前の第1情報取得時刻に取得された第1位置関係情報に基づいて第1推定位置が求められた場合、現時刻における移動物体の位置を、第1推定位置と、この第1情報取得時刻と、現時刻との間における移動物体の第1移動量及び第1移動方向とに基づいて推定する。位置推定装置は、直前の第1情報取得時刻に取得された第1位置関係情報に基づいて第1推定位置が求められない場合、現時刻における移動物体の位置を、第2推定位置と、直前の第2情報取得時刻と、現時刻との間における移動物体の第2移動量及び第2移動方向とに基づいて推定する。これにより、位置推定装置は、移動物体の位置を算出するための情報を取得する位置情報取得装置を変更しても、高い精度で移動物体の位置を求められる。
本発明では、上述した実施形態の位置推定装置および位置推定用コンピュータプログラムは、本発明の趣旨を逸脱しない限り適宜変更が可能である。
例えば、上述した車両の横方向の位置を求める第1〜2横位置算出部、及び、車両の縦方向の位置を求める第1〜2縦位置算出部は一例であり、位置推定装置が車両の横位置及び縦位置を算出する方法は特に制限されない。位置推定装置は、車両の横位置及び縦位置を算出するための2つ以上の手段を有していればよい。例えば、位置推定装置は、第3カメラが生成した画像、LiDARセンサが生成した第4情報、又は、第4カメラ6が生成した第3画像に基づいて、車両の横ずれ量又は縦ずれ量を求めてもよい。
また、位置推定装置は、同じ位置関係情報取得装置が取得した位置関係情報に基づいて、異なるアルゴリズムを用いて車両の横ずれ量又は縦ずれ量を算出する複数の位置算出部を有していてもよい。例えば、上述した実施形態では、第2横位置算出部は、第1横位置算出部と同じアルゴリズムを用いて車両の横ずれ量を算出していたが、第2横位置算出部は、第1横位置算出部と異なるアルゴリズムを用いて車両の横ずれ量を算出してもよい。同様に、上述した実施形態では、第2縦位置算出部は、第1縦位置算出部と同じアルゴリズムを用いて車両の縦ずれ量を算出していたが、第2縦位置算出部は、第1縦位置算出部と異なるアルゴリズムを用いて車両の縦ずれ量を算出してもよい。
1 車両制御システム
2 第1カメラ
3 第2カメラ
4a〜4d 第3カメラ
4e カメラ画像処理装置
5a〜5d LiDARセンサ
6 第4カメラ
7 測位情報受信機
7a 測位情報受信部
7b プロセッサ
8 地図情報記憶装置
9 電子制御装置
10 車両
11 車内ネットワーク
21 通信インターフェース
22 メモリ
23 プロセッサ
31a 第1横位置算出部
31b 第2横位置算出部
32a 第1縦位置算出部
32b 第2縦位置算出部
33 位置推定部
34 検出部
35 運転計画部
36 車両制御部

Claims (4)

  1. 第1の周期で設定される第1情報取得時刻ごとに、移動物体の位置を表す第1位置関係情報を取得する第1位置情報取得部と、
    前記第1位置関係情報に基づいて、前記第1情報取得時刻における前記移動物体の第1推定位置を算出する第1位置算出部と、
    第2の周期で設定される第2情報取得時刻ごとに、前記移動物体の位置を表す第2位置関係情報を取得する第2位置情報取得部と、
    前記第2位置関係情報に基づいて、前記第2情報取得時刻における前記移動物体の第2推定位置を算出する第2位置算出部と、
    直前の前記第1情報取得時刻に取得された前記第1位置関係情報に基づいて前記第1推定位置が求められた場合、前記移動物体の挙動を表す情報に基づいて、当該第1情報取得時刻と、現時刻との間における前記移動物体の第1移動量及び第1移動方向を算出し、現時刻における前記移動物体の位置を、前記第1推定位置と、前記移動物体の前記第1移動量及び前記第1移動方向とに基づいて推定し、
    直前の前記第1情報取得時刻に取得された前記第1位置関係情報に基づいて前記第1推定位置が求められない場合、前記移動物体の挙動を表す情報に基づいて、直前の前記第2情報取得時刻と、現時刻との間における前記移動物体の第2移動量及び第2移動方向を算出し、現時刻における前記移動物体の位置を、前記第2推定位置と、前記移動物体の前記第2移動量及び前記第2移動方向とに基づいて推定する位置推定部と、
    を有する位置推定装置。
  2. 前記位置推定部が前記移動物体の位置を推定する間隔は、前記第1の周期及び前記第2の周期よりも短い請求項1に記載の位置推定装置。
  3. 前記第1推定位置の精度は、前記第2推定位置の精度よりも高い請求項1または2に記載の位置推定装置。
  4. 第1の周期で設定される第1情報取得時刻ごとに、移動物体の位置を表す第1位置関係情報を取得し、
    前記第1位置関係情報に基づいて、前記第1情報取得時刻における前記移動物体の第1推定位置を算出し、
    第2の周期で設定される第2情報取得時刻ごとに、前記移動物体の位置を表す第2位置関係情報を取得し、
    前記第2位置関係情報に基づいて、前記第2情報取得時刻における前記移動物体の第2推定位置を算出し、
    直前の前記第1情報取得時刻に取得された前記第1位置関係情報に基づいて前記第1推定位置が求められた場合、前記移動物体の挙動を表す情報に基づいて、当該第1情報取得時刻と、現時刻との間における前記移動物体の第1移動量及び第1移動方向を算出し、現時刻における前記移動物体の位置を、前記第1推定位置と、前記移動物体の前記第1移動量及び前記第1移動方向とに基づいて推定し、
    直前の前記第1情報取得時刻に取得された前記第1位置関係情報に基づいて前記第1推定位置が求められない場合、前記移動物体の挙動を表す情報に基づいて、直前の前記第2情報取得時刻と、現時刻との間における前記移動物体の第2移動量及び第2移動方向を算出し、現時刻における前記移動物体の位置を、前記第2推定位置と、前記移動物体の前記第2移動量及び前記第2移動方向とに基づいて推定する、
    ことをプロセッサに実行させる位置推定用コンピュータプログラム。
JP2019207995A 2019-11-18 2019-11-18 位置推定装置および位置推定用コンピュータプログラム Active JP6988873B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019207995A JP6988873B2 (ja) 2019-11-18 2019-11-18 位置推定装置および位置推定用コンピュータプログラム
US17/083,508 US11473912B2 (en) 2019-11-18 2020-10-29 Location-estimating device and computer program for location estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019207995A JP6988873B2 (ja) 2019-11-18 2019-11-18 位置推定装置および位置推定用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021081272A true JP2021081272A (ja) 2021-05-27
JP6988873B2 JP6988873B2 (ja) 2022-01-05

Family

ID=75908180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019207995A Active JP6988873B2 (ja) 2019-11-18 2019-11-18 位置推定装置および位置推定用コンピュータプログラム

Country Status (2)

Country Link
US (1) US11473912B2 (ja)
JP (1) JP6988873B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220283588A1 (en) * 2021-03-02 2022-09-08 Kabushiki Kaisha Toyota Jidoshokki Autonomous vehicle and self-location estimating method in autonomous vehicle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405557B1 (en) * 2021-07-20 2022-08-02 Locus Robotics Corp. Rolling shutter compensation for moving digital optical camera sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007147515A (ja) * 2005-11-29 2007-06-14 Denso Corp 車両用ナビゲーション装置
JP2007179337A (ja) * 2005-12-28 2007-07-12 Aisin Aw Co Ltd 車両間情報通信システム
JP2019002764A (ja) * 2017-06-14 2019-01-10 本田技研工業株式会社 車両位置判定装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0662600A4 (en) * 1993-06-10 1997-02-12 Oh Yoh Keisoku Kenkyusho Kk DEVICE FOR MEASURING THE POSITION OF A MOVABLE OBJECT.
JP4345722B2 (ja) * 2005-07-15 2009-10-14 ソニー株式会社 動体追跡制御装置、動体追跡システム、動体追跡制御方法及びプログラム
US8103444B2 (en) * 2005-12-09 2012-01-24 Electronics And Telecommunications Research Institute System and method for reducing communication load of apparatus for tracking moving object
JP2012108015A (ja) 2010-11-18 2012-06-07 Alpine Electronics Inc 衛星測位装置
US8862395B2 (en) * 2011-01-31 2014-10-14 Raytheon Company Coded marker navigation system and method
EP3187893B1 (en) * 2011-05-18 2022-07-06 Lambda: 4 Entwicklungen GmbH Method to determine the location of a receiver
DE102011111976A1 (de) * 2011-09-01 2013-03-07 Identec Solutions Ag Verfahren und Vorrichtung zur schnellen Ortsbestimmung von bewegten Objekten (z. B. Fahrzeugen) in Richtung auf ein Zielobjekt
EP2776859B1 (en) * 2011-11-08 2018-03-14 Saab Ab Method for determining the location of a firer, method and system for route planning for avoiding a threat
US20150084750A1 (en) * 2013-09-25 2015-03-26 The Chamberlain Group, Inc. Appliance Control Using Destination Information
JP6685847B2 (ja) * 2016-06-14 2020-04-22 株式会社東芝 情報処理装置、および、情報処理方法
WO2018035658A1 (en) * 2016-08-22 2018-03-01 SZ DJI Technology Co., Ltd. System and method for locating a moving object
JP6758160B2 (ja) 2016-11-10 2020-09-23 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN110023787B (zh) * 2016-12-16 2023-05-16 松下知识产权经营株式会社 定位方法和定位终端
JP6693496B2 (ja) 2017-03-16 2020-05-13 株式会社デンソー 自己位置推定装置
US11199413B2 (en) * 2018-07-19 2021-12-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007147515A (ja) * 2005-11-29 2007-06-14 Denso Corp 車両用ナビゲーション装置
JP2007179337A (ja) * 2005-12-28 2007-07-12 Aisin Aw Co Ltd 車両間情報通信システム
JP2019002764A (ja) * 2017-06-14 2019-01-10 本田技研工業株式会社 車両位置判定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220283588A1 (en) * 2021-03-02 2022-09-08 Kabushiki Kaisha Toyota Jidoshokki Autonomous vehicle and self-location estimating method in autonomous vehicle
WO2022186277A1 (ja) * 2021-03-02 2022-09-09 株式会社豊田自動織機 自律走行車及び自律走行車における自己位置推定方法
US11681297B2 (en) * 2021-03-02 2023-06-20 Southwest Research Institute Autonomous vehicle and self-location estimating method in autonomous vehicle

Also Published As

Publication number Publication date
JP6988873B2 (ja) 2022-01-05
US11473912B2 (en) 2022-10-18
US20210148707A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
JP7461720B2 (ja) 車両位置決定方法及び車両位置決定装置
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
CN105466438B (zh) 防撞车辆中的传感器测距和应用
JP2020052695A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
US11663808B2 (en) Distance estimating device and storage medium storing computer program for distance estimation
KR20220024791A (ko) 차량의 궤적을 결정하기 위한 방법 및 장치
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US10554951B2 (en) Method and apparatus for the autocalibration of a vehicle camera system
JPWO2017057052A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019073772A1 (ja) 移動体の位置推定装置及び位置推定方法
JP6988873B2 (ja) 位置推定装置および位置推定用コンピュータプログラム
CN113002562A (zh) 车辆控制装置以及存储介质
US20220205804A1 (en) Vehicle localisation
JP7234840B2 (ja) 位置推定装置
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
US11754403B2 (en) Self-position correction method and self-position correction device
JP2023152109A (ja) 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム
JP7334489B2 (ja) 位置推定装置及びコンピュータプログラム
JP2021026683A (ja) 距離推定装置
JP2020076714A (ja) 位置姿勢推定装置
CN113492850B (zh) 倾斜角检测装置及控制装置
JP7409037B2 (ja) 推定装置、推定方法、推定プログラム
US20230260294A1 (en) Apparatus, method, and computer program for estimating road edge

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201110

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R151 Written notification of patent or utility model registration

Ref document number: 6988873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151