JP2023032947A - 自律走行システム - Google Patents

自律走行システム Download PDF

Info

Publication number
JP2023032947A
JP2023032947A JP2021139333A JP2021139333A JP2023032947A JP 2023032947 A JP2023032947 A JP 2023032947A JP 2021139333 A JP2021139333 A JP 2021139333A JP 2021139333 A JP2021139333 A JP 2021139333A JP 2023032947 A JP2023032947 A JP 2023032947A
Authority
JP
Japan
Prior art keywords
road surface
autonomous vehicle
image
map
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021139333A
Other languages
English (en)
Inventor
彩加 山田
Ayaka Yamada
賢二 望月
Kenji Mochizuki
峰志 宇野
Mineshi Uno
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2021139333A priority Critical patent/JP2023032947A/ja
Priority to PCT/JP2022/031297 priority patent/WO2023026962A1/ja
Publication of JP2023032947A publication Critical patent/JP2023032947A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】取得した画像と対応付ける自律走行車の位置情報の精度を向上することができる自律走行システムを提供する。【解決手段】カメラ30と、記憶部60と、推定部51と、地図作成時に、GNSSアンテナ87による測量情報に基づいてカメラ30により取得された路面の画像から、自律走行車の位置情報が対応付けられた路面の地図画像を作成する地図作成部70を備える。地図作成部70において作成した路面の地図画像における自律走行車の位置情報が適切であるか否か判定する判定部100と、判定部100において、作成した路面の地図画像における自律走行車の位置情報が適切でない場合に、トータルステーション110による測量情報を用いて、路面の地図画像に対応付ける自律走行車の位置情報を補正する補正部101を備える。【選択図】図4

Description

本発明は、自律走行システムに関するものである。
無人車両の状態(位置情報など)を推定する技術としてSLAM(Simultaneous Localization and Mapping)がある。SLAMは、移動体の自己位置推定と環境地図作成を同時に行う技術であり、移動体が未知の環境下で環境地図を作成できる。構築した地図情報を使って障害物などを回避しつつ特定のタスクを遂行する。
自律走行車の自己位置を推定する技術として路面画像を用いることが知られている(例えば、特許文献1参照)。この技術は、車体に路面を撮影するカメラを設置し、予め撮影しておいた画像(地図画像)と、現時点での路面画像(実際の画像)のそれぞれから特徴を検出し、それらを比較して自己位置を推定するものである。
米国特許第8725413号明細書
ところが、地図作成時に、地図画像に対応付けられた位置と実際の位置が乖離する場合、自己位置推定精度が悪化する。つまり、路面画像(実際の画像)を、この位置に対応付けられた地図画像とマッチングすると自己位置推定精度が悪くなる。
上記課題を解決するための自律走行システムは、自律走行車の車体に設置され、前記車体の下方の路面の画像を取得する路面画像取得装置と、前記自律走行車に搭載され、前記自律走行車の位置情報が対応付けられた前記路面の地図画像を記憶する記憶部と、前記自律走行車に搭載され、前記路面画像取得装置により取得された前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定する推定部と、前記自律走行車に搭載され、地図作成時に、第1測量機器による測量情報に基づいて前記路面画像取得装置により取得された前記路面の画像から、前記自律走行車の位置情報が対応付けられた前記路面の地図画像を作成する地図作成部と、を備える自律走行システムであって、前記地図作成部において作成した前記路面の地図画像における前記自律走行車の位置情報が適切であるか否か判定する判定部と、前記判定部において、前記作成した前記路面の地図画像における前記自律走行車の位置情報が適切でない場合に、前記第1測量機器とは異なる種類の第2測量機器による測量情報を用いて、前記路面の地図画像に対応付ける前記自律走行車の位置情報を補正する補正部と、を備えることを要旨とする。
これによれば、地図作成部において、地図作成時に、第1測量機器による測量情報に基づいて路面画像取得装置により取得された路面の画像から自律走行車の位置情報が対応付けられた路面の地図画像が作成される。地図作成部において作成した路面の地図画像における自律走行車の位置情報が適切であるか否か判定され、適切でない場合には、第1測量機器とは異なる種類の第2測量機器による測量情報を用いて、路面の地図画像に対応付ける自律走行車の位置情報が補正される。その結果、取得した画像と対応付ける自律走行車の位置情報の精度を向上することができる。
また、上記自律走行システムにおいて、前記第1測量機器は、衛星測位機器又は慣性測定機器であり、前記第2測量機器は、トータルステーションであるとよい。
また、上記自律走行システムにおいて、前記自律走行車の位置情報は、前記自律走行車の位置座標及び姿勢情報であるとよい。
本発明によれば、取得した画像と対応付ける自律走行車の位置情報の精度を向上することができる。
自律走行システムの全体構成図である。 図1のE部拡大図である。 自律走行システムの概略平面図である。 自律走行システムの電気的構成を示すブロック図である。 画像の一例を示す図である。 屋外での地図作成処理を説明するためのフローチャートである。 屋内での地図作成処理を説明するためのフローチャートである。 (a)はトータルステーションによる軌跡測定時期を説明するためのタイミングチャート、(b)はカメラによる路面画像取得タイミングを説明するためのタイミングチャート、(c)はGNSSアンテナによる位置情報取得タイミングを説明するためのタイミングチャート、(d)は地図作成タイミングを説明するためのタイミングチャート、(e)はGNSSによる位置情報の良否判定タイミングを説明するためのタイミングチャート、(f)は位置情報の補正タイミングを説明するためのタイミングチャートである。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。 位置情報を説明するための説明図である。
以下、本発明を具体化した一実施形態を図面に従って説明する。
<システムの構成>
図1に示すように、自律走行システム10は、自律走行車20を備える。自律走行車20は、四輪車両であって、車体21と、車体21の下部に配置された駆動輪82と、車体21の下部に配置された操舵輪85と、を備える。
図1、図2に示すように、自律走行車20は、カメラ30を備える。カメラ30は、自律走行車20の車体21の下面22の中央部に設置され、車体21の下方の路面Srを撮影することができる。路面画像取得装置としてのカメラ30により、路面Srの画像を一定周期で取得することができるようになっている。図5には、カメラ30による画像Piの一例を示す。画像Piは、円形をなしている。
図2に示すように、自律走行車20は、照明用の光源31を備える。光源31は、車体21の下面22に設置されている。光源31は、例えば発光ダイオード(LED)よりなる。光源31は、路面Srにおけるカメラ30の撮影領域に光を照射するためのものである。光源31は、カメラ30の撮影タイミングに同期して点灯する。
図4に示すように、自律走行システム10は、自律走行車20に搭載される移動体側機器(車両側機器)200と、自律走行車20が走行する地上側に設置される地上側機器(基準側機器)300を有する。
移動体側機器(車両側機器)200は、制御装置40を含む。制御装置40は、処理部50と記憶部60と地図作成部70と判定部100と補正部101を含む。処理部50は、推定部51を有し、推定部51は特徴抽出部52とマッチング部53を備える。移動体側機器(車両側機器)200は、モータドライバ80、走行モータ81、モータドライバ83、操舵モータ84、光源ドライバ86、衛星測位機器としてのGNSS(Global Navigation Satellite System)アンテナ87、GNSS受信機88、無線通信機89を含む。
地上側機器(基準側機器)300は、測量機器としてのトータルステーション110、無線通信機111を含む。
移動体側機器(車両側機器)200の無線通信機89と地上側機器(基準側機器)300の無線通信機111の間において無線通信可能となっている。
図4に示すように、制御装置40にはカメラ30が接続されている。制御装置40は、モータドライバ80を介して走行モータ81を制御して駆動輪82を駆動することができるようになっている。制御装置40は、モータドライバ83を介して操舵モータ84を制御して操舵輪85を駆動することができるようになっている。制御装置40は、光源ドライバ86を介して光源31を制御することができる。
記憶部60には、自律走行車20を制御するための種々のプログラムが記憶されている。制御装置40は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路:ASICを備えていてもよい。制御装置40は、コンピュータプログラムに従って動作する1つ以上のプロセッサ、ASIC等の1つ以上の専用のハードウェア回路、あるいは、それらの組み合わせを含む回路として構成し得る。プロセッサは、CPU、並びに、RAM及びROM等のメモリを含む。メモリは、処理をCPUに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。
制御装置40は、記憶部60に記憶されたプログラムに従い、走行モータ81及び操舵モータ84を制御することで、自律走行車20を動作させる。本実施形態の自律走行車20は、搭乗者による操作が行われることなく、制御装置40による制御によって自動で走行、操舵の動作を行う車両である。
記憶部60には、路面の地図画像61、即ち、予め路面Srを撮影しておいた地図画像61が記憶されている。地図画像61は、自律走行車20の位置情報が対応付けられた路面の画像である。自律走行車20の位置情報は、自律走行車20の位置座標及び姿勢情報である。
推定部51は、例えば図5に示すようにカメラ30により撮影(取得)された路面Srの画像から抽出された特徴(点群)F1~F5と、記憶部60の地図画像61から抽出された特徴とを比較する。推定部51は、この比較により自律走行車20の位置(位置座標及び姿勢)を推定することができる。
詳しくは、特徴抽出部52において、図5に示すように、現時点での路面画像(実際の画像)である画像Piから特徴点を検出する。特徴抽出部52において、その特徴点についての特徴量、即ち、特徴点のあるピクセルに対する周りのピクセルでの輝度の大きさの程度を表す特徴量を検出する。同様に、特徴抽出部52において、予め撮影しておいた地図画像から特徴点を検出するとともに、その特徴点についての特徴量、即ち、特徴点のあるピクセルに対する周りのピクセルでの輝度の大きさの程度を表す特徴量を検出する。そして、マッチング部53において、現時点での路面画像(実際の画像)における各特徴点の特徴量と、予め撮影しておいた地図画像における各特徴点の特徴量を比較することにより自律走行車20の位置情報(位置座標及び姿勢情報)を推定する。
地図画像61を予め記憶部60に記憶する場合、路面の模様の位置座標及び姿勢情報を環境地図として記憶する。環境地図は、SLAM(Simultaneous Localization and Mapping)によるマッピングにより作成される。SLAMは、移動体の自己位置推定と環境地図作成を同時に行うものであり、移動体が未知の環境下で環境地図を作成できる。構築した地図情報を使って特定のタスクを遂行する。自律走行車20の位置座標は、より詳しくは、図3に示すように車体21の一点を示す座標、例えば、車体21の水平方向の中央の座標である。そして、カメラ30で取得した路面画像と事前に取得した地図画像を比較することで自律走行車20の位置情報(位置座標及び姿勢情報)を推定することになる。
制御装置40は、地図上での自律走行車20の位置情報(位置座標及び姿勢情報)を推定しながら走行モータ81及び操舵モータ84を制御することで、所望の位置に自律走行車20を移動させることが可能である。
図1、図3に示すように、自律走行車20にはGNSSアンテナ87が搭載されている。GNSSアンテナ87は、人工衛星S1~S4から電波を受信することができる。図4に示すように、自律走行車20においてGNSSアンテナ87はGNSS受信機88を介して制御装置40と接続されている。制御装置40は、GNSSアンテナ87による測量情報を取り込むことができる。
図1において、4つの人工衛星S1~S4からの電波をGNSSアンテナ87で受信して、自律走行車20の位置情報である位置座標(緯度経度)及び姿勢情報が求められる。
衛星測位(GNSSアンテナ87による測位)では、姿勢情報は方位角として測定される。
図1、図3に示すように、トータルステーション110は、自律走行車20が走行する地上側に設置されている。トータルステーション110は、既知点であり、地図作成時に自律走行車20の位置座標及び姿勢情報(角度)を測定することができる。詳しくは、自律走行車20に反射部材(例えば360度プリズム)90が設けられており、反射部材90においてトータルステーション110の発する光波を反射させてトータルステーション110で受光させる。そして、トータルステーション110からの光波を反射部材90で反射させることによりトータルステーション110と反射部材90との間の相対位置を観測して自律走行車20の位置座標及び姿勢情報(角度)を測定することができる。
図4に示すように、トータルステーション110による測量情報は、無線通信機111を介して自律走行車20に無線で送られる。そのトータルステーション110による測量情報は、自律走行車20において無線通信機89を介して制御装置40において取り込まれる。トータルステーション(測量機器)110による測量では、姿勢情報は角度として測定される。トータルステーション110による位置情報は高精度である。
図1に示すように、自律走行車20においてトータルステーション110からの光波を反射させる反射部材90と、カメラ30と、GNSSアンテナ87とが同一鉛直軸Axv上に配置されている。
図4に示すように、制御装置40の地図作成部70は、屋外での地図作成時にGNSSアンテナ87による測量情報を得る。そして、地図作成部70は、この情報に基づいてカメラ30により取得された路面Srの画像から、自律走行車20の位置情報(位置座標及び姿勢情報)が対応付けられた路面Srの地図画像を作成することができるようになっている。
また、制御装置40の地図作成部70は、屋内での地図作成時に第1測量機器としてのGNSSアンテナ87による測量情報を得る。そして、地図作成部70は、この情報に基づいてカメラ30により取得された路面Srの画像から、自律走行車20の位置情報(位置座標及び姿勢情報)が対応付けられた路面Srの地図画像を作成することができるようになっている。
図4に示すように、判定部100は、地図作成部70において作成した路面Srの地図画像における自律走行車20の位置情報が適切であるか否か判定することができる。補正部101は、判定部100において、作成した路面Srの地図画像における自律走行車20の位置情報が適切でない場合に、次のように、位置情報を補正することができる。補正部101は、第1測量機器としてのGNSSアンテナ87とは異なる種類の第2測量機器としてのトータルステーション110による測量情報を用いて、路面Srの地図画像に対応付ける自律走行車20の位置情報を補正することができる。
<作用>
次に、作用について説明する。
<屋外での地図作成>
図6には自律走行車20の屋外の走行中において制御装置40の地図作成部70が実行する屋外での地図作成処理を示す。
地図作成部70は、図6のステップS10において、カメラ30による画像データを取得して保存する。カメラ30による画像データの取得は、例えば、設定した距離間隔、あるいは、設定した等時間間隔で行われる。屋外での地図画像作成の際に、自律走行車20を低速走行しながら所望の走行経路でデータの取得が行われる。あるいは、屋外での地図画像作成の際に、自律走行車20を停止と走行を繰り返しながら所望の走行経路でデータの取得が行われる。
地図作成部70は、図6のステップS11において、GNSSアンテナ87による測量情報(衛星測位データ)を取得して保存する。
地図作成部70は、図6のステップS12において、GNSSアンテナ87による位置情報をカメラ30による画像データと対応付ける。
<屋内での地図作成>
図7には自律走行車20の屋内の走行中において制御装置40が実行する屋内での地図作成処理を示す。
図8(a)にはトータルステーション110による取得データに基づく軌跡測定タイミングを示す。図8(b)にはカメラ30による路面画像の取得タイミングを示す。図8(c)にはGNSSアンテナ87による位置情報の取得タイミングを示す。図8(d)には地図作成タイミングを示す、図8(e)にはGNSSアンテナ87による位置情報の良否判定タイミングを示す。図8(f)には位置情報の補正タイミングを示す。
図8において、t1のタイミングからt9のタイミングまでが屋内走行期間である。
地図作成部70は、図7のステップS20において、トータルステーション110による測量情報を取得するとともに、この測量情報から自律走行車20の位置座標の軌跡を測定する。図8(a)において、t1のタイミングからt9のタイミングまでの屋内走行期間においてトータルステーション110による測量情報から自律走行車20の位置座標の軌跡が測定される。
地図作成部70は、図7のステップS21において、カメラ30による画像データを取得して保存する。図8(b)において、t2のタイミング及びt6のタイミングでカメラ30による画像データが取得される。
カメラ30による画像データの取得は、例えば、設定した距離間隔、あるいは、設定した等時間間隔で行われる。屋内での地図画像作成の際に、自律走行車20を低速走行しながら所望の走行経路でデータの取得が行われる。あるいは、屋内での地図画像作成の際に、自律走行車20を停止と走行を繰り返しながら所望の走行経路でデータの取得が行われる。
地図作成部70は、図7のステップS22において、GNSSアンテナ87による測量情報を取得する。図8(c)において、t2のタイミング及びt6のタイミングでGNSSアンテナ87による測量情報が取得される。
地図作成部70は、図7のステップS23において、GNSSアンテナ87による位置情報を画像データと対応付ける。図8(d)において、t3のタイミング及びt7のタイミングで路面画像に位置情報が対応付けられた地図が作成される。
判定部100は、図7のステップS24において、作成した路面Srの地図画像における自律走行車20の位置情報(位置座標及び姿勢情報)が適切であるか否か判定する。図8(e)において、t4のタイミング及びt8のタイミングで位置情報(位置座標及び姿勢情報)が適切であるか否かが判定される。
図9において、自律走行車20の位置座標(x,y)及び姿勢角θを、(x,y,θ)で示す。即ち、前々回の位置情報P1が(x1,y1,θ1)であり、前回の位置情報P2が(x2,y2,θ2)であり、今回の位置情報P3が(x3,y3,θ3)である。
一例として、図9においては、作成した路面Srの地図画像における自律走行車20の位置情報が適切である場合を示す。図10においては、作成した路面Srの地図画像における自律走行車20の位置情報が適切でない場合を示す。
位置座標については、地図におけるトータルステーション110による位置座標の軌跡又はその延長線に対する垂線方向における今回の位置座標の距離rが閾値以上か否か判定する。以下、「地図におけるトータルステーション110による位置座標の軌跡又はその延長線」を軌道Trという。姿勢については、姿勢角θの変化が閾値以上か否かで判定する。具体的には、図10において、前回の姿勢角θ2と今回の姿勢角θ3との差である(θ2-θ3)の絶対値が閾値よりも大きいか否か判定し、(θ2-θ3)の絶対値が閾値よりも大きいと適切ではないとなる。
図10において、前々回の位置情報P1が(x1,y1,θ1)であり、前回の位置情報P2が(x2,y2,θ2)であり、今回の位置情報P3(x3,y3,θ3)において位置情報が適切でない。
補正部101は、作成した路面Srの地図画像における自律走行車20の位置情報が適切でない場合に、図7のステップS25に移行する。図7のステップS25において、第1測量機器とは異なる種類の第2測量機器としてのトータルステーション110による測量情報を用いて、路面Srの地図画像に対応付ける自律走行車20の位置情報を補正する。図8(e)のt4のタイミングでの判定により位置情報(位置座標及び姿勢情報)が適切でないことにより、図8(f)においてt5のタイミングで補正が行われる。図8(e)のt8のタイミングでの判定により位置情報(位置座標及び姿勢情報)が適切であることにより補正は行われない。
例えば、図10に示すように、作成した路面Srの地図画像における自律走行車20の位置情報が適切でない場合には、今回の位置情報P3(x3,y3,θ3)を補正して、位置情報P10(x10,y10,θ10)にする。具体的には、位置座標を軌道Tr上に投影する。即ち、今回の位置座標(x3,y3)について、軌道Trに対する垂直線のうちの今回の位置座標(x3,y3)を通る直線と、軌道Trとの交点を、補正後の位置座標(x10,y10)とする。また、今回の位置情報P3での姿勢角θ3について、前回の位置情報P2での姿勢角θ2に補正する。よって、図10の場合、今回の補正後の位置情報P10は、(x10,y10,θ2)となる。
補正部101は、図7のステップS25で補正を行った後に、ステップS20に戻る。
判定部100は、図7のステップS24において、作成した路面Srの地図画像における自律走行車20の位置情報(位置座標及び姿勢情報)が適切であると、ステップS25での補正を行うことなく、ステップS20に戻る。
以下、詳しく説明する。
自律走行システムは移動体の自動走行を行うためのシステムであり、地図作成、作成した地図に対する自己位置推定(2次元)が可能である。自律走行システムは路面画像を撮影し画像処理(特徴マッチング)を行い、地図画像に対応付けられた位置情報から位置・姿勢・速度を推定するためのカメラを有する。特徴マッチングは、自己位置推定時に取得した画像と地図画像を比較することにより行われる。地図作成時において、路面上の画像を撮影すると、それに応じた位置情報を地図に記録する。
ところが、地図を作成する際に、自律走行車に、カメラと衛星測位機器(GPS:global positioning system)若しくは慣性測定機器(IMU:inertial measurement unit)を搭載する。そして、自律走行車を走行させて、設定した距離間隔等で画像を撮影する。撮影した画像と対応付ける自律走行車の位置座標及び姿勢情報を衛星測位機器(GPS)若しくは慣性測定機器(IMU)から算出する場合においては、例えば、図11に示すように、地図作成精度が低くなってしまう。詳しくは、衛星測位機器(GPS)若しくは慣性測定機器(IMU)の測位精度が低く、地図作成時に撮影した画像と対応付ける自律走行車の位置座標及び姿勢情報の精度が低い。その結果、自律走行車の位置座標及び姿勢情報の推定精度が低いため、自動走行精度が低くなる。
例えば、特定の場所、例えば図11に示すように衛星測位機器を用いる場合における屋内走行時に、実際の位置座標と、地図に対応付けた位置座標との関係において、特定の位置座標P100において、大きなずれ(乖離)Δが生じる。その結果、この位置座標に対応付けた画像とマッチングすると、自己位置推定精度が悪い。
本実施形態においては、路面を撮影するカメラ30と、地図作成のための計測システムを有する。そして、路面の画像と地図画像を比較して自己位置を推定する。地図作成の際に、作成した地図の位置情報が適切であるかを判定し、適切でない場合にトータルステーション110による位置情報を用いて補正をする。
作成した地図の位置情報が適切か否かの判定について、地図の精度が明らかに悪くないかを判定するものであって、指標としては、図12に示すように、屋外のように、予想される位置座標と地図に対応付けた位置座標との乖離が小さい場合には、補正は行わない。一方、図13に示すように、屋内のように、予想される位置座標と地図に対応付けた位置座標との乖離が大きい場合には、補正を行う。
予想される位置座標の計算例を説明する。具体的には、トータルステーション110による位置座標の軌道Trから予想される位置座標を算出する。
位置情報の補正について、作成した地図の位置座標及び姿勢情報をより正確な値に修正すべく、直交座標での位置(緯度経度)の補正の例を図14、図15に示す。
位置座標の補正において、図14に示すように、トータルステーション110の位置座標と補正前の地図に対応付けた位置座標との関係において、軌道Tr上に、地図に対応付けた位置座標が来るように補正する。具体的には、各位置座標のうち適切でない位置座標については補正している。図14において、位置座標P20を位置座標P21に、位置座標P22を位置座標P23に、位置座標P24を位置座標P25に補正する。
位置座標の補正において図15に示すように、トータルステーション110による位置座標と、補正前の地図に対応付けた位置座標との関係において次のようにする。図15では、補正前の各位置座標P30a~30kがトータルステーション110による位置座標の軌道Trから大きくずれている。この場合は、各位置座標P30a~30kの全てを補正している。図15において、補正前の位置座標P30a~30kを、トータルステーション110による位置座標の軌道Trに射影して、補正後の地図に対応付けた位置座標P31a~31kとする。
他にも位置座標の補正において、図16に示すように、トータルステーション110による位置座標P40,P41を記憶しておき、補正後の地図に対応付けた位置座標P42との関係において、次のようにしてもよい。トータルステーション110による位置座標P40,P41についてタイムスタンプ機能を用いて時刻データを付与し、時刻の計算を考慮して位置座標を決定してもよい。図16においては、時刻t40での位置座標(x40,y40)と、時刻t41での位置座標(x41,y41)との間において、その中間点を補正後の位置座標とする。この位置座標においては、時刻t42、即ち、(t40+t41)/2における座標位置として、x方向においては中間点x42、即ち、(x41+x42)/2とするとともに、y方向においては中間点y42、即ち、(y41+y42)/2とする。つまり、時刻t42での位置座標(x42,y42)とする。
図10を用いて説明した姿勢角の補正は前回の姿勢角を今回の姿勢角とするものであったが、それ以外にも、次のようにしてもよい。姿勢の補正として、図17に示すように、補正後の地図に対応付けた位置座標P50,P51を記憶しておき、その位置座標P50,P51と、姿勢を補正する位置座標P52との関係として、次のようにしてもよい。任意の位置座標P52に対しその前後の位置座標P50,P51を結ぶ線の向きから任意の位置座標P52での姿勢角θを算出する。なお、任意の位置座標が始点もしくは終点のときは、任意の位置座標とその隣接する位置座標を結ぶ線の角度を姿勢とする。即ち、図17を用いて説明すると、位置座標P51が無い終点のときは、任意の位置座標P52と隣接する位置座標P50を結ぶ線の角度を姿勢とする。また、図17において位置座標P50が無い始点のときは、任意の位置座標P52と隣接する位置座標P51を結ぶ線の角度を姿勢とする。
他にも姿勢情報の補正として、図18に示すように、補正後の地図に対応付けた位置座標P60,P61と、姿勢を補正する位置座標P62の関係において、次のようにしてもよい。前回の位置座標P60と今回の位置座標P62を結ぶ線の向きを、今回の位置座標P62での姿勢角θとする。他にも、図19に示すように、補正後の地図に対応付けた位置座標P70,P71と、姿勢を補正する位置座標P72の関係において、今回の位置座標P72と次回の位置座標P71を結ぶ線の向きを、今回の位置座標P72での姿勢角θとしてもよい。
<実施形態の効果>
上記実施形態によれば、以下のような効果を得ることができる。
(1)自律走行システム10の構成として、自律走行車20の車体21に設置され、車体21の下方の路面Srの画像を取得する路面画像取得装置としてのカメラ30を備える。自律走行システム10は、自律走行車20に搭載され、自律走行車20の位置情報が対応付けられた路面Srの地図画像を記憶する記憶部60を備える。自律走行システム10は、自律走行車20に搭載され、カメラ30により取得された路面Srの画像から抽出された特徴F1~F5と、地図画像から抽出された特徴とを比較することにより自律走行車20の位置を推定する推定部51を備える。自律走行システム10は、自律走行車20に搭載された地図作成部70を備える。地図作成部70は、地図作成時に、第1測量機器としてのGNSSアンテナ87による測量情報に基づいてカメラ30により取得された路面Srの画像から、自律走行車20の位置情報が対応付けられた路面Srの地図画像を作成する。自律走行システム10は、地図作成部70において作成した路面Srの地図画像における自律走行車20の位置情報が適切であるか否か判定する判定部100を備える。自律走行システム10は、補正部101を備える。補正部101は、判定部100において、作成した路面Srの地図画像における自律走行車20の位置情報が適切でない場合に、次のようにする。補正部101は、第1測量機器とは異なる種類の第2測量機器としてのトータルステーション110による測量情報を用いて、路面Srの地図画像に対応付ける自律走行車20の位置情報を補正する。これによれば、地図作成部70において、地図作成時に、GNSSアンテナ87による測量情報に基づいてカメラ30により取得された路面の画像から自律走行車20の位置情報が対応付けられた路面Srの地図画像が作成される。地図作成部70において作成した路面Srの地図画像における自律走行車20の位置情報が適切であるか否か判定される。そして、適切でない場合には、トータルステーション110による測量情報を用いて、路面Srの地図画像に対応付ける自律走行車20の位置情報が補正される。その結果、取得した画像と対応付ける自律走行車20の位置情報の精度を向上することができる。
つまり、トータルステーション110を用いて、地図の補正を行う。ここで、トータルステーション110は高価で使用に工数がかかるが、高精度で位置を特定できる。トータルステーション110は、精度はいいものの、使用範囲が限られるため、地図精度の悪い部分のみに適応させる。
(2)第1測量機器は、衛星測位機器としてのGNSSアンテナ87であり、第2測量機器は、トータルステーション110であるので、取得した画像と対応付ける自律走行車20の位置情報の精度をより向上することができる。
(3)自律走行車の位置情報は、自律走行車の位置座標及び姿勢情報であるので、取得した画像と対応付ける自律走行車20の自律走行車の位置座標及び姿勢情報の精度を向上することができる。
実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
○第1測量機器は、衛星測位機器であるGNSSアンテナ87であったが、これに限ることはない。例えば、第1測量機器は、慣性測定機器(IMU)であってもよい。慣性測定機器(IMU)として、ジャイロセンサ、加速度計等を用いることができる。
○第2測量機器は、トータルステーションであったが、これに限ることはない。例えば、第2測量機器は、3D-SLAM、即ち、3Dスキャナや3Dカメラを用いて環境形状を詳細にとらえることができる機器であってもよい。つまり、第2測量機器は、第1測量機器とは異なる自己位置推定機器を利用することも可能である。
〇路面画像取得装置としてカメラ30を用いたが、カメラ以外の機器を路面画像取得装置として用いてもよい。路面画像取得装置として、例えば、リニアセンサ(リニアイメージセンサ)を用いることもできる。また、路面画像取得装置は、車体の下面に設置したが、路面画像取得装置の設置位置は、車体の下面に限らない。
10…自律走行システム、20…自律走行車、21…車体、30…カメラ(路面画像取得装置)、51…推定部、60…記憶部、61…地図画像、70…地図作成部、87…GNSSアンテナ(第1測量機器)、100…判定部、101…補正部、110…トータルステーション(第2測量機器)、F1~F5…特徴、Sr…路面。

Claims (3)

  1. 自律走行車の車体に設置され、前記車体の下方の路面の画像を取得する路面画像取得装置と、
    前記自律走行車に搭載され、前記自律走行車の位置情報が対応付けられた前記路面の地図画像を記憶する記憶部と、
    前記自律走行車に搭載され、前記路面画像取得装置により取得された前記路面の画像から抽出された特徴と、前記地図画像から抽出された特徴とを比較することにより前記自律走行車の位置を推定する推定部と、
    前記自律走行車に搭載され、地図作成時に、第1測量機器による測量情報に基づいて前記路面画像取得装置により取得された前記路面の画像から、前記自律走行車の位置情報が対応付けられた前記路面の地図画像を作成する地図作成部と、
    を備える自律走行システムであって、
    前記地図作成部において作成した前記路面の地図画像における前記自律走行車の位置情報が適切であるか否か判定する判定部と、
    前記判定部において、前記作成した前記路面の地図画像における前記自律走行車の位置情報が適切でない場合に、前記第1測量機器とは異なる種類の第2測量機器による測量情報を用いて、前記路面の地図画像に対応付ける前記自律走行車の位置情報を補正する補正部と、
    を備えることを特徴とする自律走行システム。
  2. 前記第1測量機器は、衛星測位機器又は慣性測定機器であり、
    前記第2測量機器は、トータルステーションである
    ことを特徴とする請求項1に記載の自律走行システム。
  3. 前記自律走行車の位置情報は、前記自律走行車の位置座標及び姿勢情報である
    ことを特徴とする請求項1又は2に記載の自律走行システム。
JP2021139333A 2021-08-27 2021-08-27 自律走行システム Pending JP2023032947A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021139333A JP2023032947A (ja) 2021-08-27 2021-08-27 自律走行システム
PCT/JP2022/031297 WO2023026962A1 (ja) 2021-08-27 2022-08-19 自律走行システム及び自律走行システムにおける方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021139333A JP2023032947A (ja) 2021-08-27 2021-08-27 自律走行システム

Publications (1)

Publication Number Publication Date
JP2023032947A true JP2023032947A (ja) 2023-03-09

Family

ID=85322112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021139333A Pending JP2023032947A (ja) 2021-08-27 2021-08-27 自律走行システム

Country Status (2)

Country Link
JP (1) JP2023032947A (ja)
WO (1) WO2023026962A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4436632B2 (ja) * 2003-08-19 2010-03-24 コマツエンジニアリング株式会社 位置誤差補正機能を持つ測量システム
JP7026136B2 (ja) * 2017-12-22 2022-02-25 ヤマハ発動機株式会社 オンデマンド既定ルート自動走行車両フリートコントロール装置

Also Published As

Publication number Publication date
WO2023026962A1 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
KR102128851B1 (ko) 제1 랜드마크의 글로벌 위치를 결정하는 방법 및 시스템
US9952053B2 (en) Adaptive mapping with spatial summaries of sensor data
US10767990B2 (en) Device, method, and system for processing survey data, and program therefor
Georgiev et al. Localization methods for a mobile robot in urban environments
KR102425272B1 (ko) 디지털 지도에 대한 위치를 판별하기 위한 방법 및 시스템
RU2687103C1 (ru) Устройство оценки положения транспортного средства и способ оценки положения транспортного средства
JP3561473B2 (ja) 物体位置の追跡・検知方法及びビークル
US20210207977A1 (en) Vehicle position estimation device, vehicle position estimation method, and computer-readable recording medium for storing computer program programmed to perform said method
RU2720140C1 (ru) Способ оценки собственной позиции и устройство оценки собственной позиции
WO2020146102A1 (en) Robust lane association by projecting 2-d image into 3-d world using map information
JP2016080460A (ja) 移動体
US20200292320A1 (en) On-Vehicle Processing Device
JP2023164553A (ja) 位置推定装置、推定装置、制御方法、プログラム及び記憶媒体
JP2018005709A (ja) 自律移動装置
JP7184243B2 (ja) 位置認識方法、位置認識装置、基準点設置用移動体、作業用移動体、及び位置認識システム
CN113375679A (zh) 一种车道级定位方法、装置、系统和相关设备
WO2023026962A1 (ja) 自律走行システム及び自律走行システムにおける方法
WO2020230314A1 (ja) 自己位置補正方法及び自己位置補正装置
JP2021081272A (ja) 位置推定装置および位置推定用コンピュータプログラム
US20220176990A1 (en) Autonomous travel system
RU2781373C1 (ru) Способ коррекции собственного местоположения и устройство коррекции собственного местоположения
JP7489002B2 (ja) 自律走行車
WO2022186277A1 (ja) 自律走行車及び自律走行車における自己位置推定方法
US20230294689A1 (en) Vehicle controller, and method and computer program for controlling vehicle