JP2023150740A - 自己位置誤差推定装置及び自己位置誤差推定方法 - Google Patents

Abstract

【課題】精度の高い移動体の自己位置の誤差の算出をすることができる自己位置誤差推定装置及び自己位置誤差推定方法を得る。【解決手段】自己位置誤差推定装置は、移動体に搭載された撮像部によって撮像された移動体の周囲の画像を取得する画像取得部と、画像と地図データとに基づいて移動体の現在の自己位置を算出するときに、地図データの誤差に基づいて自己位置の第１の誤差を算出する第１の誤差算出部と、地図データの誤差が無いとした場合の自己位置の第２の誤差を算出する第２の誤差算出部と、第１の誤差と第２の誤差とを含む自己位置の第３の誤差を算出する第３の誤差算出部と、を備える。【選択図】図４

Description

本発明の実施形態は、自己位置誤差推定装置及び自己位置誤差推定方法に関する。

従来、移動体の現在の自己位置を、予め作成された地図データと、撮像部によって撮像された画像とに基づいて推定する技術において、推定した移動体の自己位置の誤差を算出する技術が知られている。

特開２０１８－５０８３９８号公報

しかしながら、上記の技術では、移動体の自己位置の誤差の算出に、地図データの誤差が考慮されていないため、自己位置の誤差の精度が低いという問題がある。

そこで、実施形態の課題の一つは、精度の高い移動体の自己位置の誤差の算出をすることができる自己位置誤差推定装置及び自己位置誤差推定方法を得ることである。

実施形態の自己位置誤差推定装置は、移動体に搭載された撮像部によって撮像された前記移動体の周囲の画像を取得する画像取得部と、前記画像と地図データとに基づいて前記移動体の現在の自己位置を算出するときに、前記地図データの誤差に基づいて前記自己位置の第１の誤差を算出する第１の誤差算出部と、前記地図データの前記誤差が無いとした場合の前記自己位置の第２の誤差を算出する第２の誤差算出部と、前記第１の誤差と前記第２の誤差とを含む前記自己位置の第３の誤差を算出する第３の誤差算出部と、を備える。

このような構成によれば、第３の誤差算出部が、地図データの誤差に基づいた自己位置の第１の誤差を含む自己位置の第３の誤差を算出するので、精度の高い移動体の自己位置の誤差（第３の誤差）を算出することができる。

また、前記自己位置誤差推定装置では、例えば、前記地図データは、当該地図データの作成用に時間及び／又は距離間隔をあけて撮像された複数の前記画像である複数のキーフレームに基づいて作成され、前記キーフレームが撮像されたときの前記移動体の位置での前記第１の誤差を示す第１の誤差情報は含まず、前記第１の誤差算出部は、前記自己位置の算出のための前記画像である自己位置算出用画像が撮像されたときに、前記第１の誤差を算出する。

このような構成によれば、第１の誤差算出部が、自己位置の算出のための画像である自己位置算出用画像が撮像されたときに、第１の誤差を算出するので、画像が撮像された位置における高い精度の移動体の第１の誤差を算出することができる。

また、前記自己位置誤差推定装置では、例えば、前記地図データは、当該地図データの作成用に時間及び／又は距離間隔をあけて撮像された複数の前記画像である複数のキーフレームに基づいて作成され、前記キーフレームが撮像されたときの前記移動体の位置を示すキーフレーム撮像位置情報と、当該キーフレーム撮像位置情報が示す前記位置での前記第１の誤差を示す第１の誤差情報と、を含み、前記第１の誤差算出部は、複数の前記キーフレームのうち前記自己位置の算出のための前記画像である自己位置算出用画像が撮像されたときの前記自己位置に位置が最も近い前記キーフレームにおける前記自己位置の誤差に基づいて、前記第１の誤差を算出する。

このような構成によれば、第１の誤差算出部が、地図データに含まれた第１の誤差情報に基づいて自己位置算出用画像が撮像されたときの自己位置の第１の誤差を算出するので自己位置の誤差の算出の処理にかかる時間を短くすることができる。

実施形態の自己位置誤差推定装置は、画像取得部が、移動体に搭載された撮像部によって撮像された前記移動体の周囲の画像を取得するステップと、第１の誤差算出部が、前記画像と地図データとに基づいて前記移動体の現在の自己位置を算出するときに、前記地図データの誤差に基づいて前記自己位置の第１の誤差を算出するステップと、第２の誤差算出部が、前記地図データの前記誤差が無いとした場合の前記自己位置の第２の誤差を算出する第２の誤差算出部と、第３の誤差算出部が、前記第１の誤差と前記第２の誤差とを含む前記自己位置の第３の誤差を算出するステップと、を含む。

このような構成によれば、第１の誤差算出部が、自己位置の算出のための画像である自己位置算出用画像が撮像されたときに、第１の誤差を算出するので、画像が撮像された位置における高い精度の移動体の誤差（第３の誤差）を算出することができる。

図１は、本実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、本実施形態にかかる車両の一例の平面図である。 図３は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。 図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。 図５は、本実施形態にかかる車両が有するＥＣＵによる周辺地図データの作成処理の一例を説明するための図である。 図６は、本実施形態にかかる車両が有するＥＣＵによる車両の自己位置の誤差の算出処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態にかかる車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

図１は、本実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。車両１は、移動体の一例である。

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステム又はオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、及び操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、及び押しボタン等の各種の操作入力部を有しても良い。

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

図２は、本実施形態にかかる車両の一例の平面図である。図１及び図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全て又は一部が、転舵可能である。

車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge Coupled Device）又はＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズ又は魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

図３は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。次に、図３を用いて、本実施形態にかかる車両１の機能構成の一例について説明する。

図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、を備える。

モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、及びＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａ及びトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、及びＢＢＷ（Brake By Wire）を含む。

ブレーキシステム１８は、アクチュエータ１８ａ及びブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、及び横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、及び横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。

アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、及びＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、及びＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理、駐車位置等の目標位置までの目標経路に従った車両１の走行の制御、撮像部１５のキャリブレーションに関わる処理等を実行する。

ＲＯＭ１４ｂは、各種プログラム及び当該プログラムの実行に必要なパラメータ等を記憶する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。

表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。

音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。

ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。

次に、図４を用いて、本実施形態にかかる車両１が有するＥＣＵ１４の機能構成の一例について説明する。ＥＣＵ１４は、自己位置誤差推定装置の一例であり、自己位置誤差推定方法を実行する。

図４に示すように、ＥＣＵ１４は、地図データ作成部１０１と、画像取得部１００、画像取得部１００と、自己位置推定部１０２と、を備える。地図データ作成部１０１は、地図データ誤差算出部１００ａを有する。自己位置推定部１０２は、第１の誤差算出部１０２ａと、第２の誤差算出部１０２ｂと、第３の誤差算出部１０２ｃと、を有する。

例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂ又はＳＳＤ１４ｆ等の記憶媒体内に格納されたプログラムを実行することにより、ＥＣＵ１４は、地図データ作成部１０１、画像取得部１００、及び自己位置推定部１０２の機能を実現する。地図データ作成部１０１、画像取得部１００、及び自己位置推定部１０２の一部又は全部を回路等のハードウェアによって構成しても良い。

画像取得部１００は、撮像部１５によって車両１（移動体の一例）の周囲を撮像して得られる画像（フレーム）を取得する。以後、画像をフレームとも称する。本実施形態では、画像取得部１００は、車両１の移動時に、撮像部１５からフレームを取得する。

地図データ作成部１０１は、撮像される画像のうち所定タイミングのフレームである複数のキーフレーム内に存在する特徴点を抽出し、当該特徴点に基づいて、地図データを作成する。ここで、地図データは、車両１の周囲の地図データ（例えば、三次元の地図データ）である。また、地図データは、撮像部１５の自己位置及び撮像部１５の姿勢を示す位置姿勢情報を示す。

例えば、地図データ作成部１０１は、Ｖｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization And Mapping）によって、地図データを作成する。具体的には、地図データ作成部１０１は、撮像部１５により撮像したフレームから特徴点を抽出する。次いで、地図データ作成部１０１は、撮像部１５の位置姿勢情報、及び抽出した特徴点に基づいて、三角測量によって、撮像部１５と当該特徴点間の距離を求めることにより、地図データを作成する。地図データは、対象物に関して予め定義された３次元座標の地図点を示すものである。

図５は、本実施形態にかかる車両が有するＥＣＵによる周辺地図データの作成処理の一例を説明するための図である。図５は、車両１が現実の位置Ｐ１からＰ６に移動する際に撮像部撮像部が各位置Ｐ１～Ｐ６で画像を撮像した場合に、対象物２０１の特徴点２０２ａ～２０２ｃの位置が算出された例を示している。以後、位置Ｐの総称として位置Ｐを用い、特徴点２０２ａ～２０２ｃの総称として特徴点２０２を用いる。特徴点２０２は、地図点を構成する。

上記地図データには、地図データの誤差として特徴点２０２（すなわち地図点）の位置の誤差（ばらつき）が含まれる。ここで、誤差は、特徴点２０２（地図点）の確定した位置に対する誤差である。図５では、各特徴点２０２ａ～２０２ｃの位置の誤差の範囲が領域２Ｒａ～Ｒｃで模式的に表されている。領域Ｒａ～Ｒｃの総称として領域Ｒを用いる。地図データは、上述のようにＳＬＡＭによって作成されるが、この場合、ＳＬＡＭによる地図データ作成過程において公知の方法で特徴点２０２（地図点）に関する分散共分散行列が算出される。この分散共分散行列が、特徴点２０２（地図点）の位置の誤差を表す。この誤差は、地図データ作成部１０１の地図データ誤差算出部１００ａが算出する。換言すると、地図データ誤差算出部１００ａは、正しい位置に対して地図点の位置がどのくらい正しいか（正確度）を求める。すなわち、地図データ誤差算出部１００ａは、地図点の正しい位置に対する誤差を推定する。

図４に戻って、自己位置推定部１０２は、地図データが作成された後に、車両１の現在の自己位置を、撮像部１５によって撮像された車両１の周囲の画像と、地図データとに基づいて推定（算出）する。自己位置推定部１０２は、画像の特徴点を抽出し当該特徴点と地図データ中の点である地図点とのマッチングを行い、マッチング結果を基にして、撮像部の位置姿勢すなわち車両１の位置姿勢を推定する。ここで、３次元マップは、対象物に関して予め定義された３次元座標のマップ点を示すものである。

第１の誤差算出部１０２ａは、画像と地図データとに基づいて車両１の現在の自己位置を算出するときに、地図データの誤差に基づいて自己位置の第１の誤差を算出する。第２の誤差算出部１０２ｂは、地図データの誤差が無いとした場合の自己位置の第２の誤差を算出する。自己位置の第１の誤差及び第２の誤差は、自己位置推定部１０２が算出して確定した自己位置に対する誤差（ばらつき）である。換言すると、第１の誤差算出部１０２ａは、画像と地図データとに基づいて車両１の現在の自己位置を算出するときに、地図データの誤差に基づいて自己位置が正しい位置に対してどのくらい正しいかを求める。すなわち、第１の誤差算出部１０２ａは、地図データの誤差に基づいて自己位置の正しい位置に対する誤差を推定する。また、第２の誤差算出部１０２ｂは、地図データの誤差が無いとした場合の自己位置が正しい位置に対してどのくらい正しいかを求める。すなわち、第２の誤差算出部１０２ｂは、地図データの誤差が無いとした場合の自己位置の正しい位置に対する誤差を推定する。

第１の誤差と第２の誤差の算出方法について説明する。まずは、第２の誤差について説明する。第２の誤差は、自己位置の算出の過程で算出される。自己位置の算出においては、算出される撮像部１５の姿勢・位置に対して公知の方法で最適化処理が実行される。ここで、最適化前の撮像部１５の姿勢・位置（初期姿勢・位置）を（Ｒ_０、ｔ_０）とし、最適化前にマッチングしている地図点の集合をＳ_０とする。（Ｒ_０、ｔ_０）に対して４回（ｉ＝１、２、３、４）の再投影誤差を最小化する最適化が行われる。ｉ回目の最適化ではＳ_ｉ―１の全ての地図点について再投影誤差を計算して閾値以下のものをインライアとしてＳ_ｉに含める。Ｓ_４の再投影誤差算出時に分散共分散行列を計算する。この分散共分散行列を位置と姿勢とに分解する。この分散共分散行列における位置と姿勢の部分が第２の誤差を表す。

第１の誤差は、第２の誤差を算出過程で求めたＳ_４を対象として、以下の１０回の再投影誤差を最小化する最適化を行う。このとき最適化前の撮像部１５の初期推定位置・姿勢は（Ｒ_０、ｔ_０）である。各地図点に正規分布に従うノイズを加える。正規分布に従うノイズは、地図データ作成時に算出された地図点の分散共分散行列である。そして、Ｓ_４の再投影誤差算出時に分散共分散行列を計算する。１０回分の分散共分散行列を統合し、この分散共分散行列を位置と姿勢とに分解する。この分散共分散行列における位置と姿勢の部分が第１の誤差を表す。図５では、第１の誤差の範囲が領域Ｑで模式的に表されている。なお、第１の誤差の算出では、インライア／アウトライアは判定されない。

第３の誤差算出部１０２ｃは、第１の誤差と第２の誤差とを含む自己位置の第３の誤差を算出する。具体的には、第１の誤差と第２の誤差とを足し合わせることにより、第３の誤差を得る。

ＥＣＵ１４は、自己位置推定部１０２によって推定され自己位置を用いて車両１の自動運転を行うことができる。

図６は、本実施形態にかかる車両が有するＥＣＵによる車両の自己位置の誤差の算出処理の流れの一例を示すフローチャートである。

次に、図６を用いて、本実施形態にかかる車両１が有するＥＣＵ１４による車両１の自己位置の誤差の算出処理の流れの一例について説明する。

画像取得部１００は、車両１の移動中に撮像部１５によって撮像された画像を撮像部
１５から取得する（ステップＳ２１）。

次に、第１の誤差算出部１０２ａが、地図データの誤差に基づいて自己位置の第１の誤差を算出する（Ｓ２２）。次に、第２の誤差算出部１０２ｂが、地図データの誤差が無いとした場合の自己位置の第２の誤差を算出する（Ｓ２３）。次に、第３の誤差算出部１０２ｃが、第１の誤差と第２の誤差とを含む自己位置の第３の誤差を算出する（Ｓ２４）。

以上のように、本実施形態のＥＣＵ１４（自己位置誤差推定装置）は、画像取得部１００と、第１の誤差算出部１０２ａと、第２の誤差算出部１０２ｂと、第３の誤差算出部１０２ｃと、を備える。画像取得部１００は、車両１（移動体）に搭載された撮像部１５によって撮像された車両１の周囲の画像を取得する。第１の誤差算出部１０２ａは、画像と地図データとに基づいて車両１の現在の自己位置を算出するときに、地図データの誤差に基づいて自己位置の第１の誤差を算出する。第２の誤差算出部１０２ｂは、地図データの誤差が無いとした場合の自己位置の第２の誤差を算出する。第３の誤差算出部１０２ｃは、第１の誤差と第２の誤差とを含む自己位置の第３の誤差を算出する。

このような構成によれば、第３の誤差算出部１０２ｃが、地図データの誤差に基づいた自己位置の第１の誤差を含む自己位置の第３の誤差を算出するので、精度の高い車両１の自己位置の誤差（第３の誤差）を算出することができる。

また、地図データは、当該地図データの作成用に時間及び／又は距離間隔をあけて撮像された複数の画像である複数のキーフレームに基づいて作成され、キーフレームが撮像されたときの車両１の位置での前記第１の誤差を示す第１の誤差情報は含まない。第１の誤差算出部１０２ａは、自己位置の算出のための画像である自己位置算出用画像が撮像されたときに、第１の誤差を算出する。

このような構成によれば、第１の誤差算出部１０２ａが、自己位置の算出のための画像である自己位置算出用画像が撮像されたときに、第１の誤差を算出するので、画像が撮像された位置における高い精度の車両１の自己位置を算出することができる。

次に、本実施形態の変形例について説明する。本変形例では、地図データの作成時に第１の誤差が算出される。地図データは、当該地図データの作成用に時間及び／又は距離間隔をあけて撮像された複数の前記画像である複数のキーフレームに基づいて作成される。地図データは、キーフレーム撮像位置情報と、第１の誤差情報と、を含む。キーフレーム撮像位置情報は、キーフレームが撮像されたときの車両１の位置を示す。第１の誤差情報は、キーフレーム撮像位置情報が示す位置での第１の誤差を示す。

本変形例では、第１の誤差算出部１０２ａは、複数のキーフレームのうち自己位置の算出のための画像である自己位置算出用画像が撮像されたときの自己位置に位置が最も近いキーフレームにおける自己位置の誤差に基づいて、前記第１の誤差を算出する。具体的には、図５に示されるように、車両１が位置Ｐａで画像を撮像した場合、キーフレームのうち撮像位置が位置Ｐａに最も近いものと２番目に追加ものとを二つ抽出する。図５の例では、位置Ｐ４と位置Ｐ５で撮像されたキーフレームである。そして、位置Ｐａに対する位置Ｐ４と位置Ｐ５におけるキーフレームに対して求められた第１の誤差を用いて、位置Ｐａの第１の誤差を算出する。例えば、位置Ｐａと位置Ｐ４との間の距離をＬ１とし、位置Ｐａと位置Ｐ５との間の距離をＬ２とし、位置Ｐａ，Ｐ４，Ｐ５での第１の誤差をそれぞれＭａ、Ｍ４、Ｍ５とした場合、Ｍａは、次式で求められる。
Ｍａ＝Ｍ４×（Ｌ２／（Ｌ１＋Ｌ２））＋Ｍ５×（Ｌ１／（Ｌ１＋Ｌ２））

このような構成によれば、第１の誤差算出部１０２ａが、地図データに含まれた第１の誤差情報に基づいて自己位置算出用画像が撮像されたときの自己位置の第１の誤差を算出するので自己位置の誤差の算出の処理にかかる時間を短くすることができる。

実施形態のＥＣＵ１４（自己位置誤差推定装置）は、画像取得部１００が、車両１（移動体）に搭載された撮像部１５によって撮像された車両１の周囲の画像を取得するステップと、第１の誤差算出部１０２ａが、画像と地図データとに基づいて車両１の位置である自己位置を算出するときに、地図データの誤差に基づいて自己位置の第１の誤差を算出するステップと、第２の誤差算出部１０２ｂが、地図データの誤差が無いとした場合の前記自己位置の第２の誤差を算出する第２の誤差算出部１０２ｂと、第３の誤差算出部１０２ｃが、第１の誤差と第２の誤差とを含む自己位置の第３の誤差を算出するステップと、を含む。

このような構成によれば、第１の誤差算出部１０２ａが、自己位置の算出のための画像である自己位置算出用画像が撮像されたときに、第１の誤差を算出するので、画像が撮像された位置における高い精度の車両１の第１の誤差を算出することができる。

なお、上記実施形態では、移動体として車両１の例が示されたが、これに限定されない。例えば、移動体はドローン等の飛行体であってもよい。

以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。

１…車両、１４…ＥＣＵ（自己位置誤差推定装置）、１００…画像取得部、１０２ａ…第１の誤差算出部、１０２ｂ…第２の誤差算出部、１０２ｃ…第３の誤差算出部。

国際公開第２０１７／１６８８９９号

実施形態の自己位置誤差推定装置は、移動体に搭載された撮像部によって撮像された前記移動体の周囲の画像を取得する画像取得部と、前記画像に基づいて環境地図データを作成する環境地図データ作成部と、前記環境地図データが作成された後に撮像された画像と前記環境地図データとに基づいて前記移動体の現在の自己位置を算出する自己位置推定部と、を備え、前記自己位置推定部は、前記環境地図データの作成時に算出された地図点に係る誤差に基づいて前記自己位置の第１の誤差を算出する第１の誤差算出部と、前記移動体の移動中に撮像された画像から前記撮像部の複数の位置及び姿勢に基づいて前記自己位置の第２の誤差を算出する第２の誤差算出部と、前記第１の誤差と前記第２の誤差とを含む前記自己位置の第３の誤差を算出する第３の誤差算出部と、を備える。

また、前記自己位置誤差推定装置では、例えば、前記環境地図データは、前記移動体の移動中に撮像された画像から前記撮像部の複数の位置及び姿勢に基づいて、三角測量によって作成される。
また、前記自己位置誤差推定装置では、例えば、前記環境地図データは、当該環境地図データの作成用に時間及び／又は距離間隔をあけて撮像された複数の前記画像である複数のキーフレームに基づいて作成され、前記キーフレームが撮像されたときの前記移動体の位置での前記第１の誤差を示す第１の誤差情報は含まず、前記第１の誤差算出部は、前記自己位置の算出のための前記画像である自己位置算出用画像が撮像されたときに、前記第１の誤差を算出する。

また、前記自己位置誤差推定装置では、例えば、前記環境地図データは、当該地図データの作成用に時間及び／又は距離間隔をあけて撮像された複数の前記画像である複数のキーフレームに基づいて作成され、前記キーフレームが撮像されたときの前記移動体の位置を示すキーフレーム撮像位置情報と、当該キーフレーム撮像位置情報が示す前記位置での前記第１の誤差を示す第１の誤差情報と、を含み、前記第１の誤差算出部は、複数の前記キーフレームのうち前記自己位置の算出のための前記画像である自己位置算出用画像が撮像されたときの前記自己位置に位置が最も近い前記キーフレームにおける前記自己位置の誤差に基づいて、前記第１の誤差を算出する。

実施形態の自己位置誤差推定方法は、画像取得部が、移動体に搭載された撮像部によって撮像された前記移動体の周囲の画像を取得するステップと、環境地図データ作成図が、前記画像に基づいて環境地図データを作成するステップと、自己位置推定部が、前記環境地図データが作成された後に撮像された画像と前記環境地図データとに基づいて前記移動体の現在の自己位置を算出するステップと、を含み、前記移動体の現在の自己位置を算出する前記ステップは、第１の誤差算出部が、前記環境地図データの作成時に算出された地図点に係る誤差に基づいて前記自己位置の第１の誤差を算出するステップと、第２の誤差算出部が、前記移動体の移動中に撮像された画像から前記撮像部の複数の位置及び姿勢に基づいて前記自己位置の第２の誤差を算出するステップと、第３の誤差算出部が、前記第１の誤差と前記第２の誤差とを含む前記自己位置の第３の誤差を算出するステップと、を含む。

Claims (4)

1. 移動体に搭載された撮像部によって撮像された前記移動体の周囲の画像を取得する画像取得部と、
   前記画像と地図データとに基づいて前記移動体の現在の自己位置を算出するときに、前記地図データの誤差に基づいて前記自己位置の第１の誤差を算出する第１の誤差算出部と、
   前記地図データの前記誤差が無いとした場合の前記自己位置の第２の誤差を算出する第２の誤差算出部と、
   前記第１の誤差と前記第２の誤差とを含む前記自己位置の第３の誤差を算出する第３の誤差算出部と、
   を備えた自己位置誤差推定装置。
2. 前記地図データは、当該地図データの作成用に時間及び／又は距離間隔をあけて撮像された複数の前記画像である複数のキーフレームに基づいて作成され、前記キーフレームが撮像されたときの前記移動体の位置での前記第１の誤差を示す第１の誤差情報は含まず、
   前記第１の誤差算出部は、前記自己位置の算出のための前記画像である自己位置算出用画像が撮像されたときに、前記第１の誤差を算出する、
   請求項１に記載の自己位置誤差推定装置。
3. 前記地図データは、当該地図データの作成用に時間及び／又は距離間隔をあけて撮像された複数の前記画像である複数のキーフレームに基づいて作成され、前記キーフレームが撮像されたときの前記移動体の位置を示すキーフレーム撮像位置情報と、当該キーフレーム撮像位置情報が示す前記位置での前記第１の誤差を示す第１の誤差情報と、を含み、
   前記第１の誤差算出部は、複数の前記キーフレームのうち前記自己位置の算出のための前記画像である自己位置算出用画像が撮像されたときの前記自己位置に位置が最も近い前記キーフレームにおける前記自己位置の誤差に基づいて、前記第１の誤差を算出する、
   請求項１に記載の自己位置誤差推定装置。
4. 画像取得部が、移動体に搭載された撮像部によって撮像された前記移動体の周囲の画像を取得するステップと、
   第１の誤差算出部が、前記画像と地図データとに基づいて前記移動体の現在の自己位置を算出するときに、前記地図データの誤差に基づいて前記自己位置の第１の誤差を算出するステップと、
   第２の誤差算出部が、前記地図データの前記誤差が無いとした場合の前記自己位置の第２の誤差を算出する第２の誤差算出部と、
   第３の誤差算出部が、前記第１の誤差と前記第２の誤差とを含む前記自己位置の第３の誤差を算出するステップと、
   を含む自己位置誤差推定方法。

Images