JP2022132882A

JP2022132882A - ナビゲーションシステム、ナビゲーション方法およびプログラム

Info

Publication number: JP2022132882A
Application number: JP2021031599A
Authority: JP
Inventors: 卓也原; Takuya Hara
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-03-01
Filing date: 2021-03-01
Publication date: 2022-09-13
Also published as: US20220276059A1

Abstract

【課題】移動体の現在位置を精度よく推定してナビゲーション情報を提供する。【解決手段】本開示のナビゲーションシステムは、移動体の走行路を含む領域を撮像する撮像装置と、地図情報を取得する地図情報取得部と、前記移動体の位置情報を取得する位置情報取得部と、前記撮像装置によって撮像された複数の画像を、それぞれ前記移動体の走行路を示す走行路データに変換する走行路変換部と、前記走行路データに含まれる前記走行路の特徴点を用いて、前記複数の画像に対応する前記走行路データを合成した合成データを生成する走行路合成部と、前記合成データと、前記地図情報に含まれる走行路とのマッチング処理を行って前記移動体の現在位置を推定するマッチング処理部と、移動体のナビゲーション情報を生成する生成部と、撮像画像とナビゲーション情報の合成画像を生成する合成部と、合成画像を表示する表示部とを有する。【選択図】図１

Description

本開示は、車両用のナビゲーションシステム、ナビゲーション方法およびプログラムに関する

車両用のナビゲーションシステムにおいて、車両の現在位置を検出する際に、車両の走行路と地図情報とを比較するマップマッチング処理によって検出精度を向上させることが知られている。また、マップマッチング処理の精度は、マッチング対象の走行路が長いほど精度が向上することも知られている。

特開２００９－２５０７１８号公報

一方で、車両の走行距離が長くなるほど、車両情報の取得に用いるセンサの出力誤差が累積するため、実際の車両の走行路と、センサの出力を基に推定した走行路とが一致しない可能性がある。

特許文献１には、マップマッチング処理の精度を向上させるために、道路沿いの構造物を認識して車両位置を補正する方法について記載されている。しかしながら、特許文献１に記載の方法を用いても、自車両位置を構造物の位置に合わせて補正することはできても、構造物から地図上の自車両の現在位置を特定することはできず、マッチング精度を有意に向上させることができない可能性がある。

そこで、本開示は、上記課題に鑑みて、移動体の現在位置を精度よく推定してナビゲーション情報を提供することを目的とする。

上記目的を達成するために、本開示に係るナビゲーションシステムは、
移動体に配置され、前記移動体の走行路を含む領域を撮像する撮像装置と、
地図情報を取得する地図情報取得部と、
前記移動体の位置情報を取得する位置情報取得部と、
前記撮像装置によって撮像された前記領域の複数の画像を、それぞれ前記移動体の走行路を示す走行路データに変換する走行路変換部と、
前記走行路データに含まれる前記走行路の特徴点を用いて、前記複数の画像に対応する前記走行路データを合成した合成データを生成する走行路合成部と、
前記合成データと、前記地図情報に含まれる走行路とのマッチング処理を行って前記移動体の現在位置を推定するマッチング処理部と、
前記マッチング処理部によって推定された前記移動体の現在位置を基に前記移動体のナビゲーション情報を生成するナビゲーション情報生成部と、
前記撮像装置によって撮像された前記領域の画像と前記ナビゲーション情報生成部によって生成された前記ナビゲーション情報とを合成した合成画像を生成する画像合成部と、
前記画像合成部によって生成された前記合成画像を表示する表示部と
を有することを特徴とするナビゲーションシステムを含む。

また、本件開示のナビゲーション方法は、
移動体に配置された撮像装置による、前記移動体の走行路を含む領域の撮像と、
地図情報の取得と、
前記移動体の位置情報の取得と、
前記撮像装置によって撮像された前記領域の複数の画像それぞれの前記移動体の走行路を示す走行路データへの変換と、
前記走行路データに含まれる前記走行路の特徴点を用いた、前記複数の画像に対応する前記走行路データを合成した合成データの生成と、
前記合成データと、前記地図情報に含まれる走行路とのマッチング処理を行うことによる前記移動体の現在位置の推定と、
推定された前記移動体の前記現在位置に基づく前記移動体のナビゲーション情報の生成と、
前記撮像装置によって撮像された前記領域の画像と生成された前記ナビゲーション情報とを合成した合成画像の生成と、
生成された前記合成画像の表示と
を含むナビゲーション方法を含む。
また、本開示のプログラムは、コンピュータに上記のナビゲーション方法を実行させるプログラムを含む。

本開示によれば、移動体の現在位置をより精度よく推定し、移動体のユーザに適切なナビゲーション情報を提供することができる。

一実施形態に係るナビゲーションシステムのブロック図一実施形態に係る画像処理部のシステムブロック図一実施形態において画像処理部が実行する処理のフローチャート一実施形態に係る撮像装置が撮像する画像を模式的に示す図一実施形態に係る走行路判定部が出力する画像を模式的に示す図一実施形態に係る走行路合成部のシステムブロック図一実施形態において走行路合成部が実行する処理のフローチャート一実施形態に係る走行路合成部が出力する画像を模式的に示す図一実施形態に係るナビゲーションシステムが実行する処理のフローチャート一実施形態におけるマップマッチング処理の結果を模式的に示す図

以下、本開示の実施形態について図面を用いて説明する。なお、本開示は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

（第１の実施形態）
図１は、本実施形態に係るナビゲーションシステム１００を概略的に示す機能ブロック図である。また、本実施形態では、ナビゲーションシステム１００は、移動体の一例である車両に搭載される。図１に示すように、ナビゲーションシステム１００は、撮像装置１０１、画像処理部１０２、走行軌跡合成部１０３を有する。また、ナビゲーションシステム１００は、地図データベース１１１、地図情報取得部１１２、ＧＰＳ（Global Positioning System）受信部１２１、ＧＰＳ情報取得部１２２を有する。さらに、ナビゲーショ
ンシステム１００は、マップマッチング処理部１３１、ナビゲーション情報生成部１３２、画像合成部１３３、表示部１３４を有する。

撮像装置１０１は、車両に配置され、車両が走行している走行路を含む領域を連続して撮像する。画像処理部１０２は、撮像装置１０１によって連続して撮像された複数の画像を走行路データに変換する処理を行う。また、走行路合成部１０３は、後述する画像処理部１０２によって変換された走行路データを合成した合成データを生成する。

ＧＰＳ受信部１２１は、ＧＰＳ衛星からの信号を受信する。また、位置情報取得部であるＧＰＳ情報取得部１２２は、ＧＰＳ受信部１２１によって受信された信号から、ナビゲーションシステム１００を搭載した車両の現在位置に関する情報を取得する。

地図データベース１１１は、後述するマップマッチング処理部１３１によるマッチング処理に使用される地図情報を記憶する。なお、図１では地図データベース１１１はナビゲーションシステム１００が有するが、地図データサーバ１１１はナビゲーションシステム１００の外部に設けられていてもよい。また、地図情報取得部１１２は、ＧＰＳ情報取得部１２２から車両の現在位置の情報を取得し、地図データベース１１１から車両の現在位置周辺の地図情報を取得する。なお、地図情報取得部１１２によるこれらの情報の取得は、車両の走行開始前に現在位置から目的地までの情報を一括して行ってもよいし、車両の走行中に逐次行ってもよい。

マップマッチング処理部１３１は、走行路合成部１０３によって合成された車両の走行路と地図情報取得部１１２によって取得された車両の現在位置周辺の地図情報とを用いたマッチング処理により、車両の現在位置を推定する。

ナビゲーション情報生成部１３２は、マップマッチング処理部１３１によって推定された車両の現在位置から目的地までのナビゲーションに関する情報を生成する。また、画像合成部１３３は、ナビゲーション情報生成部１３２によって生成された目的地までのナビゲーションに関する情報と、撮像装置１０１によって撮像された画像とを合成する。なお、撮像装置１０１によって撮像された画像は、ナビゲーションシステム１００の図示しない記憶部に記憶し、画像合成部１３３が当該記憶部から画像を取得してもよい。表示部１３４は、画像合成部１３３によって合成された画像を表示する。

次に、ナビゲーションシステム１００の画像処理部１０２の処理の詳細について説明する。

図２を参照しながら、画像処理部１０２の処理について説明する。図２に示すように、画像処理部１０２は、走行路判定部２０１と走行路変換部２０２とを有する。走行路判定部２０１は、撮像装置１０１が出力する画像を入力とし、当該画像を基に走行路判定処理を行う。走行路判定部２０１は、走行路判定処理の結果を走行路変換部２０２に出力する。

走行路変換部２０２は、走行路判定部２０１の走行路判定処理の処理結果を入力とし、当該処理結果を基に走行路変換処理を行う。走行路変換部２０２は、走行路変換処理の結果を走行路合成部１０３に出力する。

次に、図３のフローチャートを参照しながら、画像処理部１０２が実行する上記の各処理について説明する。なお、以下に説明する、ナビゲーションシステム１００において実行される各処理は、コンピュータであるナビゲーションシステム１００のＣＰＵが各種プログラムをメモリに展開して実行することで実現される。

ステップＳ３０１において、撮像装置１０１が、車両の走行中の走行路を含む領域を撮
像し、画像処理部１０２が撮像装置１０１によって撮像された画像を取得する。画像処理部１０２において、取得された画像は走行路判定部２０１に入力される。

ステップＳ３０２において、走行路判定部２０１は、撮像装置１０１によって撮像された画像を複数の領域に分割し、分割した領域ごとに領域内の画像が走行路（道路）であるか否かを判定する。なお、走行路判定部２０１による画像の走行路判定処理の詳細については後述する。

ステップＳ３０３において、走行路変換部２０２は、走行路判定部２０１による走行路判定処理の結果と地図データベース１１１に記憶されている地図情報とを基に、ステップＳ３０２の判定処理において走行路と判定された部分を走行路に変換する。ここで、走行路とは、地図データベース１１１に記憶されている地図情報の地図種類に対応する走行路（道路）である。そして、ステップＳ３０４において、ステップＳ３０３で走行路変換部２０２によって変換された走行路のデータを走行路合成部１０３に出力する。なお、本実施形態において、走行路のデータとしては、道路形状に変換された道路パターンのデータが挙げられる。

図４は、撮像装置１０１によって取得される車両の周囲の画像の一例である。図４に示す例では、撮像装置１０１は、車両の進行方向の道路を撮像できるように車両に取り付けられている。図４に示す画像には、走行中の道路４０１と、道路４０１に十字に交差する道路４０２と、道路４０１沿いの建物４０３とが含まれている。

また、図５は、走行路判定部２０１が、図４に示す画像に対して走行路判定処理を行った場合の処理結果の一例を示す。走行路判定部２０１は、画像を複数の領域に分割し、分割された領域ごとに走行路である道路と判定された領域５０１（図中黒色で塗りつぶされた四角形部分）と道路ではないと判定された領域５０２（図中白色で塗りつぶされた四角形部分）とに分ける。なお、図５に示す例では、一例として画像を所定サイズの四角形により複数の領域に分割し、分割された領域を領域５０１または領域５０２とに２分化している。ただし、走行路判定部２０１による画像の走行路判定処理では、必ずしも画像全体を同じ四角形で均等に分割する必要はない。例えば、車両の位置により近い画像下部の領域をより小さい四角形で分割し、車両の位置により遠い画像上部の領域をより大きい四角形で分割してもよい。これにより、車両の位置からの距離に応じて画像を分割する領域のサイズを変更し、車両により近い位置の領域に対する走行路判定の精度を高めることができる。

本実施形態では、走行路判定部２０１は、学習モデルを用いて走行路判定処理を行う。より具体的には、あらかじめ撮像装置１０１によって取得された画像に対して、走行路の領域と走行路以外の領域とに分けて領域をラベル付けした正解データを用意し、教師あり学習により学習モデルを作成する。なお、学習モデルの学習に用いられる学習アルゴリズムは、公知の機械学習エンジンによって実現可能であり、例えば、ＳＶＭ（Support Vector Machine）を学習アルゴリズムとして採用することができる。

次に、走行路変換部２０２を実現するために用いられる学習モデルの一例について説明する。走行路変換部２０２は、走行路判定部２０１によって判定された走行路の領域と走行路以外の領域のラベル付けがされた画像を入力とし、撮像装置１０１によって取得された画像を走行路に変換したデータを出力する。学習モデルとして、図５のように走行路である道路の領域と道路以外の領域のラベル付けがされた画像に対して、正しい道路形状を示す画像を正解データとする教師あり学習を行う。また、学習モデルの学習に使用する入力画像として、ナビゲーションシステム１００の撮像装置１０１によって取得した画像を用いることで、撮像装置１０１の画角やレンズのひずみなどの撮像装置の特徴を学習する
こともできる。

次に、走行路合成部１０３によって実行される処理について説明する。図６に示すように、走行路合成部１０３は、走行路演算部６０１と走行路記憶部６０２を有する。

走行路演算部６０１は、画像処理部１０２によって出力される走行路のデータと走行路記憶部６０２に記憶されている走行路のデータとを用いて走行路の合成を行う。また、走行路演算部６０１によって合成された走行路のデータは、走行路記憶部６０２に記憶される。そして、走行路演算部６０１は、画像処理部１０２からの走行路のデータと走行路記憶部６０２に記憶されている走行路のデータを用いた合成を繰り返し実行する。この結果、走行路記憶部６０２に走行路のデータの合成結果が累積されていくことで、車両の走行軌跡を含む走行路のデータが得られる。走行路記憶部６０２に記憶される合成後の走行路のデータは、マップマッチング処理部１３１に出力される。

次に、図７に示すフローチャートを参照しながら走行路合成部１０３によって実行される処理について説明する。

ステップＳ７０１において、走行路合成部１０３の走行路演算部６０１は、画像処理部１０２による走行路変換処理の結果である走行路のデータを取得する。

ステップＳ７０２において、走行路演算部６０１は、走行路記憶部６０２に記憶されている走行路のデータを取得する。そして、走行路演算部６０１は、ステップＳ７０１において画像処理部１０２から取得した走行路のデータと、走行路記憶部６０２に記憶されている走行路のデータとを用いて、走行路の合成を行う。なお、この合成処理は、画像処理部１０２が走行路のデータを走行路合成部１０３に出力するたびに実行される。

ステップＳ７０３において、走行路演算部６０１よって合成された走行路のデータが走行路記憶部６０２に記憶される。そして、ステップＳ７０４において、走行路合成部１０３は、ステップＳ７０３において走行路記憶部６０２に記憶された走行路のデータを、マップマッチング処理部１３１に出力する。

図８Ａ～図８Ｃは、走行路合成部１０３による走行路（道路）の合成処理の一例を示す図である。図８Ａ～図８Ｃに示す例では、図８Ａ（時刻Ａ）、図８Ｂ（時刻Ｂ）の順に時間が経過している。図８Ａは時刻ＡにおけるステップＳ７０１の走行路変換処理の結果（道路パターン）を示し、図８Ｂは時刻ＢにおけるステップＳ７０１の走行路変換処理の結果（道路パターン）を示す。そして、図８Ｃは、時刻Ａと時刻Ｂのそれぞれの走行路を合成した結果（道路パターン）を示す。

時刻Ａにおいて、走行路合成部１０３は、画像処理部１０２から走行路データとしての道路データ８０１を取得する。道路データ８０１には、道路の特徴点の領域８１１と時刻Ａにおける車両の位置を示す指標８１２とが含まれている。そして、走行路演算部６０１は、道路データ８０１を走行路記憶部６０２に記憶する。次いで、時刻Ａから時間が経過した時刻Ｂにおいて、走行路合成部１０３は、画像処理部１０２から道路データ８０２を取得する。道路データ８０２には、道路の特徴点の領域８１３と時刻Ｂにおける車両の位置を示す指標８１４とが含まれている。

そして、走行路合成部１０３は、走行路記憶部６０２に記憶されている道路データ８０１を取得し、道路データ８０１と道路データ８０２を合成した道路データ８０３を生成する。走行路合成部１０３は、道路データ８０１、８０２それぞれに含まれる道路の特徴点を用いて道路データ８０１、８０２を合成する。例えば、走行路演算部６０２は、走行路
記憶部６０２に記憶されている時刻Ａの道路データ８０１の特徴点の領域８１１と、時刻Ｂの道路データ８０２の特徴点の領域８１３とが重なり合うように道路データ８０１、８０２を合成して道路データ８０３を生成する。図８Ｃに示すように、道路データ８０３には、道路の特徴点の領域８１１、８１３が合致するように合成された道路の特徴点の領域８１５と時刻Ｂにおける車両の位置を示す指標８１６とが含まれている。

次に、マップマッチング処理部１３１、ナビゲーション情報生成部１３２、画像合成部１３３、表示部１３４が実行するについて、図９のフローチャートを参照しながら説明する。

ステップＳ９０１において、マップマッチング処理部１３１は、走行路合成部１０３が生成した合成データに含まれる走行路と、地図情報取得部１１２が地図データベース１１１から取得した地図情報に含まれる走行路とのマッチング処理を実行する。マップマッチング処理部１３１は、このマッチング処理により車両の現在位置を推定する。

図１０は、マップマッチング処理部１３１が図８Ｃに示す道路データ８０３を用いて生成する車両位置のデータの一例を示す図である。

図１０に示す車両位置のデータにおいて、車両周辺の地図１００１は、地図情報取得部１２１が地図情報記憶部である地図データベース１１１から取得したデータを用いて生成される。また、道路１００２および車両位置を示す指標１００３は、走行路合成部１０３が上記のステップＳ７０２の処理を実行することによって合成した走行路データが示す走行路および指標である。

本実施形態では、マップマッチング処理部１３１は、地図１００１のデータと道路１００２のデータに対してパターンマッチング処理を行うことで車両の現在位置を推定する。ここで、パターンマッチング処理とは、特定のパターンが合致する特徴位置を特定する処理である。

本実施形態のパターンマッチング処理では、幾何学形状のマッチングを行うことで、地図１００１内の道路と走行路データが示す道路１００２とが合致する箇所を特定することで車両の現在位置を特定する。ここで、パターンマッチング処理は、地図１００１内の道路のパターンと道路１００２のパターンとのマッチングが一度成功すればよく、２度目以降のマッチングは、地図１００１と道路１００２との始点座標の重ね合わせによって車両の現在位置が推定できる。上記パターンマッチング処理により、地図上における車両の現在位置を精度よく特定することができる。また、撮像装置１０１が画像を取得する度に、取得画像を用いて上記パターンマッチング処理を逐次処理することにより、リアルタイムで地図上における車両の現在位置を精度よく特定することができる。

図９に戻り、ステップＳ９０２において、ナビゲーション情報生成部１３２は、ステップＳ９０１において推定された車両の現在位置を基に車両の目的地までのナビゲーション情報を生成する。次に、ステップＳ９０３において、画像合成部１３３は、撮像装置１０１によって撮像された車両の周囲の画像と、ステップＳ９０２において生成されたナビゲーション情報とを合成した合成画像を生成する。そして、ステップＳ９０４において、表示部１３４が、ステップＳ９０３において生成された合成画像を表示する。これにより、車両に乗車しているユーザに、車両の現在位置を精度よく推定した情報と車両の目的地までのナビゲーション情報とを提供することができる。

本実施形態のパターンマッチング処理において着目すべき点は、以下の２点である。

まず、１つ目は、車両に搭載された撮像装置１０１が取得する車両の周囲の画像から車両の走行路を特定する点である。従来技術では、速度センサや方位センサなどの各種センサを車両に搭載し、これらのセンサを用いて車両の走行路を特定する。しかしながら、これら各種センサが出力するデータには誤差があるため、特定される車両の現在位置が、実際に車両が走行している走行路とは異なる走行路に示される可能性がある。また、センサごとの出力の誤差が累積して、車両の走行距離が長距離になるほど車両の現在位置の推定精度が低下する可能性がある。

本実施形態では、撮像装置１０１から出力される画像から車両の周囲の道路パターンを取得し、地図の道路パターンとのパターンマッチングを基に車両の現在位置が推定される。このため、センサの出力誤差による影響を受けることなく、車両の現在位置の推定を行うことができ、車両の走行距離が長くなっても精度よく車両の現在位置を推定できる。これにより、本実施形態のナビゲーションシステム１００によれば、精度よく合成された車両の走行路と地図とのマップマッチングにより、正確な車両の現在位置を推定することができる。

そして、２つ目は、車両が走行中の道路以外の周囲の道路パターンもマッチング処理に用いられる点である。従来技術では、ＧＰＳ情報やアナログセンサの出力を用いて、車両が走行した道路のみが車両の道路情報として得られる。一方、本実施形態では、撮像装置１０１によって撮像された画像には、車両が現在走行中である道路だけでなく、車両の周囲にある建物や道路も含まれる。この画像を用いることで、車両が走行している道路だけでなく、周囲の道路パターンも車両の道路を特定するための特徴点として使用し、より精度よく車両の現在位置を推定することができる。

より具体的には、撮像装置１０１の撮像画像に描画される道路のうち、車両が走行しない道路を基に、十字路や曲がり道などの特徴的な道路が特徴点として得られる。これにより、上記のパターンマッチング処理に用いられる特徴点が増えるため、マップマッチング処理の精度が高まることが期待できる。

また、従来技術によるナビゲーションシステムでは、速度センサや方位センサを用いることで、車両の直近の走行路の情報を取得し、マップマッチングによって車両の現在位置の推定が行われる。一方、本実施形態のナビゲーションシステム１００では、撮像装置１０１の撮像画像を基に、車両の周囲にある走行路を特定することで、車両が長距離走行する場合でも走行路の情報が精度よく得られる。このため、上記のマップマッチング処理よって、従来技術では実現できない高い精度の車両の現在位置推定を行うことができる。

以上が本開示の実施形態に係るナビゲーションシステムに関する説明であるが、本開示のナビゲーションシステムは上記の形態に限られず、本開示の技術的思想の範囲内において種々の変更が可能である。

例えば、走行路のデータをより正確に取得することを目的として、ナビゲーションシステム１００に複数の撮像装置１０１が設けられていてもよい。この場合、それぞれの撮像装置１０１は、車両の前方（進行方向）の走行路の画像だけでなく、車両の後方（進行方向の反対方向）の走行路の画像を取得するように車両に配置することができる。これにより、車両の前方だけでなく後方の走行路の画像を基にパターンマッチング処理を行うことで、車両周辺の走行路パターンをより広範囲に特定することができる。この結果、ナビゲーションシステム１００は、車両の走行路に関する情報量が増え、パターンマッチング処理をより高速に実行することができる。

また、上記の実施形態において、ナビゲーションシステム１００は車両に限らず、種々
の移動体に適用することができる。例えば、災害救助用ロボットに上記のナビゲーションシステム１００を搭載することで、上記の処理によって道路と判定された領域を走行するようロボットをプログラムすることができる。これにより、ロボットが走行不能な領域に移動する可能性を低下させることが期待できる。

また、上記の学習モデルに加えて、移動体の大きさや重量等を基に走行可能な走行路と走行不可能な走行路のラベル付けをした正解データを用いた学習を行って得られる学習モデルを用いてもよい。これにより、例えば緊急時などに目的地に向かう場合に、移動体の仕様に応じて目的地に到着するのに最適な走行ルートを特定することができる。

１００ナビゲーションシステム、１０１撮像装置、１０３走行路合成部、１１２地図情報取得部、１２２ＧＰＳ情報取得部、１３１マップマッチング処理部、１３２
ナビゲーション情報生成部、１３３画像合成部、１３４表示部、２０２走行路変換部

Claims

移動体に配置され、前記移動体の走行路を含む領域を撮像する撮像装置と、
地図情報を取得する地図情報取得部と、
前記移動体の位置情報を取得する位置情報取得部と、
前記撮像装置によって撮像された前記領域の複数の画像を、それぞれ前記移動体の走行路を示す走行路データに変換する走行路変換部と、
前記走行路データに含まれる前記走行路の特徴点を用いて、前記複数の画像に対応する前記走行路データを合成した合成データを生成する走行路合成部と、
前記合成データと、前記地図情報に含まれる走行路とのマッチング処理を行って前記移動体の現在位置を推定するマッチング処理部と、
前記マッチング処理部によって推定された前記移動体の現在位置を基に前記移動体のナビゲーション情報を生成するナビゲーション情報生成部と、
前記撮像装置によって撮像された前記領域の画像と前記ナビゲーション情報生成部によって生成された前記ナビゲーション情報とを合成した合成画像を生成する画像合成部と、
前記画像合成部によって生成された前記合成画像を表示する表示部と
を有することを特徴とするナビゲーションシステム。
前記走行路変換部は、前記撮像装置によって撮像された画像を複数の領域に分割し、分割した領域ごとに前記移動体の走行路であるか否かの判定を基に、前記複数の画像を前記走行路データに変換することを特徴とする請求項１に記載のナビゲーションシステム。
前記走行路変換部は、前記移動体の走行路の領域と走行路以外の領域のラベル付けがされた画像を正解データとして用いる機械学習により得られる学習モデルを用いて、前記撮像装置によって撮像された画像を走行路データに変換することを特徴とする請求項１または２に記載のナビゲーションシステム。
前記移動体に複数の前記撮像装置が配置され、
前記複数の撮像装置の１つの撮像装置は、前記移動体の前方にある走行路を含む領域を撮像し、前記複数の撮像装置の別の撮像装置は、前記移動体の後方にある走行路を含む領域を撮像する
ことを特徴とする請求項１から３のいずれか１項に記載のナビゲーションシステム。
移動体に配置された撮像装置による、前記移動体の走行路を含む領域の撮像と、
地図情報の取得と、
前記移動体の位置情報の取得と、
前記撮像装置によって撮像された前記領域の複数の画像それぞれの前記移動体の走行路を示す走行路データへの変換と、
前記走行路データに含まれる前記走行路の特徴点を用いた、前記複数の画像に対応する前記走行路データを合成した合成データの生成と、
前記合成データと、前記地図情報に含まれる走行路とのマッチング処理を行うことによる前記移動体の現在位置の推定と、
推定された前記移動体の前記現在位置に基づく前記移動体のナビゲーション情報の生成と、
前記撮像装置によって撮像された前記領域の画像と生成された前記ナビゲーション情報とを合成した合成画像の生成と、
生成された前記合成画像の表示と
を含むナビゲーション方法。
コンピュータに、
移動体に配置された撮像装置による、前記移動体の走行路を含む領域の撮像と、
地図情報の取得と、
前記移動体の位置情報の取得と、
前記撮像装置によって撮像された前記領域の複数の画像それぞれの前記移動体の走行路を示す走行路データへの変換と、
前記走行路データに含まれる前記走行路の特徴点を用いた、前記複数の画像に対応する前記走行路データを合成した合成データの生成と、
前記合成データと、前記地図情報に含まれる走行路とのマッチング処理を行うことによる前記移動体の現在位置の推定と、
推定された前記移動体の前記現在位置に基づく前記移動体のナビゲーション情報の生成と、
前記撮像装置によって撮像された前記領域の画像と生成された前記ナビゲーション情報とを合成した合成画像の生成と、
生成された前記合成画像の表示と
を含むナビゲーション方法を実行させるためのプログラム。