JP2022151012A - 地図生成装置 - Google Patents

Abstract

【課題】地図の精度を低下させることなく地図のデータ量を低減する。【解決手段】地図生成装置５０は、自車両の周囲の外界状況を検出するカメラ１ａと、カメラ１ａにより取得された撮像画像データによって示される画像から特徴点を抽出する抽出部１７１と、撮像画像データによって示される画像に基づいて、自車両の移動に伴うカメラ１ａの移動量を推定する移動量推定部１７２と、移動量推定部１７２による移動量の推定に用いられた画像内における領域を特定する特定部１７３と、抽出部１７１により抽出された特徴点のうち、特定部１７３により特定された領域に対応する特徴点を用いて地図情報を生成する生成部１７４と、を備える。【選択図】図２

Description

本発明は、自車両の周辺の地図を生成する地図生成装置に関する。

この種の装置として、従来、高精度の地図を生成することを目的として、複数の車両の車載カメラにより取得された撮像画像に基づいて特徴点地図を生成し、この生成された特徴点地図を重ね合わせて広域地図を生成するようにした装置が知られている（例えば特許文献１参照）。

特表２０２０－５１８９１７号公報

しかしながら、上記特許文献１記載の装置のように、高精度の地図を生成しようとすると、それに伴って地図のデータ量が増大し、地図を記憶する記憶装置の容量が大きく奪われる可能性がある。

本発明の一態様である地図生成装置は、自車両の周囲の外界状況を検出する外界検出器と、外界検出器の検出データによって示される画像から特徴点を抽出する抽出部と、検出データによって示される画像に基づいて、自車両の移動に伴う外界検出器の移動量を推定する移動量推定部と、移動量推定部による移動量の推定に用いられた画像内における領域を特定する特定部と、抽出部により抽出された特徴点のうち、特定部により特定された領域に対応する特徴点を用いて地図情報を生成する生成部と、を備える。

本発明によれば、地図のデータ量の増大を抑制しつつ、地図の精度を向上させることができる。

本発明の実施形態に係る車両制御システムの全体構成を概略的に示すブロック図。 本発明の実施形態に係る地図生成装置の要部構成を示すブロック図。 図２のコントローラで実行される処理の一例を示すフローチャート。 カメラの撮像画像の一例を示す図。 注視マップを模式的に示す図。 図４Ａの撮像画像から抽出された特徴点を模式的に示す図。 注視領域に対応する特徴点を模式的に示す図。

以下、図１～図４Ｄを参照して本発明の実施形態について説明する。本発明の実施形態に係る地図生成装置は、自動運転機能を有する車両、すなわち自動運転車両に適用することができる。なお、本実施形態に係る地図生成装置が適用される車両を、他車両と区別して自車両と呼ぶことがある。自車両は、内燃機関（エンジン）を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。自車両は、ドライバによる運転操作が不要な自動運転モードでの走行だけでなく、ドライバの運転操作による手動運転モードでの走行も可能である。

まず、自動運転に係る概略構成について説明する。図１は、本発明の実施形態に係る地図生成装置を有する車両制御システム１００の全体構成を概略的に示すブロック図である。図１に示すように、車両制御システム１００は、コントローラ１０と、コントローラ１０にそれぞれ通信可能に接続された外部センサ群１と、内部センサ群２と、入出力装置３と、測位ユニット４と、地図データベース５と、ナビゲーション装置６と、通信ユニット７と、走行用のアクチュエータＡＣとを主に有する。

外部センサ群１は、自車両の周辺情報である外部状況を検出する複数のセンサ（外部センサ）の総称である。例えば外部センサ群１には、自車両の全方位の照射光に対する散乱光を測定して自車両から周辺の障害物までの距離を測定するライダ、電磁波を照射し反射波を検出することで自車両の周辺の他車両や障害物等を検出するレーダ、自車両に搭載され、ＣＣＤやＣＭＯＳ等の撮像素子を有して自車両の周辺（前方、後方および側方）を撮像するカメラなどが含まれる。

内部センサ群２は、自車両の走行状態を検出する複数のセンサ（内部センサ）の総称である。例えば内部センサ群２には、自車両の車速を検出する車速センサ、自車両の前後方向の加速度および左右方向の加速度（横加速度）をそれぞれ検出する加速度センサ、走行駆動源の回転数を検出する回転数センサ、自車両の重心の鉛直軸回りの回転角速度を検出するヨーレートセンサなどが含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群２に含まれる。

入出力装置３は、ドライバから指令が入力されたり、ドライバに対し情報が出力されたりする装置の総称である。例えば入出力装置３には、操作部材の操作によりドライバが各種指令を入力する各種スイッチ、ドライバが音声で指令を入力するマイク、ドライバに表示画像を介して情報を提供するディスプレイ、ドライバに音声で情報を提供するスピーカなどが含まれる。

測位ユニット（ＧＮＳＳユニット）４は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位衛星は、ＧＰＳ衛星や準天頂衛星などの人工衛星である。測位ユニット４は、測位センサが受信した測位情報を利用して、自車両の現在位置（緯度、経度、高度）を測定する。

地図データベース５は、ナビゲーション装置６に用いられる一般的な地図情報を記憶する装置であり、例えばハードディスクや半導体素子により構成される。地図情報には、道路の位置情報、道路形状（曲率など）の情報、交差点や分岐点の位置情報、道路に設定された制限速度の情報が含まれる。なお、地図データベース５に記憶される地図情報は、コントローラ１０の記憶部１２に記憶される高精度な地図情報とは異なる。

ナビゲーション装置６は、ドライバにより入力された目的地までの道路上の目標経路を探索するとともに、目標経路に沿った案内を行う装置である。目的地の入力および目標経路に沿った案内は、入出力装置３を介して行われる。目標経路は、測位ユニット４により測定された自車両の現在位置と、地図データベース５に記憶された地図情報とに基づいて演算される。外部センサ群１の検出値を用いて自車両の現在位置を測定することもでき、この現在位置と記憶部１２に記憶される高精度な地図情報とに基づいて目標経路を演算するようにしてもよい。

通信ユニット７は、インターネット網や携帯電話網等に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報などを定期的に、あるいは任意のタイミングでサーバから取得する。ネットワークには、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等も含まれる。取得した地図情報は、地図データベース５や記憶部１２に出力され、地図情報が更新される。

アクチュエータＡＣは、自車両の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータＡＣには、エンジンのスロットルバルブの開度（スロットル開度）を調整するスロットル用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータＡＣに含まれる。自車両の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータＡＣに含まれる。

コントローラ１０は、電子制御ユニット（ＥＣＵ）により構成される。より具体的には、コントローラ１０は、ＣＰＵ（マイクロプロセッサ）等の演算部１１と、ＲＯＭ，ＲＡＭ等の記憶部１２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ＥＣＵ、走行モータ制御用ＥＣＵ、制動装置用ＥＣＵ等、機能の異なる複数のＥＣＵを別々に設けることができるが、図１では、便宜上、これらＥＣＵの集合としてコントローラ１０が示される。

記憶部１２には、高精度の詳細な地図情報（高精度地図情報と呼ぶ）が記憶される。高精度地図情報には、道路の位置情報、道路形状（曲率など）の情報、道路の勾配の情報、交差点や分岐点の位置情報、車線数の情報、車線の幅員および車線毎の位置情報（車線の中央位置や車線位置の境界線の情報）、地図上の目印としてのランドマーク（信号機、標識、建物等）の位置情報、路面の凹凸などの路面プロファイルの情報が含まれる。記憶部１２に記憶される高精度地図情報には、通信ユニット７を介して取得した自車両の外部から取得した地図情報、例えばクラウドサーバを介して取得した地図（クラウド地図と呼ぶ）の情報と、外部センサ群１による検出値を用いて自車両自体で作成される地図、例えばＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いてマッピングにより生成される点群データからなる地図（環境地図と呼ぶ）の情報とが含まれる。記憶部１２には、各種制御のプログラム、プログラムで用いられる閾値等の情報についての情報も記憶される。

演算部１１は、機能的構成として、自車位置認識部１３と、外界認識部１４と、行動計画生成部１５と、走行制御部１６と、地図生成部１７とを有する。

自車位置認識部１３は、測位ユニット４で得られた自車両の位置情報および地図データベース５の地図情報に基づいて、地図上の自車両の位置（自車位置）を認識する。記憶部１２に記憶された地図情報と、外部センサ群１が検出した自車両の周辺情報とを用いて自車位置を認識してもよく、これにより自車位置を高精度に認識することができる。なお、道路上や道路脇の外部に設置されたセンサで自車位置を測定可能であるとき、そのセンサと通信ユニット７を介して通信することにより、自車位置を認識することもできる。

外界認識部１４は、ライダ、レーダ、カメラ等の外部センサ群１からの信号に基づいて自車両の周囲の外部状況を認識する。例えば自車両の周辺を走行する周辺車両（前方車両や後方車両）の位置や走行速度や加速度、自車両の周囲に停車または駐車している周辺車両の位置、および他の物体の位置や状態などを認識する。他の物体には、標識、信号機、道路の区画線や停止線等の標示（路面標示）、建物、ガードレール、電柱、看板、歩行者、自転車等が含まれる。他の物体の状態には、信号機の色（赤、青、黄）、歩行者や自転車の移動速度や向きなどが含まれる。他の物体のうち静止している物体の一部は、地図上の位置の指標となるランドマークを構成し、外界認識部１４は、ランドマークの位置と種別も認識する。

行動計画生成部１５は、例えばナビゲーション装置６で演算された目標経路と、自車位置認識部１３で認識された自車位置と、外界認識部１４で認識された外部状況とに基づいて、現時点から所定時間Ｔ先までの自車両の走行軌道（目標軌道）を生成する。目標経路上に目標軌道の候補となる複数の軌道が存在するときには、行動計画生成部１５は、その中から法令を順守し、かつ効率よく安全に走行する等の基準を満たす最適な軌道を選択し、選択した軌道を目標軌道とする。そして、行動計画生成部１５は、生成した目標軌道に応じた行動計画を生成する。行動計画生成部１５は、先行車両を追い越すための追い越し走行、走行車線を変更する車線変更走行、先行車両に追従する追従走行、走行車線を逸脱しないように車線を維持するレーンキープ走行、減速走行または加速走行等の走行態様に対応した種々の行動計画を生成する。行動計画生成部１５は、目標軌道を生成する際に、まず走行態様を決定し、走行態様に基づいて目標軌道を生成する。

走行制御部１６は、自動運転モードにおいて、行動計画生成部１５で生成された目標軌道に沿って自車両が走行するように各アクチュエータＡＣを制御する。より具体的には、走行制御部１６は、自動運転モードにおいて道路勾配などにより定まる走行抵抗を考慮して、行動計画生成部１５で算出された単位時間毎の目標加速度を得るための要求駆動力を算出する。そして、例えば内部センサ群２により検出された実加速度が目標加速度となるようにアクチュエータＡＣをフィードバック制御する。すなわち、自車両が目標車速および目標加速度で走行するようにアクチュエータＡＣを制御する。なお、手動運転モードでは、走行制御部１６は、内部センサ群２により取得されたドライバからの走行指令（ステアリング操作等）に応じて各アクチュエータＡＣを制御する。

地図生成部１７は、手動運転モードで走行しながら、外部センサ群１により検出された検出値を用いて、３次元の点群データからなる環境地図を生成する。具体的には、カメラ１ａにより取得された撮像画像データ（以下、単に撮像画像と呼ぶ場合がある）から、画素ごとの輝度や色の情報に基づいて物体の輪郭を示すエッジを抽出するとともに、そのエッジ情報を用いて特徴点を抽出する。特徴点は例えばエッジの交点であり、建物の角や道路標識の角などに対応する。地図生成部１７は、抽出された特徴点を順次、環境地図上にプロットし、これにより自車両が走行した道路周辺の環境地図が生成される。カメラに代えて、レーダやライダにより取得されたデータを用いて自車両の周囲の物体の特徴点を抽出し、環境地図を生成するようにしてもよい。また、地図生成部１７は、環境地図を生成する際に、地図上の目印としての信号機、標識、建物等のランドマークがカメラにより取得された撮像画像に含まれているか否かを、例えばパターンマッチングの処理により判定する。そして、ランドマークが含まれていると判定すると、撮像画像に基づいて、環境地図上におけるランドマークの位置および種別を認識する。これらランドマーク情報は環境地図に含まれ、記憶部１２に記憶される。

自車位置認識部１３は、地図生成部１７による地図作成処理と並行して、自車両の位置推定処理を行う。すなわち、特徴点の時間経過に伴う位置の変化に基づいて、自車両の位置を推定して取得する。また、自車位置認識部１３は、自車両の周囲のランドマークとの相対的な位置関係に基づいて環境地図上の自車位置を推定して取得する。地図作成処理と位置推定処理とは、例えばＳＬＡＭのアルゴリズムにしたがって同時に行われる。地図生成部１７は、手動運転モードで走行するときだけでなく、自動運転モードで走行するときにも同様に環境地図を生成することができる。既に環境地図が生成されて記憶部１２に記憶されている場合、地図生成部１７は、新たに得られた特徴点により環境地図を更新してもよい。

ところで、自車両の位置推定処理では、カメラ１ａの撮像画像から抽出された特徴点と、記憶部１２に記憶された環境地図とが照合（マッチング）され、環境地図上の自車両の位置が推定される。その際、環境地図を構成する特徴点のうち、信号機や道路上の区画線や道路の境界など、地図上の目印としてのランドマークに対応する特徴点に基づいて、自車両の位置が推定される。したがって、それらの特徴点以外の特徴点は自車両の位置推定処理においては不要なデータとなり環境地図のデータ量を必要以上に増大させる。一方で、環境地図のデータ量を低減しようとして特徴点の数を削減すると、特徴点のマッチング精度が低下し、それに伴って自車両の位置の推定精度が低下するおそれがある。そこで、この点を考慮し、本実施形態では、以下のように地図生成装置５０を構成する。

図２は、本発明の実施形態に係る地図生成装置５０の要部構成を示すブロック図である。この地図生成装置５０は、図１の車両制御システム１００の一部を構成する。図２に示すように、地図生成装置５０は、コントローラ１０と、カメラ１ａと、レーダ１ｂと、ライダ１ｃと、アクチュエータＡＣとを有する。

カメラ１ａは、ＣＣＤやＣＭＯＳ等の撮像素子（イメージセンサ）を有する単眼カメラであり、図１の外部センサ群１の一部を構成する。カメラ１ａはステレオカメラであってもよい。カメラ１ａは、自車両の周囲を撮像する。カメラ１ａは、例えば自車両の前部の所定位置に取り付けられ、自車両の前方空間を連続的に撮像し、対象物の画像データ（以下、撮像画像データまたは単に撮像画像と呼ぶ）を取得する。カメラ１ａは、撮像画像をコントローラ１０に出力する。レーダ１ｂは、自車両に搭載され、電磁波を照射し反射波を検出することで自車両の周辺の他車両や障害物等を検出する。レーダ１ｂは、検出値（検出データ）をコントローラ１０に出力する。ライダ１ｃは、自車両に搭載され、自車両の全方位の照射光に対する散乱光を測定して自車両から周辺の障害物までの距離を検出する。ライダ１ｃは、検出値（検出データ）をコントローラ１０に出力する。

コントローラ１０は、演算部１１（図１）が担う機能的構成として、位置推定部１３１と、抽出部１７１と、移動量推定部１７２と、特定部１７３と、生成部１７４とを有する。なお、位置推定部１３１は、例えば図１の自車位置認識部１３により構成される。また、抽出部１７１と移動量推定部１７２と特定部１７３と生成部１７４とは、例えば図１の地図生成部１７により構成される。

抽出部１７１は、カメラ１ａにより取得された撮像画像から特徴点を抽出する。移動量推定部１７２は、カメラ１ａにより取得された撮像画像に基づいて、自車両の移動に伴うカメラ１ａの移動量を推定する。なお、移動量推定部１７２は、この移動量の推定を、ポーズＣＮＮ（poseCNN：ポーズ畳み込みニューラルネットワーク）を用いて行う。より詳細には、移動量推定部１７２は、カメラ１ａにより取得された撮像時点が異なる複数の撮像画像をポーズＣＮＮに入力し、ポーズＣＮＮがそれらの撮像画像に基づき推定したカメラ１ａの移動（並進移動および回転）の量を取得する。ポーズＣＮＮは、入力された複数の画像に基づいて、その複数の画像を撮像したカメラの移動量を推定する畳み込みニューラルネットワークである。

特定部１７３は、移動量推定部１７２による移動量の推定に用いられた撮像画像内における領域を特定する。具体的には、特定部１７３は、カメラ１ａにより取得された撮像画像の領域のうち、ポーズＣＮＮが移動量を推定したときに注視した注視領域を特定する。特定部１７３は、ＡＢＮ（Attention Branch Network）をポーズＣＮＮに適用して注視領域を特定する。ＡＢＮは、ポーズＣＮＮの畳み込み層から得られる画像特徴量に基づいて、注視領域を示す注視マップ（Attention map）を生成して出力する手法である。特定部１７３は、移動量推定部１７２においてポーズＣＮＮによる移動量の推定が行われるときに、ポーズＣＮＮの畳み込み層から出力される画像特徴量を取得し、その画像特徴量をＡＢＮに入力して、ＡＢＮにより出力される注視マップを取得する。そして、特定部１７３は、その注視マップに基づいて注視領域を特定する。

生成部１７４は、抽出部１７１により抽出された特徴点のうち、特定部１７３により特定された注視領域に対応する特徴点を、記憶部１２に記憶されている環境地図上にプロットする。これにより自車両が走行した道路周辺の環境地図が順次生成される。

位置推定部１３１は、移動量推定部１７２により推定された移動量を所定の位置から積算することで、自車両の位置を推定する。また、位置推定部１３１は、抽出部１７１により抽出された特徴点と、記憶部１２０に記憶された環境地図とに基づいて、自車両の位置を推定する。なお、生成部１７４による地図情報の生成処理と、位置推定部１３１による自車両の位置推定処理とは、並行して行われる。

図３は、予め定められたプログラムに従い図２のコントローラ１０で実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば、自車両が手動運転モードで走行中に所定周期ごとに繰り返される。

図３に示すように、まず、ステップＳ１１で、カメラ１ａの撮像画像を取得すると、ステップＳ１２で、その撮像画像と、現時点より所定時間手前の時点において取得されたカメラ１ａの撮像画像とを、ポーズＣＮＮに入力する。ポーズＣＮＮでは、入力された撮像画像に基づきカメラ１ａの移動量（すなわち、自車両の移動量）が推定される。ステップＳ１３で、ポーズＣＮＮによる移動量の推定時にポーズＣＮＮの畳み込み層から出力される画像特徴量を取得し、その画像特徴量をＡＢＮに入力する。ＡＢＮでは、ステップＳ１１で取得されたカメラ１ａの撮像画像と、入力された画像特徴量とに基づいて、ポーズＣＮＮの推定時に注視された領域（注視領域）を示す注視マップが生成される。ＡＢＮにより生成された注視マップに基づいて注視領域を特定する。ステップＳ１４で、ステップＳ１１でカメラ１ａにより取得された撮像画像から特徴点を抽出し、抽出された特徴点のうち、ステップＳ１３で特定された注視領域に対応する特徴点を、記憶部１２に記憶された環境地図にプロットする。これにより、環境地図が順次生成される。ステップＳ１５で、ステップＳ１４で抽出された特徴点と、記憶部１２０に記憶された環境地図とに基づいて、自車両の位置を推定して取得する。このとき、ポーズＣＮＮの推定結果であるカメラ１ａの移動量と、前回推定された自車両の位置とに基づいて、現在の自車両の位置を推定することもできる。

本実施形態に係る地図生成装置５０による地図生成の動作をより具体的に説明する。図４Ａは、カメラ１ａの撮像画像の一例を示す図である。図４Ａの撮像画像ＩＭには、自車両の周辺の建物ＢＬ１，ＢＬ２，ＢＬ３や信号機ＳＧ、縁石ＣＵ、自車両の前方を走行する他車両Ｖ１，Ｖ２等が含まれる。図４Ａの撮像画像ＩＭと、現時点より所定時間手前の時点において取得されたカメラ１ａの撮像画像とが、ポーズＣＮＮに入力され、自車両の移動量が推定される（ステップＳ１２）。このとき、ポーズＣＮＮの畳み込み層から出力される画像特徴量がＡＢＮに入力され、ＡＢＮにより注視マップが生成される（ステップＳ１３）。図４Ｂは、注視マップを模式的に示す図である。図４Ｂの注視マップでは、信号機ＳＧや建物ＢＬ１，ＢＬ２の一部を含む領域が注視領域ＡＲ１，ＡＲ２，ＡＲ３として強調表示されている。注視マップでは、注視領域内において注視度が高い画素ほど高い濃度で表示される。図４Ｃは、図４Ａの撮像画像から抽出された特徴点を模式的に示す図である。図４Ｃに示す特徴点のうち、図４Ｂに示す注視領域に対応する特徴点が、環境地図にプロットされる（ステップＳ１４）。図４Ｄは、注視領域に対応する特徴点を模式的に示す図である。

本発明の実施形態によれば以下のような作用効果を奏することができる。
（１）地図生成装置５０は、自車両の周囲の外界状況を検出するカメラ１ａと、カメラ１ａにより取得された撮像画像から特徴点を抽出する抽出部１７１と、その撮像画像に基づいて、自車両の移動に伴うカメラ１ａの移動量を推定する移動量推定部１７２と、移動量推定部１７２による移動量の推定に用いられた撮像画像内における領域を特定する特定部１７３と、抽出部１７１により抽出された特徴点のうち、特定部１７３により特定された領域に対応する特徴点を用いて地図情報を生成する生成部１７４と、を備える。これにより、環境地図のデータ量の増大を抑制しつつ、環境地図の精度を向上させることができる。

（２）移動量推定部１７２は、ポーズ畳み込みニューラルネットワークを用いて、カメラ１ａにより取得された検出時点（撮像時点）が異なる複数の撮像画像に基づいてカメラ１ａの移動量を推定し、特定部１７３は、ポーズ畳み込みニューラルネットワークの畳み込み層から出力される画像特徴量に基づいて、ポーズ畳み込みニューラルネットワークがカメラ１ａの移動量を推定するときに注視した、撮像画像内における領域（注視領域）を特定する。このようにニューラルネットワークを用いることで、移動量の推定に必要となる領域を自動的にかつ精度よく特定することができる。よって、移動量の推定に不要な領域、例えば移動体（図４Ａの他車両Ｖ１，Ｖ２）の領域や遠方の物体の領域（図４Ａの建物ＢＬ３）が注視領域として特定されることを抑制できる。また、移動体と認識された物体であっても動いていない移動体の場合には移動量の推定に必要な注視領域として自動的に特定（算出）されるため、例えば道路上に停車した車両の側方を通過するような場合により精度の高いＳＬＡＭ（環境地図）生成が人手を介さずに実現できる。

（３）地図生成装置５０は、生成部１７４により生成された地図情報を記憶する記憶部１２と、抽出部１７１により抽出された特徴点と、記憶部１２に記憶された地図情報とに基づいて、自車両の位置を推定して取得する位置推定部１３１と、をさらに備える。生成部１７４による地図情報の生成と、位置推定部１３１による自車両の位置の推定とは、並行して行われる。これにより、高精度な環境地図を構築しながら、その環境地図に基づき自車位置を高精度に推定することができる。

上記実施形態は種々の形態に変形することができる。以下、いくつかの変形例について説明する。上記実施形態では、カメラ１ａにより自車両の周囲の状況を検出するようにしたが、自車両の周囲の状況を検出するのであれば、外界検出器の構成はいかなるものでもよい。例えば、外界検出器は、レーダ１ｂやライダ１ｃであってもよい。また、上記実施形態では、抽出部１７１が、カメラ１ａにより取得された撮像画像データによって示される画像から特徴点を抽出するようにしたが、抽出部は、レーダ１ｂやライダ１ｃの検出データにより示される画像から特徴点を抽出してもよい。

また、上記実施形態では、移動量推定部１７２が、カメラ１ａにより取得された撮像画像データによって示される画像に基づいて、自車両の移動に伴うカメラ１ａの移動量を推定するようにしたが、移動量推定部は、レーダ１ｂやライダ１ｃの検出データにより示される画像に基づいて、自車両の移動に伴うレーダ１ｂやライダ１ｃの移動量を推定してもよい。また、上記実施形態では、生成部１７４が、抽出部１７１により抽出された特徴点のうち、特定部１７３により特定された領域に対応する特徴点を用いて地図情報を生成するようにした。しかし、生成部は、注視領域内の各画素に対する注視度に応じて、各画素を重み付けし、注視領域内の特徴点のうち、その重みが所定値以上である領域、すなわち注視度が所定程度以上である領域に対応する特徴点を用いて地図情報を生成してもよい。例えば、図４Ｂに示す例において、注視領域ＡＲ１，ＡＲ２，ＡＲ３内の濃度が最も高い領域（最も内側の領域）に対応する特徴点を用いて地図情報を生成してもよい。

また、上記実施形態では、地図生成装置５０を自動運転車両に適用したが、地図生成装置５０は、自動運転車両以外の車両にも適用可能である。例えば、ＡＤＡＳ（Advanced driver-assistance systems）を備える手動運転車両にも地図生成装置５０を適用することができる。さらに、上記実施形態では、手動運転モードで走行しながら図３に示す処理を実行するようにしたが、自動運転モードで走行しているときに図３に示す処理を実行してもよい。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の一つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１ａ カメラ、１ｂ レーダ、１ｃ ライダ、１０ コントローラ、５０ 地図生成装置、１３１ 位置推定部、１７１ 抽出部、１７２ 移動量推定部、１７３ 特定部、１７４ 生成部、ＡＣ アクチュエータ、１００ 車両制御システム

Claims (4)

1. 自車両の周囲の外界状況を検出する外界検出器と、
   前記外界検出器の検出データによって示される画像から特徴点を抽出する抽出部と、
   前記検出データによって示される画像に基づいて、前記自車両の移動に伴う前記外界検出器の移動量を推定する移動量推定部と、
   前記移動量推定部による移動量の推定に用いられた前記画像内における領域を特定する特定部と、
   前記抽出部により抽出された特徴点のうち、前記特定部により特定された領域に対応する特徴点を用いて地図情報を生成する生成部と、を備えることを特徴とする地図生成装置。
2. 請求項１に記載の地図生成装置において、
   前記移動量推定部は、ニューラルネットワークを用いて、検出時点が異なる複数の前記検出データによって示される複数の前記画像に基づいて前記外界検出器の移動量を推定し、
   前記特定部は、前記ニューラルネットワークが前記外界検出器の移動量を推定するときに注視した、前記画像内における領域を特定することを特徴とする地図生成装置。
3. 請求項２に記載の地図生成装置において、
   前記ニューラルネットワークは、ポーズ畳み込みニューラルネットワークであり、
   前記特定部は、前記ニューラルネットワークの畳み込み層から出力される画像特徴量に基づいて、前記ニューラルネットワークが前記外界検出器の移動量を推定するときに注視した、前記画像内における領域を特定することを特徴とする地図生成装置。
4. 請求項１から３のうちのいずれか１項に記載の地図生成装置において、
   前記生成部により生成された地図情報を記憶する記憶部と、
   前記抽出部により抽出された特徴点と、前記記憶部に記憶された地図情報とに基づいて、前記自車両の位置を推定して取得する位置推定部と、をさらに備え、
   前記生成部による地図情報の生成と、前記位置推定部による前記自車両の位置の推定とは並行して行われることを特徴とする地図生成装置。

Images