JP2023148239A - 地図生成装置 - Google Patents
地図生成装置 Download PDFInfo
- Publication number
- JP2023148239A JP2023148239A JP2022056150A JP2022056150A JP2023148239A JP 2023148239 A JP2023148239 A JP 2023148239A JP 2022056150 A JP2022056150 A JP 2022056150A JP 2022056150 A JP2022056150 A JP 2022056150A JP 2023148239 A JP2023148239 A JP 2023148239A
- Authority
- JP
- Japan
- Prior art keywords
- map
- unit
- information
- vehicle
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 16
- 230000007613 environmental effect Effects 0.000 abstract description 91
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 24
- 230000009471 action Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Abstract
【課題】環境変化の影響を受けにくい地図を適切に生成すること。【解決手段】地図生成装置は、自車両の周囲の状況を検出する車載検出器1aで検出された検出情報から特徴点を抽出する抽出部171と、抽出部171で抽出された複数の特徴点から算出部173で算出に用いる特徴点を選択する選択部172と、複数の検出情報に基づいて、車載検出器1aの位置および姿勢を用いて、複数の検出情報に含まれる同一の特徴点の3次元位置を、選択部172で選択された複数の異なる特徴点に対してそれぞれ算出する算出部173と、算出部173で算出された複数の異なる特徴点の3次元位置を用いて、各3次元位置の情報を含む地図を生成する生成部174と、を備え、選択部172は、あらかじめ複数の物体毎に設定されている優先度情報に基づき、検出情報に含まれた複数の物体のうち優先度が高く設定されている物体上の特徴点を選択する。【選択図】図2
Description
本発明は、自車両の位置の推定に用いられる地図を生成する地図生成装置に関する。
この種の装置として、従来、走行中の車両に搭載されたカメラにより取得された撮像画像から抽出した特徴点を用いて環境地図を作成するように構成された装置が知られている(例えば特許文献1参照)。
従来の技術では、環境地図の作成に用いた特徴点に対応する地物の構造が変化してしまい、地図の情報が現実と合わなくなる場合があった。
本発明の一態様である地図生成装置は、自車両の周囲の状況を検出する車載検出器で検出された検出情報から特徴点を抽出する抽出部と、抽出部で抽出された複数の特徴点から後記算出部で算出に用いる特徴点を選択する選択部と、複数の検出情報に基づいて、車載検出器の位置および姿勢を用いて、複数の検出情報に含まれる同一の特徴点の3次元位置を、選択部で選択された複数の異なる特徴点に対してそれぞれ算出する算出部と、算出部で算出された複数の異なる特徴点の3次元位置を用いて、各3次元位置の情報を含む地図を生成する生成部と、を備え、選択部は、あらかじめ複数の物体毎に設定されている優先度情報に基づき、検出情報に含まれた複数の物体のうち優先度が高く設定されている物体上の特徴点を選択する。
本発明によれば、環境変化の影響を受けにくい地図を適切に生成することが可能になる。
以下、図面を参照して発明の実施の形態について説明する。
発明の実施の形態に係る地図生成装置は、自動運転機能を有する車両、すなわち自動運転車両に適用することができる。なお、本実施の形態に係る地図生成装置が適用される車両を、他車両と区別して自車両と呼ぶことがある。自車両は、内燃機関(エンジン)を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。自車両は、ドライバによる運転操作が不要な自動運転モードでの走行だけでなく、ドライバの運転操作による手動運転モードでの走行も可能である。
発明の実施の形態に係る地図生成装置は、自動運転機能を有する車両、すなわち自動運転車両に適用することができる。なお、本実施の形態に係る地図生成装置が適用される車両を、他車両と区別して自車両と呼ぶことがある。自車両は、内燃機関(エンジン)を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。自車両は、ドライバによる運転操作が不要な自動運転モードでの走行だけでなく、ドライバの運転操作による手動運転モードでの走行も可能である。
まず、自動運転に係る自車両の概略構成について説明する。図1は、実施の形態に係る地図生成装置を有する自車両の車両制御システム100の全体構成を概略的に示すブロック図である。図1に示すように、車両制御システム100は、コントローラ10と、コントローラ10にそれぞれ通信可能に接続された外部センサ群1と、内部センサ群2と、入出力装置3と、測位ユニット4と、地図データベース5と、ナビゲーション装置6と、通信ユニット7と、走行用のアクチュエータACとを主に有する。
外部センサ群1は、自車両の周辺情報である外部状況を検出する複数のセンサ(外部センサ)の総称である。例えば外部センサ群1には、自車両の全方位の照射光に対する散乱光を測定して自車両から周辺の障害物までの距離を測定するライダ、電磁波を照射し反射波を検出することで自車両の周辺の他車両や障害物等を検出するレーダ、自車両に搭載され、CCDやCMOS等の撮像素子(イメージセンサ)を有して自車両の周辺(前方、後方および側方)を撮像するカメラ等が含まれる。
内部センサ群2は、自車両の走行状態を検出する複数のセンサ(内部センサ)の総称である。例えば内部センサ群2には、自車両の車速を検出する車速センサ、自車両の前後方向の加速度および左右方向の加速度(横加速度)をそれぞれ検出する加速度センサ、走行駆動源の回転数を検出する回転数センサ、自車両の重心の鉛直軸回りの回転角速度を検出するヨーレートセンサ等が含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群2に含まれる。
入出力装置3は、ドライバから指令が入力されたり、ドライバに対し情報が出力されたりする装置の総称である。例えば入出力装置3には、操作部材の操作によりドライバが各種指令を入力する各種スイッチ、ドライバが音声で指令を入力するマイク、ドライバに表示画像を介して情報を提供するディスプレイ、ドライバに音声で情報を提供するスピーカ等が含まれる。
測位ユニット(GNSSユニット)4は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位衛星は、GPS衛星や準天頂衛星等の人工衛星である。測位ユニット4は、測位センサが受信した測位情報を利用して、自車両の現在位置(緯度、経度、高度)を測定する。
地図データベース5は、ナビゲーション装置6に用いられる一般的な地図情報を記憶する装置であり、例えばハードディスクや半導体素子により構成される。地図情報には、道路の位置情報、道路形状(曲率等)の情報、交差点や分岐点の位置情報が含まれる。なお、地図データベース5に記憶される地図情報は、コントローラ10の記憶部12に記憶される高精度な地図情報とは異なる。
ナビゲーション装置6は、ドライバにより入力された目的地までの道路上の目標経路を探索するとともに、目標経路に沿った案内を行う装置である。目的地の入力および目標経路に沿った案内は、入出力装置3を介して行われる。目標経路は、測位ユニット4により測定された自車両の現在位置と、地図データベース5に記憶された地図情報とに基づいて演算される。外部センサ群1の検出値を用いて自車両の現在位置を測定することもでき、この現在位置と記憶部12に記憶される高精度な地図情報とに基づいて目標経路を演算するようにしてもよい。
通信ユニット7は、インターネット網や携帯電話網等に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報等を定期的に、あるいは任意のタイミングでサーバから取得する。走行履歴情報を取得するだけでなく、通信ユニット7を介して自車両の走行履歴情報をサーバに送信するようにしてもよい。ネットワークには、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)等も含まれる。取得した地図情報は、地図データベース5や記憶部12に出力され、地図情報がアップデート(update)される。
アクチュエータACは、自車両の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータACには、エンジンのスロットルバルブの開度(スロットル開度)を調整するスロットル用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータACに含まれる。自車両の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータACに含まれる。
コントローラ10は、電子制御ユニット(ECU)により構成される。より具体的には、コントローラ10は、CPU(マイクロプロセッサ)等の演算部11と、ROM,RAM等の記憶部12と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ECU、走行モータ制御用ECU、制動装置用ECU等、機能の異なる複数のECUを別々に設けることができるが、図1では、便宜上、これらECUの集合としてコントローラ10が示される。
記憶部12には、高精度の詳細な地図情報(高精度地図情報と呼ぶ)が記憶される。高精度地図情報には、道路の位置情報、道路形状(曲率等)の情報、道路の勾配の情報、交差点や分岐点の位置情報、白線等の道路の区画線の種別やその位置情報、車線数の情報、車線の幅員および車線毎の位置情報(車線の中央位置や車線位置の境界線の情報)、地図上の目印としてのランドマーク(建物、信号機、標識等)の位置情報、路面の凹凸等の路面プロファイルの情報が含まれる。実施の形態では、中央線、車線境界線、車道外側線等を総称して道路の区画線と呼ぶ。
記憶部12に記憶される高精度地図情報には、通信ユニット7を介して自車両の外部から取得した地図情報(外部地図情報と呼ぶ)と、外部センサ群1による検出値あるいは外部センサ群1と内部センサ群2との検出値を用いて自車両自体で作成される地図(内部地図情報と呼ぶ)とが含まれる。
記憶部12に記憶される高精度地図情報には、通信ユニット7を介して自車両の外部から取得した地図情報(外部地図情報と呼ぶ)と、外部センサ群1による検出値あるいは外部センサ群1と内部センサ群2との検出値を用いて自車両自体で作成される地図(内部地図情報と呼ぶ)とが含まれる。
外部地図情報は、例えばクラウドサーバを介して取得した地図(クラウド地図と呼ぶ)の情報であり、内部地図情報は、例えばSLAM(Simultaneous Localization and Mapping)等の技術を用いてマッピングにより生成される3次元の点群データからなる地図(環境地図と呼ぶ)の情報である。外部地図情報は、自車両と他車両とで共有されるのに対し、内部地図情報は、自車両の独自の地図情報(例えば自車両が単独で有する地図情報)である。自車両で未走行の道路、新設された道路等においては、自車両自らによって環境地図が作成される。なお、内部地図情報を、通信ユニット7を介してサーバ装置や他車両に提供するようにしてもよい。
記憶部12は、上述した高精度地図情報の他に、自車両の走行軌跡情報、各種制御のプログラム、およびプログラムで用いられる閾値等の情報も記憶する。
記憶部12は、上述した高精度地図情報の他に、自車両の走行軌跡情報、各種制御のプログラム、およびプログラムで用いられる閾値等の情報も記憶する。
演算部11は、機能的構成として、自車位置認識部13と、外界認識部14と、行動計画生成部15と、走行制御部16と、地図生成部17とを有する。
自車位置認識部13は、測位ユニット4で得られた自車両の位置情報および地図データベース5の地図情報に基づいて、地図上の自車両の位置(自車位置)を認識(推定と呼んでもよい)する。
記憶部12に記憶された高精度地図情報と、外部センサ群1が検出した自車両の周辺情報とを用いて自車位置を認識(推定)してもよく、これにより自車位置を高精度に認識することができる。
内部センサ群2の検出値に基づいて自車両の移動情報(移動方向、移動距離)を算出し、これにより自車位置を認識することもできる。なお、道路上や道路脇の外部に設置されたセンサで自車位置を測定可能であるとき、そのセンサと通信ユニット7を介して通信することにより、自車位置を認識することもできる。
記憶部12に記憶された高精度地図情報と、外部センサ群1が検出した自車両の周辺情報とを用いて自車位置を認識(推定)してもよく、これにより自車位置を高精度に認識することができる。
内部センサ群2の検出値に基づいて自車両の移動情報(移動方向、移動距離)を算出し、これにより自車位置を認識することもできる。なお、道路上や道路脇の外部に設置されたセンサで自車位置を測定可能であるとき、そのセンサと通信ユニット7を介して通信することにより、自車位置を認識することもできる。
外界認識部14は、ライダ、レーダ、カメラ等の外部センサ群1からの信号に基づいて自車両の周囲の外部状況を認識する。例えば自車両の周辺を走行する周辺車両(前方車両や後方車両)の位置、速度や加速度、自車両の周囲に停車または駐車している周辺車両の位置、および他の物体の位置や状態等を認識する。他の物体には、標識、信号機、道路の区画線や停止線等の標示、建物、ガードレール、電柱、看板、歩行者、自転車等が含まれる。他の物体の状態には、信号機の色(赤、青、黄)、歩行者や自転車の移動速度や向き等が含まれる。他の物体のうち静止している物体の一部は、地図上の位置の指標となるランドマークを構成し、外界認識部14は、ランドマークの位置と種別も認識する。
行動計画生成部15は、例えばナビゲーション装置6で演算された目標経路と、記憶部12に記憶された高精度地図情報と、自車位置認識部13で認識された自車位置と、外界認識部14で認識された外部状況とに基づいて、現時点から所定時間先までの自車両の走行軌道(目標軌道)を生成する。目標経路上に目標軌道の候補となる複数の軌道が存在するときには、行動計画生成部15は、その中から法令を順守し、かつ効率よく安全に走行する等の基準を満たす最適な軌道を選択し、選択した軌道を目標軌道とする。そして、行動計画生成部15は、生成した目標軌道に応じた行動計画を生成する。行動計画生成部15は、先行車両を追い越すための追い越し走行、走行車線を変更する車線変更走行、先行車両に追従する追従走行、走行車線を逸脱しないように車線を維持するレーンキープ走行、減速走行または加速走行等に対応した種々の行動計画を生成する。行動計画生成部15は、目標軌道を生成する際に、まず走行態様を決定し、走行態様に基づいて目標軌道を生成する。
走行制御部16は、自動運転モードにおいて、行動計画生成部15で生成された目標軌道に沿って自車両が走行するように各アクチュエータACを制御する。より具体的には、走行制御部16は、自動運転モードにおいて道路勾配等により定まる走行抵抗を考慮して、行動計画生成部15で算出された単位時間毎の目標加速度を得るための要求駆動力を算出する。そして、例えば内部センサ群2により検出された実加速度が目標加速度となるようにアクチュエータACをフィードバック制御する。すなわち、自車両が目標車速および目標加速度で走行するようにアクチュエータACを制御する。なお、手動運転モードでは、走行制御部16は、内部センサ群2により取得されたドライバからの走行指令(ステアリング操作等)に応じて各アクチュエータACを制御する。
地図生成部17は、手動運転モードで走行しながら、外部センサ群1により検出された検出値を用いて、自車両が走行した道路周辺の環境地図を、内部地図情報として生成する。例えば、カメラにより取得された複数フレームのカメラ画像から、画素ごとの輝度や色の情報に基づいて物体の輪郭を示すエッジを抽出するとともに、そのエッジ情報を用いて特徴点を抽出する。特徴点は例えばエッジの交点であり、建物の角や道路標識の角等に対応する。地図生成部17は、SLAM技術のアルゴリズムにしたがって、複数フレームのカメラ画像間で同一の特徴点が1点に収束するようにカメラの位置と姿勢を推定しながら、その特徴点について3次元位置を算出する。この算出処理を複数の特徴点に対してそれぞれ行うことにより、3次元の点群データからなる環境地図を生成する。
なお、カメラに代えて、レーダやライダにより取得されたデータを用いて自車両の周囲の物体の特徴点を抽出し、環境地図を生成するようにしてもよい。
また、地図生成部17は、環境地図を生成する際に、上記3次元位置の算出に用いなかった特徴点を有する所定の地物(例えば道路の区画線、信号機、標識等)がカメラ画像に含まれていることをパターンマッチング処理等により判定すると、カメラ画像に基づく地物の特徴点に対応する点の位置情報を環境地図に追加し、記憶部12に記録する。
なお、カメラに代えて、レーダやライダにより取得されたデータを用いて自車両の周囲の物体の特徴点を抽出し、環境地図を生成するようにしてもよい。
また、地図生成部17は、環境地図を生成する際に、上記3次元位置の算出に用いなかった特徴点を有する所定の地物(例えば道路の区画線、信号機、標識等)がカメラ画像に含まれていることをパターンマッチング処理等により判定すると、カメラ画像に基づく地物の特徴点に対応する点の位置情報を環境地図に追加し、記憶部12に記録する。
自車位置認識部13は、地図生成部17による地図作成処理と並行して、自車両の位置認識処理を行う。すなわち、特徴点の時間経過に伴う位置の変化に基づいて、自車位置を推定する。地図作成処理と位置認識(推定)処理とは、SLAM技術のアルゴリズムにしたがって同時に行われる。地図生成部17は、手動運転モードで走行するときだけでなく、自動運転モードで走行するときにも同様に環境地図を生成することができる。既に環境地図が生成されて記憶部12に記憶されている場合、地図生成部17は、新たに取得されたカメラ画像から新たに抽出された特徴点(新特徴点と呼んでもよい)に基づき、環境地図をアップデートしてもよい。
ところで、SLAM技術を用いて生成された環境地図の情報を用いて自車位置を推定するとき、環境地図の生成時と自車位置の推定時との間に時間差(例えば2~3か月ないし半年から1年)があると、道路工事、道路周辺の建物の新築、改築、取り壊し、街路樹等の季節変化等により、環境構造(例えば道路および道路周辺の地物の構造等)が変化している場合がある。
そのため、環境地図を構成する特徴点が、自車位置推定時にカメラ画像から抽出された特徴点とマッチしなくなり、自車位置を正しく推定することが困難になる。
実施の形態では、SLAM技術のアルゴリズムにしたがって複数フレームのカメラ画像間で同一の特徴点を追跡し、その特徴点について3次元位置を算出する前に、環境変化の影響を受けにくい特徴点を選ぶ。さらに、環境地図を生成した後の環境変化に合わせて環境地図を構成する特徴点の情報をアップデートする。
そのため、環境地図を構成する特徴点が、自車位置推定時にカメラ画像から抽出された特徴点とマッチしなくなり、自車位置を正しく推定することが困難になる。
実施の形態では、SLAM技術のアルゴリズムにしたがって複数フレームのカメラ画像間で同一の特徴点を追跡し、その特徴点について3次元位置を算出する前に、環境変化の影響を受けにくい特徴点を選ぶ。さらに、環境地図を生成した後の環境変化に合わせて環境地図を構成する特徴点の情報をアップデートする。
上記の処理を行う地図生成装置について、さらに詳細に説明する。
図2は、実施の形態に係る地図生成装置60の要部構成を示すブロック図である。地図生成装置60は、自車両の走行動作の制御に用いるものであり、図1の車両制御システム100の一部を構成する。図2に示すように、地図生成装置60は、コントローラ10と、カメラ1aと、レーダ1bと、ライダ1cとを有する。
図2は、実施の形態に係る地図生成装置60の要部構成を示すブロック図である。地図生成装置60は、自車両の走行動作の制御に用いるものであり、図1の車両制御システム100の一部を構成する。図2に示すように、地図生成装置60は、コントローラ10と、カメラ1aと、レーダ1bと、ライダ1cとを有する。
カメラ1aは、図1の外部センサ群1の一部を構成する。カメラ1aは単眼カメラでもステレオカメラでもよく、自車両の周囲を撮像する。カメラ1aは、例えば自車両の前部の所定位置に取り付けられ、自車両の前方空間を所定のフレームレートで連続的に撮像し、検出情報としてのフレーム画像データ(単にカメラ画像と呼ぶ)を逐次コントローラ10に出力する。
図3Aは、カメラ1aで取得されたあるフレームのカメラ画像の一例を示す図である。カメラ画像IMには、自車両の前方を走行する他車両V1、自車両の右側レーンを走行する他車両V2、自車両の周辺の信号機SG、歩行者PE、交通標識TS1、TS2、自車両の周辺の建物BL1、BL2、BL3、車道外側線OL、車線境界線SL等が含まれている。
図3Aは、カメラ1aで取得されたあるフレームのカメラ画像の一例を示す図である。カメラ画像IMには、自車両の前方を走行する他車両V1、自車両の右側レーンを走行する他車両V2、自車両の周辺の信号機SG、歩行者PE、交通標識TS1、TS2、自車両の周辺の建物BL1、BL2、BL3、車道外側線OL、車線境界線SL等が含まれている。
図2のレーダ1bは、自車両に搭載され、電磁波を照射し反射波を検出することで自車両の周辺の他車両や障害物等を検出する。レーダ1bは、検出情報としての検出値(検出データ)をコントローラ10に出力する。ライダ1cは、自車両に搭載され、自車両の全方位の照射光に対する散乱光を測定して自車両から周辺の障害物までの距離を検出する。ライダ1cは、検出情報としての検出値(検出データ)をコントローラ10に出力する。
コントローラ10は、演算部11および記憶部12を含む。演算部11は、機能的構成として、情報取得部141と、抽出部171と、選択部172と、算出部173と、生成部174と、自車位置認識部13とを有する。
情報取得部141は、例えば図1の外界認識部14に含まれる。抽出部171、選択部172、算出部173および生成部174は、例えば図1の地図生成部17に含まれる。
また、記憶部12は、地図記憶部121および軌跡記憶部122を含む。
情報取得部141は、例えば図1の外界認識部14に含まれる。抽出部171、選択部172、算出部173および生成部174は、例えば図1の地図生成部17に含まれる。
また、記憶部12は、地図記憶部121および軌跡記憶部122を含む。
情報取得部141は、記憶部12(地図記憶部121)から、自車両の走行動作の制御に用いる情報を取得する。より詳細には、情報取得部141は、地図記憶部121から環境地図に含まれるランドマーク情報を読み出し、さらに、ランドマーク情報から自車両が走行する道路の区画線の位置と、それらの区画線の延在方向とを示す情報(以下、区画線情報と呼ぶ)を取得する。
なお、区画線情報に区画線の延在方向を示す情報が含まれないとき、情報取得部141は、区画線の位置に基づいてそれらの区画線の延在方向を算出してもよい。また、地図記憶部121に記憶された道路地図情報や白線地図(白色、黄色等の区画線の位置を示す情報)等から、自車両が走行する道路の区画線の位置および延在方向を示す情報を取得してもよい。
なお、区画線情報に区画線の延在方向を示す情報が含まれないとき、情報取得部141は、区画線の位置に基づいてそれらの区画線の延在方向を算出してもよい。また、地図記憶部121に記憶された道路地図情報や白線地図(白色、黄色等の区画線の位置を示す情報)等から、自車両が走行する道路の区画線の位置および延在方向を示す情報を取得してもよい。
抽出部171は、カメラ1aで取得されたカメラ画像IM(図3Aに例示)から物体の輪郭を示すエッジを抽出するとともに、そのエッジ情報を用いて特徴点を抽出する。上述したように、特徴点は例えばエッジの交点である。図3Bは、図3Aのカメラ画像IMに基づいて抽出部171で抽出された特徴点を例示する図である。図中の黒丸は、特徴点を示している。
選択部172は、抽出部171で抽出した特徴点の中から3次元位置を算出する特徴点を選択する。実施の形態では、他の特徴点と区別しやすいユニークな特徴点を選ぶ。
先ず、選択部172は、機械学習(DNN(Deep Neural Network)等)技術を用いて、カメラ画像IMをカメラ画像IMに写る物体毎の領域に分けるセグメンテーション(segmentation)を行う。例えば、カメラ画像IMを(1)道路、(2)他車両、(3)歩行者、(4)工事標識等(標識、パイロン(pylon)等)、(5)交通標識・信号機、(6)ガードレール・フェンス、(7)建物、(8)街路樹・植栽、(9)雲、(10)空の領域に分類する。なお、図3Aに例示したカメラ画像IMには、これらの物体の一部を例示する。
実施の形態では、例示した10種の各領域の物体に対し、時間的な変化のしやすさを示す順位があらかじめ定められている。例えば、(2)他車両、(3)歩行者、(4)工事標識等(標識、パイロン等)および(9)雲は、短期間で変化しやすいため、時間的な変化のしやすさを示す順位は1番である。(10)空についても同様とする。
次いで(8)街路樹・植栽は季節(例えば3か月)で変化しやすいため、時間的な変化のしやすさを示す順位は2番である。
そして、(1)道路、(5)交通標識・信号機、(6)ガードレール・フェンス、および(7)建物は、他の物体と比べて変化しにくいため、時間的な変化のしやすさを示す順位は3番である。
次いで(8)街路樹・植栽は季節(例えば3か月)で変化しやすいため、時間的な変化のしやすさを示す順位は2番である。
そして、(1)道路、(5)交通標識・信号機、(6)ガードレール・フェンス、および(7)建物は、他の物体と比べて変化しにくいため、時間的な変化のしやすさを示す順位は3番である。
選択部172は、抽出部171で抽出した特徴点の中から3次元位置を算出するための特徴点を選択する場合、上記分類した領域のうちの変化しにくい物体(上記順位が3番)の領域に含まれる特徴点を優先して選択する。そのため、(1)道路、(5)交通標識・信号機、(6)ガードレール・フェンス、および(7)建物のエッジ情報に基づく特徴点に対する優先度を高く設定し、他の特徴点よりも先に選択する。
選択部172は、季節的に変化する(8)街路樹・植栽のエッジ情報に基づく特徴点については、地図作成時および地図作成時から所定期間(例えば3か月)において、上記変化しにくい物体のエッジ情報に基づく特徴点の次に選択対象とする。そのため、(8)街路樹・植栽のエッジ情報に基づく特徴点に対する優先度を中(上記高くと下記低くの中間)に設定し、(1)道路、(5)交通標識・信号機、(6)ガードレール・フェンス、および(7)建物のエッジ情報に基づく特徴点の次に選択する。
選択部172は、季節が移り変わった後の(8)街路樹・植栽のエッジ情報に基づく特徴点に対しては、選択する優先度を下げて実質的に選択しない。季節が移り変わった後は、植物の成長または落葉等により、植物の姿が変化している可能性が高いからである。
選択部172は、季節的に変化する(8)街路樹・植栽のエッジ情報に基づく特徴点については、地図作成時および地図作成時から所定期間(例えば3か月)において、上記変化しにくい物体のエッジ情報に基づく特徴点の次に選択対象とする。そのため、(8)街路樹・植栽のエッジ情報に基づく特徴点に対する優先度を中(上記高くと下記低くの中間)に設定し、(1)道路、(5)交通標識・信号機、(6)ガードレール・フェンス、および(7)建物のエッジ情報に基づく特徴点の次に選択する。
選択部172は、季節が移り変わった後の(8)街路樹・植栽のエッジ情報に基づく特徴点に対しては、選択する優先度を下げて実質的に選択しない。季節が移り変わった後は、植物の成長または落葉等により、植物の姿が変化している可能性が高いからである。
また、選択部172は、時間的に変化しやすい物体(上記順位が1番)の領域に含まれる特徴点を選択しない。そのため、(2)他車両、(3)歩行者、(4)工事標識等(標識、パイロン等)、(9)雲および(10)空のエッジ情報に基づく特徴点に対する優先度を低く設定し、これを選択しない。
なお、(9)雲および(10)空の領域の特徴点を選択しないことは、他の物体に対して著しく遠方の特徴点を選択しない点においても好都合である。他の特徴点と比べて著しく遠方の特徴点を選択しないことで、3次元位置の算出精度の低下を防ぐことが可能になる。
なお、(9)雲および(10)空の領域の特徴点を選択しないことは、他の物体に対して著しく遠方の特徴点を選択しない点においても好都合である。他の特徴点と比べて著しく遠方の特徴点を選択しないことで、3次元位置の算出精度の低下を防ぐことが可能になる。
算出部173は、複数フレームのカメラ画像IM間で同一の特徴点が1点に収束するようにカメラ1aの位置と姿勢を推定しながら、その特徴点について3次元位置を算出する。算出部173は、選択部172で選択された複数の異なる特徴点の3次元位置をそれぞれ算出する。
生成部174は、算出部173で算出された複数の異なる特徴点の3次元位置を用いて、各3次元位置の情報を含む3次元の点群データからなる環境地図を生成する。
自車位置認識部13は、地図記憶部121に記憶されている環境地図に基づいて、環境地図上の自車位置を推定する。
先ず、自車位置認識部13は、自車両の車幅方向の位置を推定する。詳細には、自車位置認識部13は、機械学習技術を用いて、カメラ1aで新たに取得されたカメラ画像IMに含まれる道路の区画線を認識する。自車位置認識部13は、地図記憶部121に記憶されている環境地図に含まれるランドマーク情報から取得した区画線情報に基づいて、カメラ画像IMに含まれる区画線の環境地図上の位置や延在方向を認識する。そして、自車位置認識部13は、区画線の環境地図上の位置や延在方向に基づいて、自車両と区画線との車幅方向における相対的な位置関係(環境地図上の位置関係)を推定する。このようにして、環境地図上の自車両の車幅方向の位置が推定される。
先ず、自車位置認識部13は、自車両の車幅方向の位置を推定する。詳細には、自車位置認識部13は、機械学習技術を用いて、カメラ1aで新たに取得されたカメラ画像IMに含まれる道路の区画線を認識する。自車位置認識部13は、地図記憶部121に記憶されている環境地図に含まれるランドマーク情報から取得した区画線情報に基づいて、カメラ画像IMに含まれる区画線の環境地図上の位置や延在方向を認識する。そして、自車位置認識部13は、区画線の環境地図上の位置や延在方向に基づいて、自車両と区画線との車幅方向における相対的な位置関係(環境地図上の位置関係)を推定する。このようにして、環境地図上の自車両の車幅方向の位置が推定される。
次いで、自車位置認識部13は、自車両の進行方向の位置を推定する。詳細には、自車位置認識部13は、カメラ1aで新たに取得されたカメラ画像IM(図3A)からパターンマッチング等の処理によりランドマーク(例えば建物BL1)を認識するとともに、抽出部171で抽出された特徴点の中からそのランドマーク上の特徴点を認識する。さらに、自車位置認識部13は、カメラ画像IMにおいて写るランドマークの特徴点の位置に基づいて、自車両からランドマークまでの進行方向における距離を推定する。なお、自車両からランドマークまでの距離は、レーダ1bやライダ1cの検出値に基づいて算出されてもよい。
自車位置認識部13は、地図記憶部121に記憶されている環境地図の中で、上記ランドマークに対応する特徴点を探す。換言すると、新たに取得されたカメラ画像IMから認識されたランドマークの特徴点とマッチする特徴点を、環境地図を構成する複数の特徴点(点群データ)の中から認識する。
次いで、自車位置認識部13は、ランドマークの特徴点に対応する環境地図上の特徴点の位置と、自車両からランドマークまでの進行方向における距離とに基づいて、環境地図上の自車両の進行方向における位置を推定する。
以上説明したように、自車位置認識部13は、環境地図上の自車両の車幅方向および進行方向における推定位置に基づいて、環境地図上の自車両の位置を認識する。
次いで、自車位置認識部13は、ランドマークの特徴点に対応する環境地図上の特徴点の位置と、自車両からランドマークまでの進行方向における距離とに基づいて、環境地図上の自車両の進行方向における位置を推定する。
以上説明したように、自車位置認識部13は、環境地図上の自車両の車幅方向および進行方向における推定位置に基づいて、環境地図上の自車両の位置を認識する。
地図記憶部121は、生成部174で生成された環境地図の情報を記憶する。
軌跡記憶部122は、自車両の走行軌跡を示す情報を記憶する。走行軌跡は、例えば自車位置認識部13で走行中に認識された、環境地図上の自車位置として表される。
軌跡記憶部122は、自車両の走行軌跡を示す情報を記憶する。走行軌跡は、例えば自車位置認識部13で走行中に認識された、環境地図上の自車位置として表される。
<フローチャートの説明>
あらかじめ定められたプログラムにしたがって図2のコントローラ10で実行される処理の一例について、図4Aおよび図4Bのフローチャートを参照して説明する。図4Aは、環境地図が作成される前の処理を示すものであり、例えば手動運転モードで開始され、所定周期で繰り返される。図4Bは、図4Aの地図作成処理と並行して行われる処理を示す。また、図4Bは、環境地図が作成された後に、例えば自動運転モードで開始され、所定周期で繰り返される。図4Cは、図4AのステップS30の詳細を示す。図4Dは、図4BのステップS240の詳細を示す。
あらかじめ定められたプログラムにしたがって図2のコントローラ10で実行される処理の一例について、図4Aおよび図4Bのフローチャートを参照して説明する。図4Aは、環境地図が作成される前の処理を示すものであり、例えば手動運転モードで開始され、所定周期で繰り返される。図4Bは、図4Aの地図作成処理と並行して行われる処理を示す。また、図4Bは、環境地図が作成された後に、例えば自動運転モードで開始され、所定周期で繰り返される。図4Cは、図4AのステップS30の詳細を示す。図4Dは、図4BのステップS240の詳細を示す。
図4AのステップS10において、コントローラ10は、カメラ1aから検出情報としてのカメラ画像IMを取得してステップS20へ進む。
ステップS20において、コントローラ10は、抽出部171によりカメラ画像IMから特徴点を抽出してステップS30へ進む。
ステップS30において、コントローラ10は、以下の手順で選択部172により特徴点を選択する。
図4CのステップS31において、選択部172は、セグメンテーションを行ってカメラ画像IMをカメラ画像IMに写る物体毎の領域に分類してステップS32へ進む。
ステップS32において、選択部172は、抽出部171で抽出した特徴点を各領域に対応付けてステップS33へ進む。
ステップS32において、選択部172は、10種の各領域の特徴点に対する優先度順に、特徴点を選択して図4Cによる処理を終了する。
以上の選択処理により、時間的に変化しにくい物体のエッジ情報に基づく特徴点を優先的に選択することが可能になる。
図4CのステップS31において、選択部172は、セグメンテーションを行ってカメラ画像IMをカメラ画像IMに写る物体毎の領域に分類してステップS32へ進む。
ステップS32において、選択部172は、抽出部171で抽出した特徴点を各領域に対応付けてステップS33へ進む。
ステップS32において、選択部172は、10種の各領域の特徴点に対する優先度順に、特徴点を選択して図4Cによる処理を終了する。
以上の選択処理により、時間的に変化しにくい物体のエッジ情報に基づく特徴点を優先的に選択することが可能になる。
ステップS40において、コントローラ10は、算出部173により、複数の異なる特徴点の3次元位置をそれぞれ算出してステップS50へ進む。
ステップS50において、コントローラ10は、生成部174により、複数の異なる特徴点の各3次元位置の情報を含む3次元の点群データからなる環境地図を生成してステップS60へ進む。
ステップS60において、コントローラ10は、自車両が走行する位置が過去の走行軌跡上にあると認識した場合に、ループクロージング(Loop Closing)処理により、環境地図に含まれている3次元位置の情報を修正してステップS70へ進む。
ループクロージング処理を簡単に説明する。一般に、SLAM技術では自車両が移動しながら自車位置を認識するため誤差が蓄積する。例えば、自車両がロの字に閉じた道路を周回する場合、蓄積誤差によって始点と終点の位置が一致しなくなる。そこで、自車両が走行する位置が過去の走行軌跡上にあると認識した場合に、過去と同じ走行地点で新たに取得したカメラ画像から抽出した特徴点(新特徴点と呼ぶ)を用いて認識した自車両の位置と、過去の走行時に取得したカメラ画像から抽出した特徴点を用いて過去に認識した自車両の位置とを同じ座標とするループクロージング処理を行う。
ループクロージング処理を簡単に説明する。一般に、SLAM技術では自車両が移動しながら自車位置を認識するため誤差が蓄積する。例えば、自車両がロの字に閉じた道路を周回する場合、蓄積誤差によって始点と終点の位置が一致しなくなる。そこで、自車両が走行する位置が過去の走行軌跡上にあると認識した場合に、過去と同じ走行地点で新たに取得したカメラ画像から抽出した特徴点(新特徴点と呼ぶ)を用いて認識した自車両の位置と、過去の走行時に取得したカメラ画像から抽出した特徴点を用いて過去に認識した自車両の位置とを同じ座標とするループクロージング処理を行う。
ステップS70において、コントローラ10は、環境地図の情報を記憶部12の地図記憶部121に記録して図4Aによる処理を終了する。
図4BのステップS210において、コントローラ10は、カメラ1aから検出情報としてのカメラ画像IMを取得してステップS220へ進む。
ステップS220において、コントローラ10は、抽出部171によりカメラ画像IMから新特徴点を抽出してステップS230へ進む。なお、図4Bの処理において抽出する特徴点は、図4Aの処理において抽出した特徴点と同じ物体上の点の場合でも新特徴点と呼ぶ。
ステップS230において、コントローラ10は、選択部172により新特徴点を選択してステップS240へ進む。ステップS230では、ステップS30と同様に、時間的に変化しにくい物体のエッジ情報に基づく新特徴点を優先的に選択する。
ステップS240において、コントローラ10は、以下の手順で自車位置認識部13により環境地図に基づいて自車位置を認識(推定)する。
図4DのステップS241において、コントローラ10は、自車位置認識部13により、記憶部12の地図記憶部121に記憶されている環境地図を構成する複数の特徴点(点群データ)の中で、選択部172により選択された新特徴点に対応する点の情報を探し、ステップS242へ進む。
図4DのステップS241において、コントローラ10は、自車位置認識部13により、記憶部12の地図記憶部121に記憶されている環境地図を構成する複数の特徴点(点群データ)の中で、選択部172により選択された新特徴点に対応する点の情報を探し、ステップS242へ進む。
ステップS242において、自車位置認識部13は、環境地図内にマッチする点がある、換言すると、環境地図を構成する複数の特徴点の中に新特徴点に対応する点がある場合にステップS242を肯定判定してステップS243へ進む。コントローラ10は、環境地図内にマッチする点がない、換言すると、環境地図を構成する複数の特徴点の中に新特徴点に対応する点がない場合にはステップS242を否定判定してステップS246へ進む。
ステップS243において、自車位置認識部13は、マッチした点に基づいて環境地図上の自車両の位置を認識(推定)し、ステップS244へ進む。
ステップS244において、コントローラ10は、ステップS241の処理においてマッチした点、換言すると、環境地図内で新特徴点に対応する点に対する評価値に1を加えてステップS245へ進む。
実施の形態では、環境地図内で自車両の位置の認識(推定)時にマッチした点は、その評価値に1を加えてマッチした履歴を残すものとする。一方で、自車両の位置の認識(推定)時にマッチしない点は、その評価値から1を減じるものとする。コントローラ10は、評価値がゼロになって所定期間が経過した場合、その点の情報を環境地図から削除する。環境地図内で自車両の位置の認識(推定)時にマッチした回数が多い点は、その評価値の値が大きくなるため、仮に、しばらくマッチしない期間があるとしても、評価値がゼロになって所定期間が経過するまでの間、環境地図にその情報を残しておくことが可能になる。
実施の形態では、環境地図内で自車両の位置の認識(推定)時にマッチした点は、その評価値に1を加えてマッチした履歴を残すものとする。一方で、自車両の位置の認識(推定)時にマッチしない点は、その評価値から1を減じるものとする。コントローラ10は、評価値がゼロになって所定期間が経過した場合、その点の情報を環境地図から削除する。環境地図内で自車両の位置の認識(推定)時にマッチした回数が多い点は、その評価値の値が大きくなるため、仮に、しばらくマッチしない期間があるとしても、評価値がゼロになって所定期間が経過するまでの間、環境地図にその情報を残しておくことが可能になる。
ステップS245において、コントローラ10は、ステップS241の処理においてマッチしない点、換言すると、環境地図内で新特徴点に対応しない点に対する評価値から1を減じて図4Dの処理を終了する。なお、評価値の最小値はゼロとする。
ステップS242を否定判定して進むステップS246において、自車位置認識部13は、新特徴点の位置情報に基づいて環境地図上の自車両の位置を認識(推定)し、ステップS245へ進む。新特徴点の位置情報は、例えばカメラ画像IMにおいて写る物体の位置に基づいて、自車両から物体までの距離を推定して得る。なお、自車両から物体までの距離は、レーダ1bやライダ1cの検出値に基づいて取得してもよい。
図4BのステップS250において、コントローラ10は環境地図に情報を追加する。コントローラ10は、ステップS246(図4D)において推定した環境地図上の自車両の位置情報に対応する点の情報を、環境地図に追加してステップS260へ進む。
このように構成したので、道路環境の変化によって新たに存在するようになった新ランドマーク等の新特徴点の情報を環境地図に取込むことが可能になる。
なお、コントローラ10は、追加した点に対する評価値を1(初期値)とする。実施の形態では、環境地図に初めて情報を記録する点に対して1を設定するものとする。
このように構成したので、道路環境の変化によって新たに存在するようになった新ランドマーク等の新特徴点の情報を環境地図に取込むことが可能になる。
なお、コントローラ10は、追加した点に対する評価値を1(初期値)とする。実施の形態では、環境地図に初めて情報を記録する点に対して1を設定するものとする。
ステップS260において、コントローラ10は環境地図から情報を削除する。コントローラ10は、環境地図を構成する複数の特徴点の中で、例えば評価値0が所定期間(例えば半年)継続した点について、その情報を環境地図から削除する。このように構成したので、道路環境の変化によって存在しなくなった旧ランドマーク等の特徴点の情報を環境地図から除外することが可能になる。
ステップS270において、ステップS250およびステップS260によるアップデート後の環境地図の情報を、地図記憶部121に記録して図4Bによる処理を終了する。
以上説明した実施の形態によれば、以下のような作用効果が得られる。
(1)地図生成装置60は、自車両の周囲の状況を検出する車載検出器としてのカメラ1aで検出された検出情報としてのカメラ画像IMから特徴点を抽出する抽出部171と、抽出部171で抽出された複数の特徴点から算出部173で算出に用いる特徴点を選択する選択部172と、複数フレームのカメラ画像IMに基づいて、カメラ1aの位置および姿勢を用いて、複数フレームのカメラ画像IMに含まれる同一の特徴点の3次元位置を、選択部172で選択された複数の異なる特徴点に対してそれぞれ算出する算出部173と、算出部173で算出された複数の異なる特徴点の3次元位置を用いて、各3次元位置の情報を含む環境地図を生成する生成部174と、を備え、選択部172は、あらかじめ複数の物体毎に設定されている優先度情報に基づき、カメラ画像IMに含まれた複数の物体のうち優先度が高く設定されている物体上の特徴点を選択する。
このように構成したので、あらかじめ設定された優先度が高い物体(例えば、道路、交通標識等)の特徴点を優先的に選択するとともに、あらかじめ設定された優先度が低い物体(例えば、他車両等)の特徴点の選択を避けることによって、環境地図の生成に用いる特徴点の数を抑えつつ、自車位置の認識(推定)に有用な物体の情報を環境地図に含めることが可能になる。
このように、安全な車両制御に必要な環境地図を適切に生成することが可能になる。
(1)地図生成装置60は、自車両の周囲の状況を検出する車載検出器としてのカメラ1aで検出された検出情報としてのカメラ画像IMから特徴点を抽出する抽出部171と、抽出部171で抽出された複数の特徴点から算出部173で算出に用いる特徴点を選択する選択部172と、複数フレームのカメラ画像IMに基づいて、カメラ1aの位置および姿勢を用いて、複数フレームのカメラ画像IMに含まれる同一の特徴点の3次元位置を、選択部172で選択された複数の異なる特徴点に対してそれぞれ算出する算出部173と、算出部173で算出された複数の異なる特徴点の3次元位置を用いて、各3次元位置の情報を含む環境地図を生成する生成部174と、を備え、選択部172は、あらかじめ複数の物体毎に設定されている優先度情報に基づき、カメラ画像IMに含まれた複数の物体のうち優先度が高く設定されている物体上の特徴点を選択する。
このように構成したので、あらかじめ設定された優先度が高い物体(例えば、道路、交通標識等)の特徴点を優先的に選択するとともに、あらかじめ設定された優先度が低い物体(例えば、他車両等)の特徴点の選択を避けることによって、環境地図の生成に用いる特徴点の数を抑えつつ、自車位置の認識(推定)に有用な物体の情報を環境地図に含めることが可能になる。
このように、安全な車両制御に必要な環境地図を適切に生成することが可能になる。
(2)上記(1)において、優先度情報は、時間経過に伴って変化する可能性が低い物体ほど優先度が高く設定されている。
このように構成したので、環境地図の生成後に時間が経過しても、自車位置の認識(推定)に有用な物体の情報が環境地図内に残る可能性が高くなる。つまり、環境変化の影響を受けにくい特徴点の情報を含む環境地図を、適切に生成することが可能になる。
このように構成したので、環境地図の生成後に時間が経過しても、自車位置の認識(推定)に有用な物体の情報が環境地図内に残る可能性が高くなる。つまり、環境変化の影響を受けにくい特徴点の情報を含む環境地図を、適切に生成することが可能になる。
(3)上記(1)の地図生成装置60において、生成した環境地図を記憶する地図記憶部121と、カメラ1aで新たに検出されたカメラ画像IMから抽出部171で抽出した新特徴点を、地図記憶部121に記憶された環境地図内の特徴点に照合することにより、自車両の位置を推定する位置推定部としての自車位置認識部13と、を備え、生成部174は、環境地図内の複数の特徴点の情報のうち、新特徴点とマッチする回数が少ない特徴点の情報を環境地図から削除する。
このように構成したので、自車位置の認識(推定)に無用な物体の情報を環境地図から除外することが可能になる。例えば、環境地図の生成時に存在したものの、環境の変化によって存在しなくなった旧ランドマーク等の特徴点の情報を、環境地図から除外することが可能になる。
このように構成したので、自車位置の認識(推定)に無用な物体の情報を環境地図から除外することが可能になる。例えば、環境地図の生成時に存在したものの、環境の変化によって存在しなくなった旧ランドマーク等の特徴点の情報を、環境地図から除外することが可能になる。
(4)上記(1)の地図生成装置60において、生成した環境地図を記憶する地図記憶部121と、カメラ1aで新たに検出されたカメラ画像IMから抽出部171で抽出した新特徴点を、地図記憶部121に記憶された環境地図内の特徴点に照合することにより、自車両の位置を推定する位置推定部としての自車位置認識部13と、を備え、生成部174は、新特徴点とマッチする情報が環境地図に含まれていない場合、新特徴点に対応する点の情報を環境地図に追加する。
このように構成したので、自車位置の認識(推定)に有用な物体の情報を、後から環境地図に追加することが可能になる。例えば、環境地図の生成時に存在しなかったものの、道路環境の変化によって新たに存在するようになった新ランドマーク等の新特徴点の情報を、環境地図に取込むことが可能になる。
このように構成したので、自車位置の認識(推定)に有用な物体の情報を、後から環境地図に追加することが可能になる。例えば、環境地図の生成時に存在しなかったものの、道路環境の変化によって新たに存在するようになった新ランドマーク等の新特徴点の情報を、環境地図に取込むことが可能になる。
上記実施の形態は、種々の形態に変形することができる。以下、変形例について説明する。
(変形例1)
選択部172がセグメンテーションによりカメラ画像IMを10種の物体の領域に分ける例を説明したが、物体の種類は例示であり、適宜変更して構わない。また、選択部172が選択する物体上の特徴点に対する優先度を、その特徴点を含む物体の種別により高、中、低の3段階に分ける例を説明したが、優先度を示す段階をさらに細かく分けてもよい。
(変形例1)
選択部172がセグメンテーションによりカメラ画像IMを10種の物体の領域に分ける例を説明したが、物体の種類は例示であり、適宜変更して構わない。また、選択部172が選択する物体上の特徴点に対する優先度を、その特徴点を含む物体の種別により高、中、低の3段階に分ける例を説明したが、優先度を示す段階をさらに細かく分けてもよい。
(変形例2)
実施の形態では、わかりやすく説明するために、便宜上図4Aに示す処理を環境地図が作成される前の処理として説明した。しかしながら、環境地図が作成された後でも図4Aに示す処理を図4Bの自車位置認識処理と並行して行ってよい。環境地図の完成後にも行うことにより、例えば道路環境に変化があった場合等に、その情報を適切に環境地図に反映させることが可能になる。
実施の形態では、わかりやすく説明するために、便宜上図4Aに示す処理を環境地図が作成される前の処理として説明した。しかしながら、環境地図が作成された後でも図4Aに示す処理を図4Bの自車位置認識処理と並行して行ってよい。環境地図の完成後にも行うことにより、例えば道路環境に変化があった場合等に、その情報を適切に環境地図に反映させることが可能になる。
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施の形態および変形例により本発明が限定されるものではない。上記実施の形態と変形例の1つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
1a カメラ、1b レーダ、1c ライダ、10 コントローラ、11 演算部、12 記憶部、13 自車位置認識部、14 外界認識部、17 地図生成部、60 地図生成装置、121 地図記憶部、122 軌跡記憶部、171 抽出部、172 選択部、173 算出部、174 生成部、BL1~BL3 建物、IM カメラ画像、OL 車道外側線、SG 信号機、SL 車線境界線、TS1,TS2 交通標識、V1,V2 他車両
Claims (4)
- 自車両の周囲の状況を検出する車載検出器で検出された検出情報から特徴点を抽出する抽出部と、
前記抽出部で抽出された複数の前記特徴点から後記算出部で算出に用いる特徴点を選択する選択部と、
複数の前記検出情報に基づいて、前記車載検出器の位置および姿勢を用いて、複数の前記検出情報に含まれる同一の前記特徴点の3次元位置を、前記選択部で選択された複数の異なる前記特徴点に対してそれぞれ算出する算出部と、
前記算出部で算出された複数の異なる前記特徴点の3次元位置を用いて、各前記3次元位置の情報を含む地図を生成する生成部と、を備え、
前記選択部は、あらかじめ複数の物体毎に設定されている優先度情報に基づき、前記検出情報に含まれた複数の物体のうち優先度が高く設定されている物体上の前記特徴点を選択することを特徴とする地図生成装置。 - 請求項1に記載の地図生成装置において、
前記優先度情報は、時間経過に伴って変化する可能性が低い物体ほど前記優先度が高く設定されていることを特徴とする地図生成装置。 - 請求項1に記載の地図生成装置において、
前記生成した地図を記憶する地図記憶部と、
前記車載検出器で新たに検出された検出情報から前記抽出部で抽出した新特徴点を、前記地図記憶部に記憶された前記地図内の前記特徴点に照合することにより、前記自車両の位置を推定する位置推定部と、を備え、
前記生成部は、前記地図内の複数の前記特徴点の情報のうち、前記新特徴点とマッチする回数が少ない前記特徴点の情報を前記地図から削除することを特徴とする地図生成装置。 - 請求項1に記載の地図生成装置において、
前記生成した地図を記憶する地図記憶部と、
前記車載検出器で新たに検出された検出情報から前記抽出部で抽出した新特徴点を、前記地図記憶部に記憶された前記地図内の前記特徴点に照合することにより、前記自車両の位置を推定する位置推定部と、を備え、
前記生成部は、前記新特徴点とマッチする情報が前記地図に含まれていない場合、前記新特徴点に対応する点の情報を前記地図に追加することを備えることを特徴とする地図生成装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022056150A JP2023148239A (ja) | 2022-03-30 | 2022-03-30 | 地図生成装置 |
CN202310251537.4A CN116894871A (zh) | 2022-03-30 | 2023-03-15 | 地图生成装置 |
US18/124,506 US20230314163A1 (en) | 2022-03-30 | 2023-03-21 | Map generation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022056150A JP2023148239A (ja) | 2022-03-30 | 2022-03-30 | 地図生成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023148239A true JP2023148239A (ja) | 2023-10-13 |
Family
ID=88193837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022056150A Pending JP2023148239A (ja) | 2022-03-30 | 2022-03-30 | 地図生成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230314163A1 (ja) |
JP (1) | JP2023148239A (ja) |
CN (1) | CN116894871A (ja) |
-
2022
- 2022-03-30 JP JP2022056150A patent/JP2023148239A/ja active Pending
-
2023
- 2023-03-15 CN CN202310251537.4A patent/CN116894871A/zh active Pending
- 2023-03-21 US US18/124,506 patent/US20230314163A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230314163A1 (en) | 2023-10-05 |
CN116894871A (zh) | 2023-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11874135B2 (en) | Map generation apparatus | |
US20220266824A1 (en) | Road information generation apparatus | |
CN115112130A (zh) | 本车位置推定装置 | |
CN115158322A (zh) | 地图信息生成装置及本车位置推定装置 | |
JP2023148239A (ja) | 地図生成装置 | |
WO2023188262A1 (ja) | 地図生成装置 | |
JP7301897B2 (ja) | 地図生成装置 | |
JP7141480B2 (ja) | 地図生成装置 | |
US11867526B2 (en) | Map generation apparatus | |
JP7141479B2 (ja) | 地図生成装置 | |
JP7141477B2 (ja) | 地図生成装置 | |
JP7141478B2 (ja) | 地図生成装置 | |
US20220291015A1 (en) | Map generation apparatus and vehicle position recognition apparatus | |
US20220307861A1 (en) | Map generation apparatus | |
US20220291016A1 (en) | Vehicle position recognition apparatus | |
US20230314162A1 (en) | Map generation apparatus | |
US20220268587A1 (en) | Vehicle position recognition apparatus | |
JP2023147576A (ja) | 地図生成装置 | |
JP2022123988A (ja) | 区画線認識装置 | |
JP2022123238A (ja) | 区画線認識装置 | |
JP2022123239A (ja) | 区画線認識装置 | |
JP2024085978A (ja) | 地図評価装置 | |
JP2022152051A (ja) | 走行制御装置 | |
JP2024078845A (ja) | 車線推定装置および地図生成装置 | |
JP2022137532A (ja) | 地図生成装置および位置認識装置 |