JP2019207214A - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP2019207214A
JP2019207214A JP2018104102A JP2018104102A JP2019207214A JP 2019207214 A JP2019207214 A JP 2019207214A JP 2018104102 A JP2018104102 A JP 2018104102A JP 2018104102 A JP2018104102 A JP 2018104102A JP 2019207214 A JP2019207214 A JP 2019207214A
Authority
JP
Japan
Prior art keywords
vehicle
point cloud
parking
map
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018104102A
Other languages
English (en)
Other versions
JP7137359B2 (ja
JP2019207214A5 (ja
Inventor
盛彦 坂野
Morihiko Sakano
盛彦 坂野
晋也 田川
Shinya Tagawa
晋也 田川
將裕 清原
Masahiro Kiyohara
將裕 清原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2018104102A priority Critical patent/JP7137359B2/ja
Priority to CN201980036783.XA priority patent/CN112204348A/zh
Priority to PCT/JP2019/008631 priority patent/WO2019230098A1/ja
Priority to US17/059,129 priority patent/US11560160B2/en
Priority to EP19812343.2A priority patent/EP3805702B1/en
Publication of JP2019207214A publication Critical patent/JP2019207214A/ja
Publication of JP2019207214A5 publication Critical patent/JP2019207214A5/ja
Application granted granted Critical
Publication of JP7137359B2 publication Critical patent/JP7137359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4043Lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】車両の位置を正確に推定する。【解決手段】車載処理装置120は、外界センサ群102からの情報に基づき、車両1の周囲に存在する物体をそれぞれ表す複数の点に関する点群データ122Aを取得する点群データ取得部121Aと、車両1の移動量を推定する移動量推定部121Eと、車両1の走行経路上の地点を第1基準位置として、該第1基準位置に対する複数の点の相対位置を点群地図124Aとして格納する記憶部124と、位置推定部121Fとを備える。位置推定部121Fは、第1基準位置の地点と異なる車両1の走行経路上の地点を第2基準位置とする局所周辺情報122Bを生成し、第1基準位置と第2基準位置の関係を表す関係式を算出する。そして、算出した関係式を用いて車両1の位置を推定する。【選択図】図1

Description

本発明は、情報処理装置に関する。
近年、自動車の周囲をカメラや各種レーダなどの外界センサでセンシングし、センシング結果に基づいて運転手の操作なしで車両を自律的に走行させる自動運転技術が進展している。こうした自動運転の一形態として、自動駐車がある。自動駐車では、駐車場に限定した自動運転を行うことで、車両を所望の駐車区画に自動的に駐車させる。
自動駐車を実現するためには、駐車場内での車両の位置を正確に推定する必要がある。これに関して、下記特許文献1の技術が知られている。特許文献1には、ロボットが移動する空間の地図データを取得し、シミュレーションにより、地図データの領域毎にロボットの自己位置推定の容易性を示す自己位置推定容易性パラメータを算出し、自己位置推定容易性パラメータに関する情報をロボットの自律走行の前にユーザに提示する第1の処理と、自己位置推定容易性パラメータに基づいてロボットに自己の位置を推定させる第2の処理のうち少なくとも一方の処理を実行する、ロボットの自己位置推定方法が開示されている。
特開2012−141662号公報
特許文献1の技術では、取得した地図データが十分でない場合には、自己位置を正確に推定することが困難であるという課題がある。
本発明による情報処理装置は、車両に搭載されるものであって、前記車両の周囲に存在する物体を検出するセンサからの情報に基づき、前記物体をそれぞれ表す複数の点に関する点群データを取得する点群データ取得部と、前記車両の移動量を推定する移動量推定部と、前記車両の走行経路上の地点を第1基準位置として、該第1基準位置に対する前記複数の点の相対位置を、緯度及び経度を含む位置情報と対応付けて記録された点群地図として格納する記憶部と、前記点群地図、前記点群データおよび前記移動量に基づき、前記車両の位置を推定する位置推定部と、を備え、前記位置推定部は、前記点群データおよび前記移動量に基づき、前記第1基準位置の地点と異なる前記車両の走行経路上の地点を第2基準位置とする局所周辺情報を生成し、前記点群地図および前記局所周辺情報に基づき、前記第1基準位置と前記第2基準位置の関係を表す関係式を算出し、前記関係式を用いて前記車両の位置を推定する。
本発明によれば、車両の位置を正確に推定することができる。
本発明の一実施形態に係る情報処理装置を含む自動駐車システムの構成図 記憶部に格納される点群地図の一例を示す図 車載処理装置がもつ動作モードとその遷移条件を説明する図 地図記憶モードにおいて車載処理装置が実行する処理を表すフローチャート 位置推定モードにおいて車載処理装置が実行する処理を表すフローチャート 自己位置推定の処理を表すフローチャート 局所周辺情報の選定処理を表すフローチャート マッチング処理を表すフローチャート 自動駐車モードの処理を表すフローチャート (a)は駐車場の一例を示す平面図、(b)は点群データが表すランドマークの各点を可視化した図 (a)は駐車場データを表す図、(b)は点群データを表す図 (a)は駐車場において車両が駐車領域に接近したときの現在位置を示す図、(b)は位置推定モードで取得した局所周辺情報を局所座標系から駐車場座標系に変換したデータの例を示す図 (a)は駐車場において車両が駐車領域に向かって走行しているときの現在位置を示す図、(b)は車両の前方領域の駐車枠線をランドマーク測位して得られた局所周辺情報の各点の座標値を局所座標系から駐車場座標系に変換したデータの例を示す図、(c)は車両1の駐車場座標系における位置の推定結果が誤差を含んでいた場合における、点群地図と局所周辺情報との対比例を示す図 局所周辺情報を駐車枠の幅の整数倍ずつ移動させた場合の点群地図との関係の例を示す図
(第1の実施形態)
以下、図面を参照して、本発明の第1の実施形態に係る情報処理装置を説明する。
図1は、本発明の一実施形態に係る情報処理装置を含む自動駐車システム100の構成図である。自動駐車システム100は、車両1に搭載される。自動駐車システム100は、外界センサ群102、カーナビゲーションシステム107、車速センサ108、舵角センサ109、入力装置110、表示装置111、通信装置114、車載処理装置120、車両制御装置130、操舵装置131、駆動装置132、制動装置133、センサ誤差データベース150、および環境データベース151を備える。外界センサ群102、カーナビゲーションシステム107、車速センサ108、舵角センサ109、入力装置110、表示装置111、通信装置114、車両制御装置130、センサ誤差データベース150、および環境データベース151の各装置は、車載処理装置120と信号線で接続され、車載処理装置120との間で各種信号や各種データを授受する。
外界センサ群102は、車両1の周囲に存在する物体を検出し、その検出情報を車載処理装置120に出力する。外界センサ群102は、車両1の周囲を撮影するカメラ102Aと、超音波を用いて車両1の周囲の物体を観測するソナー102Bと、電波や赤外線を用いて車両1の周囲の物体を観測するレーダ102Cとを含む。なお、これら全てのセンサを外界センサ群102に含める必要はなく、また他のセンサを外界センサ群102に含めてもよい。車両1の周囲に存在する物体を検出できるものであれば、任意のセンサを外界センサ群102として使用することができる。
カーナビゲーションシステム107は、GPS受信機107Aと、記憶部107Bとを有する。GPS受信機107Aは、衛星航法システムを構成する複数の衛星から信号を受信する。記憶部107Bは、不揮発性の記憶装置であり、道路地図107Cを記憶する。道路地図107Cは、道路接続構造に関する情報と、道路位置に対応する緯度経度情報とを含む。
カーナビゲーションシステム107は、GPS受信機107Aが受信した信号に含まれる情報に基づき、地球上でのカーナビゲーションシステム107の位置、すなわち車両1の位置を表す緯度および経度を算出する。このとき、必要に応じて道路地図107Cを参照することで、車両1の位置に対応する道路を特定すると共に、その道路に合わせて車両1の位置を補正する。なお、カーナビゲーションシステム107により算出される緯度および経度の精度は高精度でなくてもよく、たとえば数m〜10m程度の誤差が含まれてもよい。カーナビゲーションシステム107は、算出した緯度および経度の情報を車載処理装置120に出力する。
車速センサ108と舵角センサ109は、車両1の車速と舵角をそれぞれ測定し、車載処理装置120に出力する。車載処理装置120は、車速センサ108および舵角センサ109の出力を用いた公知のデッドレコニング技術により、車両1の移動量および移動方向を算出することができる。
入力装置110は、ユーザが車載処理装置120に対して行う動作指令の入力を受け付け、その入力内容に応じた動作指令信号を車載処理装置120に出力する。入力装置110は、たとえば応答ボタン110Aと、自動駐車ボタン110Bとを含む。これらのボタンの詳細については後述する。表示装置111は、たとえば液晶ディスプレイであり、車載処理装置120から出力される画像が表示される。なお、入力装置110と表示装置111とを一体化し、たとえばタッチ操作に対応するタッチパネル式のディスプレイとしてこれらを構成してもよい。この場合は、ディスプレイに表示された画像に応じてユーザがディスプレイ上の所定の領域をタッチすることにより、応答ボタン110Aや自動駐車ボタン110Bが押されたと判断することができる。
通信装置114は、車両1の外部の機器と車載処理装置120とが無線で情報を授受するために用いられる。たとえば、ユーザが車両1の外にいるときに、車載処理装置120は通信装置114を用いてユーザが身に着けている携帯端末と通信を行い、情報を授受する。なお、通信装置114が通信を行う対象はユーザの携帯端末に限定されず、無線通信可能な任意の機器との間で通信を行うことができる。
車両制御装置130は、車載処理装置120からの車両制御指令に基づき、操舵装置131、駆動装置132、および制動装置133を制御する。操舵装置131は、車両1のステアリングを操作する。駆動装置132は、車両1に駆動力を与える。駆動装置132はたとえば、車両1が備えるエンジンの目標回転数を増加させることにより車両1の駆動力を増加させる。制動装置133は、車両1に制動力を与える。自動駐車システム100では、車載処理装置120からの車両制御指令に応じて車両制御装置130がこれらの制御を行うことにより、ユーザの運転操作なしで車両1を自動的に移動させ、任意の駐車位置に駐車させることができる。
車載処理装置120は、演算部121と、RAM122と、ROM123と、記憶部124と、インタフェース125とを備える。演算部121は、たとえばCPUであり、プログラムを実行して各種演算処理を行う。なお、FPGAなど他の演算処理装置を用いて演算部121の全部または一部の機能を実現するように構成してもよい。RAM122は読み書き可能な記憶領域であり、車載処理装置120の主記憶装置として動作する。ROM123は読み取り専用の記憶領域であり、演算部121で実行されるプログラムが格納される。このプログラムは、RAM122に展開されて演算部121により実行される。演算部121は、RAM122に展開されたプログラムを読み込んで実行することにより、点群データ取得部121A、点群データ検証部121B、点群地図生成部121C、絶対位置取得部121D、移動量推定部121E、位置推定部121F、表示制御部121G、車両制御部121H、およびモード切り替え部121Iの各機能ブロックとして動作する。また、演算部121が実行するプログラムにより、点群データ122A、局所周辺情報122Bおよびアウトライアリスト122Cの各情報が生成されてRAM122に一時的に記憶される。なお、これらの機能ブロックおよび情報の詳細については後述する。
記憶部124は不揮発性の記憶装置であり、車載処理装置120の補助記憶装置として動作する。記憶部124には、点群地図124Aが格納される。点群地図124Aとは、車両1が過去に走行した場所において車両1の周囲の存在していた物体をそれぞれ表す複数の点の座標値が、その場所の位置情報と対応付けて記録された情報である。自動駐車システム100で用いられる本実施形態の車載処理装置120では、各地の駐車場に関する駐車場データが点群地図124Aとして記憶部124に格納される。駐車場データとは、駐車場ごとの位置情報を表す緯度・経度と、その駐車場における駐車領域を示す座標値と、その駐車場に存在するランドマークを構成する複数の点の座標値との集合である。なお、点群地図124Aにおける駐車場データの具体的な構成やランドマークについては後述する。
インタフェース125は、車載処理装置120と自動駐車システム100を構成する他の機器との間で入出力される情報のインタフェース処理を行う。
センサ誤差データベース150には、車速センサ108や舵角センサ109の誤差情報が格納される。環境データベース151には、車両制御装置130が行う車両1の制御に対する許容精度の情報が格納される。これらの情報では、予め測定または計算された値が用いられる。車載処理装置120は、これらのデータベースの情報を用いて、点群地図124Aの成立性に関する検証を行うことができる。なお、この点については後述する。
(ランドマーク測位)
次に、ランドマークについて説明する。ランドマークとは、車両1の周囲に存在して外界センサ群102により識別可能な特徴を有する物体であり、たとえば路面ペイントの一種である駐車枠線や、車両1の走行の妨げとなる障害物である建物の壁などである。なお、本実施の形態では、移動体である車両や人間はランドマークに含めない。車載処理装置120は、外界センサ群102から入力される検出情報に基づき、車両1の周囲に存在するランドマーク、すなわち外界センサ群102により識別可能な特徴を有する点を検出する。以下では、外界センサ群102から入力される検出情報に基づいて行われるランドマークの検出を「ランドマーク測位」と呼ぶ。
カメラ102Aは、車両1の周囲を撮影して得られた画像(以下、撮影画像)を車載処理装置120に出力する。車載処理装置120は、カメラ102Aの撮影画像を用いてランドマーク測位を行う。なお、カメラ102Aの焦点距離や撮像素子サイズなどの内部パラメータ、および車両1へのカメラ102Aの取り付け位置や取り付け姿勢である外部パラメータは既知であり、ROM123にあらかじめ保存されている。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102Aとの位置関係を算出し、ランドマーク測位を行うことができる。
ソナー102Bおよびレーダ102Cは、それぞれ特定波長の音波や電波を放射し、車両1の周囲の物体に反射して戻ってくる反射波を受信するまでの時間を計測することで、物体の位置を観測する。そして、得られた物体の位置を車載処理装置120に出力する。車載処理装置120は、ソナー102Bやレーダ102Cから入力される物体の位置を取得することで、ランドマーク測位を行うことができる。
なお、カメラ102Aを用いてランドマーク測位を行う際に、車載処理装置120は、カメラ102Aの撮影画像を対象に、以下のように画像認識プログラムを動作させることで駐車枠などの路面ペイントなどを検出してもよい。駐車枠の検出は、まず入力画像からソーベルフィルタなどでエッジを抽出する。次に、たとえば白から黒への変化であるエッジの立ち上がりと、黒から白への変化であるエッジの立ち下がりのペアを抽出する。そしてこのペアの間隔が、あらかじめ定めた第1の所定の距離、すなわち駐車枠を構成する白線の太さと略一致すると、このペアを駐車枠の候補とする。同様の処理により駐車枠の候補を複数検出し、駐車枠の候補同士の間隔があらかじめ定めた第2の所定の距離、すなわち駐車枠の白線の間隔と略一致すると、それらを駐車枠として検出する。駐車枠以外の路面ペイントは以下の処理を実行する画像認識プログラムで検出される。まず入力された撮影画像からソーベルフィルタなどでエッジを抽出する。エッジ強度があらかじめ定めた一定の値よりも大きく、エッジ同士の間隔が白線の幅に相当するあらかじめ定めた距離である画素を探索することにより検出できる。
また、カメラ102Aを用いてランドマーク測位を行う際に、車載処理装置120は、たとえば既知のテンプレートマッチングにより他の車両や人間を検出し、測定結果から除外することが好ましい。さらに、以下のようにして検出した移動体を測定結果から除外してもよい。すなわち車載処理装置120は、内部パラメータおよび外部パラメータを用いて撮影画像における被写体とカメラ102Aとの位置関係を算出する。次に車載処理装置120は、カメラ102Aが連続して取得した撮影画像において被写体を追跡することで車両1と被写体の相対的な速度を算出する。最後に車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて車両1の速度を算出し、被写体との相対的な速度と一致しなければ被写体が移動体であると判断し、この移動体に関する情報を測定結果から除外する。なお、ソナー102Bやレーダ102Cを用いたランドマーク測位でも同様に、移動体を判断して測定結果から除外してもよい。
(点群地図124A)
次に、記憶部124に格納される点群地図124Aの詳細について説明する。図2は、記憶部124に格納される点群地図124Aの一例を示す図である。図2では、点群地図124Aとして、2つの駐車場データが格納されている例を示している。
点群地図124Aにおける駐車場データのそれぞれは、駐車領域の各頂点の座標値と、ランドマークを表す各点の二次元平面上の座標値と、記憶時に走行した経路を表す各点の座標値とを含んで構成される。これらの各点の座標値には、対応する緯度経度と種別がそれぞれ組み合わせて記録される。種別にはたとえば、各点が表すランドマークの種類などが記録される。なお、点群地図124Aにおける駐車場データは、二次元平面上の座標値に限らず、高度であるz座標を含めた3次元空間座標の座標値であっても良い。
なお、点群地図124Aにおいて駐車場データの各座標値は、その駐車場データに固有の座標系における座標値を表すものである。以下では、駐車場データの各座標値を表す座標系を「駐車場座標系」と呼ぶ。一方、各座標値に対応付けて記録される緯度経度は、地球上での絶対位置を表すものである。そのため以下では、緯度経度を表す座標系を「絶対座標系」と呼ぶ。
駐車場座標系は、駐車場内の所定地点を基準に設定される。たとえば、点群地図124Aにおいて当該駐車場データの記録を開始したときの車両1の位置が駐車場座標系の原点に、車両1の進行方向が駐車場座標系のY軸に、車両1の右方向が駐車場座標系のX軸にそれぞれ設定される。すなわち、点群地図124Aでは、車両1が過去に走行した走行経路上の地点を基準位置(第1基準位置)として、この第1基準位置に対する各点の相対位置が、絶対座標系により表された緯度経度を含む位置情報と対応付けで記録されている。
駐車領域の座標値は、たとえば駐車領域を矩形とした場合に、その矩形領域の4つの頂点の座標値として記録される。ただし、駐車領域は矩形に限定されず、矩形以外の多角形や楕円形状でもよい。また、図2の例では2つの駐車場データに駐車領域の座標値がそれぞれ一組ずつ記録されているが、駐車場データごとに複数組の駐車領域の座標値を記録してもよい。このようにすれば、複数の駐車領域が存在する駐車場について、それぞれの駐車領域の位置を駐車データにおいて表すことができる。
(アウトライアリスト122C)
次に、RAM122に記憶されるアウトライアリスト122Cについて説明する。車載処理装置120は、後で詳しく説明するように、点群地図124Aと局所周辺情報122Bを用いて、駐車場座標系における車両1の位置推定を行う。アウトライアリスト122Cには、この車両1の位置推定において処理対象外とする局所周辺情報122Bの情報が格納される。なお、アウトライアリスト122Cは、車両1の位置推定を行っているときには、後述するように車載処理装置120により適宜更新される。
(局所周辺情報122B)
次に、RAM122に記憶される局所周辺情報122Bについて説明する。上記のように局所周辺情報122Bは、駐車場座標系における車両1の位置推定を行う際に利用される。局所周辺情報122Bには、車載処理装置120が後述する位置推定モードにおいて検出したランドマークを構成する各点の座標値が格納される。この座標値は、局所周辺情報122Bの記録を開始した際の車両1の位置および姿勢を基準に設定される固有の座標系に従って設定される。以下では、局所周辺情報122Bの各座標値を表す座標系を「局所座標系」と呼ぶ。たとえば、局所周辺情報122Bの記録開始時の車両1の位置が局所座標系の原点に、車両1の進行方向が局所座標系のY軸に、車両1の右方向が局所座標系のX軸にそれぞれ設定される。すなわち、局所周辺情報122Bでは、車両1が走行した走行経路上の地点であって前述の点群地図124Aとは異なる地点を基準位置(第2基準位置)として、この第2基準位置に対する各点の相対位置が示されている。
(車載処理装置120の動作概要)
次に、車載処理装置120の動作概要を説明する。図3は、車載処理装置120がもつ動作モードとその遷移条件を説明する図である。車載処理装置120は、図3に示す5つの動作モード、すなわち通常走行モードと、地図記憶モードと、位置推定モードと、自動駐車モードと、ギブアップモードとを有する。そして、モード切り替え部121Iにより、状況に応じてこれらの動作モードを切り替える。
車載処理装置120は、通常走行モードから開始する。通常走行モードでは、ユーザにより車両1が運転される。この際、車載処理装置120は、点群地図124Aの生成や、点群地図124A上での自車位置推定は実施せず、モードの遷移条件の監視のみを行う。通常走行モードでは、カーナビゲーションシステム107から取得する車両1の位置(以下「ナビ自己位置」と呼ぶ)と、点群地図124Aとに基づき、モードの遷移条件の監視を行う。具体的には、ユーザが予め登録した車両1を駐車させる駐車場(登録駐車場)の緯度経度と、ナビ自己位置の緯度経度とを比較する。その結果、登録駐車場から一定範囲以内、たとえば100m以内に車両1が近づいている場合は、モードの遷移条件を満たしたと判断し、通常走行モードからモード遷移する。このとき、車両1が現在走行している走行地点付近の駐車場データが点群地図124Aにおいて存在しない場合は地図記憶モードに遷移し、存在する場合は位置推定モードに遷移する。
なお、走行地点付近の駐車場データが点群地図124Aにおいて存在するか否かは、点群地図124Aの各駐車場データに含まれるランドマークの座標値に対応する緯度・経度情報から判定することができる。すなわち、ナビ自己位置の緯度経度と、点群地図124Aにおける各駐車場データのランドマークの緯度経度情報とを比較し、これらの差分から走行地点とランドマーク間の距離を算出する。その結果、算出された距離があらかじめ定められた一定範囲以内、たとえば10m以内のランドマークがある場合は、走行地点付近の駐車場データが存在すると判断し、ない場合は走行地点付近の駐車場データが存在しないと判断する。
地図記憶モードでは、ユーザにより車両1が運転される。この際、車載処理装置120は、車両1が備える外界センサ群102から取得した車両1の周囲の検出情報に基づいてランドマーク測位を行い、駐車場データの元になる点群データ、すなわち登録駐車場に存在する白線や障害物、駐車位置、走行経路などを表す複数の点の情報を収集する。車載処理装置120は、収集した点群データを用いて駐車場データを作成し、点群地図124Aの一部として記憶部124に格納する。
なお、車載処理装置120は、通常走行モードと同様に、地図記憶モードの実行中にも、登録駐車場の緯度経度と、ナビ自己位置の緯度経度とを比較する。その結果、登録駐車場から一定範囲外、たとえば100m以上に車両1が離れた場合は、通常走行モードに遷移する。また、地図記憶モードの実行中に車両1が駐車場データの存在する地域に進入した場合は、位置推定モードに遷移する。このとき、車両1が駐車場データの存在する地域に進入したか否かは、通常走行モードにおける走行地点付近の駐車場データの有無と同様の方法で判断できる。すなわち、ナビ自己位置の緯度経度と、点群地図124Aにおける各駐車場データのランドマークの緯度経度情報とを比較し、これらの差分から走行地点とランドマーク間の距離を算出する。その結果、算出された距離があらかじめ定められた一定範囲以内、たとえば10m以内のランドマークがある場合は、車両1が駐車場データの存在する地域に進入したと判断し、ない場合は進入していないと判断する。
位置推定モードでは、ユーザにより車両1が運転される。この際、車載処理装置120は、車両1が備える外界センサ群102から取得した車両1の周囲の検出情報と、点群地図124Aの情報とを照合し、駐車場座標系における車両1の位置を推定する。すなわち車載処理装置120は、外界センサ群102からの検出情報に基づいて、車両1の周囲に存在する登録駐車場内の白線や障害物を検出し、これらの位置を点群地図124Aが表す駐車場データの各ランドマークの座標値と照合することにより、駐車場座標系における車両1の現在位置を推定する。
なお、車載処理装置120は、通常走行モードや地図記憶モードと同様に、位置推定モードの実行中にも、登録駐車場の緯度経度と、ナビ自己位置の緯度経度とを比較する。その結果、登録駐車場から一定範囲外、たとえば100m以上に車両1が離れた場合は、通常走行モードに遷移する。また、位置推定モードの実行中に車両1が駐車場データの存在しない地域に進入した場合は、地図記憶モードに遷移する。このとき、車両1が駐車場データの存在しない地域に進入したか否かは、地図記憶モードから位置推定モードへの遷移条件と反対の方法で判断できる。すなわち、ナビ自己位置の緯度経度と、点群地図124Aにおける各駐車場データのランドマークの緯度経度情報とを比較し、これらの差分から走行地点とランドマーク間の距離を算出する。その結果、算出された距離があらかじめ定められた一定範囲内、たとえば10m以上のランドマークがない場合は、車両1が駐車場データの存在しない地域に進入したと判断し、ある場合は進入していないと判断する。さらに、位置推定モードの実行中に車両1が駐車位置に近づき、ユーザがデッドマンスイッチである自動駐車ボタン110Bを押下し続けて自動駐車の実行を指示した場合は、自動駐車モードに遷移する。また、位置推定が成功せずに駐車場座標系における車両1の位置をロストした状態が続いた場合は、ギブアップモードに遷移する。
自動駐車モードでは、車載処理装置120により車両1の走行が制御され、ユーザの運転操作なしで車両1が登録駐車場内を自動的に移動する。この際、車載処理装置120は、位置推定モードで得られた駐車場座標系での車両1の位置に基づき、ユーザに指定された駐車位置まで車両1を移動して駐車させる。なお、車載処理装置120は、自動駐車モードにおいても、位置推定モードに引き続き、駐車場座標系における車両1の位置を推定する。すなわち、外界センサ群102からの検出情報に基づいて、車両1の周囲に存在する登録駐車場内の白線や障害物を検出し、これらの位置を点群地図124Aと照合することにより、駐車場座標系における車両1の現在位置を推定する。
自動駐車モードの実行中にユーザが自動駐車ボタン110Bを離した場合は、車両1の走行制御を停止して位置推定モードに遷移する。また、ユーザが自動駐車ボタン110Bを押下している状態で、位置推定が成功せずに駐車場座標系における車両1の位置をロストした場合には、ギブアップモードに遷移する。
ギブアップモードでは、車載処理装置120は、ユーザに表示装置111を介して自動駐車できない旨を提示する。本モード中に車載処理装置120は、点群地図124Aの記憶、駐車場座標系における車両1の位置推定、自動駐車制御の一切を実施しない。ギブアップモード中にユーザが車両1の駐車を完了するか、車両1が登録駐車場から所定距離以上離れた場合には、通常走行モードに遷移する。
車載処理装置120は、以上のようにして各動作モードを実行する。以下では、地図記憶モード、位置推定モード、自動駐車モードについて、順に詳しく説明する。
(地図記憶モード)
前述のように、車両1が登録駐車場を中心とする所定範囲内に入り、かつ点群地図124Aにおいて走行地点付近の駐車場データが記録されていない場合に、車載処理装置120は地図記憶モードで動作する。地図記憶モードで動作している間、車載処理装置120は、表示装置111の画面に地図記憶モードで動作している旨を表示すると共に、ランドマーク測位を行って点群データ122Aを収集する。
地図記憶モードでは、ユーザが車両1を駐車位置まで移動させた後に停車し、パーキングブレーキを作動させたことをトリガーとして、点群データ検証部121Bが動作する。点群データ検証部121Bは、地図記憶モードにおいて収集した点群データ122Aが点群地図124Aとして成立するか否か、すなわち位置推定モードや自動駐車モードにおいて車両1の位置推定に使えるか否かを検証する。その目的は、収集した点群データ122Aが位置推定に使えないものであれば、これを用いて作成した点群地図124Aを使っても位置推定ができずに自動駐車に失敗しまうため、これを事前に防止することにある。
点群データ検証部121Bは、たとえば車両1の走行軌跡上で所定間隔ごとに検証区間を設定し、各検証区間で取得した点群データ122Aが位置推定に利用できるか否かを、局所的成立性および自律航法性という2つの検証要素を基準に検証することができる。前者の検証要素である局所的成立性は、たとえば点群データ122Aにおける複数の点の分布状態から判断できる。具体的には、たとえば検証区間内で取得された点群データ122Aの密度があらかじめ定めた所定の値以上であり、かつ、同一の分布パターンがない場合は、局所的成立性を満たすと判断する。一方、後者の検証要素である自律航法性は、たとえば車両1の移動量の推定誤差や車両1の制御に対する許容精度から判断できる。具体的には、たとえば車速センサ108や舵角センサ109を用いた公知のデッドレコニング技術における車両1の位置推定誤差をセンサ誤差データベース150から取得すると共に、駐車場内の通路幅や駐車領域の大きさごとにあらかじめ定められた車両1の制御に対する位置の許容精度を環境データベース151から取得する。そして、取得したこれらの情報を元に、車両1が自律航法で走行可能な走行距離を求めることで、自律航法性を満たすか否かを判断する。
なお、上記2つの検証要素の両方を満たさない場合でも、収集した点群データ122Aを位置推定に利用できると判断してもよい。たとえば、局所的成立性が成り立たない検証区間であっても、自律航法による位置推定誤差が十分に小さく許容精度内であれば、その検証区間において取得した点群データ122Aを位置推定に利用でき、点群地図124Aとして成立するという判断を下す。この場合、局所的成立性が成り立たず、かつ自律航法による位置推定誤差が許容精度を上回った場合に、点群データ122Aは位置推定に利用できないと判断する。
点群データ検証部121Bにより点群データ122Aが位置推定に利用できると判断された場合、車載処理装置120は、表示装置111に所定のメッセージや画像を表示して、今回取得した点群データ122Aを点群地図124Aに記録するか否かをユーザに問い合わせる。この問い合わせに対してユーザが応答ボタン110Aを押下した場合、車載処理装置120は点群地図生成部121Cにより、取得した点群データ122Aを用いて点群地図124Aを構成する駐車場データを作成し、記憶部124に記録して地図記憶モードを終了する。一方、点群データ検証部121Bにより点群データ122Aが位置推定に利用できないと判断された場合、車載処理装置120は、今回取得した点群データ122Aでは点群地図124Aとして必要な情報が不足している旨を表示装置111に表示する。そして、ユーザが応答ボタン110Aを押下すると、位置推定に利用できると判断された場合と同様に、取得した点群データ122Aを用いて点群地図124Aを構成する駐車場データを作成し、記憶部124に記録して地図記憶モードを終了する。このとき、同じ経路を再度走行して必要な点群データ122Aを取得するようユーザに促すメッセージを表示してもよい。あるいは、駐車場データを作成せずに地図記憶モードを終了してもよい。この場合、点群地図124Aは更新されない。
車載処理装置120による地図記憶モードの動作は、ランドマークを構成する点群データ122Aの抽出と、抽出した点群データ122Aに基づく点群地図124Aの記録との2つに分けられる。まず、車載処理装置120による点群データ122Aの抽出処理を以下に説明する。
車載処理装置120は、地図記憶モードに遷移すると、RAM122に一時的な記録領域を確保する。そして車載処理装置120は、地図記憶モードが終了するか他のモードに遷移するまで以下の処理を繰り返す。すなわち車載処理装置120は、ランドマーク測位により外界センサ群102から取得した検出情報、具体的にはカメラ102Aの撮影画像や、ソナー102B、レーダ102Cによる観測情報に基づき、ランドマークを表す複数の点に関する点群データ122Aを抽出する。また車載処理装置120は、車速センサ108および舵角センサ109の出力に基づき、カメラ102Aが前回撮影してから今回撮影するまでに車両1が移動した移動量および移動方向を算出する。そして車載処理装置120は、車両1との位置関係と、車両1の移動量や移動方向とに基づき、抽出した点群データ122Aに含まれる各点の座標値を求めて、RAM122に記録する。さらに車載処理装置120は、カーナビゲーションシステム107が出力する緯度経度から各点の緯度経度を算出して記録する。車載処理装置120は、地図記憶モードにおいてこの処理を繰り返す。
上記の処理において、点群データ122Aの各点の座標値は、点群データ122Aの記録を開始した時点の車両1の位置を基準に設定された座標系における座標値として記録される。以下では、この座標系を「記録座標系」と呼ぶ。たとえば、点群データ122Aの記録を開始した際の車両1の位置が記録座標系の原点に、車両1の進行方向(姿勢)が記録座標系のY軸に、車両1の右方向が記録座標系のX軸にそれぞれ設定される。そのため、同一の駐車場において記録された点群データ122Aであっても、記録を開始した際の車両1の位置や姿勢が異なれば設定される記録座標系も異なるため、同じランドマークを表す点の座標値は必ずしも一定ではない。
次に、車載処理装置120による点群データ122Aに基づく点群地図124Aの記録処理を以下に説明する。
車載処理装置120は、車両1の駐車が完了した後にユーザが応答ボタン110Aを押下して点群地図124Aの記録を承認すると、車両1の現在位置から駐車領域の座標値を求めてRAM122に記録する。駐車領域の座標値は、たとえば車両1を矩形に近似した際の四隅の座標値として記録される。なお、車両1と駐車領域の大きさの差を考慮して、駐車領域の座標値を決定してもよい。次に車載処理装置120は、以下のようにして点群データ122Aに基づく点群地図124Aの記録処理を行う。
車載処理装置120は、駐車完了時の車両1の現在位置すなわち駐車位置の緯度経度について、すでに点群地図124Aに記録されている駐車場データにおけるいずれかの駐車領域の緯度経度との差が所定範囲内であるか否かを判断する。その結果、駐車位置との緯度経度の差が所定範囲内である駐車領域を含む駐車場データが存在しない場合には、車載処理装置120は、RAM122に保存した点群データ122Aを新たな駐車場データとして点群地図124Aに記録する。一方、駐車位置との緯度経度の差が所定範囲内である駐車領域を含む駐車場データが存在する場合には、車載処理装置120は、RAM122に保存した点群データ122Aの情報をその駐車場データに同じ駐車場のデータとしてマージするか否かを判断する。この判断のために、車載処理装置120はまず、駐車場データに含まれる駐車領域の位置と、RAM122に記録した点群データ122Aの駐車位置とが一致するように、点群データ122Aの座標変換を行う。次に、座標変換後の点群データ122Aと点群地図124Aとの一致度を表す点群一致率を算出する。そして、算出された点群一致率が予め定めた閾値よりも大きければ両者を統合すると判断し、閾値以下であれば統合しないと判断する。なお、これらの処理の具体的な内容については後述する。
車載処理装置120は、上記判断の結果、統合しないと判断した場合は、RAM122に保存した点群データ122Aを新たな駐車場データとして点群地図124Aに記録する。一方、統合すると判断した場合は、点群地図124Aの既存の駐車場データに、RAM122に保存した点群データ122Aの情報を追加する。
(地図記憶モードのフローチャート)
図4は、地図記憶モードにおいて車載処理装置120が実行する処理を表すフローチャートである。なお、以下に説明する各ステップの実行主体は、車載処理装置120の演算部121である。演算部121は、図4に示す処理を行う場合に、点群データ取得部121A、点群データ検証部121B、点群地図生成部121C、絶対位置取得部121D、移動量推定部121E、および表示制御部121Gとして機能する。
ステップS501では、演算部121は、地図記憶モードに入ったか否かを判断する。地図記憶モードに入ったと判断する場合はS502に進み、地図記憶モードに入っていない場合はステップS501に留まる。
ステップS502では、演算部121は、初期化処理を行う。ここでは、RAM122に新たな記憶領域を確保する。この記憶領域には、以降の処理において、ランドマーク測位で抽出した点群データ122Aと車両1の位置が前述の記録座標系の座標値で記録される。
ステップS503では、演算部121は、点群データ取得部121Aにより、外界センサ群102から取得した情報を用いて前述のランドマーク測位を行う。すなわち、カメラ102Aの撮影画像や、ソナー102Bまたはレーダ102Cの観測情報を用いて、車両1の周囲に存在する駐車場内のランドマークを表す複数の点の観測値を取得し、点群データ122AとしてRAM122に記録する。なお、この時点で取得される点群データ122Aは、車両1の現在位置に対する相対位置を表す座標値であり、記録座標系の座標値ではない。さらにこのとき、演算部121は、車両1の現在位置を求めるGPS測位を行う。すなわち、カーナビゲーションシステム107から出力されたGPS受信機107Aの受信信号に基づく緯度経度情報を絶対位置取得部121Dにより取得する。そして、取得した緯度経度情報が表す車両1の現在位置と観測値との紐付けを行うことで、点群データ122Aの各点の絶対座標系における位置を取得する。
ステップS504では、演算部121は、移動量推定部121Eにより、前回のランドマーク測位から今回のランドマーク測位までの間の車両1の移動量を推定し、RAM122に記録した記録座標系における車両1の現在位置を更新する。ここでは、車両1の移動量を複数の手段により推定可能である。たとえば前述のように、カメラ102Aの撮影画像における路面に存在する被写体の位置の変化から車両1の移動量を推定できる。また、カーナビゲーションシステム107において誤差が小さい高精度なGPS受信機107Aが搭載されている場合には、その出力を利用してもよい。さらに、車速センサ108から出力される車速と、舵角センサ109から出力される舵角とに基づき、車両1の移動量を推定してもよい。点群地図が二次元平面上の座標値で表現されている場合、推定される移動量は、例えば二次元平面上での移動量Δx,Δy、平面上での車両の方位の変化を表すΔθの3パラメータとなる。点群地図が3次元空間上の座標値で表現されている場合、推定される移動量は、例えば三次元空間上での移動量Δx、Δy、Δz、空間上での車両の方位の変化を表すΔθ、Δφ、Δψの3パラメータとなる。Δθはx軸まわりの回転量、Δφはy軸まわりの回転量、Δψはz軸まわりの回転量に該当する。任意の方法を用いて車両1の移動量を推定し、記録座標系における車両1の現在位置を更新したら、これをRAM122に一時的に記憶し、次にステップS505に進む。
ステップS505では、演算部121は、記録座標系の点群データ122AをRAM122に一時的に記録する。ここでは、ステップS504において更新した車両1の現在位置に基づき、ステップS503のランドマーク測位により取得した点群データ122Aの各点の座標値を記録座標系の座標値に変換する。そして、変換後の座標値を記録座標系の点群データ122Aとして、RAM122における点群データ122Aを更新する。すなわち、点群データ122Aの記録を開始した時点での車両1の位置および姿勢を基準に、RAM122に記録されている点群データ122Aの各点の座標値を書き換える。
続くステップS506では、演算部121は、車両1の駐車が完了したか否かを判定する。車両1のパーキングブレーキが作動されるまでは、駐車が完了していないと判断してステップS503に戻り、ランドマーク測位および点群データ122Aの記録を継続する。車両1のパーキングブレーキが作動されると、駐車完了と判断してステップS507に進む。
ステップS507では、演算部121は、点群データ検証部121Bにより、ステップS505でRAM122に記録した点群データ122Aの地図成立性を判定する。ここでは前述のような方法により、点群データ122Aの各点について、点群地図124Aの成立性に関する検証を行う。点群データ122Aの地図成立性を判定したら、演算部121は、表示制御部121Gにより、表示装置111に判定結果を表示し、点群データ122Aを点群地図124Aに記録するか否かをユーザに問い合わせる。なお、ステップS507で行った地図成立性の判定結果を示す情報は、後でステップS514またはS515において点群データ122Aを点群地図データ124Aに記録する際に、各点の座標値と組み合わせて記録される。
ステップS508では、演算部121は、ユーザに点群地図124Aの記憶を承認されたか否かを判定する。ユーザが応答ボタン110Aにより所定の記憶承認操作を行った場合、点群地図124Aの記憶を承認されたと判定してステップS509に進む。一方、ユーザが記憶承認操作を行わなかった場合は、点群地図124Aの記憶を承認されなかったと判定し、図4のフローチャートを終了する。この場合、RAM122に記録された点群データ122Aは破棄され、点群地図124Aの記録は行われない。
ステップS509では、演算部121は、車両1の駐車位置を求めるGPS測位を行う。すなわち、カーナビゲーションシステム107から出力されたGPS受信機107Aの受信信号に基づく緯度経度情報を絶対位置取得部121Dにより取得することで、駐車位置の緯度経度を取得する。そして、取得した緯度経度に基づき、駐車位置に対応する駐車領域の記録座標系での座標値を記録する。すなわち、ステップS503で最後に取得した車両1の現在位置の緯度経度と、ステップS509で取得した駐車位置の緯度経度との差分から、駐車位置の記録座標系における座標値を算出し、これに基づいて、駐車位置に対応する駐車領域の4つの頂点の座標値を算出してRAM122に記録する。
ステップS510では、演算部121は、ステップS509で取得した駐車位置に対して、緯度経度の差が所定範囲内の駐車領域を含む駐車場データが点群地図124Aにおいて記録済みであるか否かを判定する。ここでは、既に点群地図124Aに記録されている各駐車場データに含まれる駐車領域の各座標値に対応する緯度経度のうち、駐車位置の緯度経度との差が所定範囲内であるものが存在するか否かを判断する。その結果、駐車位置に対して緯度経度の差が所定範囲内の駐車領域が点群地図124Aに存在する場合はステップS511に進み、存在しない場合はステップS515に進む。なお、このとき駐車領域の4つの頂点全てについて駐車位置との緯度経度の差が所定範囲内である場合にのみ、点群地図124Aにおいて駐車位置に対応する駐車場データが記録済みであると判定してもよい。以下では、ステップS510で駐車位置との緯度経度の差が所定範囲内と判断された駐車領域を含む点群地図124Aの駐車場データを「ターゲット駐車場データ」と呼ぶ。
ステップS511では、演算部121は、点群地図生成部121Cにより、ステップS505でRAM122に記録した点群データ122Aを記録座標系からターゲット駐車場データの駐車場座標系に座標変換する。ここでは、ターゲット駐車場データにおける駐車領域の緯度経度と、ステップS509で取得した駐車位置の緯度経度とが一致するように、記録座標系から駐車場座標系への座標変換式を導出する。そしてこの座標変換式を用いて、RAM122に記録座標系で保存された点群データ122Aにおいてランドマークと車両1の現在位置をそれぞれ構成する各点の座標値を、ターゲット駐車場データの駐車場座標系における座標値に変換する。
ステップS512では、演算部121は、ステップS511で座標変換した点群データ122Aとターゲット駐車場データとの点群一致率IBを算出する。点群一致率IBは、たとえば以下の式(1)により算出される。
IB=2*Din/(D1+D2) ・・・式(1)
ただし式(1)において、「Din」は、ステップS511において座標変換した点群データ122Aの各点のうち、ターゲット駐車場データのいずれかの点との距離が所定値以内の点の数である。また式(1)において、「D1」はRAM122に保存された点群データ122Aにおける点の数であり、「D2」はターゲット駐車場データの点群データ122Aにおける点の数である。ステップS512で点群一致率IBを算出したら、次にステップS513に進む。
ステップS513では、演算部121は、ステップ512において算出した点群一致率IBが所定の閾値よりも大きいか否かを判断する。その結果、点群一致率IBが閾値よりも大きいと判断する場合はステップS514に進み、閾値以下であると判断する場合はステップS515に進む。
ステップS514では、演算部121は、点群地図生成部121Cにより、ステップS511において座標変換した点群データ122Aとターゲット駐車場データとのマージ処理を行う。ここでは、記憶部124に格納された点群地図124Aにおけるターゲット駐車場データに、ステップS511で座標変換した点群データ122Aを追加することにより、マージ処理を行って新たな点群地図124Aを生成する。ステップ514のマージ処理を完了したら、図4のフローチャートを終了する。
一方、ステップS510またはS513において否定判断された場合に実行されるステップS515では、演算部121は、点群地図生成部121Cにより、ステップS511において座標変換した点群データ122Aと、ステップS509において取得した駐車位置の緯度経度および駐車位置に対応する駐車領域の座標値とを、新たな駐車場データとして点群地図124Aに記録する。ステップ515の処理を完了したら、図4のフローチャートを終了する。
(位置推定モード)
前述のように、ユーザが車両1を運転して登録駐車場の付近まで移動させ、かつ車両1の周辺の駐車場データが点群地図124Aにおいて記録済みであると判定されると、車載処理装置120は位置推定モードに移行する。
(位置推定モードのフローチャート)
図5は、位置推定モードにおいて車載処理装置120が実行する処理を表すフローチャートである。なお、以下に説明する各ステップの実行主体は、車載処理装置120の演算部121である。演算部121は、図5に示す処理を行う場合に、点群データ取得部121A、絶対位置取得部121D、移動量推定部121E、位置推定部121F、および表示制御部121Gとして機能する。
ステップS601では、演算部121は、位置推定モードに入ったか否かを判断する。位置推定モードに入ったと判断する場合はS602に進み、位置推定モードに入っていない場合はステップS601に留まる。
ステップS602では、演算部121は、車両1の現在位置を求めるGPS測位を行う。すなわち、カーナビゲーションシステム107から出力されたGPS受信機107Aの受信信号に基づく緯度経度情報を絶対位置取得部121Dにより取得することで、車両1の現在位置に対応する緯度経度を取得する。
ステップS603では、演算部121は、車両1の現在位置の周囲における点群地図124Aの地図成立性の有無を判定する。ここでは、点群地図124Aに含まれる駐車場データのうち、車両1の現在位置から一定範囲内の緯度経度を有し、かつ地図成立性がある点を経路データに含む駐車場データの有無を判定する。なお、地図成立性の有無は、地図記憶モードで取得した点群データ122Aを点群地図124Aに記録する際に、図4のステップS507において記録される前述の情報から判断できる。その結果、上記条件を満たす駐車場データが点群地図124Aにおいて存在する場合は、車両1の現在位置の周囲における点群地図124Aについて地図成立性ありと判定し、ステップS604に進む。一方、条件を満たす駐車場データが点群地図124Aにおいて存在しない場合は、車両1の現在位置の周囲における点群地図124Aについて地図成立性なしと判定し、ステップS602に戻ってGPS測位を継続する。
ステップS604では、演算部121は、初期化処理を行う。ここでは、RAM122に格納される局所周辺情報122Bの初期化、およびRAM122に保存される車両1の現在位置の初期化を行う。具体的には、従前の情報が記録されていたら消去し、前述の局所座標系として新たな座標系を設定する。この局所座標系は、ステップS604が実行された際の車両1の位置および姿勢に基づき設定される。たとえばステップS604が実行された際の車両1の位置が局所座標系の原点に設定され、ステップS604が実行された際の向きにより局所座標系のX軸およびY軸が設定される。また、車両1の現在位置の初期化では、車両1の現在位置が原点(0、0)に設定される。
ステップS605では、演算部121は、位置推定部121Fによる自己位置推定を行う。ここでは、後述の図6に示すフローチャートの手順に従って、車両1の駐車場座標系における現在位置を推定する。
ステップS606では、演算部121は、ステップS605において自己位置すなわち車両1の駐車場座標系における現在位置が推定できたか否かを判定する。ここでは、後述の図6で示すフローチャートのステップS627で行われる自己位置診断の結果に基づき、自己位置が正しく推定できたか否かを判断する。その結果、自己位置診断で自己位置の信頼性が高いと判断された場合は、自己位置が正しく推定できたと判定してステップS607に進む。一方、自己位置の信頼性が低いと判断された場合は、自己位置が正しく推定できなかったと判定し、ステップS605に戻って自己位置推定を継続する。
ステップS607では、演算部121は、表示制御部121Gにより、ステップS605で行った自己位置の推定結果を表示装置111に表示する。ここでは、自己位置の推定結果に基づき、たとえば点群地図124Aが表す車両1の周囲の物体と車両1との位置関係を示した地図画像を表示装置111に表示させることで、駐車場内での自己位置の推定結果をユーザが認識できるように表示する。あるいは、カメラ102Aから取得した撮影画像を用いて、車両1を上方から見た様子を示す俯瞰画像を生成して表示装置111に表示させ、この俯瞰画像上で点群地図124Aが表す車両1の周囲の物体と車両1との位置関係を示してもよい。
ステップS608では、演算部121は、ステップS607で表示した自己位置が、点群地図124Aの駐車場データにおけるいずれかの駐車位置から所定距離以内、たとえば10m以内に近づいたか否かを判定する。自己位置が駐車位置の10m以内に近づくまではステップS605に戻って自己位置推定を継続し、10m以内に近づいたらステップS609に進む。すなわち、点群地図124Aが表す駐車場座標系における駐車位置の座標値と、ステップS605で推定された車両1の位置との差が所定距離未満である場合に、ステップS608を肯定判定して次のステップS609に進む。
ステップS609では、演算部121は、表示制御部121Gにより、表示装置111に自動駐車が可能な旨を表示する。これにより、車両1の自動駐車を行うか否かをユーザに問い合わせる。
ステップS610では、演算部121は、ユーザに自動駐車ボタン110Bが押されたか否かを判定する。ユーザが自動駐車ボタン110Bを押していない場合はステップS609に戻って自動駐車が可能な旨の表示を継続し、自動駐車ボタン110Bを押している場合はステップS611に進む。
ステップS611では、演算部121は、モード切り替え部121Iにより、車載処理装置120の動作モードを位置推定モードから自動駐車モードに切り替える。そして、後述の図9に示すフローチャートの手順に従って、自動駐車モードの動作を実行する。ステップS611で自動駐車モードを実行したら、図5のフローチャートを終了する。
(自己位置推定のフローチャート)
図6は、図5のステップS605において車載処理装置120が実行する自己位置推定の処理を表すフローチャートである。
ステップS621〜S623では、演算部121は、図4のステップS503〜505とそれぞれ同様の処理を行い、局所周辺情報122Bを取得する。すなわち、ステップS621ではステップS503と同様の手順でランドマーク測位を行い、車両1の周囲に存在する駐車場内のランドマークを表す複数の点の観測値を取得して、点群データ122AとしてRAM122に記録する。ステップS622ではステップS504と同様の手順で車両1の移動量を推定し、局所座標系における車両1の現在位置を更新する。ステップS623ではステップS505と同様の手順で、ステップS622において更新した車両1の現在位置に基づき、ステップS621のランドマーク測位により取得した点群データ122Aの各点の観測値を局所座標系の座標値に変換し、局所周辺情報122BとしてRAM122に一時的に記録する。これにより、車両1の現在位置に応じた局所周辺情報122Bを新たに生成し、RAM122における局所周辺情報122Bの内容を更新する。
ステップS623の実行が完了すると、演算部121は、ステップS624において、ステップS623で更新した局所周辺情報122Bの選定を行う。ここでは、後述の図7に示すフローチャートの手順に従って、局所周辺情報122Bとして座標値が記録された各点の中から、以降のマッチング処理で利用する点を選定する。すなわち、局所周辺情報122Bにおける各点の中には、車両1の移動量推定の累積誤差により、点群地図124Aとは分布形状が異なりマッチングができない点が含まれる場合がある。そのため、ステップS623で行われる局所周辺情報122Bの選定処理により、局所周辺情報122Bの中から誤差が小さくマッチング可能な範囲の点を適応的に選定する。
ステップS624の実行が完了すると、演算部121は、ステップS625において、図8に詳細を示すマッチング処理を行う。このマッチング処理では、局所座標系と駐車場座標系との対応関係を表す関係式、すなわち局所座標系から駐車場座標系への座標変換式が得られる。なお、前述のように駐車場座標系とは点群地図124Aにおいて用いられる座標系であり、これは車両1の過去の走行経路上の地点を基準位置(第1基準位置)として設定される。また、局所座標系とは局所周辺情報122Bにおいて用いられる座標系であり、駐車場座標系とは異なる車両1の過去の走行経路上の地点を基準位置(第2基準位置)として設定される。換言すると、ステップS625のマッチング処理において演算部121は、点群地図124A(駐車場座標系)での第1基準位置と、局所周辺情報122B(局所座標系)での第2基準位置との関係を表す関係式を算出する。
続くステップS626では、演算部121は、ステップS622において更新した局所座標系における車両1の座標と、ステップS625において得られた座標変換式とを用いて、駐車場座標系における車両1の座標、すなわち推定自己位置を算出する。こうして推定自己位置を算出したら、次にステップS627に進む。
ステップS627では、演算部121は、ステップS626において算出した推定自己位置に対する自己位置診断を実行する。ここでは、たとえば以下の3つの指標を用いて、ステップS626で推定した自己位置の信頼性を判断する。
第1の指標は、局所座標系の現在位置の誤差である。具体的には、車速センサ108および舵角センサ109の出力を用いて、公知のデッドレコニング技術によって推定した車両1の移動量と、ステップS626で推定された自己位置の所定期間における移動量とを比較する。その結果、これらの差があらかじめ定めた閾値よりも大きい場合は、自己位置の信頼度が低いと判断する。
第2の指標は、マッチング時に計算される対応点間の誤差量である。具体的には、対応点間の誤差量があらかじめ定めた閾値よりも大きい場合は、自己位置の信頼度が低いと判断する。
第3の指標は、マッチング時における類似解の有無である。具体的には、マッチング時に得られた自己位置の解に対して、駐車枠の幅分だけ並進させるなどの方法で類似解を探索した場合に、対応点間の誤差量が両者で同程度であった場合は、自己位置の信頼度が低いと判断する。
ステップS627では、たとえば上記3つの指標のすべてで信頼度が高いと判断された場合に、自己位置が正しく推定できたと判断する。一方、いずれか少なくとも1つの指標で信頼度が低いと判断された場合は、自己位置が正しく推定できなかったと判断する。こうして自己位置の推定結果を評価したら、自己位置推定を完了して図5のステップS605から次のステップS606に進む。なお、3つの指標は必ずしもすべて用いる必要はない。また、他の指標を用いて自己位置診断を実行してもよい。
(局所周辺情報選定のフローチャート)
図7は、図6のステップS624において車載処理装置120が実行する局所周辺情報122Bの選定処理を表すフローチャートである。
ステップS680では、演算部121は、位置推定モードにおいて車両1が走行した軌跡を算出する。ここでは、図6のステップS622で行った車両1の移動量の推定結果を利用して、位置推定モードを開始してから現在までの車両1の軌跡を計算する。具体的には、ステップS622で推定した車両1の移動量から算出した局所座標系における車両1の位置を表す複数の座標点を補間することで、車両1の軌跡を算出できる。
ステップS681では、演算部121は、図6のステップS623で更新した局所周辺情報122Bの各点に関して、マッチングでの有効範囲を算出する。ここでは、点群地図124Aと比較して形状誤差が小さい範囲を、マッチング可能な有効範囲として算出する。この有効範囲は、ステップS680で算出した軌跡の長さや形状から判定することができる。すなわち、車両1の移動距離が長くなるほど、また車両1の旋回量が大きくなるほど、局所周辺情報122Bで得られる各点の座標値には推定誤差が発生しやすい。一方、局所周辺情報122Bとして座標値が得られた点が少なすぎると、マッチングが困難になる。そこで、たとえば、ステップS680で算出した軌跡に沿った所定範囲内の点のうち、車両1の現在位置からあらかじめ定めた最低距離D[m]まで遡った範囲の点については、有効範囲内の点として取得する。それ以降では、軌跡の接線の角度の変化量を累積し、その累積値があらかじめ定めた角度しきい値θ[deg]以上に変化する位置までの範囲内にある軌跡周辺の点を、有効範囲内の点として取得する。このとき、軌跡を中心としてあらかじめ定めた範囲X[m]×Y[m]の範囲を、局所周辺情報122Bの有効範囲とする。すなわち、局所周辺情報122Bの有効範囲は得られた軌跡に沿った形状となる。
ステップS682では、演算部121は、ステップS681で得られた有効範囲内の各点を、局所周辺情報122Bを表す点として取得する。これにより、局所周辺情報122Bの選別を行う。こうして局所周辺情報122Bを選別したら、図6のステップS624から次のステップS625に進む。
(マッチングのフローチャート)
図8は、図6のステップS625において車載処理装置120が実行するマッチング処理を表すフローチャートである。
ステップS641では、演算部121は、RAM122に格納されたアウトライアリスト122Cを局所周辺情報122Bに対して適用する。ここでは、局所周辺情報122Bに含まれる複数の点のうち、アウトライアリスト122Cに記載された点を一時的に処理対象外とする。なお、ステップS641でのアウトライアリスト122Cの適用範囲は、以下のステップS642〜S653である。すなわち、後述のステップS654でアウトライアリスト122Cが更新された後は、従前にアウトライアリスト122Cに含まれていた点も処理対象に含まれる。ただし、図8に示すフローチャートの初回実行時には、ステップS641〜S643が実行できないため、ステップS650から実行を開始する。ステップS641でアウトライアリスト122Cを適用したら、次にステップS642に進む。
ステップS642では、演算部121は、最新の局所周辺情報122Bの各点、すなわち図6のステップS621で行ったランドマーク測位により検出したランドマークを表す各点の座標値を、図5のステップS603で地図成立性ありと判定した駐車場データにおける駐車場座標系の座標値に変換する。この変換は、図6のステップS622において更新された車両1の局所座標系における現在位置と、前回算出した局所座標系から駐車場座標系への座標変換式とを用いることにより実現される。
続くステップS642では、演算部121は、ステップS642で座標変換した局所周辺情報122Bと、その座標変換に用いた駐車場データとの瞬間一致度ICを算出する。瞬間一致度ICは、たとえば以下の式(2)により算出される。
IC=DIin/DIall ・・・式(2)
ただし式(2)において、「DIin」は、ステップS642において座標変換した最新の局所周辺情報122Bの各点のうち、点群地図124Aにおける当該駐車場データのいずれかの点との距離があらかじめ定めた閾値以下の点の数である。また式(2)において、「DIall」は、ステップS621のランドマーク測位において検出された点の数である。ステップS643で瞬間一致率ICを算出したら、次にステップS644に進む。
ステップS644では、演算部121は、ステップS643において算出した瞬間一致度ICが所定の閾値よりも大きいか否かを判断する。その結果、瞬間一致度ICが閾値よりも大きいと判断する場合はステップS650に進み、閾値以下であると判断する場合はステップS645に進む。
ステップS645では、演算部121は、局所周辺情報122Bから周期的な特徴、たとえば複数並んだ駐車枠を検出する。前述のように、点群地図124Aに含まれる点群は画像のエッジなどを抽出して得られるので、白線の太さに相当する間隔で並ぶ点から駐車枠線を検出できる。
続くステップS646では、演算部121は、ステップS645において周期的特徴を検出したか否かを判断し、検出したと判断する場合はステップS647に進み、検出できなかったと判断する場合はステップS650に進む。
ステップS647では、演算部121は、ステップS645で検出した周期的な特徴の周期、たとえば駐車枠の幅を算出する。ここでいう駐車枠の幅とは、駐車枠を構成する白線同士の間隔である。次にステップS647に進む。
ステップS648では、演算部121は、前回のステップS653において算出された座標変換式を基準として、この座標変換式を複数とおりに変化させた場合の局所周辺情報122Bと駐車場データとの瞬間一致度ICを算出する。ここでは、ステップS647で算出した周期を用いて、座標変換後の局所周辺情報122Bの各点がステップS645で検出した周期的特徴の整数倍ずれるように、座標変換式を複数とおりに変化させる。そして、変化後の複数の座標変換式に対して全体一致度IWをそれぞれ算出する。全体一致度IWは、たとえば以下の式(3)により算出される。
IW= DWin/DWall ・・・式(3)
ただし式(3)において、「DWin」は、前述の座標変換式を用いて座標変換した局所周辺情報122Bの各点のうち、点群地図124Aの駐車場データのいずれかの点との距離が所定値以内の点の数である。また式(2)において、「DWall」は、ステップS621において検出された点の数である。ステップS648で全体一致度IWを算出したら、次にステップS649に進む。
ステップS649では、演算部121は、ステップS648において算出した複数の全体一致度IWのうち、最大の全体一致度IWを与える座標変換式をRAM122に記憶して、ステップS650に進む。
なお、以下で説明するステップS650の対応付け処理、ステップS651の誤差最小化処理、およびステップS652の収束判定処理では、既知の点群マッチング技術であるICP(Iterative Closest Point)アルゴリズムを利用することができる。ただし、ステップS650における初期値の設定は本実施の形態に特有なので詳しく説明し、他は概略のみ説明する。
ステップS644において肯定判定された場合、ステップS646において否定判定された場合、ステップS649の実行が終わった場合、またはステップS652において否定判定された場合に実行されるステップS650では、演算部121は、点群地図124Aの駐車場データに含まれる各点と、局所周辺情報122Bに含まれる各点との対応付けを行う。ここでは、以前に実行された処理に応じて異なる座標変換式を用いて、これら各点の対応付けを行う。すなわち、ステップS644またはステップS649の次に実行される場合は、RAM122に記録された座標変換式を用いて、局所周辺情報122Bから駐車場データへの座標変換を行う。これにより、ステップS644が肯定判定されてステップS650が実行される場合には、前回実行されたステップS653において算出された座標変換式が使用される。一方、ステップS649の次にステップS650が実行される場合は、ステップS649において記憶された座標変換式が使用される。次にステップS651に進む。
ステップS651では、演算部121は、ステップS650で対応付けされた点同士の誤差を最小化する。ここではたとえば、ステップS650において対応付けられた点同士の距離の指標の和が最小となるように、座標変換式が変更される。なお、対応付けられた点同士の距離の指標の和としては、たとえば両者間の距離の絶対値の和を採用することができる。
続くステップS652では、演算部121は、誤差が収束したか否かを判断する。その結果、収束したと判断する場合はステップS653に進み、収束していないと判断する場合はステップS650に戻って対応付け処理および誤差最小化処理を継続する。
続くステップS653では、演算部121は、最後にステップS651において変更された座標変換式をRAM122に保存して、ステップS654に進む。
ステップS654では、演算部121は、次のようにアウトライアリスト122Cを更新する。まず、RAM122に格納されている既存のアウトライアリスト122Cをクリアする。次に、局所周辺情報122Bの各点の座標値を、ステップ653において記録した座標変換式を用いて駐車場座標系の座標値に変換し、局所周辺情報122Bを構成するそれぞれの点とその点が対応する点群地図124Aを構成する点との距離、すなわちユークリッド距離を算出する。そして、算出された距離があらかじめ定められた距離よりも長い場合は、その局所周辺情報122Bの点をアウトライアリスト122Cに加える。ただしこのときに、空間的に端部に位置することをアウトライアリスト122Cに加える等、さらなる条件を用いてアウトライアリスト122Cに追加してもよい。なお、空間的な端部とは、記録を開始した際に取得された点など、他の点までの距離が遠い点である。以上の処理により、アウトライアリスト122Cが更新される。
以上で説明したようにして、誤差収束時の座標変換式を記録すると共にアウトライアリスト122Cを更新したら、図8のフローチャートを終了し、図6のステップS625から次のステップS626に進む。
(自動駐車モードのフローチャート)
図9は、図5のステップS611において車載処理装置120が実行する自動駐車モードの処理を表すフローチャートである。なお、以下に説明する各ステップの実行主体は、車載処理装置120の演算部121である。演算部121は、図9に示す処理を行う場合に、位置推定部121Fおよび車両制御部121Hとして機能する。
なお、車載処理装置120は、位置推定モードにおいて車両1の位置推定に成功しており、かつ、車両1の緯度経度すなわち絶対位置が駐車位置から所定の範囲内にあるときに、ユーザが自動駐車ボタン110Bを押下している間にのみ、位置推定モードから自動駐車モードに遷移する。すなわち、ユーザの承認のもとに車両1の自動制御を実施する。
ステップS661では、演算部121は、位置推定部121Fにより自己位置推定を行い、駐車場座標系における車両1の位置を推定する。なお、本ステップにおける処理内容は、図5のステップS605と同様であり、図6で説明済みのため、ここでは説明を省略する。
続くステップS662では、演算部121は、ステップS661において推定した位置から、点群地図124Aに格納されている駐車位置までの走行経路を、既知の経路生成手法により生成する。次にステップS663に進む。
ステップS663では、演算部121は、車両制御部121Hにより、車両制御装置130を介して車両1の走行状態を制御する。ここでは、ステップS661において推定した車両1の位置に基づき、車載処理装置120から車両制御装置130に対して所定の車両制御指令を出力することで、操舵装置131、駆動装置132、および制動装置133をそれぞれ制御し、ステップS662において生成した経路に沿って車両1を駐車位置まで移動させる。このとき、自動駐車ボタン110Bがユーザにより押され続けている場合だけ、駆動装置132に動作指令を出力することが好ましい。また、カメラ102Aの撮影画像から人物や移動車両などが抽出されたら、制動装置133を動作させて車両1を停止させることが好ましい。
続くステップS664では、演算部121は、ステップS661と同様に、位置推定部121Fにより自己位置推定を行い、駐車場座標系における車両1の位置を推定する。
続くステップS665では、演算部121は、車両1の駐車が完了したか否か、すなわち車両1が駐車位置に到達したか否かを判断する。その結果、駐車が完了していないと判断する場合はステップS663に戻って車両1の制御を継続し、駐車が完了したと判断する場合は図9のフローチャートを終了する。
(動作例)
以下では、図10〜図14を参照して、地図記憶モード、位置推定モードおよび自動駐車モードにおける具体的な車載処理装置120の動作例を説明する。
(動作例|地図記憶モード その1)
図10(a)は、駐車場901の一例を示す平面図である。駐車場901は、建物902の周囲に設けられた複数の駐車領域により構成される。各駐車領域は、路面にペイントされた白線等の駐車枠線でそれぞれ囲われている。駐車場901の出入り口は、図示左下に1か所だけ存在する。このような駐車場901において、図10(a)にハッチングで示した駐車領域903に車両1を駐車させる際に、車載処理装置120が地図記憶モードで動作した場合の動作例を以下に説明する。なお、以下の動作例では、駐車場901内の駐車枠線を車載処理装置120がランドマークとして検出するものとする。また、以下の動作例の説明では、図10(a)に示すように車両1の位置を三角形で表しており、この三角形の鋭角が車両1の進行方向を示す。
駐車場901の入り口付近で地図記憶モードに遷移すると(図4のステップS501:YES)、車載処理装置120は、ランドマーク測位を開始し(ステップS502、S503)、駐車枠線を構成する点の座標値を点群データ122AとしてRAM122に記録する(ステップS504、S505)。そして、駐車領域903への車両1の駐車が完了するまで、図4のステップS503〜S506の処理を繰り返す。
図10(b)は、RAM122に保存される点群データ122Aが表すランドマークの各点を可視化した図である。図10(b)において、実線はRAM122に保存されたランドマークの点群を表し、破線はRAM122に保存されていないランドマークを示す。車両1の外界センサ群102によりセンシング可能な範囲には限界があるため、図10(b)に示すように、車両1が駐車場901の入り口付近にいる際には、駐車場901の入り口付近の駐車枠線だけが点群データ122Aに記録される。点群データ122Aの記録開始後、ユーザが車両1を駐車場901の奥まで移動させると、車載処理装置120は駐車場901の全体のランドマークの点群を点群データ122Aに記録することができる。
ユーザが車両1を駐車領域903の中に停車させ、応答ボタン110Aを押して点群地図124Aの記憶を承認すると(ステップS508:YES)、車載処理装置120は、カーナビゲーションシステム107から車両1の緯度経度を取得し、駐車領域903の四隅の座標値を記録する(ステップS509)。
点群地図124Aに車両1の現在の緯度経度との差が所定範囲内の駐車場データが記録されていない場合は(ステップS510:NO)、RAM122に保存した点群データ122Aを、点群地図124Aを構成する新たなデータ、すなわち新たな駐車場データとして記憶部124に記録する(ステップS515)。
(動作例|地図記憶モード その2)
次に、上記とは別の地図記憶モードの動作例として、図11(a)に示すデータが点群地図124Aの駐車場データとして記録されている状態で、車両1が駐車場901内を走行して新たに図11(b)に示す点群データ122Aが得られた場合を説明する。図11(a)に示す駐車場データは、たとえば図10(a)に示した駐車場901の入り口から右寄りを車両1が走行して駐車領域903まで到達した場合に得られたデータの例である。この場合、図10(a)に比べて右寄りを走行したので、図11(a)に点線で示した駐車枠線についてはデータが取得されず、点群地図124Aに駐車場データとして記録されていない。
一方、図11(b)に示す点群データ122Aは、たとえば車両1が駐車場901の入り口から左寄りを走行して駐車領域903まで到達した場合に得られたデータの例である。この場合、図11(a)に比べて車両1が左寄りを走行したので、図11(b)に点線で示した駐車枠線の点群データが取得されていない。また、図11(b)に示す点群データ122Aでは、地図記憶モードに遷移した際に車両1が駐車場901と正対していなかったので、図11(a)に比べて、駐車場901が全体的に傾いているように記録されている。
このような状態において、ユーザが車両1を駐車領域903の中に停車させ、応答ボタン110Aを押して点群地図124Aの記憶を承認すると(ステップS508:YES)、車載処理装置120は、点群地図124Aに車両1の現在の緯度経度との差が所定範囲内の駐車場データが記録されていると判断する(ステップS510:YES)。そして、図11(a)と図11(b)の駐車位置、すなわち駐車領域903を基準に、点群データ122Aの座標変換が行われる(ステップS511)。その後、点群一致率IBを算出し(ステップS512)、点群一致率IBが所定の閾値よりも大きいと判断されると(ステップS513:YES)、図11(a)に示す駐車場データに、図11(b)に示す点群データ122Aが統合される(ステップS514)。この統合により、図11(a)では記録されていなかった図示左側の駐車枠線のデータが点群地図124Aにおいて新たに記録されるとともに、すでに記録されていた図示右側や図示上部の駐車枠線について、点群地図124Aにおいてこれらを表す点の密度が濃くなる。
(動作例|実行フェーズ=位置推定モード+自動駐車モード その1)
次に、点群地図124Aを利用した実行フェーズ、すなわち位置推定モードおよび自動駐車モードにおけるマッチング処理の動作例を説明する。この動作例では、図10(a)に示した駐車場901の全体に相当する駐車場データが点群地図124Aにおいてあらかじめ格納されているものとする。
図12(a)は、駐車場901において車両1が駐車領域903に接近したときの現在位置を示す図である。図12(a)において、車両1は図示右方を向いている。
図12(b)は、車両1が駐車場901の入り口から図12(a)に示した位置まで到達する間に位置推定モードで取得した局所周辺情報122Bを、局所座標系から駐車場座標系に変換したデータの例を示す図である。この図では、局所周辺情報122Bが表す駐車枠線および車両1の軌跡を、破線と点線でそれぞれ示している。破線で示す駐車枠線および軌跡は、有効範囲外の局所周辺情報122Bにおける駐車枠線および軌跡の各点、すなわちアウトライアリスト122Cに記載されてマッチング処理の対象外とされる点を表している。一方、点線で示す駐車枠線および軌跡は、有効範囲内の局所周辺情報122Bにおける駐車枠線および軌跡の各点を表している。
図12(b)では、車両1が右方向に大きく旋回することで車両1の位置推定結果に誤差が生じているため、旋回前の局所周辺情報122Bでは駐車枠線にずれが生じており、駐車枠線の形状が本来の形状から変化している。したがって、局所周辺情報122Bの全体をそのままマッチングしても、点群地図124Aとは一致しないことが推察できる。そこで、図12(b)のように、旋回前の局所周辺情報122Bを除外し、有効軌跡を中心に所定の範囲内に入る点をマッチング処理に利用することで、正しいマッチングを実施できる。
(動作例|実行フェーズ その2)
次に、上記とは別の実行フェーズにおけるマッチング処理の動作例を説明する。この動作例でも、図10(a)に示した駐車場901の全体に相当する駐車場データが点群地図124Aにおいてあらかじめ格納されているものとする。
図13(a)は、駐車場901において車両1が駐車領域903に向かって走行しているときの現在位置を示す図である。図13(a)において、車両1は図示上方を向いている。
図13(b)は、車両1が図13(a)に示した位置にいるときに、車両1の前方領域、すなわち図13(a)に破線の丸で囲んだ部分の駐車枠線をランドマーク測位して得られた局所周辺情報122Bの各点の座標値を、局所座標系から駐車場座標系に変換したデータの例を示す図である。すなわち、図13(b)に示すデータは、局所周辺情報122Bのうち、最新の撮影画像から検出されて図8のステップS642において処理された点群のデータである。ただし図13(b)では、このデータを点ではなく破線で表している。また図13(b)では、図13(a)との対比のために、車両1の位置もあわせて示している。図13(b)に示す例では、車両1の左側には駐車枠線のデータが切れ目なく存在している一方で、車両1の右側では駐車枠線のデータが車両1の手前側にのみ存在している。
図13(c)は、車両1の駐車場座標系における位置の推定結果が誤差を含んでいた場合における、点群地図124Aと図13(b)に示した局所周辺情報122Bとの対比例を示す図である。図13(c)の例では、従前の位置推定結果がおおよそ駐車枠の幅の1つ分ずれていたため、車両1の右側に存在する局所周辺情報122Bは、点群地図124Aからずれが生じている。このような状態で、図8のステップS643において瞬間一致度ICが算出されると、車両1の右側に対する瞬間一致度ICは、前述のずれにより低い値となる。この値が閾値よりも低いと判断されると(ステップS644:NO)、駐車枠を周期的な特徴として検出し(ステップS645、S646:YES)、点群地図124Aから駐車枠の幅が算出される(ステップS647)。そして、駐車枠の幅の整数倍ごとに座標変換後の局所周辺情報122Bを移動させて、全体一致度IWが算出される(ステップS648)。
図14(a)、(b)、(c)は、図13(c)に示した局所周辺情報122Bを駐車枠の幅の整数倍ずつ移動させた場合の点群地図124Aとの関係の例を示す図である。図14(a)〜(c)では、座標変換後の局所周辺情報122Bを、駐車枠の幅の+1倍、0倍、−1倍だけ図示上方にそれぞれ移動させている。
図14(a)では、局所周辺情報122Bが図示上側に駐車枠の幅の1つ分移動することで、局所周辺情報122Bと点群地図124Aとのずれが拡大している。そのため、図14(a)における全体一致度IWは、移動させない場合よりも小さくなる。図14(b)では、局所周辺情報122Bは移動しておらず、図13(c)で示したように、局所周辺情報122Bと点群地図124Aは駐車枠の幅の1つ分ずれている。図14(c)では、局所周辺情報122Bが図示下側に駐車枠の幅の1つ分移動することで、局所周辺情報122Bと点群地図124Aとが略一致している。そのため、図14(c)における全体一致度IWは、局所周辺情報122Bを移動させない場合よりも大きくなる。
局所周辺情報122Bの移動量と全体一致度IWの増減とは上述する関係にあるので、図14に示す例では、図14(c)の場合に対応する全体一致度IWが最大と判断される。その結果、図14(c)で示した移動量に対応する座標変換式がRAM122に記憶される(ステップS649)。このようにして、車載処理装置120は推定する位置精度を向上させることができる。
上述した実施の形態によれば、次の作用効果が得られる。
(1)車両1に搭載される情報処理装置である車載処理装置120は、車両1の周囲に存在する物体を検出する外界センサ群102からの情報に基づき、物体をそれぞれ表す複数の点に関する点群データ122Aを取得する点群データ取得部121Aと、車両1の移動量を推定する移動量推定部121Eと、車両1の走行経路上の地点を第1基準位置として、該第1基準位置に対する複数の点の相対位置を、緯度及び経度を含む位置情報と対応付けて記録された点群地図124Aとして格納する記憶部124と、点群地図124A、点群データ122Aおよび車両1の移動量に基づき、車両1の位置を推定する位置推定部121Fとを備える。位置推定部121Fは、点群データ122Aおよび車両1の移動量に基づき、第1基準位置の地点と異なる車両1の走行経路上の地点を第2基準位置とする局所周辺情報122Bを生成し(図6のステップS623)、点群地図124Aおよび局所周辺情報122Bに基づき、第1基準位置と第2基準位置の関係を表す関係式(座標変換式)を算出する(図8のステップS649、S651)。そして、算出した座標変換式を用いて車両1の位置を推定する(図6のステップS626)。このようにしたので、地図データから車両1の位置を正確に推定することができる。
(2)車載処理装置120は、点群データ122Aおよび車両1の移動量に基づき点群地図124Aを生成する(図4のステップS514、S515)点群地図生成部121Cと、点群地図生成部121Cが生成する点群地図124Aの成立性に関して点群データ122Aを検証する(図4のステップS507)点群データ検証部121Bとをさらに備える。記憶部124には、点群地図生成部121Cにより生成された点群地図124Aが格納される。このようにしたので、車載処理装置120自身が位置推定において利用可能な点群地図124Aを作成することができるため、あらかじめ点群地図124Aを作成しておく必要がない。
(3)車載処理装置120は、点群データ検証部121Bによる点群データ122Aの検証結果をユーザに提示する(ステップS507)検証結果提示部、すなわち表示制御部121Gをさらに備える。このようにしたので、生成される点群地図124Aが位置推定に使えるものであるか否かをユーザに事前に知らせることができる。
(4)点群データ検証部121Bは、点群データ122Aにおける複数の点の分布状態と、移動量推定部121Eによる移動量の推定誤差と、車両1の制御に対する許容精度と、の少なくとも一つに基づき、点群地図124Aの成立性に関する点群データ122Aの検証を行うことができる。このようにすれば、点群地図124Aの成立性を事前に正確に判断することができる。
(5)車載処理装置120は、車両1の車速を検出する車速センサ108と、車両1の操舵角を検出する舵角センサ109とに接続されている。点群データ検証部121Bは、車両1の走行軌跡上の検証区間で取得した点群データ122Aを車両1の位置推定に利用するか否かを、局所的成立性および自律航法性の少なくともいずれかで検証することができる。この場合、局所的成立性は、点群データ122Aが所定以上の密度であり、かつ、新たな分布パターンである場合に満たされると判断される。また、自律航法性は、車両1が自律航法で走行可能な距離に応じて判断される。車両1が自律航法で走行可能な距離は、車速センサ108及び舵角センサ109の少なくともいずれかの誤差に基づく車両1の位置推定誤差と、車両1の制御に対する位置の許容精度と、に基づいて算出される。このようにすれば、点群データ122Aを車両1の位置推定に利用するか否かを正確に検証することができる。
(6)点群データ検証部121Bは、自律航法による位置推定誤差が所定以内の場合、局所的成立性が成立しない検証区間の点群データ122Aを位置推定に利用することもできる。このようにすれば、位置推定に利用可能な点群データ122Aを増加させ、位置推定の精度を向上させることができる。
(7)車載処理装置120は、位置推定部121Fによる車両1の位置推定結果に基づき、物体と車両1の位置関係を示した画像を表示装置111に表示させる(図5のステップS607)表示制御部121Gをさらに備える。このようにしたので、ランドマーク測位により検出した車両1の周囲の物体と車両1との位置関係をユーザに分かりやすく提示することができる。
(8)車載処理装置120は、位置推定部121Fが推定した車両1の位置に基づき、駐車場内の所定の駐車位置に車両1を移動させる(図9のステップS663)車両制御部121Hをさらに備える。点群地図124Aにおける複数の点は、駐車場の構成物をそれぞれ表しており、車両制御部121Hは、駐車位置と車両1の位置との差が所定値(10m)以内の場合(図5のステップS608:YES)に、自動駐車モードに遷移し(ステップS611)、ステップS663を実行して駐車位置に車両1を移動させる。このようにしたので、車両制御部121Hが車両1を駐車位置まで確実に移動可能な状況のときに、車両制御部121Hを動作させて車両1の移動を行うことができる。
(9)車両制御部121Hは、駐車場の緯度および経度と車両1の位置との差が所定の第1距離(100m)未満であり(図5のステップS601:YES)、かつ、点群地図124Aにおける駐車位置の座標値と位置推定部121Fが推定した車両1の位置との差が所定の第2距離(10m)未満である場合(図5のステップS608:YES)に、駐車位置に車両1を移動させる。このようにしたので、車両制御部121Hにより不要な車両制御が行われるのを防止し、駐車位置に車両1を確実に移動させることができる。
上述した実施の形態によれば、さらに次の作用効果も得られる。
(10)車載処理装置120は、点群地図124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定し、駐車場座標系における車両1の位置を推定する。点群地図124Aはあらかじめ記憶部124に記憶された情報であり、局所周辺情報122Bは外界センサ群102、すなわちカメラ102A、ソナー102Bおよびレーダ102Cと、車速センサ108、および舵角センサ109の出力から生成される。すなわち車載処理装置120は、記録された点群の座標系とは異なる座標系の点群の情報を取得し、異なる座標系間の対応関係に基づいて、記録された座標系における車両1の位置を推定することができる。また車載処理装置120は、点群地図124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定するので、局所周辺情報122Bのデータの一部にノイズが含まれていても影響を受けにくい。すなわち、車載処理装置120による車両1の位置推定は外乱に強い。
(11)位置推定部121Fは、局所周辺情報122Bを構成するそれぞれの点に対応する点を点群地図124Aの中から探索し(図8のステップS650)、対応する点同士の距離が最小になるように駐車場座標系と局所座標系との座標変換式を推定する(図8のステップS651)。
(12)位置推定部121Fは、点群地図124Aまたは局所周辺情報122Bを構成する点と、この点と対応する点までの距離があらかじめ定められた閾値よりも遠い局所周辺情報122Bの点データを除外して、すなわちアウトライアリスト122Cを適用して(図8のステップS641、S653)探索および推定を行う。そのため、ノイズ成分とみなすことのできる距離が離れた点のデータを計算対象から除外するので、座標変換式の精度を向上することができる。
(13)点群地図124A、および局所周辺情報122Bに含まれる点は、二次元空間上の座標として表される。位置推定部121Fは、対応する点同士の距離があらかじめ定められた閾値よりも遠く、かつ局所周辺情報122Bにおける空間的に端部に位置する点を除外して探索および推定を行う。点群地図124Aの駐車場データに格納される点群は、地図記憶モードを開始した地点よりも駐車位置の近くのランドマークに関するものである。そのため、地図記憶モードを開始した地点よりも駐車位置から遠い地点で、図5に示すフローチャートに従って位置推定モードの動作が開始されると、点群地図124Aの駐車場データに格納されるいずれの点とも対応しない点が局所周辺情報122Bに含まれる。そのような点を含めてICP、すなわち図8のステップS650〜S652の処理を行うと、適切な解が得られない。そこで、こうした点を排除することで、適切な解が得られるようにする。
(14)点群地図124Aには周期的な特徴が含まれる。位置推定部121Fは、駐車場座標系と局所座標系との座標変換式を推定した後に、対応する点同士の距離が短くなるように、周期的な特徴の1周期分の距離に基づき駐車場座標系と局所座標系との座標変換式を補正する(図8のステップS646〜S648)。一般に、点群地図124Aに周期的な特徴が含まれると、その周期に相当する距離の整数倍ずれてマッチングしやすい傾向にある。一度そのようにずれてマッチングしてしまうと、繰り返し処理の性質から正しい位置へマッチングさせることが困難である。そこで、繰り返し処理の解が収束した後に、座標変換式をその周期の整数倍ずらすことで、この問題を解決する。換言すると、繰り返し計算により大域解から周期的な特徴の数周期分ずれた局所解に陥った可能性を考慮し、座標変換式を周期的な特徴に応じた分だけずらすことにより、大域解、または大域解により近い局所解を得ることができる。
(15)従前に推定した駐車場座標系における車両1の位置、点群データ取得部121Aが取得する最新の点群データ122Aの情報、および移動量推定部121Eが取得する最新の車両1の位置情報に基づき作成される、駐車場座標系における局所周辺情報122Bと、駐車場座標系における点群地図124Aとの一致度を示す指標である瞬間一致度ICが、あらかじめ定められた閾値よりも小さい場合に、位置推定部121Fは座標変換式の補正を行う(図8のステップS642〜ステップS644)。そのため、図8のステップS645〜S649の処理を常時実行するのではなく、その処理の必要性を検討して必要と判断される場合のみ実行することができる。
(16)車載処理装置120は、点群データ取得部121Aが取得する情報、および移動量推定部121Eが取得する車両1の位置情報に基づき、移動体を除いた物体の一部を表す点の第3座標系(記録座標系)における座標値が複数含まれる点群データ122Aを作成して、点群地図124Aとして記憶部124に格納する点群地図生成部121Cを備える。そのため車載処理装置120は、車載処理装置120を搭載する車両1が走行する際に点群地図124Aを作成することができる。点群地図124Aの作成処理と車両1の位置推定処理とはランドマーク測位の点で共通しており、プログラムモジュールを共通して使用することができる。
(17)第3座標系(記録座標系)は、点群データ122Aの作成を開始した際の車両1の位置および姿勢に基づいて設定される。点群地図生成部121Cは、点群データ122Aの作成を開始した際の車両の位置または姿勢が異なることにより座標系が異なる複数の点群データ122Aが得られると、車両1の駐車位置を基準として異なる座標系の関係を推定して複数の点群データ122Aを統合する(図4のステップS511、S514)。そのため、点群データ122Aを取得するたびに異なる記録座標系が設定されても、複数の点群データ122Aを統合することができる。これは、点群データ122Aの取得を開始する際の車両1の位置や姿勢は様々であるが、同じ駐車位置に車両1が駐車される点に注目している。
(18)車載処理装置120は、位置推定部121Fの出力に基づき車両1を駆動し、駐車場座標系におけるあらかじめ指定された駐車位置に車両1を移動させる車両制御装置130と、車両1の位置に関する情報(緯度経度)を受信するカーナビゲーションシステム107から車両1の緯度経度を取得する絶対位置取得部121Dとを備える。点群地図124Aを構成する点は、駐車場の構成物の一部を表す点である。記憶部124には、点群地図124Aとして駐車場の緯度経度もあわせて格納される。車載処理装置120は、車両制御装置130を用いて車両1を駐車位置に移動させる車両制御部121Hを備える。そのため車載処理装置120は、点群地図124Aに含まれる駐車位置へ車両1を自動駐車することができる。
(19)車載処理装置120は、カーナビゲーションシステム107と、車両1の周囲の点群をセンシングする外界センサ群102、すなわちセンサカメラ102A、ソナー102Bおよびレーダ102Cとを備え、点群地図生成部121Cにおいて、図2に示すような点群と緯度経度情報を紐付けしたデータフォーマットの点群地図124Aを生成する。この緯度経度情報を参照することで、周囲の点群の有無や道路地図との関係を判断でき、地図記憶モードや位置推定モードに自動で遷移することができる。そのため、ユーザがモード遷移のための操作をする必要がなくなり、車両1の走行中に地図の記憶や自動駐車にスムーズに移行することができる。
なお、上述した実施の形態は、以下のように変形してもよい。
(1)表示制御部121Gは、図5のステップS607で自己位置の推定結果を示す画像を表示装置111に表示する際に、点群地図124Aの成立性に応じて画像の表示形態を変化させてもよい。すなわち、地図記憶モードで取得した点群データ122Aを点群地図124Aに記録する際には、前述のように地図成立性の有無を表す情報が点群地図124Aの部分ごとに、すなわち点群地図124Aに含まれる駐車場データの点ごとに記録される。この情報に基づき、ステップS607で表示装置111に表示する地図画像や俯瞰画像における地図成立性を部分ごとに判断し、地図成立性が高い部分と低い部分とで、色、明るさ、線の太さ等の表示形態を異ならせて表示する。このようにすれば、表示装置111に表示された自己位置の推定結果がどの程度信頼できるものであるかを、ユーザに分かりやすく知らせることができる。
(2)車両制御部121Hは、図9のステップS663で車両1を制御して移動させる際に、点群地図124Aの成立性に応じて車両1の移動範囲を制限してもよい。すなわち、地図記憶モードで取得した点群データ122Aを点群地図124Aに記録する際には、前述のように地図成立性の有無を表す情報が点群地図124Aの部分ごとに、すなわち点群地図124Aに含まれる駐車場データの点ごとに記録される。この情報に基づき、ステップS663で車両1を移動させる予定の地図範囲における地図成立性を判断し、地図成立性が低い領域には車両1が進入できないようにする。このようにすれば、車両1の移動中に、点群地図124Aの誤差により車両1が誤って壁等の障害物に衝突するのを防止することができる。
(3)車載処理装置120は、図5のステップS608の判定条件を削除して、位置推定モードにおいて自己位置推定が完了し、かつ、ユーザが自動駐車ボタン110Bを押している場合に、車両制御装置130を用いて車両1を駐車位置に移動させるようにしてもよい。すなわち、カーナビゲーションシステム107が測定する車両1の位置と駐車場の位置との距離の差があらかじめ定めた距離(100m)よりも短い場合に、車両制御装置130を用いて車両1を駐車位置に移動させるようにしてもよい。このようにすれば、車両1に搭載されるいずれのセンサも駐車位置を直接観測できない遠方をスタート地点として、点群地図124Aに含まれる駐車位置へと車両1を自動駐車することができる。
(4)車載処理装置120は、複数のカメラと接続されてもよい。車載処理装置120は、複数のカメラの撮影画像を用いることで、車両1の周辺に存在する広範囲のランドマークから点群データ122Aを抽出することができる。
(5)車載処理装置120は、車速センサ108や舵角センサ109からセンシング結果を受信しなくてもよい。この場合は、車載処理装置120は、たとえばカメラ102Aの撮影画像を用いて車両1の移動量を推定する。具体的には、車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、撮影画像中の被写体とカメラ102Aとの位置関係を算出する。そして、複数の撮影画像においてその被写体を追跡することにより、車両1の移動量および移動方向を推定することができる。
(6)点群地図124Aや点群データ122A、局所周辺情報122Bなどの点群情報は3次元情報として記憶部124やRAM122に格納されてもよい。この場合、3次元の点群情報は、2次元平面上に投影することにより実施形態と同様に2次元で他の点群と比較してもよいし、3次元同士で比較してもよい。たとえば、車載処理装置120は、以下のようにランドマークの3次元点群を得ることができる。すなわち、車速センサ108および舵角センサ109の出力に基づき算出した車両1の移動量と、カメラ102Aが出力する複数の撮影画像とを用いて、公知のモーションステレオ技術や、そのモーション推定部分を内界センサや測位センサで補正した情報を用いることで、静止立体物の3次元点群を得ることができる。
(7)車載処理装置120は、図8のステップS644において、1回だけの否定判定によりステップS645に進むのではなく、複数回連続で否定判定された場合にステップS645に進んでもよい。
(8)車載処理装置120は、図8のステップS644の判断に代えて、局所周辺情報122Bにおいて適用範囲外(アウトライア)と判断されている点の割合があらかじめ定めた閾値よりも大きいか否かを判断してもよい。この場合、その割合が閾値よりも大きい場合はステップS645に進み、その割合が閾値以下の場合はステップS650に進む。さらに車載処理装置120は、図8のステップS644の判断に加えて前述の割合が大きい場合にのみ、ステップS645に進んでもよい。
(9)車載処理装置120は、図8のステップS645、S647の処理をあらかじめ行ってもよい。さらにその処理結果を記憶部124に記録してもよい。
(10)車載処理装置120は、ユーザからの動作指令を車両1の内部に設けられた入力装置110からだけでなく、通信装置114から受信してもよい。たとえばユーザの所持する携帯端末と通信装置114が通信を行い、ユーザが携帯端末を操作することにより、車載処理装置120は自動駐車ボタン110Bが押された場合と同様の動作を行ってもよい。この場合は、車載処理装置120はユーザが車両1の内部に居る場合だけでなく、ユーザが降車した後にも自動駐車を行うことができる。
(11)車載処理装置120は、点群地図124Aに記録された駐車位置だけでなく、ユーザにより指定された位置に駐車を行ってもよい。ユーザによる駐車位置の指定は、たとえば車載処理装置120が表示装置111に駐車位置の候補を表示し、ユーザが入力装置110によりそのいずれかを選択することにより行われる。
(12)車載処理装置120は、通信装置114を経由して外部から点群地図124Aを受信してもよいし、作成した点群地図124Aを通信装置114を経由して外部に送信してもよい。この場合、車載処理装置120が点群地図124Aを送受信する相手は、他の車両に搭載された別の車載処理装置120でもよいし、駐車場を管理する組織が管理する装置でもよい。
(13)自動駐車システム100は、カーナビゲーションシステム107に代えて携帯端末を備え、携帯端末が通信を行う基地局の識別情報を緯度経度の代わりに記録してもよい。基地局の通信範囲は数百m程度に限られるので、通信を行う基地局が同一であれば同一の駐車場の可能性が高いからである。
(14)点群地図124Aの駐車場データに含まれる周期的な特徴は駐車枠に限定されない。たとえば路面ペイントの1つである横断歩道を構成する複数の直線なども周期的な特徴である。また、駐車場データがレーザレーダなどで取得した、壁などの障害物の情報から構成される場合は、規則的に並んだ柱も周期的な特徴である。
(15)上述した実施の形態では移動体である車両や人間はランドマークに含めなかったが、移動体をランドマークに含めてもよい。その場合は移動体であるランドマークと移動体以外のランドマークを識別可能に記憶してもよい。
(16)車載処理装置120は、地図記憶モードにおいて、ランドマーク測位により検出したランドマークを識別し、それぞれのランドマークの識別結果を点群地図124Aに併せて記録してもよい。ランドマークの識別には、たとえば撮影画像から得られるランドマークの形状情報や色情報、さらに公知のモーションステレオ技術によるランドマークの立体形状情報が用いられる。ランドマークはたとえば、駐車枠、駐車枠以外の路面ペイント、縁石、ガードレール、壁、などのように識別される。さらに車載処理装置120は、移動体である車両や人間をランドマークに含め、他のランドマークと同様に識別結果を点群地図124Aに併せて記録してもよい。この場合は車両と人間をあわせて「移動体」として識別および記録してもよいし、車両と人間を個別に識別および記録してもよい。
以上説明した実施形態や各種の変形例はあくまで一例である。本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
1 … 車両
100 … 自動駐車システム
102 … 外界センサ群
102A … カメラ
102B … ソナー
102C … レーダ
107 … カーナビゲーションシステム
108 … 車速センサ
109 … 舵角センサ
110 … 入力装置
110A … 応答ボタン
110B … 自動駐車ボタン
111 … 表示装置
114 … 通信装置
120 … 車載処理装置
121 … 演算部
121A … 点群データ取得部
121B … 点群データ検証部
121C … 点群地図生成部
121D … 絶対位置取得部
121E … 移動量推定部
121F … 位置推定部
121G … 表示制御部
121H … 車両制御部
121I … モード切り替え部
122 … RAM
122A … 点群データ
122B … 局所周辺情報
122C … アウトライアリスト
123 … ROM
124 … 記憶部
124A … 点群地図
125 … インタフェース
130 … 車両制御装置
IB … 点群一致率
IC … 瞬間一致度
IW … 全体一致度

Claims (11)

  1. 車両に搭載される情報処理装置であって、
    前記車両の周囲に存在する物体を検出するセンサからの情報に基づき、前記物体をそれぞれ表す複数の点に関する点群データを取得する点群データ取得部と、
    前記車両の移動量を推定する移動量推定部と、
    前記車両の走行経路上の地点を第1基準位置として、該第1基準位置に対する前記複数の点の相対位置を、緯度及び経度を含む位置情報と対応付けて記録された点群地図として格納する記憶部と、
    前記点群地図、前記点群データおよび前記移動量に基づき、前記車両の位置を推定する位置推定部と、
    を備え、
    前記位置推定部は、
    前記点群データおよび前記移動量に基づき、前記第1基準位置の地点と異なる前記車両の走行経路上の地点を第2基準位置とする局所周辺情報を生成し、
    前記点群地図および前記局所周辺情報に基づき、前記第1基準位置と前記第2基準位置の関係を表す関係式を算出し、
    前記関係式を用いて前記車両の位置を推定する情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記点群データおよび前記移動量に基づき前記点群地図を生成する点群地図生成部と、
    前記点群地図生成部が生成する前記点群地図の成立性に関して前記点群データを検証する点群データ検証部と、をさらに備え、
    前記記憶部には、前記点群地図生成部により生成された前記点群地図が格納される情報処理装置。
  3. 請求項2に記載の情報処理装置において、
    前記点群データ検証部による前記点群データの検証結果をユーザに提示する検証結果提示部をさらに備える情報処理装置。
  4. 請求項2に記載の情報処理装置において、
    前記点群データ検証部は、前記点群データにおける前記複数の点の分布状態と、前記移動量推定部による前記移動量の推定誤差と、前記車両の制御に対する許容精度と、の少なくとも一つに基づき、前記点群地図の成立性に関する前記点群データの検証を行う情報処理装置。
  5. 請求項2に記載の情報処理装置において、
    前記情報処理装置は、前記車両の車速を検出する車速センサと、前記車両の操舵角を検出する舵角センサと、に接続されており、
    前記点群データ検証部は、前記車両の走行軌跡上の検証区間で取得した前記点群データを前記車両の位置推定に利用するか否かを、局所的成立性および自律航法性の少なくともいずれかで検証するものであって、
    前記局所的成立性は、前記点群データが所定以上の密度であり、かつ、新たな分布パターンである場合に満たされると判断され、
    前記自律航法性は、前記車両が自律航法で走行可能な距離に応じて判断され、
    前記車両が自律航法で走行可能な距離は、前記車速センサ及び前記舵角センサの少なくともいずれかの誤差に基づく前記車両の位置推定誤差と、前記車両の制御に対する位置の許容精度と、に基づいて算出される情報処理装置。
  6. 請求項5に記載の情報処理装置において、
    前記点群データ検証部は、前記自律航法による前記位置推定誤差が所定以内の場合、前記局所的成立性が成立しない前記検証区間の前記点群データを前記位置推定に利用する情報処理装置。
  7. 請求項1から請求項6のいずれか一項に記載の情報処理装置において、
    前記位置推定部による前記車両の位置推定結果に基づき、前記物体と前記車両の位置関係を示した画像を表示装置に表示させる表示制御部をさらに備える情報処理装置。
  8. 請求項7に記載の情報処理装置において、
    前記記憶部には、前記点群地図の成立性に関する成立性情報が前記点群地図の部分ごとにさらに格納され、
    前記表示制御部は、前記成立性情報に基づき前記点群地図の成立性に応じて前記画像の表示形態を変化させる情報処理装置。
  9. 請求項1から請求項6のいずれか一項に記載の情報処理装置において、
    前記位置推定部が推定した前記車両の位置に基づき前記車両を移動させる車両制御部をさらに備え、
    前記記憶部には、前記点群地図の成立性に関する成立性情報が前記点群地図の部分ごとにさらに格納され、
    前記車両制御部は、前記成立性情報に基づき前記車両の移動範囲を制限する情報処理装置。
  10. 請求項1から請求項6のいずれか一項に記載の情報処理装置において、
    前記位置推定部が推定した前記車両の位置に基づき、駐車場内の所定の駐車位置に前記車両を移動させる車両制御部をさらに備え、
    前記点群地図における前記複数の点は、前記駐車場の構成物をそれぞれ表しており、
    前記車両制御部は、前記駐車位置と前記車両の位置との差が所定値以内の場合に、前記駐車位置に前記車両を移動させる情報処理装置。
  11. 請求項10に記載の情報処理装置において、
    前記車両制御部は、前記駐車場の緯度および経度と前記車両の位置との差が所定の第1距離未満であり、かつ、前記点群地図における前記駐車位置と前記位置推定部が推定した前記車両の位置との差が所定の第2距離未満である場合に、前記駐車位置に前記車両を移動させる情報処理装置。
JP2018104102A 2018-05-30 2018-05-30 情報処理装置 Active JP7137359B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018104102A JP7137359B2 (ja) 2018-05-30 2018-05-30 情報処理装置
CN201980036783.XA CN112204348A (zh) 2018-05-30 2019-03-05 信息处理装置
PCT/JP2019/008631 WO2019230098A1 (ja) 2018-05-30 2019-03-05 情報処理装置
US17/059,129 US11560160B2 (en) 2018-05-30 2019-03-05 Information processing apparatus
EP19812343.2A EP3805702B1 (en) 2018-05-30 2019-03-05 Information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018104102A JP7137359B2 (ja) 2018-05-30 2018-05-30 情報処理装置

Publications (3)

Publication Number Publication Date
JP2019207214A true JP2019207214A (ja) 2019-12-05
JP2019207214A5 JP2019207214A5 (ja) 2021-07-26
JP7137359B2 JP7137359B2 (ja) 2022-09-14

Family

ID=68697952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018104102A Active JP7137359B2 (ja) 2018-05-30 2018-05-30 情報処理装置

Country Status (5)

Country Link
US (1) US11560160B2 (ja)
EP (1) EP3805702B1 (ja)
JP (1) JP7137359B2 (ja)
CN (1) CN112204348A (ja)
WO (1) WO2019230098A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017199A (ja) * 2018-07-27 2020-01-30 パイオニア株式会社 情報処理装置
WO2022065304A1 (ja) * 2020-09-28 2022-03-31 国立大学法人 東京大学 経路案内装置、経路案内システム、及び経路案内装置の制御方法
WO2022239350A1 (ja) * 2021-05-13 2022-11-17 日立Astemo株式会社 地図生成・自己位置推定装置
JP7479108B2 (ja) 2020-01-31 2024-05-08 パナソニックオートモーティブシステムズ株式会社 情報処理装置、情報処理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6819797B2 (ja) * 2017-11-30 2021-01-27 日本電気株式会社 位置推定装置、位置推定方法とプログラム、並びに、位置推定システム
US11372097B2 (en) * 2018-10-09 2022-06-28 Metawave Corporation Method and apparatus for phase unwrapping radar detections using optical flow
WO2022049615A1 (ja) * 2020-09-01 2022-03-10 株式会社ネイン 情報処理システム、情報処理方法およびコンピュータプログラム
CN112735130B (zh) * 2020-12-25 2022-05-10 阿波罗智联(北京)科技有限公司 交通数据的处理方法、装置、电子设备和介质
JP2023019930A (ja) * 2021-07-30 2023-02-09 キヤノン株式会社 情報処理装置、移動体、情報処理装置の制御方法およびプログラム
CN116486639B (zh) * 2023-06-14 2023-09-29 眉山环天智慧科技有限公司 一种基于遥感和北斗卫星数据分析的车辆监管方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010032398A (ja) * 2008-07-30 2010-02-12 Alpine Electronics Inc ナビゲーションシステムの位置検出装置および位置検出方法
JP2012141662A (ja) * 2010-12-28 2012-07-26 Toyota Motor Corp ロボットの自己位置推定方法
JP2015077862A (ja) * 2013-10-16 2015-04-23 トヨタ自動車株式会社 駐車支援装置
WO2016189732A1 (ja) * 2015-05-28 2016-12-01 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
JP2018004343A (ja) * 2016-06-29 2018-01-11 クラリオン株式会社 車載処理装置
WO2018020589A1 (ja) * 2016-07-26 2018-02-01 日産自動車株式会社 自己位置推定方法及び自己位置推定装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3595680B2 (ja) * 1998-05-19 2004-12-02 クラリオン株式会社 ナビゲーションシステム及び方法並びにナビゲーション用ソフトウェアを記録した記録媒体
JP4277717B2 (ja) * 2004-03-17 2009-06-10 株式会社日立製作所 車両位置推定装置およびこれを用いた運転支援装置
JP2006072431A (ja) * 2004-08-31 2006-03-16 Matsushita Electric Ind Co Ltd 自動駐車システム
JP4483589B2 (ja) * 2005-01-12 2010-06-16 日産自動車株式会社 車両用情報提供装置
JP5634046B2 (ja) * 2009-09-25 2014-12-03 クラリオン株式会社 センサコントローラ、ナビゲーション装置、センサ制御方法
GB201116959D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Vehicle localisation with 2d laser scanner and 3d prior scans
JP5926558B2 (ja) * 2011-12-29 2016-05-25 クラリオン株式会社 車両用情報システムおよびサーバ装置
GB2501466A (en) * 2012-04-02 2013-10-30 Univ Oxford Localising transportable apparatus
DE102013015348A1 (de) * 2013-09-17 2014-04-10 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeugs
JP6314932B2 (ja) 2014-09-26 2018-04-25 キヤノンマーケティングジャパン株式会社 錠剤供給システム、情報処理装置、錠剤供給システムの制御方法、情報処理装置の制御方法及びプログラム
DE102014224077A1 (de) * 2014-11-26 2016-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum assistierten Führen eines Fahrzeugs
DE102015201209A1 (de) * 2015-01-26 2016-07-28 Robert Bosch Gmbh Valet Parking-Verfahren und Valet-Parking System
JP6958117B2 (ja) * 2017-08-29 2021-11-02 株式会社アイシン 駐車支援装置
US10719719B2 (en) * 2018-03-02 2020-07-21 Here Global B.V. Method, apparatus, and computer program product for determining if probe data points have been map-matched

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010032398A (ja) * 2008-07-30 2010-02-12 Alpine Electronics Inc ナビゲーションシステムの位置検出装置および位置検出方法
JP2012141662A (ja) * 2010-12-28 2012-07-26 Toyota Motor Corp ロボットの自己位置推定方法
JP2015077862A (ja) * 2013-10-16 2015-04-23 トヨタ自動車株式会社 駐車支援装置
WO2016189732A1 (ja) * 2015-05-28 2016-12-01 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
JP2018004343A (ja) * 2016-06-29 2018-01-11 クラリオン株式会社 車載処理装置
WO2018020589A1 (ja) * 2016-07-26 2018-02-01 日産自動車株式会社 自己位置推定方法及び自己位置推定装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017199A (ja) * 2018-07-27 2020-01-30 パイオニア株式会社 情報処理装置
JP7479108B2 (ja) 2020-01-31 2024-05-08 パナソニックオートモーティブシステムズ株式会社 情報処理装置、情報処理方法
WO2022065304A1 (ja) * 2020-09-28 2022-03-31 国立大学法人 東京大学 経路案内装置、経路案内システム、及び経路案内装置の制御方法
WO2022239350A1 (ja) * 2021-05-13 2022-11-17 日立Astemo株式会社 地図生成・自己位置推定装置

Also Published As

Publication number Publication date
EP3805702A1 (en) 2021-04-14
WO2019230098A1 (ja) 2019-12-05
JP7137359B2 (ja) 2022-09-14
EP3805702B1 (en) 2024-04-24
EP3805702A4 (en) 2022-03-16
US11560160B2 (en) 2023-01-24
CN112204348A (zh) 2021-01-08
US20210206391A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
WO2019230098A1 (ja) 情報処理装置
JP6649191B2 (ja) 車載処理装置
JP6843712B2 (ja) 車載処理装置
JP7393128B2 (ja) 車載処理装置、移動支援システム
JP6757261B2 (ja) 車載処理装置
JP7132037B2 (ja) 車載処理装置
CN113997931B (zh) 俯瞰图像生成装置、俯瞰图像生成系统及自动泊车装置
US11183056B2 (en) Electronic device for generating map data and operating method therefor
JP7227763B2 (ja) 車載処理装置、位置推定方法、出庫システム
JP2023039626A (ja) 車載処理装置、車両制御装置、及び自己位置推定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220902

R150 Certificate of patent or registration of utility model

Ref document number: 7137359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150