JP2019191133A - 位置推定装置 - Google Patents
位置推定装置 Download PDFInfo
- Publication number
- JP2019191133A JP2019191133A JP2018087826A JP2018087826A JP2019191133A JP 2019191133 A JP2019191133 A JP 2019191133A JP 2018087826 A JP2018087826 A JP 2018087826A JP 2018087826 A JP2018087826 A JP 2018087826A JP 2019191133 A JP2019191133 A JP 2019191133A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging device
- current position
- error
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 211
- 238000012937 correction Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 239000004277 Ferrous carbonate Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Measurement Of Optical Distance (AREA)
- Astronomy & Astrophysics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
撮像装置を搭載した移動体の現在位置を推定する位置推定装置であって、
前記移動体の現在位置を推定する現在位置推定手段と、
該現在位置推定手段により推定された現在位置に基づいて複数の仮想位置を作成する仮想位置作成手段と、
前記撮像装置により前記複数の仮想位置で撮像したと仮定した場合の複数の仮想画像をそれぞれ作成する仮想画像作成手段と、
前記複数の仮想画像を前記撮像装置により前記現在位置で撮像された画像と比較してそれぞれの比較誤差を算出する画像マッチング手段と、
前記撮像装置により取得された情報と、前記現在位置推定手段で得られた前記移動体の現在位置誤差の情報との少なくとも一つに基づいて重みを算出し、該重みを用いて前記それぞれの比較誤差に重み付けを行う重み付け手段と、
前記現在位置推定手段で推定されている現在位置を前記重み付けされた比較誤差に基づいて補正する位置補正手段と、
を有することを特徴とする。
位置推定装置1は,撮像装置を搭載した移動体の現在位置を推定するものであり、自動車またはロボットなどの移動体100に搭載されている。位置推定装置1は,一台以上の撮像装置12(12a,12b,・・・12n)と,情報処理装置13を有する。撮像装置12は,例えばスチルカメラまたはビデオカメラである。また,撮像装置12は単眼カメラまたは複眼カメラでもよい。
現在位置推定手段201は,移動体100の現在位置を推定する手段である。現在位置推定手段201は,例えば,絶対位置を推定するGPSで構成する。また,現在位置推定手段201は,ある基準点から相対位置を推定するオドメトリで構成してもよい。前述のGPSやオドメトリに基づく位置推定手法には,位置誤差が発生するが,後述する位置補正手段211で補正する。
地図情報401,402,403は地図19に記載された情報である。仮想画像404Aは仮想位置302Aから撮像装置12a,撮像装置12b,・・・撮像装置12nにより撮像したと仮定した場合の画像であり,仮想画像404Nは仮想位置302Nから撮像装置12a,撮像装置12b,・・・撮像装置12nで撮像したと仮定した場合の画像である。この時,地図19に対する座標303Aと座標303Nの位置と撮像装置12a,撮像装置12b,・・・撮像装置12nの内部パラメータは既知であるため,地図情報401,402,403は仮想画像404A上で情報401A,402A,403Aとして映し出され,仮想画像404N上で情報401N,402N,403Nとして映し出される。
図5Aは、キャリブレーション誤差による重みを算出する方法の一例を説明する図であり、撮像装置12a,撮像装置12b,・・・撮像装置12nのキャリブレーションパラメータを用いた重み付けを表す。撮像装置キャリブレーション誤差推定手段210aで、撮像装置12a,撮像装置12b,・・・撮像装置12nのそれぞれのキャリブレーション誤差を推定する。
λc = I/(U×V)・・・(1)
λs = J/(U×V)・・・(2)
画像511は現在位置から撮像装置12a,撮像装置12b,・・・撮像装置12nが取得した画像である。
この時,静止物513の影514の影響で,画像511の一部が暗くなった(強度が0になった)。この時の画像511は、暗いピクセルが多いため,画像511で位置推定を行う場合,誤差が大きくなる。従って,明るいピクセル(強度=100%)と暗いピクセル(強度=0%)の個数をパラメータKで表す。明るいピクセル(強度=100%),又は暗いピクセル(強度=0%)が増えると,信頼度が低くなるため,ピクセル強度による重みλIは、式(3)を用いて算出される。
λI = 1−K/(U×V)・・・(3)
EiB(u,v) = |色r−色B|
・
・
・
EiN(u,v) = |色r−色N|
EiB’=[EiB(1,0)+・・・+EiB(U,V)]/(U×V)
・
・
・
EiN’=[EiN(1,0)+・・・+EiN(U,V)]/(U×V)
EsB(u,v) = |距離r−距離B|
・
・
・
EsN(u,v) = |距離r−距離N|
EsB’=[EsB(1,0)+・・・+EsB(U,V)]/(U×V)
・
・
・
EsN’=[EsN(1,0)+・・・+EsN(U,V)]/(U×V)
EfB = (Wi・EiB’+Ws・EsB’)/(Wi+Ws)
・
・
・
EfN = (Wi・EiN’+Ws・EsN’)/(Wi+Ws)
Y=YA
Z=ZA
Y=(YA/EfA+・・・+YN/EfN)/(1/EfA+・・・+1/EfN)
Z=(ZA/EfA+・・・+ZN/EfN)/(1/EfA+・・・+1/EfN)
・・・(12)
図7Aの道路700aは移動体100が走行中の道路である。誤差701aは,現在位置誤差推定手段210dで得られた現在位置誤差である。影702は,移動体100が走行している道路700の上にある影である。実施例の説明のため,以下の条件(a1)〜(f1)とする。
(a1)撮像装置キャリブレーション誤差推定手段210aで得られた誤差が大きい
(b1)特徴点抽出手段210bで抽出した特徴点数が多い
(c1)視差画像誤差推定手段210cで得られた視差画像誤差が小さい
(d1)現在位置誤差推定手段210dで推定した現在位置誤差701aが小さい
(e1)影702のため,画像強度取得手段210eで得られた強度の低いピクセルの数が多い
(f1)画像解像度取得手段210fで取得した画像解像度が高い
(a2)撮像装置キャリブレーション誤差推定手段210aで得られたキャリブレーション誤差が小さい
(b2)特徴点抽出手段210bで抽出した特徴点数が多い
(c2)視差画像誤差推定手段210cで得られた視差画像誤差が大きい
(d2)現在位置誤差推定手段210dで推定した現在位置誤差701bが大きい
(e2)明るすぎるピクセルと暗すぎるピクセルはないため,画像強度取得手段210eで得られた強度の低いピクセルか強度の高いピクセルが少ない
(f2)画像解像度取得手段210fで取得した画像解像度が高い
道路800は移動体100が走行している道路である。走行可能な領域801aは道路800の走行可能な領域である。走行禁止領域801bは,道路800の一時的に走行できない領域である。障害物802は,走行禁止領域801を区別するための障害物である。経路803は,障害物802を避けるために作成された経路である。移動体804は走行可能な領域801aの先行車である。推定した誤差805は移動体100の現在位置誤差推定手段210dで推定した誤差である。
道路900は,移動体100が走行中の道路である。位置誤差901は,重み付け手段210の現在位置誤差推定手段210dで推定した移動体100の現在位置誤差である。画像902は,撮像装置12a,撮像装置12b,・・・撮像装置12nで取得した画像である。
12 撮像装置
13 情報処理装置
14 画像処理部
15 制御部
16 メモリ
17 表示部
100 移動体
Claims (5)
- 撮像装置を搭載した移動体の現在位置を推定する位置推定装置であって、
前記移動体の現在位置を推定する現在位置推定手段と、
該現在位置推定手段により推定された現在位置に基づいて複数の仮想位置を作成する仮想位置作成手段と、
前記撮像装置により前記複数の仮想位置で撮像したと仮定した場合の複数の仮想画像をそれぞれ作成する仮想画像作成手段と、
前記複数の仮想画像を前記撮像装置により前記現在位置で撮像された画像と比較してそれぞれの比較誤差を算出する画像マッチング手段と、
前記撮像装置により取得された情報と、前記現在位置推定手段で得られた前記移動体の現在位置誤差の情報との少なくとも一つに基づいて重みを算出し、該重みを用いて前記それぞれの比較誤差に重み付けを行う重み付け手段と、
前記現在位置推定手段で推定されている現在位置を前記重み付けされた比較誤差に基づいて補正する位置補正手段と、
を有することを特徴とする位置推定装置。 - 前記位置補正手段は、前記複数の仮想位置の中から前記重み付けされた比較誤差が最も小さい仮想位置を前記移動体の現在位置とすることを特徴とする請求項1に記載の位置推定装置。
- 前記移動体の現在位置誤差の情報に基づいて、前記仮想位置の個数と現在位置からの間隔を調整することを特徴とする請求項1または2に記載の位置推定装置。
- 前記移動体の現在位置誤差の情報に基づいて、前記撮像装置の画像解像度を変更することを特徴とする請求項1から請求項3のいずれか一項に記載の位置推定装置。
- 前記撮像装置により取得された情報には、
前記撮像装置のキャリブレーション誤差の情報と、
前記撮像装置により撮像された画像上の特徴点の情報と、
前記撮像装置により撮像された画像から視差画像を作成する際の視差画像誤差の情報と、
前記撮像装置により撮像された画像から取得された画像強度の情報と、
前記撮像装置により撮像された画像から取得された画像解像度の情報と、
の少なくとも一つが含まれることを特徴とする請求項1から請求項4のいずれか一項に記載の位置推定装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018087826A JP7190261B2 (ja) | 2018-04-27 | 2018-04-27 | 位置推定装置 |
PCT/JP2019/013964 WO2019208101A1 (ja) | 2018-04-27 | 2019-03-29 | 位置推定装置 |
DE112019001542.7T DE112019001542T5 (de) | 2018-04-27 | 2019-03-29 | Positionsschätzvorrichtung |
US17/049,656 US11538241B2 (en) | 2018-04-27 | 2019-03-29 | Position estimating device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018087826A JP7190261B2 (ja) | 2018-04-27 | 2018-04-27 | 位置推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019191133A true JP2019191133A (ja) | 2019-10-31 |
JP7190261B2 JP7190261B2 (ja) | 2022-12-15 |
Family
ID=68295223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018087826A Active JP7190261B2 (ja) | 2018-04-27 | 2018-04-27 | 位置推定装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11538241B2 (ja) |
JP (1) | JP7190261B2 (ja) |
DE (1) | DE112019001542T5 (ja) |
WO (1) | WO2019208101A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7468392B2 (ja) | 2021-02-12 | 2024-04-16 | 株式会社豊田自動織機 | 自己位置推定装置 |
WO2024143040A1 (ja) * | 2022-12-27 | 2024-07-04 | 京セラドキュメントソリューションズ株式会社 | 移動体制御システム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019002662A1 (de) * | 2019-04-10 | 2020-10-15 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren zur Auswertung von Radarsystemen |
US11372091B2 (en) * | 2019-06-28 | 2022-06-28 | Toyota Research Institute, Inc. | Systems and methods for correcting parallax |
JP7259032B2 (ja) * | 2019-07-11 | 2023-04-17 | 日立Astemo株式会社 | 車両制御装置 |
JP7409330B2 (ja) * | 2021-01-28 | 2024-01-09 | トヨタ自動車株式会社 | 自己位置推定精度検証方法、自己位置推定システム |
JP2022132882A (ja) * | 2021-03-01 | 2022-09-13 | キヤノン株式会社 | ナビゲーションシステム、ナビゲーション方法およびプログラム |
JP2023065760A (ja) * | 2021-10-28 | 2023-05-15 | セイコーエプソン株式会社 | 回路装置及びヘッドアップディスプレイ装置 |
JP7274707B1 (ja) | 2021-12-13 | 2023-05-17 | アイサンテクノロジー株式会社 | 評価システム、コンピュータプログラム、及び評価方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090393A (ja) * | 1998-09-16 | 2000-03-31 | Sumitomo Electric Ind Ltd | 車載型走行路環境認識装置 |
JP2005326168A (ja) * | 2004-05-12 | 2005-11-24 | Fuji Photo Film Co Ltd | 運転支援システム、車両、および運転支援方法 |
JP2007255979A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP2008175717A (ja) * | 2007-01-19 | 2008-07-31 | Xanavi Informatics Corp | 現在位置算出装置、現在位置算出方法 |
JP2010286298A (ja) * | 2009-06-10 | 2010-12-24 | Sanyo Electric Co Ltd | 位置表示装置 |
WO2013133129A1 (ja) * | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 |
JP2016188806A (ja) * | 2015-03-30 | 2016-11-04 | シャープ株式会社 | 移動体及びシステム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8126642B2 (en) * | 2008-10-24 | 2012-02-28 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
US10533850B2 (en) * | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
US9802317B1 (en) * | 2015-04-24 | 2017-10-31 | X Development Llc | Methods and systems for remote perception assistance to facilitate robotic object manipulation |
US9652896B1 (en) * | 2015-10-30 | 2017-05-16 | Snap Inc. | Image based tracking in augmented reality systems |
JP6232649B2 (ja) * | 2016-02-18 | 2017-11-22 | 国立大学法人名古屋大学 | 仮想空間表示システム |
DE112016006521T5 (de) * | 2016-03-28 | 2018-11-22 | Hitachi High-Technologies Corporation | Ladungsträgerstrahlvorrichtung und Verfahren zum Einstellen der Ladungsträgerstrahlvorrichtung |
KR20180051836A (ko) * | 2016-11-09 | 2018-05-17 | 삼성전자주식회사 | 주행 차량을 위한 가상의 주행 차선을 생성하는 방법 및 장치 |
DE102017222534B3 (de) * | 2017-12-12 | 2019-06-13 | Volkswagen Aktiengesellschaft | Verfahren, computerlesbares Speichermedium mit Instruktionen, Vorrichtung und System zum Einmessen einer Augmented-Reality-Brille in einem Fahrzeug, für das Verfahren geeignetes Fahrzeug und für das Verfahren geeignete Augmented-Reality-Brille |
US10657721B2 (en) * | 2018-02-09 | 2020-05-19 | Paccar Inc | Systems and methods for providing augmented reality support for vehicle service operations |
CN111886636A (zh) * | 2018-03-13 | 2020-11-03 | 三菱电机株式会社 | 显示控制装置、显示装置和显示控制方法 |
US10767997B1 (en) * | 2019-02-25 | 2020-09-08 | Qualcomm Incorporated | Systems and methods for providing immersive extended reality experiences on moving platforms |
US10719966B1 (en) * | 2019-06-11 | 2020-07-21 | Allstate Insurance Company | Accident re-creation using augmented reality |
-
2018
- 2018-04-27 JP JP2018087826A patent/JP7190261B2/ja active Active
-
2019
- 2019-03-29 WO PCT/JP2019/013964 patent/WO2019208101A1/ja active Application Filing
- 2019-03-29 US US17/049,656 patent/US11538241B2/en active Active
- 2019-03-29 DE DE112019001542.7T patent/DE112019001542T5/de active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090393A (ja) * | 1998-09-16 | 2000-03-31 | Sumitomo Electric Ind Ltd | 車載型走行路環境認識装置 |
JP2005326168A (ja) * | 2004-05-12 | 2005-11-24 | Fuji Photo Film Co Ltd | 運転支援システム、車両、および運転支援方法 |
JP2007255979A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP2008175717A (ja) * | 2007-01-19 | 2008-07-31 | Xanavi Informatics Corp | 現在位置算出装置、現在位置算出方法 |
JP2010286298A (ja) * | 2009-06-10 | 2010-12-24 | Sanyo Electric Co Ltd | 位置表示装置 |
WO2013133129A1 (ja) * | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 |
JP2016188806A (ja) * | 2015-03-30 | 2016-11-04 | シャープ株式会社 | 移動体及びシステム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7468392B2 (ja) | 2021-02-12 | 2024-04-16 | 株式会社豊田自動織機 | 自己位置推定装置 |
WO2024143040A1 (ja) * | 2022-12-27 | 2024-07-04 | 京セラドキュメントソリューションズ株式会社 | 移動体制御システム |
Also Published As
Publication number | Publication date |
---|---|
US11538241B2 (en) | 2022-12-27 |
WO2019208101A1 (ja) | 2019-10-31 |
US20210256260A1 (en) | 2021-08-19 |
JP7190261B2 (ja) | 2022-12-15 |
DE112019001542T5 (de) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019208101A1 (ja) | 位置推定装置 | |
CA3028653C (en) | Methods and systems for color point cloud generation | |
CA3027921C (en) | Integrated sensor calibration in natural scenes | |
CN111448478A (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
US11061122B2 (en) | High-definition map acquisition system | |
US11151729B2 (en) | Mobile entity position estimation device and position estimation method | |
US20200341150A1 (en) | Systems and methods for constructing a high-definition map based on landmarks | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
US11132813B2 (en) | Distance estimation apparatus and method | |
WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
WO2018225480A1 (ja) | 位置推定装置 | |
WO2020230410A1 (ja) | 移動体 | |
AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
JP7302966B2 (ja) | 移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7190261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |