JP2017528685A - 車両位置の推定 - Google Patents
車両位置の推定 Download PDFInfo
- Publication number
- JP2017528685A JP2017528685A JP2016570854A JP2016570854A JP2017528685A JP 2017528685 A JP2017528685 A JP 2017528685A JP 2016570854 A JP2016570854 A JP 2016570854A JP 2016570854 A JP2016570854 A JP 2016570854A JP 2017528685 A JP2017528685 A JP 2017528685A
- Authority
- JP
- Japan
- Prior art keywords
- image
- environment
- transformed
- images
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000005286 illumination Methods 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 13
- 238000000844 transformation Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 241000961787 Josa Species 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Navigation (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
ii)画像系列から1つ以上の変換画像系列を生成し、系列からの画像は、変換画像系列内の変換画像を与えるために既に変換が施されている。
i)画像系列と、
ii)別の変換画像系列
のうちの少なくとも1つからの1つ以上の画像とを、環境の表現と比較する。
v)可搬式装置を1つ以上の対応する特徴の位置に従って位置推定する。
通常、本方法は車両(例えば乗用車、ワゴン車、トラック等)に適用され、特に、自身でナビゲーションを行うように構成されている車両に適用される。しかし、実施形態を他の装置に適用してもよい。
画像系列は、光学カメラ、立体光学カメラ、熱探知カメラのうちのいずれかを用いて取得されると好都合である。
画像に対して行われる変換は、画像を、照明不変色空間、グレースケール、未変換画像のものとは異なる別の色空間(例えばHSV(Hue Saturation Value)、LABまたはYUV色空間(ここでYはルマ成分であり、UVはそれぞれがクロミナンス成分)のうちの1つに変換すると好都合である。
装置の周囲の環境の画像系列を生成するように構成されているセンサと、
i)画像系列から1つ以上の変換画像系列を生成し、画像系列からの画像は、変換画像系列内の変換画像を与えるために、既に変換が施されていて、
ii)変換画像系列からの1つ以上の画像と、
a)画像系列と、b)別の変換画像系列のうちの少なくとも1つからの1つ以上の画像とを、環境の格納表現と比較し、
iii)比較中に、画像及び/または変換画像、並びに格納表現内の、対応する特徴を特定し、
iv)装置を1つ以上の対応する特徴の位置に従って位置推定する、
ように構成されている処理回路と、
のうちの少なくともいくつかを備えている。
ii)画像系列から1つ以上の変換画像系列を生成し、画像系列からの画像は、変換画像系列内の変換画像を与えるために既に変換が施されている。
a)画像系列と、
b)別の変換画像系列
のうちの少なくとも1つからの1つ以上の画像とを、環境の格納表現と比較する。
v)可搬式装置を1つ以上の対応する特徴の位置に従って位置推定する。
カメラを用いて、環境の少なくとも一部を表す画像を生成し、
画像を処理して、環境の一部を照明不変色空間で表す変換画像に変換し、
変換画像を処理して、変換画像内の環境の特徴を認識し、
可搬式装置を、座標系内で、1つ以上の認識要素の位置に従って位置推定する。
装置の周囲の環境の画像系列を生成するように構成されているセンサと、
i)画像を処理して、環境の一部を照明不変色空間で表す変換画像に変換し、
ii)変換画像を処理して、変換画像内の環境の要素を認識し、
iii)可搬式装置を、座標系内で、1つ以上の認識要素の位置に従って位置推定して、装置の座標を生成する
ように構成されている処理回路と、
のうちの少なくともいくつかを備えている。
i)装置の周囲の環境の画像系列を取得する。
iii)変換画像を処理して、変換画像内の環境の要素を認識する。
iv)可搬式装置を、座標系内で、1つ以上の認識要素の位置に従って位置推定する。
当業者であれば、本発明の態様のうちのいずれか1つに関連する上記で述べた特徴を、必要に応じて変更を加えて、本発明の任意の他の態様に適用してもよいことを理解されよう。
使用時には、車両102上で用いられる実施形態は、VOシステムの出力を処理するとともに、先に格納されたパラメータによって構成された表現を処理するようにも構成されている。表現に対する現在の画像ストリームの位置を推定するために、各実施形態は、上述したものと同様のVOパイプラインを使用するように構成されている。しかし、ライブで実行中のVOパイプラインは、前のカメラフレームへのマッチングの代わりに、表現内部に保持されている1つ以上のキーフレームへのマッチングを行うように構成されている。
上述したように、説明中の実施形態を含む少なくともいくつかの実施形態では、VO処理を簡素化するためにパッチベースでの処理を用いている。このパッチベースでの処理を用いている実施形態は、ライブビュー(つまりカメラ104,106から出力された現在の画像)を調査ビューと(つまり格納画像を備え得る表現に対して)マッチングさせる際に頑健さが向上するので効果的である。このパッチベースの手法は、ライブフレーム(例えばカメラ104,106から出力された画像)内で調査フレーム(例えば表現キーフレーム)がどのように再投影されるのかを予測しようとしている。実施形態のうちの少なくともいくつかは、マップ内の不確実性、計測値、前の姿勢の推定、及び最新のVO推定を用いて、ある表現画像からカメラ104,106からの現在の画像内に再投影された計測値の共分散を算出するように構成されている。そして次に、共分散を用いて、図10に示されている(後述)ようにライブビュー内の探索範囲を画定することができる。このような探索範囲を生成する実施形態は、不良データを関連付ける可能性を低減するので効果的である。
したがって、単にベイヤーフィルタのピークスペクトル感度の情報のみがある任意のカメラに対して、αはただ1つに定まる。αの値は、多くの場合、データソースが与えられたデータシートから得られる。例えばPointGrey社製のカメラBumblebee2の場合、α=0.4800である。
局所座標系フレームR602を有する既知の3D光景Sにおける位置A604に車両102がある場合、各実施形態は、図6に図示されているように、位置A604で取り込まれた1つの照明不変画像IAのみを用いて変換GARを探索する。既知の3D光景Sは調査車両によってサンプリングされた(つまり上述の表現によって与えられる)点群からなり、ここで各点
位置A604から見た点qの見掛けIAは、点qを以下のカメラ投影パラメータκを用いて画像平面x上に再投影することによって見いだせる。
式11から目的関数にNIDを代入すると、以下の式が得られる。
一実施形態において、上記の式12の最小化問題は、準ニュートンBFGS法を用いて解決される。この方法は、N.Jorge及びJ.W.Stephen「Numerical optimization」(シュプリンガー出版、米国、1999年)において説明されており、Bスプライン補間を用いて得られた、A.D.Stewart及びP.Newman「Laps−localization using appearance of prior structure: 6−dof monocular camera localization using prior pointclouds」Robotics and Automation (ICRA),2012 IEEE International Conference(IEEE,2012年、2625〜2632ページ)に提示された解析的微分を用いて、Ceres(S.Agarwal,K.Mierle他「Ceres solver」https://code.google.com/p/ceres−solver/)において論じられている。あるセットアップにおいて、費用関数はOpenCL言語で構築され、Nvidia社製GTX Titan GPUを用いて解き、要する時間は1評価あたり約8ミリ秒である。このような処理時間により、本明細書で説明されている実施形態をリアルタイムと見なしてもよい状況において利用することができる。ここでリアルタイムとは、車両が移動するときに、本明細書で説明されている実施形態によって提供される位置推定を用いて車両102の位置を確立することができるようなことを意味することを意図している。
Claims (17)
- 可搬式装置を該装置の周囲の環境内で位置推定する、電算化された方法であって、
前記環境の画像系列を取得し、
前記画像系列から1つ以上の変換画像系列を生成し、前記画像系列からの画像は、前記変換画像系列内の変換画像を与えるために既に変換が施されていて、
処理回路を使用して、前記変換画像系列からの1つ以上の画像と、
i)前記画像系列と、
ii)別の変換画像系列
のうちの少なくとも1つからの1つ以上の画像とを、前記環境の表現と比較し、
前記比較は、前記画像及び/または変換画像、並びに前記表現内の、対応する特徴を特定し、
前記可搬式装置を前記1つ以上の対応する特徴の位置に従って位置推定する、方法。 - 前記画像系列と1つの変換画像系列を、それぞれ格納された表現と比較する、請求項1記載の方法。
- 2つの変換画像系列では、各系列を構成する前記画像が前記画像系列に対する異なる変換によって既に生成されており、前記2つの変換画像系列を、それぞれ格納された表現と比較する、請求項1記載の方法。
- 前記方法は、前記2つの比較のうちの一方を選定し、前記装置の位置推定のために使用する、請求項2または3に記載の方法。
- 前記環境の前記表現は、1つ以上の格納画像系列によって与えられる、請求項1から4のいずれか1項に記載の方法。
- 前記比較のうちの少なくとも1つが実行されるために、前記格納画像系列には変換が施される、請求項5記載の方法。
- 前記環境の前記表現は、3D点群であってもよい前記環境の3Dモデルである、請求項1から4のいずれか1項に記載の方法。
- 前記画像系列は、光学カメラ、立体光学カメラ、熱探知カメラのうちのいずれかを用いて取得される、請求項1から7のいずれか1項に記載の方法。
- 前記画像系列内の前記画像はRGB色空間の範囲内にある、請求項1から8のいずれか1項に記載の方法。
- 画像に対して行われる変換は、前記画像を、照明不変色空間とグレースケールのうちの1つに変換する、請求項1から9のいずれか1項に記載の方法。
- 環境内で自身の位置推定を行うように構成されている装置であって、
前記装置の周囲の環境の画像系列を生成するように構成されているセンサと、
i)前記画像系列から1つ以上の変換画像系列を生成し、前記画像系列からの画像は、前記変換画像系列内の変換画像を与えるために、既に変換が施されていて、
ii)前記変換画像系列からの1つ以上の画像と、
a)前記画像系列と、b)別の変換画像系列のうちの少なくとも1つからの1つ以上の画像とを、前記環境の格納表現と比較し、
iii)前記比較中に、前記画像及び/または前記変換画像、並びに前記格納表現内の、対応する特徴を特定し、
iv)前記装置を前記1つ以上の対応する特徴の位置に従って位置推定する、
ように構成されている処理回路と、
を備えている、装置。 - 機械可読媒体であって、
コンピュータによって読み取られると、前記コンピュータに、
i)前記装置の周囲の環境の画像系列を取得し、
ii)前記画像系列から1つ以上の変換画像系列を生成し、前記画像系列からの画像は、前記変換画像系列内の変換画像を与えるために既に変換が施されていて、
iii)前記変換画像系列からの1つ以上の画像と、
a)前記画像系列と、
b)別の変換画像系列
のうちの少なくとも1つからの1つ以上の画像とを、前記環境の格納表現と比較し、
iv)前記比較は、前記画像及び/または変換画像、並びに前記表現内の、対応する特徴を特定するように構成されており、
v)前記可搬式装置を前記1つ以上の対応する特徴の位置に従って位置推定する、
ことを行わせる命令を収容している媒体。 - 可搬式装置のメトリックな位置推定を前記可搬式装置の周囲の環境を表す座標系内で行うコンピュータによって実行される方法であって、前記座標系に対する前記可搬式装置の座標を決定する位置推定方法であり、
センサを用いて、前記環境の少なくとも一部を表す画像を生成し、
前記画像を処理して、前記環境の前記一部を照明不変色空間で表す変換画像に変換し、
前記変換画像を処理して、前記変換画像内の前記環境の特徴を認識し、
前記可搬式装置を、前記座標系内で、前記1つ以上の認識要素の位置に従って位置推定する、方法。 - 前記変換はグレースケール照明不変色空間への数学的変換である、請求項13記載の方法。
- 前記メトリックな位置推定は、6自由度のメトリックな位置推定である、請求項13または14に記載の方法。
- 可搬式装置の周囲の環境を表す座標系内で自身のメトリックな位置推定を行うように構成されている装置であって、
前記装置の周囲の環境の画像系列を生成するように構成されているセンサと、
i)前記画像を処理して、前記環境の前記一部を照明不変色空間で表す変換画像に変換し、
ii)前記変換画像を処理して、前記変換画像内の前記環境の要素を認識し、
iii)前記可搬式装置を、前記座標系内で、前記1つ以上の認識要素の位置に従って位置推定して、前記装置の座標を生成する
ように構成されている処理回路と、
を備えている、装置。 - コンピュータによって読み取られると、前記コンピュータに、可搬式装置のメトリックな位置推定を、前記可搬式装置の周囲の環境を表す座標系内で行わせる命令を収容している機械可読媒体であって、
i)前記装置の周囲の環境の画像系列を取得し、
ii)前記画像を処理して、前記環境の一部を照明不変色空間で表す変換画像に変換し、
iii)前記変換画像を処理して、前記変換画像内の前記環境の要素を認識し、
iv)前記可搬式装置を、前記座標系内で、前記1つ以上の認識要素の位置に従って位置推定する
ことを行わせる命令を収容している媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1409625.9 | 2014-05-30 | ||
GBGB1409625.9A GB201409625D0 (en) | 2014-05-30 | 2014-05-30 | Vehicle localisation |
PCT/GB2015/051566 WO2015181561A1 (en) | 2014-05-30 | 2015-05-29 | Vehicle localisation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017528685A true JP2017528685A (ja) | 2017-09-28 |
JP2017528685A5 JP2017528685A5 (ja) | 2018-07-05 |
JP6586430B2 JP6586430B2 (ja) | 2019-10-02 |
Family
ID=51214474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016570854A Active JP6586430B2 (ja) | 2014-05-30 | 2015-05-29 | 車両位置の推定 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10255680B2 (ja) |
EP (1) | EP3149704B1 (ja) |
JP (1) | JP6586430B2 (ja) |
KR (1) | KR20170012316A (ja) |
CN (1) | CN106462970A (ja) |
GB (1) | GB201409625D0 (ja) |
WO (1) | WO2015181561A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019508717A (ja) * | 2016-03-03 | 2019-03-28 | フォーディ インテレクチュアル プロパティーズ エルエルシー4D Intellectual Properties,Llc | 画像取得および解析用の能動パルス式4dカメラのための方法および装置 |
JP2020012735A (ja) * | 2018-07-18 | 2020-01-23 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
JP2020030795A (ja) * | 2018-08-23 | 2020-02-27 | 富士ゼロックス株式会社 | 地図画像背景から位置を推定するためのシステム、方法、及びプログラム |
CN112004696A (zh) * | 2018-05-01 | 2020-11-27 | 大陆汽车系统公司 | 牵引车辆和拖车的对准 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201301281D0 (en) | 2013-01-24 | 2013-03-06 | Isis Innovation | A Method of detecting structural parts of a scene |
GB201303076D0 (en) | 2013-02-21 | 2013-04-10 | Isis Innovation | Generation of 3D models of an environment |
GB2537681B (en) | 2015-04-24 | 2018-04-25 | Univ Oxford Innovation Ltd | A method of detecting objects within a 3D environment |
US11067996B2 (en) | 2016-09-08 | 2021-07-20 | Siemens Industry Software Inc. | Event-driven region of interest management |
US10317901B2 (en) | 2016-09-08 | 2019-06-11 | Mentor Graphics Development (Deutschland) Gmbh | Low-level sensor fusion |
US10520904B2 (en) | 2016-09-08 | 2019-12-31 | Mentor Graphics Corporation | Event classification and object tracking |
US10678240B2 (en) | 2016-09-08 | 2020-06-09 | Mentor Graphics Corporation | Sensor modification based on an annotated environmental model |
JP7061964B2 (ja) * | 2016-11-01 | 2022-05-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | データ生成方法及びデータ生成装置 |
US10515390B2 (en) | 2016-11-21 | 2019-12-24 | Nio Usa, Inc. | Method and system for data optimization |
US10471829B2 (en) | 2017-01-16 | 2019-11-12 | Nio Usa, Inc. | Self-destruct zone and autonomous vehicle navigation |
US10286915B2 (en) | 2017-01-17 | 2019-05-14 | Nio Usa, Inc. | Machine learning for personalized driving |
US10884409B2 (en) | 2017-05-01 | 2021-01-05 | Mentor Graphics (Deutschland) Gmbh | Training of machine learning sensor data classification system |
US10234302B2 (en) | 2017-06-27 | 2019-03-19 | Nio Usa, Inc. | Adaptive route and motion planning based on learned external and internal vehicle environment |
US10837790B2 (en) | 2017-08-01 | 2020-11-17 | Nio Usa, Inc. | Productive and accident-free driving modes for a vehicle |
US10635109B2 (en) | 2017-10-17 | 2020-04-28 | Nio Usa, Inc. | Vehicle path-planner monitor and controller |
US10635116B2 (en) * | 2017-10-19 | 2020-04-28 | Ford Global Technologies, Llc | Video calibration with illumination invariant image |
US10606274B2 (en) | 2017-10-30 | 2020-03-31 | Nio Usa, Inc. | Visual place recognition based self-localization for autonomous vehicles |
US10935978B2 (en) | 2017-10-30 | 2021-03-02 | Nio Usa, Inc. | Vehicle self-localization using particle filters and visual odometry |
GB201800811D0 (en) * | 2018-01-18 | 2018-03-07 | Univ Oxford Innovation Ltd | Localising a vehicle |
US10553044B2 (en) | 2018-01-31 | 2020-02-04 | Mentor Graphics Development (Deutschland) Gmbh | Self-diagnosis of faults with a secondary system in an autonomous driving system |
US11145146B2 (en) | 2018-01-31 | 2021-10-12 | Mentor Graphics (Deutschland) Gmbh | Self-diagnosis of faults in an autonomous driving system |
US10789487B2 (en) | 2018-04-05 | 2020-09-29 | Here Global B.V. | Method, apparatus, and system for determining polyline homogeneity |
DE102018113344A1 (de) * | 2018-06-05 | 2019-12-05 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung nach einer Lernfahrt; Steuereinrichtung sowie Fahrassistenzsystem |
CN116088783A (zh) * | 2018-07-24 | 2023-05-09 | 奇跃公司 | 用于确定和/或评价图像显示设备的定位地图的方法和装置 |
CN109934230A (zh) * | 2018-09-05 | 2019-06-25 | 浙江大学 | 一种基于视觉辅助的雷达点云分割方法 |
CN111238494B (zh) | 2018-11-29 | 2022-07-19 | 财团法人工业技术研究院 | 载具、载具定位系统及载具定位方法 |
CA3122868A1 (en) * | 2018-12-13 | 2020-06-18 | Continental Automotive Gmbh | Method and system for generating an environment model for positioning |
US10922840B2 (en) | 2018-12-20 | 2021-02-16 | Here Global B.V. | Method and apparatus for localization of position data |
US11112252B2 (en) * | 2019-02-14 | 2021-09-07 | Hitachi Ltd. | Sensor fusion for accurate localization |
DE102019208384A1 (de) * | 2019-06-07 | 2020-12-10 | Robert Bosch Gmbh | Verfahren zum Erstellen einer universell einsetzbaren Merkmalskarte |
US11915449B2 (en) | 2019-06-14 | 2024-02-27 | Korea University Research And Business Foundation | Method and apparatus for estimating user pose using three-dimensional virtual space model |
KR102387797B1 (ko) * | 2019-06-14 | 2022-04-19 | 고려대학교 산학협력단 | 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치 |
US11872965B2 (en) * | 2020-05-11 | 2024-01-16 | Hunter Engineering Company | System and method for gyroscopic placement of vehicle ADAS targets |
US11509875B1 (en) | 2021-08-06 | 2022-11-22 | Ford Global Technologies, Llc | Enhanced color consistency for imaging |
CN113581256B (zh) * | 2021-09-02 | 2023-05-30 | 浙江众合科技股份有限公司 | 一种基于bim和gis技术的列车自主定位方法和系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002048513A (ja) * | 2000-05-26 | 2002-02-15 | Honda Motor Co Ltd | 位置検出装置、位置検出方法、及び位置検出プログラム |
US20050031167A1 (en) * | 2003-08-04 | 2005-02-10 | Guohui Hu | Method of three dimensional positioning using feature matching |
JP2010515135A (ja) * | 2006-12-29 | 2010-05-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | カメラからのカメラ画像に基づいて位置を判定する装置、方法およびコンピュータ・プログラム |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3538476B2 (ja) | 1995-05-12 | 2004-06-14 | 本田技研工業株式会社 | 車両の走行路区分線などの認識装置 |
JP3052286B2 (ja) | 1997-08-28 | 2000-06-12 | 防衛庁技術研究本部長 | 飛行システムおよび航空機用擬似視界形成装置 |
US7068808B1 (en) * | 1998-06-10 | 2006-06-27 | Prokoski Francine J | Method and apparatus for alignment, comparison and identification of characteristic tool marks, including ballistic signatures |
US6711475B2 (en) | 2000-03-16 | 2004-03-23 | The Johns Hopkins University | Light detection and ranging (LIDAR) mapping system |
US20110285842A1 (en) * | 2002-06-04 | 2011-11-24 | General Electric Company | Mobile device positioning system and method |
WO2004042662A1 (en) | 2002-10-15 | 2004-05-21 | University Of Southern California | Augmented virtual environments |
US6879279B2 (en) | 2003-01-14 | 2005-04-12 | The Regents Of The University Of California | Differential optical synthetic aperture radar |
DE10305861A1 (de) | 2003-02-13 | 2004-08-26 | Adam Opel Ag | Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges |
US7474332B2 (en) | 2003-08-28 | 2009-01-06 | Raytheon Company | Synthetic aperture ladar system and method using real-time holography |
WO2005054799A2 (en) | 2003-11-26 | 2005-06-16 | Florida Environmental Research Institute, Inc. | Spectral imaging system |
GB2411532B (en) * | 2004-02-11 | 2010-04-28 | British Broadcasting Corp | Position determination |
US7697748B2 (en) | 2004-07-06 | 2010-04-13 | Dimsdale Engineering, Llc | Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range |
WO2007094765A2 (en) | 2005-02-10 | 2007-08-23 | Sarnoff Corporation | Method and apparatus for performing wide area terrain mapping |
US8625854B2 (en) | 2005-09-09 | 2014-01-07 | Industrial Research Limited | 3D scene scanner and a position and orientation system |
US7417717B2 (en) | 2005-10-05 | 2008-08-26 | Utah State University | System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data |
GB2434269B (en) | 2006-01-17 | 2010-04-28 | 3D Laser Mapping Ltd | Measuring apparatus |
ATE514055T1 (de) | 2007-11-07 | 2011-07-15 | Tele Atlas Bv | Computeranordnung und verfahren zum berechnen von bewegungsvektoren unter verwendung von entfernungsdaten |
EP2093699A1 (en) | 2008-02-19 | 2009-08-26 | British Telecommunications Public Limited Company | Movable object status determination |
US8332134B2 (en) | 2008-04-24 | 2012-12-11 | GM Global Technology Operations LLC | Three-dimensional LIDAR-based clear path detection |
CN101640788B (zh) | 2008-07-29 | 2012-06-20 | 深圳市朗驰欣创科技有限公司 | 一种监控控制方法、装置及监控系统 |
CN101488185B (zh) * | 2009-01-16 | 2010-10-20 | 哈尔滨工程大学 | 基于分块矩阵的步态识别方法 |
JP2011080845A (ja) | 2009-10-06 | 2011-04-21 | Topcon Corp | 3次元データ作成方法及び3次元データ作成装置 |
WO2011120141A1 (en) | 2010-03-31 | 2011-10-06 | Ambercore Software Inc. | Dynamic network adjustment for rigorous integration of passive and active imaging observations into trajectory determination |
CN103038761B (zh) | 2010-04-13 | 2016-07-06 | 视觉智能有限合伙公司 | 自校准的远程成像和数据处理系统 |
WO2011152841A1 (en) | 2010-06-01 | 2011-12-08 | Hewlett-Packard Development Company, L.P. | Replacement of a person or object in an image |
CN102402954B (zh) * | 2010-09-09 | 2016-08-03 | 京东方科技集团股份有限公司 | 液晶显示器的驱动方法及液晶显示器 |
AU2011323798A1 (en) * | 2010-10-25 | 2013-05-02 | Lockheed Martin Corporation | Estimating position and orientation of an underwater vehicle relative to underwater structures |
EP2633339B1 (en) | 2010-10-25 | 2019-02-27 | Lockheed Corp | DETECTION OF STRUCTURAL MODIFICATIONS OF UNDERWATER STRUCTURES |
JP5686342B2 (ja) | 2011-01-28 | 2015-03-18 | 国立大学法人東北大学 | レーザレーダ装置およびレーザ合成開口レーダ装置 |
GB201121216D0 (en) | 2011-12-09 | 2012-01-18 | Isis Innovation | Methods and apparatus for utilising solutions to sat problems |
US9411824B2 (en) * | 2012-10-26 | 2016-08-09 | Lida Huang | Method and apparatus for image retrieval |
GB201301281D0 (en) * | 2013-01-24 | 2013-03-06 | Isis Innovation | A Method of detecting structural parts of a scene |
GB201303076D0 (en) * | 2013-02-21 | 2013-04-10 | Isis Innovation | Generation of 3D models of an environment |
US9058683B2 (en) * | 2013-02-21 | 2015-06-16 | Qualcomm Incorporated | Automatic image rectification for visual search |
US9336436B1 (en) * | 2013-09-30 | 2016-05-10 | Google Inc. | Methods and systems for pedestrian avoidance |
-
2014
- 2014-05-30 GB GBGB1409625.9A patent/GB201409625D0/en not_active Ceased
-
2015
- 2015-05-29 CN CN201580029297.7A patent/CN106462970A/zh active Pending
- 2015-05-29 WO PCT/GB2015/051566 patent/WO2015181561A1/en active Application Filing
- 2015-05-29 US US15/312,430 patent/US10255680B2/en active Active
- 2015-05-29 JP JP2016570854A patent/JP6586430B2/ja active Active
- 2015-05-29 EP EP15727058.8A patent/EP3149704B1/en active Active
- 2015-05-29 KR KR1020167034908A patent/KR20170012316A/ko unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002048513A (ja) * | 2000-05-26 | 2002-02-15 | Honda Motor Co Ltd | 位置検出装置、位置検出方法、及び位置検出プログラム |
US20050031167A1 (en) * | 2003-08-04 | 2005-02-10 | Guohui Hu | Method of three dimensional positioning using feature matching |
JP2010515135A (ja) * | 2006-12-29 | 2010-05-06 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | カメラからのカメラ画像に基づいて位置を判定する装置、方法およびコンピュータ・プログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019508717A (ja) * | 2016-03-03 | 2019-03-28 | フォーディ インテレクチュアル プロパティーズ エルエルシー4D Intellectual Properties,Llc | 画像取得および解析用の能動パルス式4dカメラのための方法および装置 |
CN112004696A (zh) * | 2018-05-01 | 2020-11-27 | 大陆汽车系统公司 | 牵引车辆和拖车的对准 |
JP2021519998A (ja) * | 2018-05-01 | 2021-08-12 | コンチネンタル オートモーティブ システムズ インコーポレイテッドContinental Automotive Systems, Inc. | 牽引車両およびトレーラの位置合わせ |
JP7326334B2 (ja) | 2018-05-01 | 2023-08-15 | コンチネンタル オートモーティブ システムズ インコーポレイテッド | 牽引車両とトレーラとを位置合わせする方法およびシステム |
CN112004696B (zh) * | 2018-05-01 | 2024-04-12 | 大陆汽车系统公司 | 牵引车辆和拖车的对准 |
JP2020012735A (ja) * | 2018-07-18 | 2020-01-23 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
JP7219561B2 (ja) | 2018-07-18 | 2023-02-08 | 日立Astemo株式会社 | 車載環境認識装置 |
JP2020030795A (ja) * | 2018-08-23 | 2020-02-27 | 富士ゼロックス株式会社 | 地図画像背景から位置を推定するためのシステム、方法、及びプログラム |
JP7318239B2 (ja) | 2018-08-23 | 2023-08-01 | 富士フイルムビジネスイノベーション株式会社 | 地図画像背景から位置を推定するためのシステム、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10255680B2 (en) | 2019-04-09 |
WO2015181561A1 (en) | 2015-12-03 |
KR20170012316A (ko) | 2017-02-02 |
JP6586430B2 (ja) | 2019-10-02 |
EP3149704A1 (en) | 2017-04-05 |
EP3149704B1 (en) | 2018-08-01 |
US20170076455A1 (en) | 2017-03-16 |
GB201409625D0 (en) | 2014-07-16 |
CN106462970A (zh) | 2017-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6586430B2 (ja) | 車両位置の推定 | |
AU2013213659B2 (en) | Method and system for using fingerprints to track moving objects in video | |
Correal et al. | Automatic expert system for 3D terrain reconstruction based on stereo vision and histogram matching | |
Hu et al. | A multi-modal system for road detection and segmentation | |
US10373339B2 (en) | Hyperspectral scene analysis via structure from motion | |
Paton et al. | Expanding the limits of vision‐based localization for long‐term route‐following autonomy | |
JP2014071902A5 (ja) | ||
Dai et al. | Building segmentation and outline extraction from UAV image-derived point clouds by a line growing algorithm | |
US11030478B1 (en) | System and method for correspondence map determination | |
Garg et al. | Look no deeper: Recognizing places from opposing viewpoints under varying scene appearance using single-view depth estimation | |
US20140133753A1 (en) | Spectral scene simplification through background subtraction | |
US9036910B1 (en) | Method and system for processing a sequence of images using fingerprints | |
JP5941514B2 (ja) | スペクトル的および空間的物体モデルから識別する方法 | |
Jafarzadeh et al. | Crowddriven: A new challenging dataset for outdoor visual localization | |
Li et al. | Seeing through the grass: Semantic pointcloud filter for support surface learning | |
Beltrán et al. | Dense Semantic Stereo Labelling Architecture for In-Campus Navigation. | |
US8891870B2 (en) | Substance subtraction in a scene based on hyperspectral characteristics | |
Chen et al. | The obstacles detection for outdoor robot based on computer vision in deep learning | |
Sun et al. | Spectral 3D Computer Vision--A Review | |
Schmitz et al. | Semantic segmentation of airborne images and corresponding digital surface models–additional input data or additional task? | |
McLaughlin | A Deep Learning Approach for Automating Concrete Bridge Defect Assessment Using Computer Vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6586430 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |