JP2021510823A - 車両位置特定 - Google Patents
車両位置特定 Download PDFInfo
- Publication number
- JP2021510823A JP2021510823A JP2020539786A JP2020539786A JP2021510823A JP 2021510823 A JP2021510823 A JP 2021510823A JP 2020539786 A JP2020539786 A JP 2020539786A JP 2020539786 A JP2020539786 A JP 2020539786A JP 2021510823 A JP2021510823 A JP 2021510823A
- Authority
- JP
- Japan
- Prior art keywords
- training
- representation
- trainable
- transformation
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 claims abstract description 133
- 230000009466 transformation Effects 0.000 claims abstract description 89
- 230000014509 gene expression Effects 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 76
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000000844 transformation Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract 1
- 239000002131 composite material Substances 0.000 description 28
- 230000004044 response Effects 0.000 description 13
- 230000004807 localization Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 241000042032 Petrocephalus catostoma Species 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 244000304337 Cuminum cyminum Species 0.000 description 1
- 241001061260 Emmelichthys struhsakeri Species 0.000 description 1
- 208000004547 Hallucinations Diseases 0.000 description 1
- 240000002769 Morchella esculenta Species 0.000 description 1
- 235000002779 Morchella esculenta Nutrition 0.000 description 1
- 241001585803 Mycobacterium phage Pari Species 0.000 description 1
- 206010072731 White matter lesion Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- DQJCHOQLCLEDLL-UHFFFAOYSA-N tricyclazole Chemical compound CC1=CC=CC2=C1N1C=NN=C1S2 DQJCHOQLCLEDLL-UHFFFAOYSA-N 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Stored Programmes (AREA)
Abstract
Description
本発明は、通常、見た目に大きな変化を伴う環境における車両の位置特定のための方法及び関連する装置に関する。詳細には、実施形態はカメラのみのシステムであるが、これに限定するものではない。
[発明の背景]
キーポイント特徴マッチング(例えば、SURF、SIFT、BRIEF、ORBなど)は、
[1]C.Lineger、W.Churchill、及び、P.Newman「Made to measure:Bespoke landmarks for 24−hour,all−weather localisation with a camera」Proceedings−IEEE International Conference(Robotics and Automation、2016年6月号、2016年、787〜794ページ)、
[2]C.McManus、B.Upcroft、及び、P.Newman「Learning place−dependant features for long−term vision−based localisation」Autonomous Robots、vol.39、no.3、363〜387ページ、2015年、
[3]W.Churchill、及び、P.Newman「Experience−based navigation for longterm localisation」The International Journal of Robotics Research、vol.32、no.14、1645〜1661ページ、2013年、
[4]R.Mur−Artal、及び、J.D.Tard’os「ORB−SLAM2:an open−source SLAM system for monocular,stereo and RGB−D cameras」CoRR、vol.abs/1610.06475、2016年、
[5]P.Furgale、及び、T.D.Barfoot「Visual teach and repeat for long−range rover autonomy」Journal of Field Robotics、vol.27、no.5、534〜560ページ、2010年5月、
などの従来技術文献にて用いられるような、マルチマップ視覚的位置特定システム、及び、多数の他の商用システムにおいて、先進的なアプローチを示す。これは、類似の光条件のシーンをマッチングする場合に良好に機能する一方で、例えば、屋外で用いられるときなどの照度変化、または、季節差によりシーンの見た目が異なる場合に、性能が急速に低下する。標準的な記述子(例えば、SURF、SIFT、BRIEF、ORBなど)の使用を試みることは、不十分な位置特定の原因となるであろう。これらのポイント特徴に基づく方法を機能させるために、マッピング手法は、一般的に、それぞれの見た目のカテゴリ(晴れ、雪、夜明け、夕暮れ、雨、夜など)に対して実施されることが必要であろう。
[8]W.Yan、X.Shi、X.Yan、及び、L.Wang「Computing OpenSURF on OpenCL and general purpose GPU」International Journal of Advanced Robotic Systems、vol.10、2013年、
[9]T.B.Terriberry、L.M.French、及び、J.Helmsen「Gpu accelerating speeded−up robust features」Proceedings of 3DPVT、vol.8、2008年、355〜362ページ、
レンダリング画像を改善するために、識別可能なHOG記述子を導入し、パイプライン内でそれを用いる、[10]W.W.−C.Chiu、及び、M.Fritz「See the difference:Direct pre−image reconstruction and pose estimation by differentiating hog」2015 IEEE International Conference on Computer Vision(ICCV)、468〜476ページ、2015年、に示される。
II.関連研究
トポロジカル位置特定:見た目に大きな変化のある画像をマッチングするときには視点が大きく異なることを示し、続いて、クエリ画像の視点に合致する画像を合成するためにグーグルストリートビューパノラマを用いる、[12]A.Torii、R.Arandjelovi’c、J.Sivic、M.Okutomi、及び、T.Pajdla「24/7 place recognition by view synthesis」Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition、6月7〜12日号、2015年、1808〜1817ページ、のトポロジカル位置特定において、合成画像は使用されてきた。CNN特徴のための同時可視性グラフは、その時点で問い合わせされる、特に「中間」ビューを生成する画像の近傍のビューからの特徴を追加することによって、視点変化に対する不変性を強化する[13]S.Cascianelli、G.Costante、E.Bellocchio、P.Valigi、M.L.Fravolini、及び、T.A.Ciarfuglia「Robust visual semi−semantic loop closure detection by a covisibility graph and CNN features」Robotics and Autonomous Systems、vol.92、53〜65ページ、2017年、によって用いられた。[14]E.Johns、及び、G.−Z.Yang「Feature co−occurrence maps:Appearancebased localisation throughout the day」Robotics and Automation(ICRA)、2013 IEEE International Conference on IEEE、2013年、3212〜3218ページにおいて、1日の異なる時間に撮像されたそれぞれの画像に共通に生じる特徴は、照明条件に関わらないという観点から、何れの画像においても識別可能な特徴を含む固有の表現に結び付けられる。
[発明の概要]
本発明の第1の態様によれば、エンティティ(実在物)の位置特定に用いられるように構成される第1の訓練可能な変換を生成する電算化された方法が提供される。便宜上、本変換は、環境の第1表現を、環境の、異なる第2表現に変換するように構成される。本方法は、
a)変換された第1訓練表現を生成するように、第1の訓練可能な変換を用いて、環境の複数の第1訓練表現を処理することと、
b)i)誤差信号を生成するように、第1訓練表現、及び、修正された第1訓練表現について、第1の訓練可能な変換が第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
ii)誤差信号を生成するように、第1訓練表現に対応するが異なる光条件下である第2訓練表現、及び、修正された第1訓練表現について、第1の訓練可能な変換が第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
のうちの少なくとも1つを実施することと、
c)第1の変換を訓練するために誤差信号を用いることと、
のうちの少なくとも1つを含んでもよい。
a)変換された第1訓練表現を生成するように、第1の訓練可能な変換を用いて、環境の複数の第1訓練表現を処理することと、
b)第1の訓練可能な変換を反転して合成第1訓練表現を生成するように構成される第2の訓練可能な変換を用いて、変換された第1訓練表現を処理することと、
c)誤差信号を生成するように、第1訓練表現及び合成第1訓練表現の両方について、第1の訓練可能な変換が第1訓練表現内の特徴を強調するように構成されるように選択される、少なくとも1つの周知のプロセスを実行することと、
d)第1及び第2の訓練可能な変換のうちの少なくとも1つを訓練するために誤差信号を用いることと、
を含む。
a)i)変換を用いて現在の表現を変換すること、及び、格納された表現のライブラリから変換された画像を検索すること、
ii)ライブラリからの少なくともいくつかの格納された表現を変換すること、及び、変換された格納された表現から現在の表現を検索すること、
のうちの少なくとも1つと、
b)車両の位置特定のために、格納された表現のライブラリから検索で探し出された表現を用いること、
を実施するように構成され、
ステップa)で実施される変換は、変換された表現内の特徴を強調するように構成される。
a)変換された第1訓練表現を生成するように、第1の訓練可能な変換を用いて、環境の複数の第1訓練表現を処理することと、
b)i)誤差信号を生成するように、第1訓練表現、及び、修正された第1訓練表現について、第1の訓練可能な変換が第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
ii)誤差信号を生成するように、第1訓練表現に対応するが異なる光条件下である第2訓練表現、及び、修正された第1訓練表現について、第1の訓練可能な変換が第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
のうちの少なくとも1つを実施することと、
c)第1の変換を訓練するために誤差信号を用いることと、
のうちの少なくとも1つを実施するようにプログラムされる処理回路を備えてもよい。
a)変換された第1訓練表現を生成するように、第1の訓練可能な変換を用いて、環境の複数の第1訓練表現を処理することと、
b)i)誤差信号を生成するように、第1訓練表現、及び、修正された第1訓練表現について、第1の訓練可能な変換が第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
ii)誤差信号を生成するように、第1訓練表現に対応するが異なる光条件下である第2訓練表現、及び、修正された第1訓練表現について、第1の訓練可能な変換が第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
のうちの少なくとも1つを実施することと、
c)第1の変換を訓練するために誤差信号を用いることと、
のうちの1つ以上を実施させる命令を含む機械可読媒体が提供される。
a)i)変換を用いて現在の表現を変換すること、及び、格納された表現のライブラリから変換された画像を検索すること、
ii)ライブラリからの少なくともいくつかの格納された表現を変換すること、及び、変換された格納された表現から現在の表現を検索すること、
のうちの少なくとも1つを実施することと、
b)車両の位置特定のために、格納された表現のライブラリから検索で探し出された表現を用いることと、
のうちの1つ以上を含み、
ステップa)で実施される変換は、変換された表現内の特徴を強調するように構成される。
a)車両の周囲の現在の表現を取得するように構成される車両のセンサを使用することと、
b)i)変換を用いて現在の表現を変換すること、及び、格納された表現のライブラリから変換された画像を検索すること、
ii)ライブラリからの少なくともいくつかの格納された表現を変換すること、及び、変換された格納された表現から現在の表現を検索すること、
のうちの少なくとも1つを実施することと、
c)車両の位置特定のために、格納された表現のライブラリから検索で探し出された表現を使用することと、
のうちの少なくとも1つを実施させる命令を含む機械可読媒体であって、
ステップa)で実施される変換は、変換された表現内の特徴を強調するように構成される、機械可読媒体が提供される。
[本発明の実施形態の簡単な説明]
A.SURF検出器応答マップ
SURF検出器応答マップは、上述の[22]にて説明されるヘッセ行列式の独自な近似方法の畳み込み版を用いて得られる。それぞれのスケールに関して、我々は、X、Y及び斜め方向のそれぞれについてガウシアン
高密度SURF記述子
OpenSURF([26]C.Evans「Notes on the OpenSURF Library」ブリストル大学Tech Rep CSTR09001 1月、no.1、25ページ、2009年)において用いられる方法論を適合させ、画素毎の高密度SURF記述子を構築するための高速の畳み込み方法が採用され、これを通して勾配が渡され得る。N個の選択されたスケールのそれぞれのスケールに関して、我々は、
・SURF記述子を構築するために用いられる近傍画素の81の相対オフセットに関する検索テーブル
・81のオフセットのスケール固有のガウシアン重みに関するNx81マトリクス
・16の近傍のガウシアン重みに関する長さ16の列ベクトル
・X及びYの両方向に関するHAAR−likeボックスフィルタ
を予め計算する。
・オフセット検索テーブル(例えば、400a、400bなどのオフセット参照)により、積み重ねられた複製を、X及びY方向に沿ってオフセットし、
・近傍固有のガウシアン重みを乗算し、
・積み重ね方向に沿って、生値及び絶対値の両方をX及びY方向のそれぞれに対して加算して4つのマトリクスをもたらし、
・それぞれのマトリクスと、その近傍固有のガウシアン重みLUTとを要素ごとに乗算し、
・4つの結果として生じるマトリクスを積み重ねる。
b)記述子損失
このように、説明される実施形態は、記述子損失を利用する。このような記述子損失LDescは、訓練可能な変換(つまり、生成器)の訓練をガイドすると考えられてもよく、それゆえに、初期条件下の特定のシーンを示す入力された第1表現から得られる変換された第1表現の領域またはサブ領域成分の記述子は、ターゲット条件下の特定のシーンを示す第2表現の領域またはサブ領域成分の記述子と可能な限り厳密に合致する。訓練可能な変換の訓練フェーズの間、第1及び第2表現は、一般的に、訓練セットからの表現で与えられる。(車両100上で利用されるときのような)実行時間の間、第1表現は、一般的に、センサ102からの表現で与えられる。
a)検出器損失
さらに、説明される実施形態はまた検出器損失も利用する。このような検出器損失は、訓練可能な変換の訓練をガイドすると考えられてもよく、それゆえに、初期条件下の特定のシーンを示す入力画像から得られる変換された画像の関心領域またはサブ領域成分の位置は、ターゲット条件下の特定のシーンを示す画像の関心領域またはサブ領域成分の位置と可能な限り厳密に合致する。
B.損失
[7]と同様に、説明される実施形態は、識別器を通してそれぞれの生成器の出力に、つまり、識別器DBを通して生成器GABの出力に、識別器DAを通して、生成器GBAの出力に、敵対的な損失を適用する。この損失は、
A.訓練
サイクル一貫性段階(つまり、第1段階)のため、[7]に類似のネットワーク訓練レジメンが採用される。それぞれの反復について、識別器は、Ldiscを最小化する目標を有する以前の反復からのリアルターゲットドメイン画像及び合成画像で訓練され、その後、生成器が、Lgenを最小にするように、入力画像で訓練される。具体的には、説明される実施形態は、Adamソルバ([28]D.P.Kingma、及び、J.Ba「Adam:A method for stochastic optimization」CoRR、vol.abs/1412.6980、2014年)を、0.0002に設定される初期学習率、バッチサイズ1、λrec=8、λdet=2、λdesc=2、及び、λadv=1にて用いた。当業者は、他のソルバが利用できることを理解するであろう。
B.位置特定
一旦、パラメータが上述の方法によって学習されると、車両などの位置特定のためにパラメータを用いることが可能となる。
V.結果
A.定量的結果
以下に、結果が、位置特定の頻度及び品質の両方を考慮して示される。
表1は、昼−夜位置特定の場合における、RTK−GPSグラウンドトゥルースに対する二乗平均平方根並進誤差(RMSE(m))及び回転誤差(RMSE(O))と、移動距離のパーセンテージとしての累積有効特定位置と、を比較する。結果は、原画像、[7]のRGBのみ実施にて得られる画像、及び、上述の実施形態の第1段階及び第2段階を用いて得られた画像に関して示される。結果は、第1段階のモデルから生成される合成画像を用いる位置特定の精度の向上、及び、第2段階の微調整モデルからのさらなる精度の向上を示す。
表2は、第1段階の訓練がされたモデルを用いて、昼へと変換された幅広い条件の位置特定結果を示し、単一の条件に対して位置特定する場合の方法の性能を説明する。すべての場合において、位置特定率は(大抵は2倍に)改善され、メトリック誤差は削減される。
B.質的な結果
図10は、オックスフォード全体にわたる一連の場所における質的な結果を示し、ここで、原画像間のマッチングは、失敗したか、または、極めて少数のインライアをもたらした。画像ペア内のマッチングは、画像ペア内で対応するポイント間の水平線によって示される。本図は、リアル画像の間(上)、及び、リアル画像と合成画像との間(下)の対応を示す。ウィンドウフレームなどの特徴検出器及び記述子によって説明される詳細を再構築する質的に良好な仕事を、(構築による)学習後の画像変換がどのように行うかを示す。
VI.結論
悪条件下でロバストな位置特定を提供するシステムが示される。本システムは、(例えば、車両または他のエンティティがアクセス可能な画像ライブラリ上の)格納された画像とのポイント毎のマッチングを強調するように変換された入力画像を取得すると考えられるであろう。説明される実施形態において、訓練可能な変換は、明確に、属性特徴検出及び記述段階からなる一方で、サイクリックGANを用いて学習する。説明される実施形態は、特徴検出器及び記述子応答を利用する。
Claims (16)
- エンティティの位置特定に用いられるように構成される第1の訓練可能な変換を生成する電算化された方法であって、前記変換は、環境の第1表現を、環境の、異なる第2表現に変換するように構成され、
a)変換された第1訓練表現を生成するように、前記第1の訓練可能な変換を用いて、環境の複数の第1訓練表現を処理することと、
b)i)誤差信号を生成するように、前記第1訓練表現、及び、修正された前記第1訓練表現について、前記第1の訓練可能な変換が前記第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
ii)誤差信号を生成するように、前記第1訓練表現に対応するが異なる光条件下である第2訓練表現、及び、修正された前記第1訓練表現について、前記第1の訓練可能な変換が前記第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
のうちの少なくとも1つを実施することと、
c)前記第1の変換を訓練するために前記誤差信号を用いることと、
を含む方法。 - 変換された前記第1訓練表現は、第2の訓練可能な変換を用いて変換され、前記第2の訓練可能な変換は、前記第1の訓練可能な変換の効果を反転し、合成第1訓練表現を生成するように訓練される、請求項1に記載の方法。
- 修正された前記第1訓練表現は、前記合成第1訓練表現である、請求項2に記載の方法。
- 前記誤差信号は、前記第2の訓練可能な変換を訓練するためにも用いられる、請求項2または請求項3に記載の方法。
- 前記第1、及び/または、第2の訓練可能な変換は、ニューラルネットワークによって提供される、請求項2〜4の何れか一項に記載の方法。
- 前記周知のプロセスは、特徴記述子を生成する、請求項1〜5の何れか一項に記載の方法。
- 前記周知のプロセスは、前記第1及び第2表現内の特徴を検出する、請求項1〜6の何れか一項に記載の方法。
- 前記訓練可能な変換の重みは、訓練開始前に初期化される、請求項1〜7の何れか一項に記載の方法。
- 表現が合成表現であるかどうかを識別可能にするために識別器を訓練する、請求項1〜8の何れか一項に記載の方法。
- 前記第1訓練表現からの表現に対応するが異なる光条件下の表現である一組の第2訓練表現を用いる方法の訓練を繰り返す、請求項1〜9の何れか一項に記載の方法。
- 請求項1〜10の何れか一項の方法によって訓練された訓練可能な変換の使用であって、車両内で、該車両の位置を特定するために、または、少なくとも該車両の位置の特定を補助するために、格納された表現のライブラリに対する入力表現のマッチングにおいて行われる、訓練可能な変換の使用。
- 車両の周囲の現在の表現を取得するように構成されるセンサを備える車両であって、前記車両は、前記周囲の格納された表現のライブラリへのアクセスを有する処理回路をさらに備え、前記処理回路は、
a)i)変換を用いて前記現在の表現を変換すること、及び、格納された表現の前記ライブラリから前記変換された画像を検索すること、
ii)前記ライブラリからの少なくともいくつかの前記格納された表現を変換すること、及び、変換された前記格納された表現から前記現在の表現を検索すること、
のうちの少なくとも1つと、
b)前記車両の位置特定のために、前記格納された表現の前記ライブラリから検索で探し出された表現を用いることと、
を実施するように構成され、
ステップa)で実施される前記変換は、前記変換された表現内の特徴を強調するように構成される、車両。 - 環境の第1表現を、環境の、異なる第2表現に変換するよう構成される第1の訓練可能な変換を訓練するように構成されるシステムであって、
a)変換された第1訓練表現を生成するように、前記第1の訓練可能な変換を用いて、環境の複数の第1訓練表現を処理し、
b)i)誤差信号を生成するように、前記第1訓練表現、及び、修正された前記第1訓練表現について、前記第1の訓練可能な変換が前記第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
ii)誤差信号を生成するように、前記第1訓練表現に対応するが異なる光条件下である第2訓練表現、及び、修正された前記第1訓練表現について、前記第1の訓練可能な変換が前記第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
のうちの少なくとも1つを実施し、
c)前記第1の変換を訓練するために前記誤差信号を用いる、
ようにプログラムされる処理回路を備えるシステム。 - コンピュータによって読み取られる場合に、機械に、
a)変換された第1訓練表現を生成するように、第1の訓練可能な変換を用いて、環境の複数の第1訓練表現を処理することと、
b)i)誤差信号を生成するように、前記第1訓練表現、及び、修正された前記第1訓練表現について、前記第1の訓練可能な変換が前記第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
ii)誤差信号を生成するように、前記第1訓練表現に対応するが異なる光条件下である第2訓練表現、及び、修正された前記第1訓練表現について、前記第1の訓練可能な変換が前記第1訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも1つの周知のプロセスを実行すること、
のうちの少なくとも1つを実施することと、
c)前記第1の変換を訓練するために前記誤差信号を用いることと、
を実施させる命令を含む機械可読媒体。 - 車両の周囲の現在の表現を取得するように構成される車両のセンサを用いること、を含む車両の位置特定の方法であって、
a)i)変換を用いて前記現在の表現を変換すること、及び、格納された表現のライブラリから前記変換された画像を検索すること、
ii)前記ライブラリからの少なくともいくつかの前記格納された表現を変換すること、及び、変換された前記格納された表現から前記現在の表現を検索すること、
のうちの少なくとも1つを実施することと、
b)前記車両の位置特定のために、前記格納された表現の前記ライブラリから検索で探し出された表現を用いることと、
を含む方法であって、
ステップa)で実施される前記変換は、前記変換された表現内の特徴を強調するように構成される、方法。 - コンピュータによって読み取られる場合に、車両上のコンピュータに、
a)前記車両の周囲の現在の表現を取得するように構成される車両のセンサを使用させ、
b)i)変換を用いて前記現在の表現を変換すること、及び、格納された表現のライブラリから前記変換された画像を検索すること、
ii)前記ライブラリからの少なくともいくつかの前記格納された表現を変換すること、及び、変換された前記格納された表現から前記現在の表現を検索すること、
のうちの少なくとも1つを実施させ、
c)前記車両の位置特定のために、前記格納された表現の前記ライブラリから検索で探し出された表現を使用させる、
命令を含む機械可読媒体であって、
ステップa)で実施される前記変換は、前記変換された表現内の特徴を強調するように構成される、機械可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB1800811.0A GB201800811D0 (en) | 2018-01-18 | 2018-01-18 | Localising a vehicle |
GB1800811.0 | 2018-01-18 | ||
PCT/GB2019/050133 WO2019141992A1 (en) | 2018-01-18 | 2019-01-18 | Localising a vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021510823A true JP2021510823A (ja) | 2021-04-30 |
JPWO2019141992A5 JPWO2019141992A5 (ja) | 2022-01-25 |
Family
ID=61283580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020539786A Pending JP2021510823A (ja) | 2018-01-18 | 2019-01-18 | 車両位置特定 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20200379481A1 (ja) |
EP (1) | EP3740907A1 (ja) |
JP (1) | JP2021510823A (ja) |
KR (1) | KR20200110768A (ja) |
CN (1) | CN111566675A (ja) |
AU (1) | AU2019208479B2 (ja) |
GB (1) | GB201800811D0 (ja) |
WO (1) | WO2019141992A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022512340A (ja) * | 2019-06-24 | 2022-02-03 | センスタイム グループ リミテッド | 画像生成及びニューラルネットワーク訓練方法、装置、機器並びに媒体 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10719738B2 (en) * | 2017-07-12 | 2020-07-21 | Banuba Limited | Computer-implemented methods and computer systems configured for generating photorealistic-imitating synthetic representations of subjects |
US11443442B2 (en) | 2020-01-28 | 2022-09-13 | Here Global B.V. | Method and apparatus for localizing a data set based upon synthetic image registration |
US11852751B2 (en) * | 2020-03-02 | 2023-12-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, computing device and computer-readable storage medium for positioning |
CN116391210A (zh) * | 2020-09-02 | 2023-07-04 | 谷歌有限责任公司 | 全景图像的条件感知生成 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6281928B1 (en) * | 1998-05-13 | 2001-08-28 | Chuo Hatsujo Kabushiki Kaisha | Positional detector device for a vehicular license plate |
JP5041229B2 (ja) * | 2007-12-07 | 2012-10-03 | ソニー株式会社 | 学習装置および方法、認識装置および方法、並びにプログラム |
EP2291822A1 (en) * | 2008-05-21 | 2011-03-09 | Koninklijke Philips Electronics N.V. | Image resolution enhancement |
GB201409625D0 (en) * | 2014-05-30 | 2014-07-16 | Isis Innovation | Vehicle localisation |
AU2017378250B2 (en) * | 2016-12-16 | 2023-09-28 | Mako Surgical Corp. | Techniques for detecting errors or loss of accuracy in a surgical robotic system |
CN106815583B (zh) * | 2017-01-16 | 2020-07-14 | 上海理工大学 | 一种基于mser和swt相结合的夜间车辆车牌定位方法 |
US11175132B2 (en) * | 2017-08-11 | 2021-11-16 | Zoox, Inc. | Sensor perturbation |
CN107506739B (zh) * | 2017-08-31 | 2021-01-12 | 南京富士通南大软件技术有限公司 | 一种夜间前向车辆检测及测距方法 |
-
2018
- 2018-01-18 GB GBGB1800811.0A patent/GB201800811D0/en not_active Ceased
-
2019
- 2019-01-18 CN CN201980007780.3A patent/CN111566675A/zh active Pending
- 2019-01-18 WO PCT/GB2019/050133 patent/WO2019141992A1/en unknown
- 2019-01-18 AU AU2019208479A patent/AU2019208479B2/en active Active
- 2019-01-18 JP JP2020539786A patent/JP2021510823A/ja active Pending
- 2019-01-18 KR KR1020207023621A patent/KR20200110768A/ko not_active Application Discontinuation
- 2019-01-18 US US16/962,533 patent/US20200379481A1/en active Pending
- 2019-01-18 EP EP19701720.5A patent/EP3740907A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022512340A (ja) * | 2019-06-24 | 2022-02-03 | センスタイム グループ リミテッド | 画像生成及びニューラルネットワーク訓練方法、装置、機器並びに媒体 |
Also Published As
Publication number | Publication date |
---|---|
KR20200110768A (ko) | 2020-09-25 |
GB201800811D0 (en) | 2018-03-07 |
AU2019208479A1 (en) | 2020-07-30 |
EP3740907A1 (en) | 2020-11-25 |
CN111566675A (zh) | 2020-08-21 |
US20200379481A1 (en) | 2020-12-03 |
AU2019208479B2 (en) | 2024-05-02 |
WO2019141992A1 (en) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Porav et al. | Adversarial training for adverse conditions: Robust metric localisation using appearance transfer | |
Masone et al. | A survey on deep visual place recognition | |
Zhang et al. | Visual place recognition: A survey from deep learning perspective | |
Arruda et al. | Cross-domain car detection using unsupervised image-to-image translation: From day to night | |
Guerry et al. | Snapnet-r: Consistent 3d multi-view semantic labeling for robotics | |
Li et al. | DeepI2P: Image-to-point cloud registration via deep classification | |
Piasco et al. | A survey on visual-based localization: On the benefit of heterogeneous data | |
Wang et al. | Fusing bird’s eye view lidar point cloud and front view camera image for 3d object detection | |
JP2021510823A (ja) | 車両位置特定 | |
McManus et al. | Scene signatures: Localised and point-less features for localisation | |
Neubert et al. | Superpixel-based appearance change prediction for long-term navigation across seasons | |
Panek et al. | Meshloc: Mesh-based visual localization | |
Biasutti et al. | Lu-net: An efficient network for 3d lidar point cloud semantic segmentation based on end-to-end-learned 3d features and u-net | |
JP7439153B2 (ja) | 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み | |
Mueller et al. | Image-to-image translation for enhanced feature matching, image retrieval and visual localization | |
Khellal et al. | Pedestrian classification and detection in far infrared images | |
CN111860197A (zh) | 基于多光谱多模的低慢小目标感知方法及系统 | |
Vallone et al. | Danish airs and grounds: A dataset for aerial-to-street-level place recognition and localization | |
Venator et al. | Enhancing collaborative road scene reconstruction with unsupervised domain alignment | |
EP4235492A1 (en) | A computer-implemented method, data processing apparatus and computer program for object detection | |
Sohail et al. | Advancing 3D point cloud understanding through deep transfer learning: A comprehensive survey | |
Marnissi et al. | Feature distribution alignments for object detection in the thermal domain | |
Pandey et al. | Toward mutual information based place recognition | |
Singh et al. | Image based Bird Species Identification | |
Dudhat et al. | Image Semantic Segmentation based on E-Net with Different Patch-Size Convolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221228 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230314 |