JP2021510823A - 車両位置特定 - Google Patents

車両位置特定 Download PDF

Info

Publication number
JP2021510823A
JP2021510823A JP2020539786A JP2020539786A JP2021510823A JP 2021510823 A JP2021510823 A JP 2021510823A JP 2020539786 A JP2020539786 A JP 2020539786A JP 2020539786 A JP2020539786 A JP 2020539786A JP 2021510823 A JP2021510823 A JP 2021510823A
Authority
JP
Japan
Prior art keywords
training
representation
trainable
transformation
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020539786A
Other languages
English (en)
Other versions
JPWO2019141992A5 (ja
Inventor
ポール ニューマン
ポール ニューマン
ホリア ポラヴ
ホリア ポラヴ
ウィル マダン
ウィル マダン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oxford University Innovation Ltd
Original Assignee
Oxford University Innovation Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oxford University Innovation Ltd filed Critical Oxford University Innovation Ltd
Publication of JP2021510823A publication Critical patent/JP2021510823A/ja
Publication of JPWO2019141992A5 publication Critical patent/JPWO2019141992A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Stored Programmes (AREA)

Abstract

エンティティの位置特定に用いられるように構成される第１の訓練可能な変換を生成する電算化された方法において、変換は、環境の第１表現を、環境の、異なる第２表現に変換するように構成される。方法は、変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、ｉ）誤差信号を生成するように、第１訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、ｉｉ）誤差信号を生成するように、第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、のうちの少なくとも１つを実施することと、ｃ）第１の変換を訓練するために誤差信号を用いることと、を含む。【選択図】 図２

Description

発明の詳細な説明
［発明の技術分野］
本発明は、通常、見た目に大きな変化を伴う環境における車両の位置特定のための方法及び関連する装置に関する。詳細には、実施形態はカメラのみのシステムであるが、これに限定するものではない。
［発明の背景］
キーポイント特徴マッチング（例えば、ＳＵＲＦ、ＳＩＦＴ、ＢＲＩＥＦ、ＯＲＢなど）は、
［１］Ｃ．Ｌｉｎｅｇｅｒ、Ｗ．Ｃｈｕｒｃｈｉｌｌ、及び、Ｐ．Ｎｅｗｍａｎ「Ｍａｄｅ ｔｏ ｍｅａｓｕｒｅ：Ｂｅｓｐｏｋｅ ｌａｎｄｍａｒｋｓ ｆｏｒ ２４−ｈｏｕｒ，ａｌｌ−ｗｅａｔｈｅｒ ｌｏｃａｌｉｓａｔｉｏｎ ｗｉｔｈ ａ ｃａｍｅｒａ」Ｐｒｏｃｅｅｄｉｎｇｓ−ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ（Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ、２０１６年６月号、２０１６年、７８７〜７９４ページ）、
［２］Ｃ．ＭｃＭａｎｕｓ、Ｂ．Ｕｐｃｒｏｆｔ、及び、Ｐ．Ｎｅｗｍａｎ「Ｌｅａｒｎｉｎｇ ｐｌａｃｅ−ｄｅｐｅｎｄａｎｔ ｆｅａｔｕｒｅｓ ｆｏｒ ｌｏｎｇ−ｔｅｒｍ ｖｉｓｉｏｎ−ｂａｓｅｄ ｌｏｃａｌｉｓａｔｉｏｎ」Ａｕｔｏｎｏｍｏｕｓ Ｒｏｂｏｔｓ、ｖｏｌ．３９、ｎｏ．３、３６３〜３８７ページ、２０１５年、
［３］Ｗ．Ｃｈｕｒｃｈｉｌｌ、及び、Ｐ．Ｎｅｗｍａｎ「Ｅｘｐｅｒｉｅｎｃｅ−ｂａｓｅｄ ｎａｖｉｇａｔｉｏｎ ｆｏｒ ｌｏｎｇｔｅｒｍ ｌｏｃａｌｉｓａｔｉｏｎ」Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ、ｖｏｌ．３２、ｎｏ．１４、１６４５〜１６６１ページ、２０１３年、
［４］Ｒ．Ｍｕｒ−Ａｒｔａｌ、及び、Ｊ．Ｄ．Ｔａｒｄ’ｏｓ「ＯＲＢ−ＳＬＡＭ２：ａｎ ｏｐｅｎ−ｓｏｕｒｃｅ ＳＬＡＭ ｓｙｓｔｅｍ ｆｏｒ ｍｏｎｏｃｕｌａｒ，ｓｔｅｒｅｏ ａｎｄ ＲＧＢ−Ｄ ｃａｍｅｒａｓ」ＣｏＲＲ、ｖｏｌ．ａｂｓ／１６１０．０６４７５、２０１６年、
［５］Ｐ．Ｆｕｒｇａｌｅ、及び、Ｔ．Ｄ．Ｂａｒｆｏｏｔ「Ｖｉｓｕａｌ ｔｅａｃｈ ａｎｄ ｒｅｐｅａｔ ｆｏｒ ｌｏｎｇ−ｒａｎｇｅ ｒｏｖｅｒ ａｕｔｏｎｏｍｙ」Ｊｏｕｒｎａｌ ｏｆ Ｆｉｅｌｄ Ｒｏｂｏｔｉｃｓ、ｖｏｌ．２７、ｎｏ．５、５３４〜５６０ページ、２０１０年５月、
などの従来技術文献にて用いられるような、マルチマップ視覚的位置特定システム、及び、多数の他の商用システムにおいて、先進的なアプローチを示す。これは、類似の光条件のシーンをマッチングする場合に良好に機能する一方で、例えば、屋外で用いられるときなどの照度変化、または、季節差によりシーンの見た目が異なる場合に、性能が急速に低下する。標準的な記述子（例えば、ＳＵＲＦ、ＳＩＦＴ、ＢＲＩＥＦ、ＯＲＢなど）の使用を試みることは、不十分な位置特定の原因となるであろう。これらのポイント特徴に基づく方法を機能させるために、マッピング手法は、一般的に、それぞれの見た目のカテゴリ（晴れ、雪、夜明け、夕暮れ、雨、夜など）に対して実施されることが必要であろう。
さらなる従来技術が、［６］Ｃ．Ｌｉｎｅｇａｒ、Ｗ．Ｃｈｕｒｃｈｉｌｌ、及び、Ｐ．Ｎｅｗｍａｎ「Ｗｏｒｋ ｓｍａｒｔ，ｎｏｔ ｈａｒｄ：Ｒｅｃａｌｌｉｎｇ ｒｅｌｅｖａｎｔ ｅｘｐｅｒｉｅｎｃｅｓ ｆｏｒ ｖａｓｔ−ｓｃａｌｅ ｂｕｔ ｔｉｍｅ−ｃｏｎｓｔｒａｉｎｅｄ ｌｏｃａｌｉｓａｔｉｏｎ」Ｐｒｏｃｅｅｄｉｎｇｓ−ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ、２０１５年６月号、６月号、２０１５年、９０〜９７ページ、［７］Ｊ．Ｚｈｕ、Ｔ．Ｐａｒｋ、Ｐ．Ｉｓｏｌａ、及び、Ａ．Ａ．Ｅｆｒｏｓ「Ｕｎｐａｉｒｅｄ ｉｍａｇｅ−ｔｏ−ｉｍａｇｅ ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ ｃｙｃｌｅ−ｃｏｎｓｉｓｔｅｎｔ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ」、ＣｏＲＲ、ｖｏｌ．ａｂｓ／１７０３．１０５９３、２０１７年、
［８］Ｗ．Ｙａｎ、Ｘ．Ｓｈｉ、Ｘ．Ｙａｎ、及び、Ｌ．Ｗａｎｇ「Ｃｏｍｐｕｔｉｎｇ ＯｐｅｎＳＵＲＦ ｏｎ ＯｐｅｎＣＬ ａｎｄ ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ＧＰＵ」Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ａｄｖａｎｃｅｄ Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ、ｖｏｌ．１０、２０１３年、
［９］Ｔ．Ｂ．Ｔｅｒｒｉｂｅｒｒｙ、Ｌ．Ｍ．Ｆｒｅｎｃｈ、及び、Ｊ．Ｈｅｌｍｓｅｎ「Ｇｐｕ ａｃｃｅｌｅｒａｔｉｎｇ ｓｐｅｅｄｅｄ−ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ３ＤＰＶＴ、ｖｏｌ．８、２００８年、３５５〜３６２ページ、
レンダリング画像を改善するために、識別可能なＨＯＧ記述子を導入し、パイプライン内でそれを用いる、［１０］Ｗ．Ｗ．−Ｃ．Ｃｈｉｕ、及び、Ｍ．Ｆｒｉｔｚ「Ｓｅｅ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ：Ｄｉｒｅｃｔ ｐｒｅ−ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｂｙ ｄｉｆｆｅｒｅｎｔｉａｔｉｎｇ ｈｏｇ」２０１５ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ）、４６８〜４７６ページ、２０１５年、に示される。
ＩＩ．関連研究
トポロジカル位置特定：見た目に大きな変化のある画像をマッチングするときには視点が大きく異なることを示し、続いて、クエリ画像の視点に合致する画像を合成するためにグーグルストリートビューパノラマを用いる、［１２］Ａ．Ｔｏｒｉｉ、Ｒ．Ａｒａｎｄｊｅｌｏｖｉ’ｃ、Ｊ．Ｓｉｖｉｃ、Ｍ．Ｏｋｕｔｏｍｉ、及び、Ｔ．Ｐａｊｄｌａ「２４／７ ｐｌａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、６月７〜１２日号、２０１５年、１８０８〜１８１７ページ、のトポロジカル位置特定において、合成画像は使用されてきた。ＣＮＮ特徴のための同時可視性グラフは、その時点で問い合わせされる、特に「中間」ビューを生成する画像の近傍のビューからの特徴を追加することによって、視点変化に対する不変性を強化する［１３］Ｓ．Ｃａｓｃｉａｎｅｌｌｉ、Ｇ．Ｃｏｓｔａｎｔｅ、Ｅ．Ｂｅｌｌｏｃｃｈｉｏ、Ｐ．Ｖａｌｉｇｉ、Ｍ．Ｌ．Ｆｒａｖｏｌｉｎｉ、及び、Ｔ．Ａ．Ｃｉａｒｆｕｇｌｉａ「Ｒｏｂｕｓｔ ｖｉｓｕａｌ ｓｅｍｉ−ｓｅｍａｎｔｉｃ ｌｏｏｐ ｃｌｏｓｕｒｅ ｄｅｔｅｃｔｉｏｎ ｂｙ ａ ｃｏｖｉｓｉｂｉｌｉｔｙ ｇｒａｐｈ ａｎｄ ＣＮＮ ｆｅａｔｕｒｅｓ」Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｎｏｍｏｕｓ Ｓｙｓｔｅｍｓ、ｖｏｌ．９２、５３〜６５ページ、２０１７年、によって用いられた。［１４］Ｅ．Ｊｏｈｎｓ、及び、Ｇ．−Ｚ．Ｙａｎｇ「Ｆｅａｔｕｒｅ ｃｏ−ｏｃｃｕｒｒｅｎｃｅ ｍａｐｓ：Ａｐｐｅａｒａｎｃｅｂａｓｅｄ ｌｏｃａｌｉｓａｔｉｏｎ ｔｈｒｏｕｇｈｏｕｔ ｔｈｅ ｄａｙ」Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ）、２０１３ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＩＥＥＥ、２０１３年、３２１２〜３２１８ページにおいて、１日の異なる時間に撮像されたそれぞれの画像に共通に生じる特徴は、照明条件に関わらないという観点から、何れの画像においても識別可能な特徴を含む固有の表現に結び付けられる。
季節をまたぐ画像における変化は、スーパーピクセルのボキャブラリーを用いて、場所認識のために用いられる［１５］Ｐ．Ｎｅｕｂｅｒｔ、Ｎ．Ｓｕｎｄｅｒｈａｕｆ、及び、Ｐ．Ｐｒｏｔｚｅｌ「Ａｐｐｅａｒａｎｃｅ ｃｈａｎｇｅ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｌｏｎｇ−ｔｅｒｍ ｎａｖｉｇａｔｉｏｎ ａｃｒｏｓｓ ｓｅａｓｏｎｓ」Ｍｏｂｉｌｅ Ｒｏｂｏｔｓ（ＥＣＭＲ）、２０１３ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＩＥＥＥ、２０１３年、１９８〜２０３ページによって、予測された。冬のシーンが夏にどのように見えるか（逆もまた同様）は、まず、画像をスーパーピクセルに区分化し、それぞれのスーパーピクセルを、冬のボキャブラリー中のエントリーと関連付け、その後、そのスーパーピクセルを、ボキャブラリー間をマッピングする辞書を用いることによって、夏のボキャブラリーの対応するものに置換することによって、予測される。しかしながら、これらの合成ビューは、位置合わせ不良またはポイント特徴の劣化を受けるので、メトリックな（計量的な）位置特定は実現されない。
メトリック位置特定：メトリック位置特定の観点から、［１６］Ｐ．Ｍ¨ｕｈｌｆｅｌｌｎｅｒ、Ｍ．Ｂ¨ｕｒｋｉ、Ｍ．Ｂｏｓｓｅ、Ｗ．Ｄｅｒｅｎｄａｒｚ、Ｒ．Ｐｈｉｌｉｐｐｓｅｎ、及び、Ｐ．Ｆｕｒｇａｌｅ「Ｓｕｍｍａｒｙ Ｍａｐｓ ｆｏｒ Ｌｉｆｅｌｏｎｇ Ｖｉｓｕａｌ Ｌｏｃａｌｉｚａｔｉｏｎ」Ｊｏｕｒｎａｌ ｏｆ Ｆｉｅｌｄ Ｒｏｂｏｔｉｃｓ、ｖｏｌ．３３、ｎｏ．５、５６１〜５９０ページ、２０１６年８月は、サンプリング手法及びランキング関数のフレームワークを用いて、オンライン位置特定の間に、マルチ経験マップから「概要マップ」を生成するステップを導入することによってマルチ経験アプローチを改良する。しかしながら、それらのアプローチは、様々な条件下でマッピングを実施する必要性を軽減しない。［１７］Ｇ．Ｙｕ、及び、Ｊ．−Ｍ．Ｍｏｒｅｌ「Ａｓｉｆｔ：Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｆｕｌｌｙ ａｆｆｉｎｅ ｉｎｖａｒｉａｎｔ ｃｏｍｐａｒｉｓｏｎ」Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｏｎ Ｌｉｎｅ、ｖｏｌ．１、１１〜３８ページ、２０１１年において、著者は、アフィン変換を用いて、マッチングされる画像の異なるビューを生成し、これらの生成したビューにＳＩＦＴを適用して、視点の変化に対して改善されたロバスト性を示したが、見た目の変化には言及していない。
ビジュアルオドメトリの観点から、高ダイナミックレンジ画像マッチングは、画像の時間的に一貫性のある強調された表現を生成するようにＬＳＴＭディープニューラルネットワークを訓練することによって、［１８］Ｒ．Ｇｏｍｅｚ−Ｏｊｅｄａ、Ｚ．Ｚｈａｎｇ、Ｊ．Ｇｏｎｚａｌｅｚ−Ｊｉｍｅｎｅｚ、及び、Ｄ．Ｓｃａｒａｍｕｚｚａ「Ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ ｆｏｒ ｖｉｓｕａｌ ｏｄｏｍｅｔｒｙ ｉｎ ｃｈａｌｌｅｎｇｉｎｇ ｈｄｒ ｅｎｖｉｒｏｎｍｅｎｔｓ」ａｒＸｉｖプレプリント、ａｒＸｉｖ：１７０７．０１２７４、２０１７年、において改善される。しかしながら、ビジュアルオドメトリは、光または見た目がほとんど変化しない時間的に近接する画像を扱う。
見た目の変換：合成画像技術は他の課題のために用いられてきたが、位置特定の場面において期待されており、［１９］Ｙ．Ｓｈｉｈ、Ｓ．Ｐａｒｉｓ、Ｆ．Ｄｕｒａｎｄ、及び、Ｗ．Ｔ．Ｆｒｅｅｍａｎ「Ｄａｔａ−ｄｒｉｖｅｎ ｈａｌｌｕｃｉｎａｔｉｏｎ ｏｆ ｄｉｆｆｅｒｅｎｔ ｔｉｍｅｓ ｏｆ ｄａｙ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｏｕｔｄｏｏｒ ｐｈｏｔｏ」ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈ、ｖｏｌ．３２、ｎｏ．６、２００：１〜２００：１１ページ、２０１３年１１月は、１日の異なる時間における画像の見た目に「幻覚を起こさせる」ために色変換技術において局所アフィン変換を用いる。［２０］Ｌ．Ａ．Ｇａｔｙｓ、Ａ．Ｓ．Ｅｃｋｅｒ、及び、Ｍ．Ｂｅｔｈｇｅ「Ｉｍａｇｅ ｓｔｙｌｅ ｔｒａｎｓｆｅｒ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」Ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、２０１６年６月、において、画像はＶＧＧ−１９ネットワークを用いてスタイル及びコンテンツ表現に分解され、その後、ホワイトノイズ画像から始まり、入力画像のコンテンツ表現とターゲット画像のスタイル表現とを対応させる画像の勾配降下を用いる合成が続く。
［７］は、ＸからＹへマッピングするＧ、及び、ＹからＸへマッピングするＦの一対のＣＮＮ生成器を訓練することによる教師無しでの画像から画像への変換を明示し、ＸとＦ（Ｇ（Ｘ））との間に、Ｇの出力に関する識別器損失ＬＧ、及び、Ｆの出力に関する識別器損失ＬＦと共に、「サイクル一貫性」Ｌ１損失を適用する。同様にして、［２１］Ｍ．Ｌｉｕ、Ｔ．Ｂｒｅｕｅｌ、及び、Ｊ．Ｋａｕｔｚ「Ｕｎｓｕｐｅｒｖｉｓｅｄ ｉｍａｇｅ−ｔｏ−ｉｍａｇｅ ｔｒａｎｓｌａｔｉｏｎ ｎｅｔｗｏｒｋｓ」ＣｏＲＲ、ｖｏｌ．ａｂｓ／１７０３．００８４８、２０１７年、は、位置合わせされていない画像を用いて画像変換するために、画像用の一対の変分オートエンコーダ−敵対的生成ネットワーク（ＶＡＥ−ＧＡＮｓ）を訓練するが、サイクル一貫性損失を用いず、代わりに、高レベル層の重みを部分的に共有し、ＶＡＥ間の潜在空間符号化を共有することを選択する。著者は、セマンティックラベルと自然画像、及び、昼画像と夜画像、を含む異なるドメイン変換のペアについて訓練するが、いかなるトポロジカル、または、メトリック位置特定の適用も明示していない。我々は、我々が、見た目変換アプローチを用いたメトリック位置特定に最初に直接的に取り組んだと確信する。
［発明の概要］
本発明の第１の態様によれば、エンティティ（実在物）の位置特定に用いられるように構成される第１の訓練可能な変換を生成する電算化された方法が提供される。便宜上、本変換は、環境の第１表現を、環境の、異なる第２表現に変換するように構成される。本方法は、
ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）ｉ）誤差信号を生成するように、第１訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
ｉｉ）誤差信号を生成するように、第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
のうちの少なくとも１つを実施することと、
ｃ）第１の変換を訓練するために誤差信号を用いることと、
のうちの少なくとも１つを含んでもよい。
従来技術は、位置特定を改善するために、検出器、記述子、または、他の周知のプロセッサを改善しようとする。しかしながら、上記の態様を提供する実施形態は、代わりに訓練可能な変換を訓練することによって入力画像を修正する。このようにして、訓練可能な変換は、位置特定のためにより適切であり得る表現を生成するために用いられ得る。典型的に、このようにして処理される表現は、特徴マッチングに基づく任意の既存のシステムと共に、通常、変更を加えることなく用いられ得る。
全ての条件に対するマッピングは、多大な時間を必要とし、費用がかかり、ある場合においては不可能となり得るので、このような実施形態は、大幅に手間を省くはずである。また、悪条件下で収集されたデータの品質は、訓練された変換によって変換された表現と比較した場合に、より劣ることがあり、任意の生成されたマップにおける、より低い精度の原因となり得ることに留意すべきである。
実施形態は、異なる条件下における同じ場所での画像を合成するように設計された敵対的訓練ネットワークの一部として、識別可能な特徴検出器、及び／または、記述子パイプライン（または、任意の他の適切な周知の変換）を提供すると考えられてもよい。
いくつかの実施形態は、訓練の第１段階を提供してもよい。このような第１段階において、本方法は、ソース条件のトラバーサル（測量記録）の全て、及び、ターゲット条件のトラバーサルの少ない一部を選択することを含んでもよく、画像のいかなる位置合わせもすることなく、一対の訓練可能な変換を訓練してもよい。訓練は、以下では、サイクル一貫性損失、識別器損失、及び、特徴検出器及び記述子損失の何れかを含む誤差信号によって実施されてもよい。
いくつかの実施形態は、微調整段階と呼ばれ得るさらなる訓練段階を提供してもよい。さらなる訓練段階において、複数の十分に位置合わせされたターゲット及びソース表現のペアが選択される。訓練可能な変換は、その後、これらの十分に位置合わせされた表現を用いて変換されてもよく、一般的には、（特徴検出器、及び／または、識別器の出力のような）周知の変換にＬ１損失を用いる。十分に位置合わせされた表現は、メトリック６自由度グラウンドトゥルース（地上検証データ）に基づいて選択されてもよい。
いくつかの実施形態において、第１段階を提供することなく、単純にさらなる訓練段階を提供してもよい。他の実施形態は、第１段階のみを提供してもよく、または、第１及び第２段階の両方を提供してもよい。
便宜上、変換された第１訓練は、第２の訓練可能な変換を用いて変換され、第２の訓練可能な変換は、第１の訓練可能な変換の効果を反転し、合成第１訓練表現を生成するように訓練される。
いくつかの実施形態において、修正された第１訓練表現は、変換された第１訓練表現である。
いくつかの実施形態において、修正された第１訓練表現は、合成第１訓練表現である。
便宜上、誤差信号は、第２の訓練可能な変換を訓練するためにも用いられる。
通常、第１及び第２の訓練可能な変換は、ニューラルネットワークによって提供される。しかしながら、いくつかの実施形態において、遺伝的アルゴリズムなどの他の訓練可能な変換が用いられてもよい。
便宜上、周知のプロセスは、特徴記述子を生成する。
追加的に、または、代替的に、周知のプロセスは、第１及び第２表現内の特徴を検出する。
通常、訓練可能な変換の重みは、訓練開始前の値をゼロまたはその他に設定するために、訓練開始前に初期化される。
いくつかの実施形態において、表現が、第１、及び／または、第２の訓練可能な変換によって生成される表現の質の改善を可能にする合成表現であるかどうかを識別可能にするために、識別器を用いてもよい。
本方法は、第１訓練表現からの表現と対応するが異なる光条件下の表現である一組の第２訓練表現を用いる方法の訓練を繰り返すように構成されてもよい。
一実施形態において、このような方法は、エンティティの位置特定に用いられるように構成される第１及び第２の訓練可能な変換を生成する以下の方法を提供してもよく、変換は、環境の第１表現を、環境の、異なる第２表現に変換するように構成され、方法は、
ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）第１の訓練可能な変換を反転して合成第１訓練表現を生成するように構成される第２の訓練可能な変換を用いて、変換された第１訓練表現を処理することと、
ｃ）誤差信号を生成するように、第１訓練表現及び合成第１訓練表現の両方について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するように構成されるように選択される、少なくとも１つの周知のプロセスを実行することと、
ｄ）第１及び第２の訓練可能な変換のうちの少なくとも１つを訓練するために誤差信号を用いることと、
を含む。
本発明の第２の態様によれば、本発明の第１の態様の方法によって訓練された訓練可能な変換の使用であって、車両内で、該車両の位置を特定するために、または、少なくとも該車両の位置の特定を補助するために、格納された表現のライブラリに対する入力表現のマッチングにおいて行われる、訓練可能な変換の使用が提供される。
本発明の第３の態様によれば、車両の周囲の現在の表現を取得するように構成されるセンサを備える車両が提供される。車両は、周囲の格納された表現のライブラリへのアクセスを有する処理回路を備えてもよく、処理回路は、
ａ）ｉ）変換を用いて現在の表現を変換すること、及び、格納された表現のライブラリから変換された画像を検索すること、
ｉｉ）ライブラリからの少なくともいくつかの格納された表現を変換すること、及び、変換された格納された表現から現在の表現を検索すること、
のうちの少なくとも１つと、
ｂ）車両の位置特定のために、格納された表現のライブラリから検索で探し出された表現を用いること、
を実施するように構成され、
ステップａ）で実施される変換は、変換された表現内の特徴を強調するように構成される。
訓練可能な変換が訓練されると、それらは合成表現を生成するために用いられてもよく、車両内で用いられてもよい。一実施形態において、合成画像は、その後、［３］に基づくステレオ位置特定パイプラインにおいて用いられる。このパイプラインは、まず、場所認識を実施し、車両のライブフレームと同一の場所からのものである可能性が最も高い候補フレームを出力し、次に、ライブフレームと、場所認識の間に取得されたフレームとの間のメトリックポーズを算出するためにキーポイント特徴マッチングを用いる。
当業者は、変換された表現への参照は、変換を経た表現を意味するよう意図されていることを理解するであろう。本発明の態様の観点から、変換された画像は、修正された画像または合成画像であってもよい。
本発明の第４の態様によれば、環境の第１表現を、環境の、異なる第２表現に変換するように構成される第１の訓練可能な変換を訓練するように構成されるシステムが提供される。システムは、
ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）ｉ）誤差信号を生成するように、第１訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
ｉｉ）誤差信号を生成するように、第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
のうちの少なくとも１つを実施することと、
ｃ）第１の変換を訓練するために誤差信号を用いることと、
のうちの少なくとも１つを実施するようにプログラムされる処理回路を備えてもよい。
本発明の第５の態様によれば、コンピュータによって読み取られる場合に、機械に、
ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）ｉ）誤差信号を生成するように、第１訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
ｉｉ）誤差信号を生成するように、第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
のうちの少なくとも１つを実施することと、
ｃ）第１の変換を訓練するために誤差信号を用いることと、
のうちの１つ以上を実施させる命令を含む機械可読媒体が提供される。
本発明の第６の態様によれば、車両の周囲の現在の表現を取得するように構成される車両のセンサを用いること、を含む車両の位置特定の方法が提供され、方法は、
ａ）ｉ）変換を用いて現在の表現を変換すること、及び、格納された表現のライブラリから変換された画像を検索すること、
ｉｉ）ライブラリからの少なくともいくつかの格納された表現を変換すること、及び、変換された格納された表現から現在の表現を検索すること、
のうちの少なくとも１つを実施することと、
ｂ）車両の位置特定のために、格納された表現のライブラリから検索で探し出された表現を用いることと、
のうちの１つ以上を含み、
ステップａ）で実施される変換は、変換された表現内の特徴を強調するように構成される。
本発明の第７の態様によれば、コンピュータによって読み取られる場合に、車両上のコンピュータに、
ａ）車両の周囲の現在の表現を取得するように構成される車両のセンサを使用することと、
ｂ）ｉ）変換を用いて現在の表現を変換すること、及び、格納された表現のライブラリから変換された画像を検索すること、
ｉｉ）ライブラリからの少なくともいくつかの格納された表現を変換すること、及び、変換された格納された表現から現在の表現を検索すること、
のうちの少なくとも１つを実施することと、
ｃ）車両の位置特定のために、格納された表現のライブラリから検索で探し出された表現を使用することと、
のうちの少なくとも１つを実施させる命令を含む機械可読媒体であって、
ステップａ）で実施される変換は、変換された表現内の特徴を強調するように構成される、機械可読媒体が提供される。
上述の本発明の態様の何れかにおいて参照される機械可読媒体は、ＣＤＲＯＭ、ＤＶＤ ＲＯＭ／ＲＡＭ（−Ｒ／−ＲＷ、または、＋Ｒ／＋ＲＷを含む）、ハードディスクドライブ、メモリ（ＵＳＢドライブ、ＳＣカード、コンパクトフラッシュカードなどを含む）、伝送信号（インターネットダウンロード、ＦＴＰファイル転送などを含む）、ワイヤ、などの何れかであってもよい。
上述の本発明の態様の何れかに関連して説明される特徴は、必要に応じて変更を加えて、本発明の他の態様の何れかに適用されてもよい。
［本発明の実施形態の簡単な説明］
実施形態の具体化を概略的に示す。 見た目をソースからターゲット表現に変換し、逆もまた同様にするために、表現の登録を必要とすることなく、一対の生成器を訓練するように構成される、第１段階にて用いられるアーキテクチャを概略的に示す。 異なる条件間の特徴検出器と記述子層との差を最小にするために、十分に位置合わせされた訓練表現のサブセットに関する訓練プロセスの第２段階にて用いられるアーキテクチャを概略的に示す。 Ｈａａｒ応答の積み重ねを示す。 内部アーキテクチャを概略的に示す。 入力画像（左側の画像）から生成された画像（右側の画像）を図示する。 位置特定誤差を強調し、リアルの昼からリアルの夜への位置特定と、リアルの昼から合成の昼への位置特定との対比を示す。 移動距離の関数として、リアルの昼とリアルの夜との位置特定、及び、リアルの昼と合成の夜との位置特定に関するインライア数を示す。 位置特定に障害が発生した場合の推測航法の確率を距離の関数として与えるグラフを示す。 見た目の変換を用いた異なる条件間の特徴に基づく位置特定の例を示し、４枚一組の画像のそれぞれの上の２つの画像は、リアル画像間のマッチングを示し、下の２つの画像は、同じリアル画像と、合成画像との間のマッチングを示す（ここで、水平線は、インライアの合致を示す）。 方法を説明するフローチャートを示す。
図１は、後述の実施形態によって訓練される訓練可能な変換に対して配置される車両を説明する。それゆえに、図１は、後述の訓練プロセスの出力、訓練可能な変換を利用するシステムを説明する。
図１は、センサ１０２を搭載した車両１００を示す。ここでセンサは単眼カメラであるが、例えば、立体カメラ対、ＬｉＤＡＲセンサなどの任意の他の適切なセンサであってもよい。
センサ１０２は、その場所をモニタし、モニタリングに基づいてデータを生成し、それにより、車両の周囲の検知されたシーンに関するデータを提供する。
図１に示される実施形態において、車両１００は道路１０８に沿って移動し、センサ１００は、車両１００が移動するにつれて、その場所（例えば、建物１１０、道路１０８など）を撮像する。この実施形態において、車両１０２はまた、センサからデータを取り込み、その後、センサ１０２によって生成されたデータ（この場合においては画像であるが、他の表現もあり得る）を処理するように構成される処理回路１１２も備える。こうして、処理回路は、センサ１０２からデータを取り込む。説明される実施形態において、処理回路１１２は、車両上に格納装置１１４も備えるか、または、車両上の格納装置１１４にアクセスできる。
車両は、上述の参考文献［３］に説明されるように、位置特定パイプラインを採用してもよい。論文［３］は、参照することにより本願明細書に援用され、当業者は、この論文を読み、特に、位置特定パイプラインを参照するように案内される。
図の下部は、典型的な処理回路１１２に見られ得る構成要素を示す。処理ユニット１１８が設けられてもよく、これは、例えばＩ５、Ｉ７プロセッサなどのＩｎｔｅｌ（登録商標）Ｘ８６プロセッサであってもよい。処理ユニット１１８は、システムバス１２０を介して、Ｉ／Ｏサブシステム１２２（及び、それにより外部のネットワーク、ディスプレイなど）、及び、メモリ１２４と通信するように構成される。
当業者は、メモリ１２４が、揮発性メモリ、ハードディスクドライブ、不揮発性メモリ、他で説明される任意の機械可読媒体などを含む様々な構成要素によって提供され得ることを理解するであろう。実際に、メモリ１２４は、処理ユニット１１８の制御下の複数の構成要素を備えてもよい。
しかしながら、典型的には、メモリ１２４は、実行されたときに動作を実施するプログラムコードを格納するように構成されるプログラム格納部１２６、及び、一時的に、及び／または、永久的にデータを格納するために用いられ得るデータ格納部１２８を提供する。
他の実施形態において、処理回路１１２の少なくとも一部は、車両から離れて設けられてもよい。それにより、センサ１０２によって生成されるデータの処理は、車両１００外で、または、部分的に車両１００上、且つ、部分的に車両１００外で実施されることが考え得る。実施形態において、処理回路は、車両の上や外の両方に、ひいては、ネットワーク接続（例えば、３Ｇ ＵＭＴＳ（ユニバーサル移動体通信システム）、４Ｇ（例えば、ＬＴＥ−ロングタームエボリューションなど）、ＷｉＦｉ（ＩＥＥＥ８０２．１１）、ＷｉＭＡＸなど）上や外の両方に設けられる。
道路に沿って移動する車両１００を参照することは都合が良いが、当業者は、本発明の実施形態が陸上車に限定される必要はなく、例えば、船、ボートなどの水上船舶、または、実際に、例えば飛行機などの空輸機であり得ることを理解するであろう。実際に、本方法は、例えば、ロボット、または、ユーザによって運ばれる移動体装置など車両以外のエンティティによって実施され得るであろう。
さらに、以下の記述において、センサ１００によって生成される画像データを参照することは都合が良いが、本発明の他の実施形態は、他の種類のデータを生成してもよい。それゆえに、説明される実施形態は、画像、つまり、環境の写真を利用する。しかしながら、他の種類の環境表現も適切であり得ると考えられる。例えば、ＬｉＤＡＲスキャンが、画像の代わりに用いられてもよい。それゆえに、以下における画像への言及は、他の種類のデータをカバーするものと考えるべきである。
説明される実施形態は、画像を変換するためにニューラルネットワーク（ＮＮ）を訓練する。ニューラルネットワークは、訓練可能な変換の例を提供する。訓練されたニューラルネットワークは、その後、以下に説明されるように、車両などの位置特定を支援するために用いられ得る画像を生成するために用いられ得る。
説明される実施形態は、［２２］Ｈ．Ｂａｙ、Ｔ．Ｔｕｙｔｅｌａａｒｓ、及び、Ｌ．Ｖａｎ Ｇｏｏｌ「Ｓｕｒｆ：Ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ」Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ−ＥＣＣＶ ２００６、４０４〜４１７ページ，２００６年、のＳＵＲＦ特徴を用いる特徴検出、及び、マッチングパイプラインを用い、２段階の訓練手法を採用する。他の実施形態は、説明される実施形態の両方の段階を用いなくてもよい。他の実施形態が第１段階のみ、または、第２段階のみを用いることは可能である。しかしながら、両方の段階を共に用いることは、説明される実施形態によって生成される合成画像の品質において優位性を示すことが分かっている。
第１段階において、［７］と同様に、サイクル一貫性アーキテクチャが、入力ソース画像をターゲット条件の合成画像に変換するように生成器を訓練するために用いられる。生成器は、訓練フェーズの間に訓練され、そこに入力される画像（または他の表現）を変換するように構成されるので、訓練可能な変換であると考えられるであろう。第１生成器によって生成される合成画像は、続いて（同様に訓練可能な変換であると考えられるであろう）第２生成器によって、逆方向に繰り返されるプロセスにて、初期状態を有する合成画像に再び変換される。
第２段階において、画像生成器は、十分に位置合わせされたデータセットのサブセットを用いて、独立して微調整される。
第１段階において、図２に示されるように、２つの（つまり、第１及び第２の訓練可能な変換）生成器、条件Ａを条件Ｂに変換する第１ＧＡＢ、及び、条件Ｂを条件Ａに変換する第２ＧＢＡは、対にされていないソース及びターゲット画像の収集物を用いて訓練される。ＧＢＡはＧＡＢの効果を反転する方法を学習するように構成／訓練される。ＧＡＢ及びＧＢＡは、それぞれ、訓練可能な変換であると考えられるであろう。識別器損失が合成画像に適用され、Ｌ１損失が合成画像と入力画像との間で適用される。さらに、ＳＵＲＦ検出器応答マップ（つまり、周知のプロセスの出力）が合成及び入力画像について算出され、それらの間でＬ１損失を適用し、同様に、画素毎の高密度ＳＵＲＦ記述子マップ（つまり、周知のプロセスの出力）を合成及び入力画像について算出し、それらの間でＬ１損失を適用するが、これらの方法は、以下のＩＩＩ−Ａ及びＩＩＩ−Ｂにてさらに説明される。
このように、第１段階が第１訓練表現２００を取得し（ステップ１１００）、それを第１の訓練可能な変換（ここではＧＡＢ）を用いて変換することが分かる。ＧＡＢの出力は、第１訓練表現の修正版２０２であると考えられるであろう。
次に、第１訓練表現の修正版２０２は、第２の訓練可能な変換（ここではＧＢＡ）に入力され、第１訓練表現の合成版２０４が生成される。
その後、説明される実施形態において、記述子マップ及び検出器応答マップの両方が、第１訓練画像２０６と、合成版２０８とのそれぞれに対して計算され（つまり、周知のプロセスが実行され）、誤差信号２１０を生成するために用いられる。
ここで、ソース画像は、第１訓練表現であると考えられてもよく、ターゲット画像は、第２訓練表現であると考えられてもよい。ここで説明される第１段階において、第１訓練表現（ソース画像）は、第２訓練表現（ターゲット画像）と対になっていないが、第２訓練表現は、第１表現と類似の表現に対応する。
第２段階において、ＧＡＢ及びＧＢＡ（つまり、訓練可能な変換）は、昼夜の画像が位置合わせされた少数のデータセット（つまり、各第１表現に対して提供される第２の十分に位置合わせされた表現を有する、第１及び第２表現）を用いて別途訓練される。画素が位置合わせされた画像の使用は、いかなる明確な画素毎のマッピングも伴わず、画像分布を位置合わせする方法を学習するだけの第１段階で用いられた教師なしの方法によって取り込まれなかったものであり得る、ある特徴変換を、生成器が学習することを可能にする。このとき、Ｌ１損失は、位置合わせされたターゲット画像及び合成画像について算出されるＳＵＲＦ検出器応答マップ（つまり、検出器応答マップは、周知のプロセスの出力である）間、及び、位置合わせされたターゲット画像及び合成画像について算出される高密度記述子応答マップ（つまり、記述子応答マップ）間で適用される。第２段階のアーキテクチャは、図３に示される。
次に、第２の微調整段階は、第１訓練表現に対応する第２訓練表現を取得することと考えられてもよい。ここで、第１及び第２訓練表現は、十分に位置合わせされる。
訓練可能な変換は（ＧＡＢとＧＢＡのそれぞれは順に）、その後、修正された訓練表現を生成するように、第１訓練表現を変換することによって訓練される。次に、ＳＵＲＦ検出器マップ及び記述子マップが、修正された第１訓練表現及び第２訓練表現の両方について生成され、つまり、周知のプロセスが、修正された第１訓練表現及び第２訓練表現のそれぞれに対して実施される。その後、訓練可能な変換を訓練するために、記述子、及び／または、検出器マップを比較することによって誤差信号が生成される。
説明される実施形態において、第１段階に続いて第２微調整段階が続く。しかしながら、いくつかの実施形態は、第１段階のみ、または、第２段階のみを実施し得ることも可能である。
上の説明において、記述子マップ及び検出器マップの生成は、画像に対して実行する周知のプロセスの例において用いられる。他の実施形態は、第１訓練画像及び合成画像が、画像分類ネットワークに入力され、層のうちの１つにおける活性化を比較する、知覚的損失のような他の周知のプロセスを用いてもよい。
生成器アーキテクチャは、［２３］Ｒ．Ｇｕｅｒｒｅｒｏ、Ｃ．Ｑｉｎ、Ｏ．Ｏｋｔａｙ、Ｃ．Ｂｏｗｌｅｓ、Ｌ．Ｃｈｅｎ、Ｒ．Ｊｏｕｌｅｓ、Ｒ．Ｗｏｌｚ、Ｍ．Ｖａｌｄｅｓ−Ｈｅｒｎａｎｄｅｚ、Ｄ．Ｄｉｃｋｉｅ、Ｊ．Ｗａｒｄｌａｗ等「Ｗｈｉｔｅ ｍａｔｔｅｒ ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ ａｎｄ ｓｔｒｏｋｅ ｌｅｓｉｏｎ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」ａｒＸｉｖプレプリント、ａｒＸｉｖ：１７０６．００９３５、２０１７年、のＵＲｅｓＮｅｔに基づき、これは、［２４］Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐ．Ｆｉｓｃｈｅｒ、及び、Ｔ．Ｂｒｏｘ「Ｕ−ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ」Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ、Ｓｐｒｉｎｇｅｒ、２０１５年、２３４〜２４１ページのＵＮｅｔを、［２５］Ｋ．Ｈｅ、Ｘ．Ｚｈａｎｇ、Ｓ．Ｒｅｎ、及び、Ｊ．Ｓｕｎ「Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ」Ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、２０１６年６月モジュールのＲｅｓｉｄｕａｌ（ＲｅｓＮｅｔ）と組み合せている。生成器の内部アーキテクチャは、図５に示される。
説明される実施形態において、識別器アーキテクチャは、５層のＣＮＮである。最初の４層は、インスタンス正規化及びｌｅａｋｙ ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が続く畳み込み演算を有し、最終層は、画像空間内の受容野をリアルまたはフェイクに分類するＨ／８×Ｗ／８マップを出力する畳み込み演算であり、Ｈ及びＷは、入力画像の高さ及び幅を示す。
より具体的には、このアーキテクチャは、ストライド２の３つの下畳み込み層５００，５０２，５０４、９つのＲｅｓＮｅｔブロック５１８、及び、分数ストライド１／２の３つの上畳み込み層５０６，５０８，５１０を、対応する下及び上畳み込み層の間にスキップ接続５１２，５１４，５１６を有して採用する。それぞれの畳み込み層は、層（５０６〜５１６）のシェーディングによって示されるように、インスタンス正規化及びｌｅａｋｙ ＲｅＬＵが続く畳み込み演算からなる。それぞれのＲｅｓＮｅｔブロック５１８は、畳み込み、続いて、インスタンス正規化、ｌｅａｋｙ ＲｅＬＵ、第２畳み込み、インスタンス正規化、及び、得られる出力に入力されるオリジナルブロックの加算、からなる。
ＧＡＢ及びＧＢＡの両方に関する生成器の結果の例は、様々な異なる条件のペアに関して図１０に示される。
Ａ．ＳＵＲＦ検出器応答マップ
ＳＵＲＦ検出器応答マップは、上述の［２２］にて説明されるヘッセ行列式の独自な近似方法の畳み込み版を用いて得られる。それぞれのスケールに関して、我々は、Ｘ、Ｙ及び斜め方向のそれぞれについてガウシアン
Figure 2021510823
 の２階微分を近似するために、３つのボックスフィルタを生成する。我々は、これらのフィルタを画像Ｉで畳み込み、応答マップＬｘｘ（σ）、Ｌｙｙ（σ）、及び、Ｌｘｙ（σ）をもたらす。
アダマール積を用いると、ヘッセ行列式の近似行列は、
Figure 2021510823
 である。
高密度ＳＵＲＦ記述子
ＯｐｅｎＳＵＲＦ（［２６］Ｃ．Ｅｖａｎｓ「Ｎｏｔｅｓ ｏｎ ｔｈｅ ＯｐｅｎＳＵＲＦ Ｌｉｂｒａｒｙ」ブリストル大学Ｔｅｃｈ Ｒｅｐ ＣＳＴＲ０９００１ １月、ｎｏ．１、２５ページ、２００９年）において用いられる方法論を適合させ、画素毎の高密度ＳＵＲＦ記述子を構築するための高速の畳み込み方法が採用され、これを通して勾配が渡され得る。Ｎ個の選択されたスケールのそれぞれのスケールに関して、我々は、
・ＳＵＲＦ記述子を構築するために用いられる近傍画素の８１の相対オフセットに関する検索テーブル
・８１のオフセットのスケール固有のガウシアン重みに関するＮｘ８１マトリクス
・１６の近傍のガウシアン重みに関する長さ１６の列ベクトル
・Ｘ及びＹの両方向に関するＨＡＡＲ−ｌｉｋｅボックスフィルタ
を予め計算する。
入力画像は、その後、ＨＡＡＲボックスフィルタにて畳み込まれ、ウェーブレット応答が保存される。選択されるスケールのそれぞれに関して、我々は、８１のウェーブレット応答の複製を積み重ね、スケール固有のガウシアン重みをそれらに乗じる。
その後、ＳＵＲＦ記述子を成す１６の近傍画素のそれぞれに関し、我々は、
・オフセット検索テーブル（例えば、４００ａ、４００ｂなどのオフセット参照）により、積み重ねられた複製を、Ｘ及びＹ方向に沿ってオフセットし、
・近傍固有のガウシアン重みを乗算し、
・積み重ね方向に沿って、生値及び絶対値の両方をＸ及びＹ方向のそれぞれに対して加算して４つのマトリクスをもたらし、
・それぞれのマトリクスと、その近傍固有のガウシアン重みＬＵＴとを要素ごとに乗算し、
・４つの結果として生じるマトリクスを積み重ねる。
最後に、結果として生じるＨ×Ｗサイズマトリクスの６４層の積み重ねのそれぞれの行が正規化され、ここでＨ及びＷは入力画像の高さ及び幅である。この積み重ねは、それぞれのスケールに関する画素毎の高密度ＳＵＲＦ記述子を示す。積み重ね及び加算演算は、図４に示される。
ｂ）記述子損失
このように、説明される実施形態は、記述子損失を利用する。このような記述子損失ＬＤｅｓｃは、訓練可能な変換（つまり、生成器）の訓練をガイドすると考えられてもよく、それゆえに、初期条件下の特定のシーンを示す入力された第１表現から得られる変換された第１表現の領域またはサブ領域成分の記述子は、ターゲット条件下の特定のシーンを示す第２表現の領域またはサブ領域成分の記述子と可能な限り厳密に合致する。訓練可能な変換の訓練フェーズの間、第１及び第２表現は、一般的に、訓練セットからの表現で与えられる。（車両１００上で利用されるときのような）実行時間の間、第１表現は、一般的に、センサ１０２からの表現で与えられる。
代替的に、または、追加的に、初期条件下の特定のシーンを示す入力表現から得られる変換された表現の領域またはサブ領域成分の記述子の分布は、ターゲット条件下の特定のシーンを示す画像の領域またはサブ領域成分の記述子の分布と可能な限り厳密に合致する。
ここで、記述子は、領域またはサブ域成分の強度、領域またはサブ領域成分の強度の線形変換、領域またはサブ領域成分の強度の非線形変換を示してもよい。
ａ）検出器損失
さらに、説明される実施形態はまた検出器損失も利用する。このような検出器損失は、訓練可能な変換の訓練をガイドすると考えられてもよく、それゆえに、初期条件下の特定のシーンを示す入力画像から得られる変換された画像の関心領域またはサブ領域成分の位置は、ターゲット条件下の特定のシーンを示す画像の関心領域またはサブ領域成分の位置と可能な限り厳密に合致する。
代替的に、または、追加的に、検出器は、初期条件下で特定のシーンを示す入力画像から得られる変換された画像の関心領域またはサブ領域成分の位置の分布が、ターゲット条件下の特定のシーンを示す画像の関心領域またはサブ領域成分の位置の分布と可能な限り厳密に合致するようにされている。
ここで、関心領域またはサブ領域成分は、領域にわたるそれらの強度／振幅の差、または、分散、または、共通の尺度を用いて定量化可能な情報コンテンツによって分類されてもよい。
ここで、変換された画像は、修正、及び／または、合成された画像のような、訓練可能な変換の出力を含む。
昼−夜マッチングのための特徴検出器及び記述子は、大部分の特徴が、小さなスケール（＜１０）で検出されることを示す、［２７］Ｈ．Ｚｈｏｕ、Ｔ．Ｓａｔｔｌｅｒ、及び、Ｄ．Ｗ．Ｊａｃｏｂｓ「Ｅｖａｌｕａｔｉｎｇ ｌｏｃａｌ ｆｅａｔｕｒｅｓ ｆｏｒ ｄａｙ−ｎｉｇｈｔ ｍａｔｃｉｎｇ」Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ−ＥＣＣＶ ２０１６ Ｗｏｒｋｓｈｏｐｓ−アムステルダム、オランダ、１０月８〜１０日及び１５〜１６日、２０１６年、Ｐｒｏｃｅｅｄｉｎｇｓ、パートＩＩＩ、２０１６年、７２４〜７３６ページ、において評価されている。実験に続いて、説明される本実施形態は、訓練プロセスの高速化のために最初の５スケールに対してＳＵＲＦ損失タームを算出し、このことが、性能の大きな損失を引き起こさないことが判明した。より少ない近傍画素内では、異なる条件の画像間の見た目の変化は、より多い近傍画素と比較してより均一になり得ることがこれに関する説明となり得るだろう。しかしながら、当業者は、他の実施形態が、精度がさらに向上し得るより大きなスケールに対して損失タームを算出してもよいが、一般的に、処理時間が増加するという不利益があることを理解するであろう。さらに、他の実施形態は、５スケールより小さなスケールで算出してもよい。
Ｂ．損失
［７］と同様に、説明される実施形態は、識別器を通してそれぞれの生成器の出力に、つまり、識別器ＤＢを通して生成器ＧＡＢの出力に、識別器ＤＡを通して、生成器ＧＢＡの出力に、敵対的な損失を適用する。この損失は、
Figure 2021510823
Figure 2021510823
 のように定式化される。
敵対的オブジェクティブＬａｄｖは、
Figure 2021510823
 となる。
識別器は、以下の損失を最小にするように訓練される。
Figure 2021510823
Figure 2021510823
 識別器オブジェクティブＬｄｉｓｃは、
Figure 2021510823
 となる。
サイクル一貫性損失［７］が、入力画像と合成画像との間、及び、ＳＵＲＦ検出器Ｄｅｔ（・）と、これらの２つの画像から算出される高密度記述子Ｄｅｓｃ（・）マップとの間に適用される。
Figure 2021510823
Figure 2021510823
Figure 2021510823
 完全な生成器オブジェクティブＬｇｅｎは、
Figure 2021510823
 となる。
それぞれのλ項は、それぞれの損失成分の影響に重み付けするハイパーパラメータである。ターゲット画像が、入力及び合成画像と位置合わせされる微調整段階に関して、損失は、
Figure 2021510823
Figure 2021510823
 となる。
微調整オブジェクティブＬｆｉｎｅｔｕｎｅは、
Figure 2021510823
 となる。
説明される実施形態は、
Figure 2021510823
 のような、生成器関数ＧＡＢ、ＧＢＡを算出する。
説明される実施形態は、上述の損失を、以下のように最小にするように構成される。
データは、最大で１年分収集され、５つの条件ぺア：昼−夜、昼−雪、昼−夜明け、昼−晴れ、及び、昼−雨を提供する、オックスフォードロボットカーデータセット［１１］Ｗ．Ｍａｄｄｅｒｎ、Ｇ．Ｐａｓｃｏｅ、Ｃ．Ｌｉｎｅｇａｒ、及び、Ｐ．Ｎｅｗｍａｎ「１ Ｙｅａｒ，１０００ｋｍ：Ｔｈｅ Ｏｘｆｏｒｄ ＲｏｂｏｔＣａｒ Ｄａｔａｓｅｔ」Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ（ＩＪＲＲ）、ｖｏｌ．３６、ｎｏ．１、３〜１５ページ、２０１７年、からの６つのトラバーサルから用いられた。それぞれのトラバーサルについて、ＲＴＫ−ＧＰＳグラウンドトゥルースはフィルタ処理され、並進標準偏差で２５ｃｍより大きいデータ点は何れも破棄された。
それぞれの条件ペアに関する訓練データセットは、十分な量のマッピングデータが獲得できない場合をシミュレートするために、昼のトラバーサル全体、及び、ペアの条件のおよそ２０％を示す部分から生成された。ペアの条件の残りの８０％は、合成画像の性能を評価するために用いられた。
第２訓練段階で用いられる十分に位置合わせされたデータセットは、それらの間に視点回転が全く存在しないか、または、ごくわずかしか存在しない画像のペアを選択することによって生成された。並進または回転ずれの無い画像ペアはそのまま用いられ、微小な回転差を有する画像については、ターゲット画像は、ＲＴＫ−ＧＰＳグラウンドトゥルースによって提供される既知のポーズを用いて、ソース画像のフレームにアフィンワープされた。
Ａ．訓練
サイクル一貫性段階（つまり、第１段階）のため、［７］に類似のネットワーク訓練レジメンが採用される。それぞれの反復について、識別器は、Ｌｄｉｓｃを最小化する目標を有する以前の反復からのリアルターゲットドメイン画像及び合成画像で訓練され、その後、生成器が、Ｌｇｅｎを最小にするように、入力画像で訓練される。具体的には、説明される実施形態は、Ａｄａｍソルバ（［２８］Ｄ．Ｐ．Ｋｉｎｇｍａ、及び、Ｊ．Ｂａ「Ａｄａｍ：Ａ ｍｅｔｈｏｄ ｆｏｒ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｍｉｚａｔｉｏｎ」ＣｏＲＲ、ｖｏｌ．ａｂｓ／１４１２．６９８０、２０１４年）を、０．０００２に設定される初期学習率、バッチサイズ１、λｒｅｃ＝８、λｄｅｔ＝２、λｄｅｓｃ＝２、及び、λａｄｖ＝１にて用いた。当業者は、他のソルバが利用できることを理解するであろう。
微調整段階（つまり、第２段階）については、少数の十分に位置合わせされたデータセットのサブセットが、訓練のために用いられ、同一の学習パラメータを用いてＬｆｉｎｅｔｕｎｅを最小にするように構成される。
Ｂ．位置特定
一旦、パラメータが上述の方法によって学習されると、車両などの位置特定のためにパラメータを用いることが可能となる。
ここで説明される一実施形態は、昼マップフレームをターゲット条件フレームに変換するように、訓練された生成器ＧＡＢを用い、５種類のターゲット条件フレームを昼条件フレームに変換するように、訓練された生成器ＧＢＡを用いた。
位置特定の観点から合成画像を評価するために、実施形態は、ＲＡＮＳＡＣ（［３０］Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ、及び、Ｒ．Ｃ．Ｂｏｌｌｅｓ「Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ」Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ、ｖｏｌ．２４、ｎｏ．６、３８１〜３９５ページ、１９８１年６月）を用いる幾何学的な検証段階が続く、特徴に基づくトポロジー的位置特定（［２９］Ｍ．Ｃｕｍｍｉｎｓ、及び、Ｐ．Ｎｅｗｍａｎ「Ａｐｐｅａｒａｎｃｅ−ｏｎｌｙ ｓｌａｍ ａｔ ｌａｒｇｅ ｓｃａｌｅ ｗｉｔｈ ｆａｂ−ｍａｐ ２．０」Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ、ｖｏｌ．３０、ｎｏ．９、１１００〜１１２３ページ、２０１１年）と、インライア再投影誤差を最小にするための非線形最適化と、を実行する［３］の体験型ナビゲーションシステムを用いた。
別のマップとして合成フレームを追加することとは対照的に、特徴の対応は、リアル画像とリアル画像とのマッチング、及び、合成画像とリアル画像とのマッチングから蓄積され、このことは、より安定的で精度の高い解決策につながることが判明した。
説明される実施形態において、生成器は、Ｎｖｉｄｉａ Ｔｉｔａｎ Ｘ ＧＰＵ上で、１２８０×９６０の解像度の画像に対しておよそ１Ｈｚで動作し、６４０×４８０の解像度の画像に対しておよそ３Ｈｚで動作する。当業者は、これらの周波数は、異なるプロセッサ（つまり、ＧＰＵ）が用いられる場合に、変わり得ると理解するであろう。
Ｖ．結果
Ａ．定量的結果
以下に、結果が、位置特定の頻度及び品質の両方を考慮して示される。
Figure 2021510823
 表１−様々なネットワークアーキテクチャに対するメトリック位置特定
表１は、昼−夜位置特定の場合における、ＲＴＫ−ＧＰＳグラウンドトゥルースに対する二乗平均平方根並進誤差（ＲＭＳＥ（ｍ））及び回転誤差（ＲＭＳＥ（Ｏ））と、移動距離のパーセンテージとしての累積有効特定位置と、を比較する。結果は、原画像、［７］のＲＧＢのみ実施にて得られる画像、及び、上述の実施形態の第１段階及び第２段階を用いて得られた画像に関して示される。結果は、第１段階のモデルから生成される合成画像を用いる位置特定の精度の向上、及び、第２段階の微調整モデルからのさらなる精度の向上を示す。
Figure 2021510823
 表２−条件間のメトリック位置特定性能
表２は、第１段階の訓練がされたモデルを用いて、昼へと変換された幅広い条件の位置特定結果を示し、単一の条件に対して位置特定する場合の方法の性能を説明する。すべての場合において、位置特定率は（大抵は２倍に）改善され、メトリック誤差は削減される。
図７は、グラウンドトゥルースに対する並進及び回転誤差の分布を与える２つのヒストグラムを示し、それぞれのヒストグラムは、昼−夜位置特定の場合における、原画像のマッチングと、我々の最良の解決策に関するマッチングと、を示す。原画像及び［７］のＲＧＢのみの実施によって作成される画像と比較して、位置特定の精度において、全体として大幅な改善が認められた。
ヒストグラムを生成するために、絶対値で５メートルより大きい並進外れ値は、−５及び＋５メートルのビンに累積されている。絶対値で３０度より大きい回転外れ値は、−３０度及び＋３０度のビンに累積されている。
図８は、昼−夜位置特定の場合における、原画像、及び、我々の最良の解決策に関して、合致インライア数を移動距離の関数として示す。リアル画像とリアル画像とのマッチングと比較して、リアルと合成のマッチングに関するインライア数の大幅な増加が認められた。
図９は、位置特定に障害が発生した場合のＶＯ（ビジュアルオドメトリ）ベースの開ループにおける移動確率を移動距離の関数として示す。上述の実施形態を用いて生成された合成画像を用いる場合、大幅な改善が認められた。なお、おそらく意外にも、［７］のＲＧＢのみの実施を用いて生成された画像は、ロバスト性において大きな改善をもたらさなかった。
なお、図９から、合成画像を用いた場合、昼−夜位置特定のロバスト性において、大幅な向上が認められた。マップは昼間から、入力画像は夜で図９を生成する。
Ｂ．質的な結果
図１０は、オックスフォード全体にわたる一連の場所における質的な結果を示し、ここで、原画像間のマッチングは、失敗したか、または、極めて少数のインライアをもたらした。画像ペア内のマッチングは、画像ペア内で対応するポイント間の水平線によって示される。本図は、リアル画像の間（上）、及び、リアル画像と合成画像との間（下）の対応を示す。ウィンドウフレームなどの特徴検出器及び記述子によって説明される詳細を再構築する質的に良好な仕事を、（構築による）学習後の画像変換がどのように行うかを示す。
ＶＩ．結論
悪条件下でロバストな位置特定を提供するシステムが示される。本システムは、（例えば、車両または他のエンティティがアクセス可能な画像ライブラリ上の）格納された画像とのポイント毎のマッチングを強調するように変換された入力画像を取得すると考えられるであろう。説明される実施形態において、訓練可能な変換は、明確に、属性特徴検出及び記述段階からなる一方で、サイクリックＧＡＮを用いて学習する。説明される実施形態は、特徴検出器及び記述子応答を利用する。
マッピングに費用がかかり、時間を要し、または、困難である状況をエミュレートする少量のターゲット訓練データを用いる場合、説明される実施形態は、ベースラインと比較して場所認識及びメトリック位置特定が一貫して改善される、結果として生じる合成画像を生成した。それゆえに、このような実施形態は、多様な条件下のマッピングの費用及び不便さを、おそらく大幅に削減するだけでなく、我々の方法と併用して用いられる場合に、生成されるマップの有効性を改善するであろう。
さらに、説明される実施形態は、一般的に、オフラインまたはオンラインの何れでも、位置特定パイプラインの外側の画像ストリームを処理するように構成され、従って、多数の既存システムのフロントエンドとして用いられるであろう。

Claims (16)

  1. エンティティの位置特定に用いられるように構成される第１の訓練可能な変換を生成する電算化された方法であって、前記変換は、環境の第１表現を、環境の、異なる第２表現に変換するように構成され、
    ａ）変換された第１訓練表現を生成するように、前記第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
    ｂ）ｉ）誤差信号を生成するように、前記第１訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
    ｉｉ）誤差信号を生成するように、前記第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
    のうちの少なくとも１つを実施することと、
    ｃ）前記第１の変換を訓練するために前記誤差信号を用いることと、
    を含む方法。
  2. 変換された前記第１訓練表現は、第２の訓練可能な変換を用いて変換され、前記第２の訓練可能な変換は、前記第１の訓練可能な変換の効果を反転し、合成第１訓練表現を生成するように訓練される、請求項１に記載の方法。
  3. 修正された前記第１訓練表現は、前記合成第１訓練表現である、請求項２に記載の方法。
  4. 前記誤差信号は、前記第２の訓練可能な変換を訓練するためにも用いられる、請求項２または請求項３に記載の方法。
  5. 前記第１、及び／または、第２の訓練可能な変換は、ニューラルネットワークによって提供される、請求項２〜４の何れか一項に記載の方法。
  6. 前記周知のプロセスは、特徴記述子を生成する、請求項１〜５の何れか一項に記載の方法。
  7. 前記周知のプロセスは、前記第１及び第２表現内の特徴を検出する、請求項１〜６の何れか一項に記載の方法。
  8. 前記訓練可能な変換の重みは、訓練開始前に初期化される、請求項１〜７の何れか一項に記載の方法。
  9. 表現が合成表現であるかどうかを識別可能にするために識別器を訓練する、請求項１〜８の何れか一項に記載の方法。
  10. 前記第１訓練表現からの表現に対応するが異なる光条件下の表現である一組の第２訓練表現を用いる方法の訓練を繰り返す、請求項１〜９の何れか一項に記載の方法。
  11. 請求項１〜１０の何れか一項の方法によって訓練された訓練可能な変換の使用であって、車両内で、該車両の位置を特定するために、または、少なくとも該車両の位置の特定を補助するために、格納された表現のライブラリに対する入力表現のマッチングにおいて行われる、訓練可能な変換の使用。
  12. 車両の周囲の現在の表現を取得するように構成されるセンサを備える車両であって、前記車両は、前記周囲の格納された表現のライブラリへのアクセスを有する処理回路をさらに備え、前記処理回路は、
    ａ）ｉ）変換を用いて前記現在の表現を変換すること、及び、格納された表現の前記ライブラリから前記変換された画像を検索すること、
    ｉｉ）前記ライブラリからの少なくともいくつかの前記格納された表現を変換すること、及び、変換された前記格納された表現から前記現在の表現を検索すること、
    のうちの少なくとも１つと、
    ｂ）前記車両の位置特定のために、前記格納された表現の前記ライブラリから検索で探し出された表現を用いることと、
    を実施するように構成され、
    ステップａ）で実施される前記変換は、前記変換された表現内の特徴を強調するように構成される、車両。
  13. 環境の第１表現を、環境の、異なる第２表現に変換するよう構成される第１の訓練可能な変換を訓練するように構成されるシステムであって、
    ａ）変換された第１訓練表現を生成するように、前記第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理し、
    ｂ）ｉ）誤差信号を生成するように、前記第１訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
    ｉｉ）誤差信号を生成するように、前記第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
    のうちの少なくとも１つを実施し、
    ｃ）前記第１の変換を訓練するために前記誤差信号を用いる、
    ようにプログラムされる処理回路を備えるシステム。
  14. コンピュータによって読み取られる場合に、機械に、
    ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
    ｂ）ｉ）誤差信号を生成するように、前記第１訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
    ｉｉ）誤差信号を生成するように、前記第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
    のうちの少なくとも１つを実施することと、
    ｃ）前記第１の変換を訓練するために前記誤差信号を用いることと、
    を実施させる命令を含む機械可読媒体。
  15. 車両の周囲の現在の表現を取得するように構成される車両のセンサを用いること、を含む車両の位置特定の方法であって、
    ａ）ｉ）変換を用いて前記現在の表現を変換すること、及び、格納された表現のライブラリから前記変換された画像を検索すること、
    ｉｉ）前記ライブラリからの少なくともいくつかの前記格納された表現を変換すること、及び、変換された前記格納された表現から前記現在の表現を検索すること、
    のうちの少なくとも１つを実施することと、
    ｂ）前記車両の位置特定のために、前記格納された表現の前記ライブラリから検索で探し出された表現を用いることと、
    を含む方法であって、
    ステップａ）で実施される前記変換は、前記変換された表現内の特徴を強調するように構成される、方法。
  16. コンピュータによって読み取られる場合に、車両上のコンピュータに、
    ａ）前記車両の周囲の現在の表現を取得するように構成される車両のセンサを使用させ、
    ｂ）ｉ）変換を用いて前記現在の表現を変換すること、及び、格納された表現のライブラリから前記変換された画像を検索すること、
    ｉｉ）前記ライブラリからの少なくともいくつかの前記格納された表現を変換すること、及び、変換された前記格納された表現から前記現在の表現を検索すること、
    のうちの少なくとも１つを実施させ、
    ｃ）前記車両の位置特定のために、前記格納された表現の前記ライブラリから検索で探し出された表現を使用させる、
    命令を含む機械可読媒体であって、
    ステップａ）で実施される前記変換は、前記変換された表現内の特徴を強調するように構成される、機械可読媒体。
JP2020539786A 2018-01-18 2019-01-18 車両位置特定 Pending JP2021510823A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1800811.0A GB201800811D0 (en) 2018-01-18 2018-01-18 Localising a vehicle
GB1800811.0 2018-01-18
PCT/GB2019/050133 WO2019141992A1 (en) 2018-01-18 2019-01-18 Localising a vehicle

Publications (2)

Publication Number Publication Date
JP2021510823A true JP2021510823A (ja) 2021-04-30
JPWO2019141992A5 JPWO2019141992A5 (ja) 2022-01-25

Family

ID=61283580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020539786A Pending JP2021510823A (ja) 2018-01-18 2019-01-18 車両位置特定

Country Status (8)

Country Link
US (1) US20200379481A1 (ja)
EP (1) EP3740907A1 (ja)
JP (1) JP2021510823A (ja)
KR (1) KR20200110768A (ja)
CN (1) CN111566675A (ja)
AU (1) AU2019208479B2 (ja)
GB (1) GB201800811D0 (ja)
WO (1) WO2019141992A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022512340A (ja) * 2019-06-24 2022-02-03 センスタイム グループ リミテッド 画像生成及びニューラルネットワーク訓練方法、装置、機器並びに媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012330A2 (en) * 2017-07-12 2019-01-17 Banuba Limited COMPUTER-IMPLEMENTED METHODS AND CONFIGURED COMPUTER SYSTEMS TO GENERATE SYNTHETIC REPRESENTATIONS WITH PHOTOREALIST IMITATION OF SUBJECTS
US11443442B2 (en) * 2020-01-28 2022-09-13 Here Global B.V. Method and apparatus for localizing a data set based upon synthetic image registration
US11852751B2 (en) * 2020-03-02 2023-12-26 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, computing device and computer-readable storage medium for positioning
CN116391210A (zh) * 2020-09-02 2023-07-04 谷歌有限责任公司 全景图像的条件感知生成

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281928B1 (en) * 1998-05-13 2001-08-28 Chuo Hatsujo Kabushiki Kaisha Positional detector device for a vehicular license plate
JP5041229B2 (ja) * 2007-12-07 2012-10-03 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
US8538201B2 (en) * 2008-05-21 2013-09-17 Tp Vision Holding B.V. Image resolution enhancement
GB201409625D0 (en) * 2014-05-30 2014-07-16 Isis Innovation Vehicle localisation
WO2018112028A1 (en) * 2016-12-16 2018-06-21 Mako Surgical Corp. Techniques for detecting errors or loss of accuracy in a surgical robotic system
CN106815583B (zh) * 2017-01-16 2020-07-14 上海理工大学 一种基于mser和swt相结合的夜间车辆车牌定位方法
US11175132B2 (en) * 2017-08-11 2021-11-16 Zoox, Inc. Sensor perturbation
CN107506739B (zh) * 2017-08-31 2021-01-12 南京富士通南大软件技术有限公司 一种夜间前向车辆检测及测距方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022512340A (ja) * 2019-06-24 2022-02-03 センスタイム グループ リミテッド 画像生成及びニューラルネットワーク訓練方法、装置、機器並びに媒体

Also Published As

Publication number Publication date
AU2019208479A1 (en) 2020-07-30
GB201800811D0 (en) 2018-03-07
WO2019141992A1 (en) 2019-07-25
US20200379481A1 (en) 2020-12-03
CN111566675A (zh) 2020-08-21
AU2019208479B2 (en) 2024-05-02
EP3740907A1 (en) 2020-11-25
KR20200110768A (ko) 2020-09-25

Similar Documents

Publication Publication Date Title
Porav et al. Adversarial training for adverse conditions: Robust metric localisation using appearance transfer
Zhang et al. Visual place recognition: A survey from deep learning perspective
Guerry et al. Snapnet-r: Consistent 3d multi-view semantic labeling for robotics
Piasco et al. A survey on visual-based localization: On the benefit of heterogeneous data
Maddern et al. 1 year, 1000 km: The oxford robotcar dataset
Wang et al. Fusing bird’s eye view lidar point cloud and front view camera image for 3d object detection
Li et al. DeepI2P: Image-to-point cloud registration via deep classification
JP2021510823A (ja) 車両位置特定
McManus et al. Scene signatures: Localised and point-less features for localisation
Biasutti et al. Lu-net: An efficient network for 3d lidar point cloud semantic segmentation based on end-to-end-learned 3d features and u-net
Panek et al. Meshloc: Mesh-based visual localization
JP7439153B2 (ja) 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み
Ouchra et al. Object detection approaches in images: a survey
Mueller et al. Image-to-image translation for enhanced feature matching, image retrieval and visual localization
CN111860197A (zh) 基于多光谱多模的低慢小目标感知方法及系统
Wang et al. Near-surface pedestrian detection method based on deep learning for UAVs in low illumination environments
Zhao et al. YOLO-highway: An improved highway center marking detection model for unmanned aerial vehicle autonomous flight
Vallone et al. Danish airs and grounds: A dataset for aerial-to-street-level place recognition and localization
US20230298335A1 (en) Computer-implemented method, data processing apparatus and computer program for object detection
Venator et al. Self-Supervised learning of domain-invariant local features for robust visual localization under challenging conditions
Schenkel et al. Domain adaptation for semantic segmentation using convolutional neural networks
Venator et al. Enhancing collaborative road scene reconstruction with unsupervised domain alignment
Marnissi et al. Feature distribution alignments for object detection in the thermal domain
Singh et al. Image based Bird Species Identification
Dudhat et al. Image Semantic Segmentation based on E-Net with Different Patch-Size Convolution

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230314